AI大模型：一场工程问题引发的革命

上个月，AI界掀起了一场"动物大战"。

一方是Meta推出的Llama系列模型，因其开源特性深受开发者青睐。日本NEC公司基于Llama论文和代码迅速开发出日语版ChatGPT,解决了日本在AI领域的技术瓶颈。

另一方是名为Falcon的大模型。今年5月,Falcon-40B问世,一举超越Llama登顶"开源大语言模型排行榜"。该榜单由开源社区Hugging Face制作,为评估LLM能力提供了标准。此后,Llama和Falcon轮番刷新排名。

9月初,Falcon推出180B版本,再次登顶榜单。有趣的是,Falcon的开发者并非科技公司,而是位于阿布扎比的科技创新研究所。阿联酋官员表示,他们参与AI竞赛是为了颠覆现有格局。

如今,AI领域已进入百家争鸣的阶段。只要有一定实力的国家和企业,都在尝试打造本土版ChatGPT。仅海湾国家就有多个玩家,沙特阿拉伯最近为国内大学采购了3000多块H100芯片用于训练LLM。

一位投资人感叹道:"当年看不起互联网的商业模式创新,觉得没有壁垒。没想到硬科技大模型创业,依然是百模大战..."

原本被认为是高难度的硬科技,为何演变成了"一国一模"的局面?

Transformer:AI革命的引擎

美国初创公司、中国科技巨头、中东石油大亨纷纷投身大模型研发,都源于一篇著名论文:《Attention Is All You Need》。

2017年,8位谷歌科学家在这篇论文中公开了Transformer算法。该论文目前是AI历史上被引用第三多的文章,Transformer的出现引发了此轮AI热潮。

当前各种大模型,包括轰动全球的GPT系列,都建立在Transformer基础之上。

此前,"教机器读书"一直是学界公认的难题。不同于图像识别,人类阅读时会结合上下文理解。早期神经网络难以处理长文本,常出现"开水间"被翻译成"open water room"等问题。

2014年,谷歌科学家伊利亚首次使用循环神经网络(RNN)处理自然语言,大幅提升了谷歌翻译性能。RNN通过"循环设计"赋予神经网络理解上下文的能力。

然而RNN存在严重缺陷:顺序计算导致效率低下,难以处理大量参数。2015年起,谷歌科学家沙泽尔等人着手开发RNN替代品,最终推出了Transformer。

相比RNN,Transformer有两大革新:一是用位置编码实现并行计算,大幅提升训练效率;二是进一步增强了上下文理解能力。

Transformer一举解决多项难题,逐渐成为NLP领域的主流方案。它让大模型从理论研究转变为纯粹的工程问题。

2019年,OpenAI基于Transformer开发出GPT-2。作为回应,谷歌迅速推出性能更强的Meena。Meena仅仅是在参数和算力上大幅超越GPT-2,没有底层算法创新。这让Transformer作者沙泽尔惊叹于"暴力堆砌"的威力。

Transformer问世后,学界底层算法创新速度放缓。数据工程、算力规模、模型架构等工程要素,日益成为AI竞赛的关键。只要有一定技术实力的公司,都能开发出大模型。

AI专家吴恩达认为,AI已成为一系列通用技术工具,类似于电力和互联网。

虽然OpenAI仍是LLM的领头羊,但业内分析认为GPT-4的优势主要来自工程解决方案。一旦开源,竞争对手可迅速复制。预计不久后,其他大型科技公司也能打造出与GPT-4性能相当的大模型。

脆弱的护城河

如今,"百模大战"已成现实。报告显示,截至今年7月,中国大模型数量达130个,超过美国的114个。各种神话传说已不够国内科技公司取名用了。

除中美外,许多发达国家也初步实现了"一国一模":日本、阿联酋、印度、韩国等纷纷推出本土大模型。这场景仿佛回到了互联网泡沫时代,"烧钱"成为主要竞争手段。

Transformer让大模型变成纯工程问题,只要有人力物力,就能开发。但入场容易,成为AI时代巨头却很难。

前文提到的"动物大战"就是典型案例:Falcon虽在排名上力压Llama,但对Meta影响有限。

企业开源科研成果,既是分享科技福祉,也希望调动社会智慧。随着各界不断使用改进Llama,Meta可将成果应用于自身产品。

对开源大模型而言,活跃的开发者社群才是核心竞争力。

Meta早在2015年组建AI实验室时就确定了开源方针。扎克伯格深谙"搞好群众关系"之道。10月,Meta还推出了"AI版创作者激励"活动,资助使用Llama 2解决社会问题的开发者。

如今,Meta的Llama系列已成为开源LLM的风向标。截至10月初,Hugging Face排行榜前10中有8个基于Llama 2开发,使用其开源协议的LLM超过1500个。

提高性能固然重要,但目前大多数LLM与GPT-4仍有明显差距。在最新的AgentBench测试中,GPT-4以4.41分问鼎榜首,第二名Claude仅2.77分,开源LLM多在1分左右。

GPT-4发布已半年有余,全球同行仍难以追平。这源于OpenAI顶尖的科学家团队和长期积累的LLM研究经验。

可见,大模型的核心能力在于生态建设(开源)或纯粹的推理能力(闭源),而非简单的参数堆砌。

随着开源社区活跃,各LLM性能可能趋同,因为大家使用相似的模型架构和数据集。

更直观的难题是:除Midjourney外,似乎还没有哪个大模型能实现盈利。

价值的锚点

今年8月,一篇"OpenAI可能于2024年底破产"的文章引发关注。主要观点是:OpenAI烧钱速度过快。

文章提到,自开发ChatGPT后,OpenAI亏损迅速扩大,2022年亏损约5.4亿美元,只能依赖微软投资。

这反映了大模型提供商普遍面临的困境:成本与收入严重失衡。

高昂成本导致目前主要受益者是英伟达和博通等芯片厂商。

据估计,英伟达今年二季度售出超30万块H100 AI芯片,重量相当于4.5架波音747。英伟达业绩暴涨854%,震惊华尔街。H100二手价已炒至4-5万美元,而成本仅3000多美元。

算力成本已成行业发展阻力。红杉资本测算:全球科技公司每年将花2000亿美元建设大模型基础设施,但大模型年收入最多750亿美元,存在至少1250亿美元缺口。

除少数个例外,多数软件公司付出巨额成本后仍未找到盈利模式。即便行业领军者微软和Adobe也面临挑战。

微软与OpenAI合作开发的GitHub Copilot,每月收费10美元却要倒贴20美元,重度用户甚至让微软每月亏80美元。新推出的Microsoft 365 Copilot定价30美元,亏损可能更多。

Adobe推出Firefly AI工具后迅速上线积分系统,限制用户过度使用导致公司亏损。超出每月分配积分后,Adobe会降低服务速度。

微软和Adobe已有明确业务场景和大量付费用户。而多数参数堆积如山的大模型,最大应用场景仍是聊天。

OpenAI和ChatGPT的横空出世引发了这场AI革命,但当前阶段训练大模型的价值存疑。随着同质化竞争加剧和开源模型增多,单纯的大模型供应商空间或将进一步压缩。

iPhone 4的成功不在于45nm制程的A4处理器,而在于它能玩《植物大战僵尸》和《愤怒的小鸟》。