大模型是不是有点太多了？
本文来自微信公众号：远川科技评论
【慧聪通信网】上个月，AI业界爆发了一场“动物战争”。
一方是Meta推出的Llama（美洲驼），由于其开源的特性，历来深受开发者社区的欢迎。NEC（日本电气）在仔细钻研了Llama论文和源代码后，迅速“自主研发”出了日语版ChatGPT，帮日本解决了AI卡脖子难题。
另一方则是一个名为Falcon（猎鹰）的大模型。今年5月，Falcon-40B问世，力压美洲驼登顶了“开源LLM（大语言模型）排行榜”。
该榜单由开源模型社区Hugging face制作，提供了一套测算LLM能力的标准，并进行排名。排行榜基本上就是Llama和Falcon轮流刷榜。
Llama 2推出后，美洲驼家族扳回一城；可到了9月初，Falcon推出了180B版本，又一次取得了更高的排名。
Falcon以68.74分力压Llama 2
有趣的是，“猎鹰”的开发者不是哪家科技公司，而是位于阿联酋首都阿布扎比的科技创新研究所。政府人士表示，“我们参与这个游戏是为了颠覆核心玩家”[4]。
180B版本发布第二天，阿联酋人工智能部长奥马尔就入选了《时代周刊》评选的“AI领域最具影响力的100人”；与这张中东面孔一同入选的，还有“AI教父”辛顿、OpenAI的阿尔特曼，以及李彦宏。
如今，AI领域早已步入了“群魔乱舞”的阶段：但凡有点财力的国家和企业，或多或少都有打造“XX国版ChatGPT”的计划。仅在海湾国家的圈子内，已不止一个玩家——8月，沙特阿拉伯刚刚帮国内大学购买了3000多块H100，用于训练LLM。
金沙江创投朱啸虎曾在朋友圈吐槽道：“当年看不起（互联网的）商业模式创新，觉得没有壁垒：百团大战、百车大战、百播大战；没想到硬科技大模型创业，依然是百模大战……”
说好的高难度硬科技，怎么就搞成一国一模亩产十万斤了？
Transformer吞噬世界
美国的初创公司、中国的科技巨擘、中东的石油大亨能够逐梦大模型，都得感谢那篇著名的论文：《Attention Is All You Need》。
2017年，8位谷歌(136.74, -2.24, -1.61%)的计算机科学家在这篇论文中，向全世界公开了Transformer算法。这篇论文目前是人工智能历史上被引数量第三高的论文，Transformer的出现则扣动了此轮人工智能热潮的扳机。
无论当前的大模型是什么国籍，包括轰动世界的GPT系列，都是站在了Transformer的肩膀上。
在此之前，“教机器读书”曾是个公认的学术难题。不同于图像识别，人类在阅读文字时，不仅会关注当前看到的词句，更会结合上下文来理解。
比如“Transformer”一词其实可翻译成“变形金刚”，但本文读者肯定不会这么理解，因为大家都知道这不是一篇讲好莱坞电影的文章。
但早年神经网络的输入都彼此独立，并不具备理解一大段文字、甚至整篇文章的能力，所以才会出现把“开水间”翻译成“open water room”这种问题。
直到2014年，在谷歌工作、后来跳槽去了OpenAI的计算机科学家伊利亚（Ilya Sutskever）率先出了成果。他使用循环神经网络（RNN）来处理自然语言，使谷歌翻译的性能迅速与竞品拉开了差距。
RNN提出了“循环设计”，让每个神经元既接受当前时刻输入信息，也接受上一时刻的输入信息，进而使神经网络具备了“结合上下文”的能力。
循环神经网络
RNN的出现点燃了学术圈的研究热情，日后Transformer的论文作者沙泽尔（Noam Shazeer）也一度沉迷其中。然而开发者们很快意识到，RNN存在一个严重缺陷：
该算法使用了顺序计算，它固然能解决上下文的问题，但运行效率并不高，很难处理大量的参数。
RNN的繁琐设计，很快让沙泽尔感到厌烦。因此从2015年开始，沙泽尔和7位同好便着手开发RNN的替代品，其成果便是Transformer[8]。
相比于RNN，Transformer的变革有两点：
一是用位置编码的方式取代了RNN的循环设计，从而实现了并行计算——这一改变大大提升了Transformer的训练效率，从而变得能够处理大数据，将AI推向了大模型时代；二是进一步加强了上下文的能力。
随着Transformer一口气解决了众多缺陷，它渐渐发展成了NLP（自然语言处理）的唯一解，颇有种“天不生Transformer，NLP万古如长夜”的既视感。连伊利亚都抛弃了亲手捧上神坛的RNN，转投Transformer。
换句话说，Transformer是如今所有大模型的祖师爷，因为他让大模型从一个理论研究问题，变成了一个纯粹的工程问题。
LLM技术发展树状图，灰色的树根就是Transformer[9]
2019年，OpenAI基于Transformer开发出了GPT-2，一度惊艳了学术圈。作为回应，谷歌迅速推出了一个性能更强的AI，名叫Meena。
和GPT-2相比，Meena没有底层算法上的革新，仅仅是比GPT-2多了8.5倍的训练参数、14倍的算力。Transformer论文作者沙泽尔对“暴力堆砌”大受震撼，当场写了篇“Meena吞噬世界”的备忘录。
Transformer的问世，让学术界的底层算法创新速度大大放缓。数据工程、算力规模、模型架构等工程要素，日渐成为AI竞赛的重要胜负手，只要有点技术能力的科技公司，都能手搓一个大模型出来。
因此，计算机科学家吴恩达在斯坦福大学做演讲时，便提到一个观点：“AI是一系列工具的集合，包括监督学习、无监督学习、强化学习以及现在的生成式人工智能。所有这些都是通用技术，与电力和互联网等其他通用技术类似。[10]”
OpenAI固然仍是LLM的风向标，但半导体分析机构Semi Analysis认为，GPT-4的竞争力源自工程解决方案——如果开源，任何竞争对手都能迅速复现。
该分析师预计，或许用不了太久，其他大型科技公司也能打造出同等于GPT-4性能的大模型[11]。
建在玻璃上的护城河
当下，“百模大战”已不再是一种修辞手法，而是客观现实。
相关报告显示，截止至今年7月，国内大模型数量已达130个，高于美国的114个，成功实现弯道超车，各种神话传说已经快不够国内科技公司取名的了[12]。
而在中美之外，一众较为富裕的国家也初步实现了“一国一模”：除了日本与阿联酋，还有印度政府主导的大模型Bhashini、韩国互联网公司Naver打造的HyperClova X等等。
眼前这阵仗，仿佛回到了那个漫天泡沫、“钞能力”对轰的互联网拓荒时代。
正如前文所说，Transformer让大模型变成了纯粹的工程问题，只要有人有钱有显卡，剩下的就丢给参数。但入场券虽不难搞，也并不意味着人人都有机会成为AI时代的BAT。
开头提到的“动物战争”就是个典型案例：Falcon虽然在排名上力压美洲驼，但很难说对Meta造成了多少冲击。
众所周知，企业开源自身的科研成果，既是为了与社会大众分享科技的福祉，同样也希望能调动起人民群众的智慧。随着各个大学教授、研究机构、中小企业不断深入使用、改进Llama，Meta可以将这些成果应用于自己的产品之中。
对开源大模型而言，活跃的开发者社群才是其核心竞争力。
而早在2015年组建AI实验室时，Meta已定下了开源的主基调；扎克伯格又是靠社交媒体生意发的家，更是深谙于“搞好群众关系”这件事。
譬如在10月，Meta就专程搞了个“AI版创作者激励”活动：使用Llama 2来解决教育、环境等社会问题的开发者，将有机会获得50万美金的资助。
时至今日，Meta的Llama系列俨然已是开源LLM的风向标。
截至10月初，Hugging face的开源LLM排行榜Top 10中，共有8个都是基于Llama 2所打造的，均使用了它的开源协议。仅在Hugging face上，使用了Llama 2开源协议的LLM已经超过了1500个[13]。
截止至10月初，Hugging face上排名第一的LLM，基于Llama 2打造
当然，像Falcon一样提高性能也未尝不可，但时至今日，市面上大多数LLM仍和GPT-4有着肉眼可见的性能差距。
例如前些日子，GPT-4就以4.41分的成绩问鼎AgentBench测试头名。AgentBench标准由清华大学与俄亥俄州立大学、加州大学伯克利分校共同推出，用于评估LLM在多维度开放式生成环境中的推理能力和决策能力，测试内容包括了操作系统、数据库、知识图谱、卡牌对战等8个不同环境的任务。
测试结果显示，第二名的Claude仅有2.77分，差距仍较为明显。至于那些声势浩大的开源LLM，其测试成绩多在1分上下徘徊，还不到GPT-4的1/4[14]。
AgentBench测试结果
要知道，GPT-4发布于今年3月，这还是全球同行追赶了大半年之后的成绩。而造成这种差距的，是OpenAI“智商密度”极高的科学家团队与长期研究LLM积累下来的经验，因此可以始终遥遥领先。
也就是说，大模型的核心能力并不是参数，而是生态的建设（开源）或纯粹的推理能力（闭源）。
随着开源社区日渐活跃，各个LLM的性能可能会趋同，因为大家都在使用相似的模型架构与相似的数据集。
另一个更直观的难题是：除了Midjourney，好像还没有哪个大模型能赚到钱。
价值的锚点
今年8月，一篇题为“OpenAI可能会于2024年底破产”的奇文引起了不少关注[16]。文章主旨几乎能用一句话概括：OpenAI的烧钱速度太快了。
文中提到，自从开发ChatGPT之后，OpenAI的亏损正迅速扩大，仅2022年就亏了约5.4亿美元，只能等着微软(326.67, -4.65, -1.40%)投资人买单。
文章标题虽耸人听闻，却也讲出了一众大模型提供商的现状：成本与收入严重失衡。
过于高昂的成本，导致目前依靠人工智能赚了大钱的只有英伟达，顶多再加个博通。
据咨询公司Omdia预估，英伟达在今年二季度卖出了超30万块H100。这是一款AI芯片，训练AI的效率奇高无比，全世界的科技公司、科研机构都在抢购。如果将卖出的这30万块H100叠在一起，其重量相当于4.5架波音(180.04, -2.75, -1.50%)747飞机[18]。
英伟达的业绩也顺势起飞，同比营收暴涨854%，一度惊掉了华尔街的下巴。顺带一提，目前H100在二手市场的价格已被炒到4万~5万美金，但其物料成本仅有约3000美金出头。
高昂的算力成本已经在某种程度上成为了行业发展的阻力。红杉资本曾做过一笔测算：全球的科技公司每年预计将花费2000亿美金，用于大模型基础设施建设；相比之下，大模型每年最多只能产生750亿美金的收入，中间存在着至少1250亿美金的缺口[17]。
另外，除了Midjourney等少数个例，大部分软件公司在付出了巨大的成本后，还没想清楚怎么赚钱。尤其是行业的两位带头大哥——微软和Adobe(540.96, -14.78, -2.66%)都走得有些踉跄。
微软和OpenAI曾合作开发了一个AI代码生成工具GitHub Copilot，虽然每个月要收10美元月费，但由于设施成本，微软反而要倒亏20美元，重度用户甚至能让微软每月倒贴80美元。依此推测，定价30美元的Microsoft 365 Copilot，搞不好亏的更多。
无独有偶，刚刚发布了Firefly AI工具的Adobe，也迅速上线了一个配套的积分系统，防止用户重度使用造成公司亏损。一旦有用户使用了超过每月分配的积分，Adobe就会给服务减速。
要知道微软和Adobe已经是业务场景清晰，拥有大量现成付费用户的软件巨头。而大部分参数堆上天的大模型，最大的应用场景还是聊天。
不可否认的是，如果没有OpenAI和ChatGPT的横空出世，这场AI革命或许压根不会发生；但在当下，训练大模型所带来的价值恐怕得打一个问号。
而且，随着同质化竞争加剧，以及市面上的开源模型越来越多，留给单纯的大模型供应商的空间或许会更少。
iPhone 4的火爆不是因为45nm制程的A4处理器，而是它可以玩植物大战僵尸和愤怒的小鸟。
参考资料
[1] LLM Leaderboard Gone Wrong，Analytics India Mag
[2] NEC独自の大規模言語モデル（LLM）開発の裏側に迫る
[3] Spread Your Wings： Falcon 180B is here
[4] Abu Dhabi throws a surprise challenger into the AI race，The Economist
[5] TIME 100/AI
[6] OpenAI背后的领袖Ilya Sutskever：一个计算机视觉、机器翻译、游戏和机器人的变革者，机器之心
[7] 深度学习算法发展：从多样到统一，国金证券
[8] Your AI Friends Have Awoken， With Noam Shazeer，No Priors
[9] Harnessing the Powe(2.05, -0.02, -0.97%)r of LLMs in Practice： A Survey on ChatGPT and Beyond，Jingfeng Yang、Hongye Jin等
[10] Andrew Ng： Opportunities in AI - 2023，Stanford Online
[11] GPT-4 Architecture， Infrastructure， Training Dataset， Costs， Vision， MoE，Semi Analysis
[12] IT 2023，赛迪顾问
[13] Open LLM Leaderboard，Hugging face
[14] AgentBench： Evaluating LLMs as Agents，Xiao Liu， Hao Yu等
[15] Who Owns the Generative AI Platform，a16z
[16] OpenAI Might Go Bankrupt by the End of 2024，Analytics India Mag
[17] AI’s $200B Question，Sequoia
[18] Nvidia(413.87, -7.14, -1.70%) Sold 900 Tons of H100 GPUs Last Quarter， Says Analyst Firm，tomshardware
[19] Character.ai‘s Noam Shazeer： “Replacing Google - and your mom”，Danny In The Valley
