机器之心报道

编辑：陈萍、蛋酱

Game Changer 还是标题爱？

随着大型语言模型（LLM）的发展，人工智能正处于变革的爆发期。众所周知，LLM 可用于商业、科学和金融等应用，因而越来越多的公司（OpenAI、AI21、CoHere 等）都在提供 LLM 作为基础服务。虽然像 GPT-4 这样的 LLM 在问答等任务中取得了前所未有的性能，但因为其高吞吐量的特质，使得它们在应用中非常昂贵。

例如，ChatGPT 每天的运营成本超过 70 万美元，而使用 GPT-4 来支持****可能会让一个小企业每月花费超过 2.1 万美元。除了金钱成本外，使用最大的 LLM 还会带来巨大的环境和能源影响。

现在很多公司通过 API 提供 LLM 服务，它们收费各异。使用 LLM API 的成本通常包括三个组成部分：1）prompt 成本（与 prompt 的长度成比例），2）生成成本（与生成的长度成比例），以及 3）有时还会有对于每个查询的固定成本。

下表 1 比较了 12 个不同商业 LLM 的成本，这些 LLM 来自主流供应商，包括 OpenAI、AI21、CoHere 和 Textsynth。它们的成本相差高达 2 个数量级：例如，对于 1000 万个 token，OpenAI 的 GPT-4 的 prompt 成本为 30 美元，而 Textsynth 托管的 GPT-J 仅为 0.2 美元。

成本和准确性之间的平衡是决策制定的关键因素，尤其是在采用新技术时。如何有效和高效地利用 LLM 是从业者面临的关键挑战：如果任务相对简单，那么聚合来自 GPT-J （其规模比 GPT-3 小 30 倍）的多个响应可以实现与 GPT-3 类似的性能，从而实现成本和环境上的权衡。然而，在较为困难任务上，GPT-J 的性能可能会大大下降。因此，如何经济高效地使用 LLM 需要采用新的方法。

最近的一项研究尝试提出解决这一成本问题的方法，研究者通过实验表明，FrugalGPT 可以与**个体 LLM（例如 GPT-4） 的性能相媲美，成本降低高达 98%，或者在相同成本下将**个体 LLM 的准确性提高 4%。

**地址：https://arxiv.org/pdf/2305.05176.pdf

来自斯坦福大学的研究者回顾了使用 LLM API（例如 GPT-4，ChatGPT，J1-Jumbo）所需的成本，并发现这些模型具有不同的定价，费用可能相差两个数量级，特别是在大量查询和文本上使用 LLM 可能更昂贵。基于这一点，该研究概述并讨论了用户可以利用的三种策略来降低使用 LLM 的推理成本：1）prompt 适应，2）LLM 近似和 3）LLM 级联。此外，该研究提出了级联 LLM 一个简单而灵活的实例 FrugalGPT，它学习在不同查询中使用哪些 LLM 组合以减少成本并提高准确性。

这项研究提出的思想和发现为可持续高效地使用 LLM 奠定了基础。如果能够在不增加预算的情况下采用更高级的 AI 功能，这可能会推动人工智能技术在各个行业的更广泛采用，即使是较小的企业也有能力在其运营中实施复杂的人工智能模型。

当然，这只是一个角度，FrugalGPT 到底能实现怎样的影响力，能否成为「AI 行业的游戏规则改变者」，还需要一段时间才能揭晓。在**发布之后，这项研究也引发了一些争议：

「摘要严重夸大了**的内容，这里的标题也有严重的误导性。他们所做的是设计了一种方法，以减少在**中所涉及的一类问题中需要调用高端模型的次数。这不是以 2% 的成本替代 GPT-4，也不是以 4% 的精度替代 GPT-4。它是一种将 GPT-4 与更低廉的模型和支持性基础设施相结合的方法。摘要中没有指出的是，这需要建立一个自定义模型来对结果进行评分，而这是该机制的真正核心。…… 这种方法有合法的用例，其中包括基本的成本工程，如缓存结果。但对于大多数用例来说，这完全不相关，因为你没有一个合适的评分模型。」

「他们只在三个（小的）数据集上评估了这一点，并且没有提供关于 FrugalGPT 选择各自模型的频率的信息。另外，他们报告说较小的模型取得了比 GPT-4 更高的准确性，这使我对这篇**总体上非常怀疑。」

具体如何判断，让我们看一下**内容。

如何经济、准确地使用 LLM

接下来**介绍了如何在预算范围内高效的使用 LLM API。如图 1 (b) 所示，该研究讨论了三种降低成本的策略，即 prompt 适应、LLM 近似和 LLM 级联。

策略 1：prompt 适应。LLM 查询的成本与 prompt 的大小呈线性增长。因此，降低使用 LLM API 成本的一个合理方法包括减小 prompt 大小，该研究将这个过程称为 prompt 适应。prompt 选择如图 2（a）所示：与使用包含许多示例以演示如何执行任务的 prompt 相比，可以只保留 prompt 中的一个小子集示例。这将导致更小的 prompt 和更低的成本。另一个例子是查询串联（图 2（b）所示）。

策略 2：LLM 近似。LLM 近似的概念非常简单：如果使用 LLM API 成本太高，可以使用更实惠的模型或基础设施进行近似。其中一个例子如图 2（c）所示，其基本思想是在向 LLM API 提交查询时将响应存储在本地缓存（例如数据库）中。LLM 近似的另一个例子是模型微调，如图 2 (d) 所示。

策略 3：LLM 级联。不同的 LLM API 在各种查询中都有自己的优势和劣势。因此，适当选择要使用的 LLM 既能降低成本又能提高性能。如图 2（e）所示为 LLM 级联的一个例子。

成本的降低与精度的提高

研究者进行了一项关于 FrugalGPT LLM 级联的实证研究，目标有三个：

了解 LLM 级联的简单实例所学习的内容；

量化 FrugalGPT 在匹配**的单个 LLM API 的性能时实现的成本节约；

衡量 FrugalGPT 所实现的性能和成本之间的 trade-off。

实验设置分为几方面：LLM API（表 1）、任务、数据集（表 2）和 FrugalGPT 实例。

FrugalGPT 是在上述 API 之上开发的，并在一系列属于不同任务的数据集上进行了评估。其中，HEADLINES 是一个金融新闻数据集，目标是通过阅读金融新闻标题来确定金价趋势（上升、下降、中性或无），这对于过滤金融市场的相关新闻特别有用；OVERRULING 是一个法律文件数据集，其目标是确定一个给定的句子是否是一个「overruling」，即**以前的法律案件；COQA 是一个在对话环境中开发的阅读理解数据集，研究者将其改编为一个直接查询回答任务。

他们专注于 LLM 级联方法，级联长度为 3，因为这简化了优化空间，并且已经展示了良好的结果。每个数据集被随机分成一个训练集来学习 LLM 级联和一个测试集进行评估。

这里是一个 HEADLINES 数据集案例研究：设定预算为 6.5 美元，是 GPT-4 成本的五分之一。采用针对回归的 DistilBERT [SDCW19] 作为评分函数。值得注意的是，DistilBERT 比这里考虑的所有 LLM 都要小得多，因此成本较低。如图 3（a）所示，学习的 FrugalGPT 顺序调用 GPT-J、J1-L 和 GPT-4。对于任何给定的查询，它首先从 GPT-J 中提取一个答案。如果这个答案的分数大于 0.96，这个答案就被接受为最终的响应。否则，将对 J1-L 进行查询。如果 J1-L 的答案得分大于 0.37，则被接受为最终答案；否则，将调用 GPT-4 来获得最终答案。有趣的是，这种方法在许多查询中都优于 GPT-4。例如，基于纳斯达克的头条新闻「美国 GDP 数据惨淡，黄金脱离低点」，FrugalGPT 准确地预测了**将下跌，而 GPT-4 提供了一个错误的答案（如图 3（b）所示）。

总体来说，FrugalGPT 的结果是既提高了准确率又降低了成本。如图 3 (c) 所示，其成本降低了 80%，而准确率甚至高出 1.5%。

LLM 的多样性

为什么多个 LLM API 有可能产生比**的单个 LLM 更好的性能？从本质上讲，这是由于生成的多样性：即使是一个低成本的 LLM 有时也能正确地回答更高成本的 LLM 所不能回答的查询。为了衡量这种多样性，研究者使用最大的性能改进，也可以成为 MPI。LLM A 相对于 LLM B 的 MPI 是指 LLM A 产生正确答案而 LLM B 提供错误答案的概率。这个指标实质上是衡量在调用 LLM B 的同时调用 LLM A 所能达到的最大性能提升。

图 4 显示了所有数据集的每一对 LLM API 之间的 MPI。在 HEADLINES 数据集上，GPT-C、GPT-J 和 J1-L 都可以将 GPT-4 的性能提高 6%。在 COQA 数据集上，有 13% 的数据点 GPT-4 出现了错误，但 GPT-3 提供了正确的答案。尽管这些改进的上界可能并不总是可以实现的，但它们确实证明了利用更低廉的服务来实现更好性能的可能性。

成本节约

随后，研究者考察了 FrugalGPT 是否能在保持准确性的同时降低成本，如果能，又能降低多少。表 3 显示了 FrugalGPT 的总体成本节约，范围从 50% 到 98%。这是可行的，因为 FrugalGPT 可以识别那些可以由较小的 LLM 准确回答的查询，因此只调用那些具有成本效益的 LLM。而强大但昂贵的 LLM，如 GPT-4，只用于由 FrugalGPT 检测到的挑战性查询。

性能和成本的权衡

接着，研究者探讨了 FrugalGPT 实现的性能和成本之间的权衡，如图 5 所示，得出了几个有趣的观察结果。

首先，不同 LLM API 的成本排名并不是固定的。此外，更昂贵的 LLM APIs 有时会导致比其更便宜的同类产品更差的性能。这些观察结果强调了适当选择 LLM API 的重要性，即使在没有预算**的情况下。

接下来，研究者还注意到，FrugalGPT 能够在所有被评估的数据集上实现平滑的性能 - 成本权衡。这为 LLM 用户提供了灵活的选择，并有可能帮助 LLM API 供应商节约能源和减少碳排放。事实上，FrugalGPT 可以同时降低成本和提高精确度，这可能是因为 FrugalGPT 整合了来自多个 LLM 的知识。

图 5 所示的例子查询进一步解释了为什么 FrugalGPT 可以同时提高性能和降低成本。GPT-4 在一些查询上犯了错误，比如例如（a）部分的第一个例子，但一些低成本的 API 提供了正确的预测。FrugalGPT 准确地识别了这些查询，并完全依赖低成本的 API。例如，GPT-4 错误地从法律陈述「现在是协调和规范我们在这个领域的案件的时候了」中推断出没有**，如图 5（b）所示。然而，FrugalGPT 接受了 GPT-J 的正确答案，避免了昂贵的 LLM 的使用，提高了整体性能。当然，单一的 LLM API 并不总是正确的；LLM 级联通过采用一连串的 LLM API 克服了这一点。例如，在图 5 (a) 所示的第二个例子中，FrugalGPT 发现 GPT-J 的生成可能不可靠，于是转向链中的第二个 LLM J1-L，以找到正确的答案。同样，GPT-4 提供了错误的答案。FrugalGPT 并不完美，仍有足够的空间来减少成本。例如，在图 5 (c) 的第三个例子中，链中所有的 LLM API 都给出了相同的答案。然而，FrugalGPT 不确定第一个 LLM 是否正确，导致需要查询链中的所有 LLM。确定如何避免这种情况仍然是一个**的问题。

更多研究细节，可参考原**。

参考链接：

https://www.reddit.com/r/singularity/comments/13dnfd7/frugalgpt_can_match_the_performance_of_the_best/

崛起的中科系，被改变的我国芯片产业格局

当前，以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中，你首先想到的会是哪几企业？答案有很多，但“中科系”的提及率绝对很高。作为国家战略科技力量，“中科系”旗下

芯片战场丨芯片领域三箭齐发 英特尔跑步突围

21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞，英特尔CEO帕特·基辛格（Pat Gelsinger）正在带领英特尔加速奔跑。当地时间9月19日，2023英特尔on技术创新大会于美国加利

OPPO重启芯片业务？国产芯片或需告别“单打独斗”

财联社9月19日讯（记者 唐植潇）近日有消息称，OPPO将会重启芯片业务，并且“有部分员工已经回流，加入到了车载业务之中”。记者就此事向OPPO方面进行核实，对方表示“不予置评”。特百惠（我国）数字与

600亿颗芯片！我国巨头正式宣布，美媒：**也没料到制裁这么快

我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场，拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长，包括智能手机、电视、电脑和各种智能设备等，这些设备都需要高性能的芯

最新手机芯片天梯图：A17、华为麒麟9000S，排在什么位置？

近日，最火的两颗芯片分别是苹果的3nm芯片A17 Pro，虽然很多人吐槽它较上一代提升不明显，但论性能，可以碾压任何安卓芯片，甚至是领先2代的。另外一款芯片，则是华为麒麟9000S，当然，这颗芯片工艺

韩国芯片连续13个月暴跌，尹锡悦指责我国不采购，外媒：自食其果

据韩国媒体称，韩国的半导体出口额已经连续暴跌13个月了，比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国，话里话外都是指责，他认为韩国半导体卖不出竟是我国的原因，我国应该帮助

我国突破芯片瓶颈将影响全球秩序？美国很担心，指出我国关键弱点

我国在芯片半导体领域一直深受美国的**，通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档，不过随着我国科技企业近几年的突破，目前我国已经在芯片制造方面取得了重大的成果

没有他，我国芯片发展至少要**十年？

前几天，华为一声不响的上线了mate60系列，带着麒麟芯片9000s强势回归，吸引了全世界的目光。而华为麒麟芯片**背后，我们不该忘记这位老人—张汝京。我国半导体之父，为回**造芯片，被开除**户籍，

陈清泰：未来汽车颠覆传统，50%以上的零部件体系面临重构

【有车以后 资讯】“未来汽车对传统汽车的颠覆性，使传统零部件体系的50%以上都面临重构。”12月16日，在全球智能汽车产业峰会(GIV2022)上，我国电动汽车百人会理事长陈清泰指出，智能汽车的价值链

「姿势」一辆汽车由多少个零件组成？保证你说不清...

投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计，一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车，如F1赛车等，其**零部件的数量可达到2万个

全球最大的10家汽车零部件供应商 都是世界500强 无我国企业

【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜，是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中，汽车制造商和零部件厂商共占据33席（除去大型工程车辆企业），

汽车零部件企业哪家强？除了博世**还有这些名字你一定耳熟能详

文：懂车帝原创 李德喆[懂车帝原创 行业]9月18日，由《我国汽车报》主办，罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中，博世、**、电装位列2019全球汽车零部件

汽车零部件行业现状及产业链

行业现状（Reference：产业运行 | 2021年汽车工业经济运行情况）中汽协预测：2022年我国汽车销量达到2700万辆，新能源销量超过550万辆（Reference：乘用车市场信息联席会）以乘

全球十大汽车零部件供应商，核心技术都被他们垄断，自主遗憾缺席

提到电影，我们会想到张艺谋、冯小刚，而很少会想到幕后的制作人；提起流行乐，我们会想到周杰伦、萧敬腾，而很少会想到背后的作词人。台前台后，一幕之别，知名度往往相差甚远。车界又何尝不是如此，知名车企我们都

高清汽车各零部件构造图，看完你就是汽车专家！

2023世界移动通信大会即将举行，大批中企强势回归！

来源：环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后，全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日，由全球移动通信**协会（GSMA）主办的20

太空新赛道：6G时代的卫星通信，究竟是什么？

近日华为、苹果争相推出手机卫星通信功能，成为一大亮点，不少手机厂商也将目光投到卫星通信。放眼未来，手机直连卫星的卫星通信服务将是大势所趋，也是6G时代的重要标志。华为以“北斗三号”为依托，率先把“卫星

光纤#光纤通信

国内企业在光通信产品的参数测试过程中，通常使用国外的先进测试设备。然而，这些测试仪器之间往往是孤立存在的，需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错，而且测试效率低下。

龙头20cm涨停，7天股价翻倍！一文看懂卫星通信前世今生及产业链

卫星通信概念股华力创通今日再度强势拉升，截至发稿，该股股价20cm涨停，7个交易日累计涨幅近113%，现报23.52元续刷阶段新高，总市值155.9亿元。消息上，有媒体从供应链获悉，Mate 60 P

工信部：目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件

针对网友提出的“电话号码归属地更改”建议，工信部近日给出了官方回复。此前，有网友在人民网留言板向工信部留言称，“现在电话都是实名制，电话号绑定的***及一些主流的软件较多，更换号码后造成一系列问题