Gartner预测AI推理成本将大幅下降90%
根据分析机构Gartner的预测，到2030年，运行具有1万亿参数的AI模型推理成本将比去年降低超过90%。在未来四年内，大语言模型的成本效率将比2022年的首批模型提升100倍。
推理成本大幅降低的驱动因素
这一成本大幅下降主要源于多个关键因素：硬件改进、模型设计优化、边缘设备推理以及专用推理芯片的应用。这些技术进步将共同推动大语言模型推理成本的显著降低。
企业不会直接受益于成本节约
尽管预测显示推理成本将大幅下降，但企业不会在传递的成本节约方面看到直接好处。特别是随着对智能体AI等前沿能力需求的增加，这些应用比生成式AI用例每个任务需要更多Token。Token是AI模型处理的数据单位。
Gartner高级总监分析师Will Sommer表示："是的，Token成本正在下降，这将释放相对低价值的能力，这些能力将嵌入到现有生态系统中。它也将释放更高价值的应用。但这些应用会更昂贵，而不是更便宜。"
CIO需要关注价值平衡
即使大语言模型提供商的推理成本变得更便宜，CIO仍需要专注于价值，并在投资低门槛成果和前沿能力之间取得平衡。
Sommer说："Token成本在下降，但我们知道很多最大的实验室现在并不盈利，他们在亏损。要赚钱，他们需要相对于收入降低成本。这是他们能够做到的一种方式，他们可以让自己的模型更高效。所以客户不会看到所有这些节省的钱。"
低参数模型将变得相对便宜
由于更具成本效益的推理模型，大量生成式AI技术——参数少于1000亿的模型——运行起来将变得相对便宜。大型科技公司可能会将这些成本嵌入其服务中，或者会有开源竞争来提供这些能力。
复杂模型仍然成本高昂
然而，随着模型变得更加复杂，它们将需要更多Token，相对于旧Token来说会更昂贵。例如，如果企业想要从生成式AI聊天机器人升级到智能体助手，"这不仅仅是个人助手在做更多查询，而是每个单独的查询成本需要5到30倍更多的Token。"
企业需要在复杂性规模上提升
为了与通用产品或开源提供商区分开来，CIO需要"在复杂性规模上提升"，以便相对于Token支出提供价值。但这是一个平衡行为。
Sommer说："你不能只是乘着低价值生成式AI的浪潮，也不能乘着前沿一切的浪潮。如果你不断朝着前沿发展，你的Token成本将爆炸式增长，以至于你无法在任何时候认识到利润。"
Q&A
Q1：大语言模型推理成本预计会下降多少？
A：根据Gartner预测，到2030年，运行具有1万亿参数的AI模型推理成本将比去年降低超过90%。在未来四年内，大语言模型的成本效率将比2022年的首批模型提升100倍。
Q2：企业能直接享受到AI推理成本下降的好处吗？
A：企业不会在传递的成本节约方面看到直接好处。虽然Token成本在下降，但随着对智能体AI等前沿能力需求的增加，这些应用比生成式AI用例每个任务需要更多Token，实际上会更昂贵。
Q3：CIO应该如何应对AI推理成本的变化？
A：CIO需要专注于价值，并在投资低门槛成果和前沿能力之间取得平衡。不能只是依赖低价值生成式AI，也不能一味追求前沿技术，需要在复杂性规模上提升以相对于Token支出提供价值。