Scaling Law遇到瓶颈？大模型性能还能继续稳步增长吗？

过去五年，Scaling Law驱动了AI的飞跃

大型语言模型（LLM）的飞速进步让全球见证了AI的巨大潜力。从ChatGPT到GPT-4，AI性能的提升似乎遵循一条铁律——Scaling Law：只要投入更多数据、更大模型、更强算力，性能就会呈对数线性增长。

然而，2024年底的行业动态显示，这套“第一齿轮”正在减速。OpenAI下一代模型Orion性能提升受限，谷歌和Anthropic的研发节奏也在调整，高质量数据短缺问题加剧，引发了关于Scaling Law是否触及瓶颈的激烈争论。

与此同时，“推理齿轮”被寄予厚望，但其高成本与潜在天花板令人担忧。这场争论不仅关乎技术路径，还牵涉投资预期、基础设施建设与AI生态的未来。

2025年，AI行业将走向何方？下文探讨下Scaling Law的现状、瓶颈根源、推理侧的前景，以及行业的下一站。

GPT-4之后，性能提升为何放缓？

2024年11月，《The Information》重磅报道披露了OpenAI下一代模型Orion的进展：

• 训练完成20%，性能提升幅度远不及GPT-3到GPT-4的跃迁；

• 语言理解略有进步，编程能力却小幅下降；

• 同等输出质量下，算力成本显著升高。

这一趋势并非孤例。虽然Gemini 2.5和Anthropic的Opus 3.7已经发布，但整体上，行业对于后续版本的性能跃迁幅度有所保留，暗示Scaling Law的红利期正在收窄。

根本原因在于：高质量训练数据正在枯竭。

• EpochAI估计，网络可索引数据总量约510万亿标记，但真正高质量、低重复的内容远远低于此。

• OpenAI联合创始人Ilya Sutskever在NeurIPS 2024演讲中直言：“预训练时代即将结束”。

收益递减的规律进一步加剧了瓶颈：

• Chinchilla研究表明，模型规模与数据规模需成比例扩展，否则资源浪费严重。

• 即使优化分配，如DeepSeek-V3（671B参数，14.8T标记）这样的巨型模型，训练成本依然居高不下。

两套齿轮：推理侧能接棒吗？

面对预训练瓶颈，OpenAI提出了“双齿轮联动”策略：

• 第一套齿轮：传统Scaling Law，扩大数据、参数和算力提升性能。

• 第二套齿轮：推理侧堆算力，利用链式推理（Chain-of-Thought, CoT）和自我改进（Self-Improvement）技术，在推理阶段加深思考链条。

推理侧的代表是OpenAI的o1及o1-pro：

• 在ARC数据集上，通过大规模推理计算，性能显著提升。

• Noam Brown指出，在德州扑克AI中，延长20秒推理时间的效果相当于扩大参数规模10万倍。

但推理侧也并非万能钥匙：

• 高成本：推理同样遵循对数规律，10倍算力仅换来1倍性能提升。

• 天花板效应：如o1在FrontierMath基准从2.0%提升至25.2%，但后续增长变得极其困难。

• 任务局限：推理侧在数学、编程等任务上收益明显，但在自然语言理解等领域提升有限。

Scaling Law的自然极限与新路径探索

Scaling Law的核心公式为：
P ∝ log(C), log(D), log(N)

它曾准确预测GPT-4的性能。但本质上，这是一套经验规律，不是自然法则。当资源投入指数增长、而性能提升对数增长，经济与物理边界终将到来。

新的探索方向包括：

• 合成数据与课程学习（Synthetic Data Success）：弥补真实数据不足。

• 新型模型架构（如Ilya Sutskever的SSI探索）。

• 多模态与高效推理（beyond scaling）。

人类大脑以20瓦功耗实现智能学习，依然是AI发展的终极参考系。

行业震动：算力热潮退却，生态重塑

• 算力市场降温：英伟达H100租赁价格从2023年的8美元/小时跌至2024年8月的2.6美元/小时，预计2025年继续下降。

• 巨头闲置算力：OpenAI、xAI等释放训练完成后的大量算力。

• 微调替代预训练：中小公司更倾向通过微调现有大模型，而非烧钱训练新模型。

李开复指出：

"AI行业盈利严重失衡，基础设施商赚走90%的利润，而应用开发者几乎无利可图。"

未来健康的AI生态，应该像互联网时代——开发者赚90%，基础设施商赚10%。

未来展望：从“更大”到“更聪明”

推理齿轮虽然有潜力，但远非终极解答。AI行业不会因Scaling Law放缓而崩溃，而是进入产品化与生态重构阶段：

• 现有模型已足够支持智能助手、医疗诊断、自动化工具等应用。

• 巨头继续押注大规模集群（如xAI的Colossus计划扩展到100万GPU）。

• 中小企业则需聚焦用户价值交付，而非盲目堆算力。

未来五年，AI的关键词将从“更大”转向：“更高效”、“更聪明”、“更懂用户”。
 

结语

Scaling Law的“第一套齿轮”因数据枯竭和收益递减而放缓；推理侧的“第二套齿轮”虽带来希望，却难以长期支撑。

2025年，AI行业将从烧钱竞赛转向产品化与生态重构。

我们正站在范式转变的门槛上——未来属于那些在稳定基座上创造真正价值的人。

让我们拭目以待。