近期，科技界领袖马斯克在消费电子展（CES）的访谈中抛出了一个引人注目的观点：他认为，用于训练人工智能（AI）模型的现实世界数据已接近枯竭。
马斯克强调，截至去年（2024年），AI训练已几乎吸纳了人类累积的全部知识资源。这一看法与OpenAI的前首席科学家Ilya Sutskever在去年12月的“NeurIPS”机器学习会议上的论断不谋而合，Sutskever同样指出，AI行业可用的数据量已达峰值。
面对这一挑战，马斯克提出了一个解决方案：合成数据将成为AI训练的未来趋势。他解释，唯一能有效补充现实世界数据不足的方式，便是利用AI自行生成训练数据。通过这种方法，AI不仅能为自己生成训练样本，还能进行自我评估和学习。
事实上，这一趋势已在科技巨头中悄然兴起。微软、meta、OpenAI及Anthropic等企业纷纷在其AI模型训练中广泛应用合成数据。据科技市场研究机构Gartner估算，2024年，AI及分析项目所使用的数据中，约有60%为合成数据。
例如，微软在1月8日公开的AI模型“Phi-4”，便是结合了合成数据与现实世界数据进行训练的产物，谷歌的“Gemma”模型也采用了相似的策略。Anthropic利用部分合成数据开发了性能卓越的“Claude 3.5 Sonnet”系统，而meta则通过AI生成的数据来微调其最新的Llama系列模型。
这些举措不仅展示了合成数据在AI训练中的巨大潜力，也预示着未来AI技术发展的新方向。随着现实世界数据的日益稀缺，合成数据将成为推动AI进步的关键力量。
