近日,科技界传来一则引人注目的消息,据知名科技媒体披露,社交巨头meta Platforms在人工智能领域的竞赛中正面临巨大的经济压力。据报道,meta曾在2024年向包括微软、亚马逊在内的多家竞争对手寻求资金支持,旨在为其旗舰大语言模型Llama的训练提供资金。
据该媒体透露,meta内部对Llama模型所需的庞大资源感到担忧,因此提出了建立“Llama Consortium”的构想。更令人惊讶的是,meta甚至提出让潜在的投资者参与到Llama未来功能的开发中,以此作为吸引合作的筹码。这一举措无疑彰显了构建尖端AI系统所需的高昂成本,即便是财力雄厚的meta也难以独自承担。
然而,据知情人士透露,这一提议的初期反响并不热烈,目前尚不清楚是否已达成正式的资金协议。这一尝试不仅揭示了AI领域的巨额投入,也凸显了该领域的高风险性。
meta近期发布的Llama 4系列模型进一步凸显了其在技术上的雄心壮志以及所面临的成本挑战。其中,Llama 4 Scout专为单GPU设计,拥有1090亿总参数和170亿活跃参数,其超大的1000万token上下文窗口能够一次性处理约750万字的内容。而Llama 4 Maverick则针对更大规模的任务,拥有4000亿总参数和170亿活跃参数,以及128个专家系统。
这两款模型均采用了Mixture-of-Experts(MoE)架构,通过激活特定的子网络来提升效率。meta内部还开发了一款参数高达2万亿的Llama 4 Behemoth模型,该模型主要用于训练小型模型,并需要动用多达3.2万块GPU。
meta寻求资金的行为与其Llama模型在公司业务中的核心地位密不可分。Llama 4发布后,迅速被集成到WhatsApp、Instagram和Facebook的meta AI功能中,并通过亚马逊SageMaker JumpStart和微软Azure AI Foundry等云平台提供商用许可。这一举措不仅展示了meta在AI领域的实力,也为其带来了可观的商业机会。
在竞争激烈的市场环境中,meta采取了强硬的姿态。据报道,meta已阻止苹果的Apple Intelligence功能在其iOS应用中使用,迫使用户转向基于Llama的AI工具。这一举动无疑加剧了AI领域的竞争态势。