【天脉网】8月26日，在人工智能领域，一场静悄悄的革命正在发生。长久以来，科技巨头们竞相开发规模庞大的语言模型，但如今，小型语言模型（SLM）正逐渐崭露头角，挑战着“规模越大越好”的传统观念。
据天脉网了解，近期，微软和英伟达分别发布了最新的小型语言模型Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B。这两款模型在计算资源使用和性能表现之间实现了出色的平衡，甚至在某些方面可以媲美大型模型。人工智能初创公司Hugging Face的首席执行官Clem Delangue指出，高达99%的使用场景可以通过SLM来解决，并预测2024年将成为SLM的元年。据统计，包括meta、微软、谷歌在内的科技巨头今年已经发布了9款小型模型。
大型语言模型（LLM）的训练成本不断攀升，这是SLM崛起的重要背景。LLM之间的性能差距正在迅速缩小，尤其是在特定任务中，顶级模型之间的差异极小。然而，与有限的性能提升相比，LLM的训练成本却在不断攀升。训练这些模型需要海量数据和数以亿计甚至万亿个参数，导致极高的资源消耗。这使得小型组织或个人难以参与核心LLM的开发。
与此同时，LLM还面临着“幻觉”问题，即模型生成的输出看似合理，但实际上并不正确。这是由于LLM的训练方式是根据数据中的模式预测下一个最可能的单词，而非真正理解信息。因此，LLM可能会生成虚假陈述、编造事实或以荒谬的方式组合不相关的概念。如何检测和减少这些“幻觉”是开发可靠且可信赖语言模型的持续挑战。
相比之下，SLM具有更低的开发和部署成本，为商业客户提供了更便宜的解决方案。SLM是LLM的精简版本，具有更少的参数和更简单的设计。它们需要更少的数据和训练时间，只需几分钟或几小时。这使得SLM更高效，更易于在小型设备上部署，如手机等，从而降低成本并显著提升响应速度。
SLM的另一个主要优势是其针对特定应用的专业化。SLM专注于特定任务或领域，这使它们在实际应用中更加高效。例如，在情绪分析、命名实体识别或特定领域的问答中，SLM的表现往往优于通用模型。这种定制化使得企业能够创建高效满足其特定需求的模型。同时，SLM在特定领域内也不易出现“幻觉”，因为它们通常在更窄、更有针对性的数据集上训练，这有助于模型学习与其任务最相关的模式和信息。
尽管规模较小，但SLM在某些方面的性能并不逊色于大型模型。微软最新推出的Phi-3.5-mini-instruct仅拥有38亿个参数，但其性能优于Llama3.18B和Mistral7B等参数远高于它的模型。这表明，扩展参数数量并非提高模型性能的唯一途径，使用更高质量的数据训练也可以产生类似效果。
然而，需要注意的是，虽然SLM的专业化是一大优势，但也有其局限性。这些模型可能在其特定训练领域之外表现不佳，缺乏广泛的知识库，和LLM相比无法生成广泛主题的相关内容。这一限制要求用户可能需要部署多个SLM来覆盖不同的需求领域，从而使AI基础设施复杂化。
随着AI领域的快速发展，小模型的标准可能会不断变化。东京小模型初创公司Sakana的联合创始人兼首席执行官David Ha表示，几年前看似庞大的AI模型，现在看来已经显得“适中”。“大小总是相对的。”David Ha说道。这场由SLM引领的革命正在改变人工智能领域的格局，未来将有更多的科技公司选择这条更加经济、高效的发展道路。
