在探索生成式人工智能应用的广阔领域中，亚马逊云科技近期分享了一系列关于如何有效评估这些创新应用的最佳实践与工具，为行业树立了新的标杆。
生成式AI应用，尽管为企业带来了前所未有的创新机遇，但同时也伴随着一系列风险与挑战。一个引人瞩目的案例是，某企业在2024年迅速部署了一款基于大语言模型的客服机器人，却因模型“幻觉”问题——即错误地对已过保质期产品做出退货承诺，而遭遇了过度承诺的困境。这一实例凸显了对生成式AI应用进行全面评估的重要性。
评估生成式AI应用时，企业需综合考虑质量、延迟、成本和置信度四大关键维度。延迟方面，不同应用场景对响应速度的要求各异；成本则涵盖人力与金钱投入；而置信度则聚焦于评估结果的准确性及剩余风险的可接受程度。
当前，评估方法主要涵盖人工检查、启发性指标、AI评估和性能评估四种。人工检查虽直接但成本高且难以扩展；启发性指标基于规则，采用如F1分数等传统指标，但评估维度有限；AI评估利用大模型评估另一模型，灵活且可自定义，但可能引入模型偏见且成本高昂；性能评估则专注于模型的推理延迟和成本。
亚马逊云科技推出的Bedrock Model evaluation服务，专为评估大模型和生成式AI应用而设计。该服务不仅提供预制和自定义数据集选项，还支持自动化评估（基于规则、传统模型或大模型）与人工评估（自建团队或托管服务）。通过预设和自定义指标，用户可轻松获取评估结果。自动化评估涵盖准确性、稳健性和毒性三大维度，而大模型评估则进一步细化为连贯性、完整性、有用性等12个维度。人工评估则侧重于创意和写作风格等方面。
针对检索增强生成（RAG）模型，评估可涵盖知识检索的覆盖率和相关性，以及生成结果的连续性、完整性和有用性等指标。同时，开源框架ReGGAs也为RAG模型评估提供了有力支持。
智能体（Agent）模型的评估更为复杂，需从端到端任务完成度、工具使用正确性、有效性和推理规划准确性等多个角度进行考量。端到端评估关注用户输入与Agent输出之间的任务完成情况，而组件级别评估则分别针对Agent的工具使用、知识检索（RAG）和推理规划等组件进行评估。
即便进行了全面评估，为确保万无一失，Bedrock的Gatekeeper Drill服务可作为最后一道安全防线。该服务通过设置过滤器防止Prompt注入攻击，检测话题相关性并屏蔽不相关内容，识别个人身份信息和敏感信息，设置黑名单，以及判断回复的相关性和幻觉性等，有效降低了潜在风险。
为了持续增强对生成式AI应用的信心，企业需要定期进行离线评估，并持续跟进。亚马逊云科技的CageMaker也支持基于开源框架FMEVO的模型评估，为RAG和Agent模型评估提供了更多选择。LongFils和DPV等开源方案也在线评估模型并生成报告，为企业提供了更多评估工具。
亚马逊云科技通过Bedrock Model evaluation服务及其他解决方案，为企业提供了从数据集、评估方法、指标到安全防护的全面指导，助力企业在构建生成式AI应用时实现创新与风险管控的平衡。
