阿里云：揭秘大模型评测：如何用“说明书”式方法实现业务场景下的精准评估

大模型Agent评测数据集建设：从冷启动到持续优化

本文系统介绍大模型Agent评测数据集的构建方法，涵盖冷启动、热启动和持续优化三个阶段，帮助建立科学的数据集建设体系。

一、冷启动数据集：从零构建评测基准

1.1 定义与特点

冷启动数据集是在缺乏历史交互数据时构建的初始评测集，具有以下特征：

• 数据空白期：无真实用户交互记录，需人工或合成数据填补
• 场景覆盖优先：需人工定义核心业务场景及边界
• 质量不稳定：初期依赖生成数据，需多次迭代优化

1.2 构建方法

人工专家设计

• 领域专家手工标注核心用例
• 优点：高准确性，强业务对齐
• 缺点：成本高，更新频率低

大模型生成

• 使用Few-shot提示生成多样化案例
• 需配合人工筛选和prompt优化

混合生成策略

1. 人工设计核心样本（枚举并覆盖所有关键意图）
2. 基于核心样本设计专用prompt
3. 大模型批量生成变体样本
4. 人工审核确保质量

1.3 典型应用场景

• 新业务上线初期
• 模型切换验证
• 安全合规测试

二、热启动数据集：基于业务数据的增强评测

2.1 数据来源升级

• 历史请求日志：解析线上历史访问数据
• 实时双跑流量：接入线上流量记录结果但不输出
• 预训练迁移：复用相似领域数据集

2.2 质量优化策略

分布调整

• 过采样小场景数据
• 调整损失函数权重
• 引入F1等关注小样本的指标

技术适配

• 针对RAG架构设计知识检索测试集
• 为MCP工作流构建端到端评测案例（可引入sandbox 隔离运行环境）

三、迭代优化数据集：持续演进的质量引擎

3.1 动态更新机制

Bad Case驱动

• 收集用户负面反馈（如点踩的QA）
• 标注形成回归测试集（案例：华为云“一线战地助手”）

自动化增强

• AI评测：微调专用评估模型

3.2 多维评估体系

• 功能维度：意图识别准确率、知识召回率
• 性能维度：响应延迟、吞吐量
• 安全维度：敏感词检测、伦理合规