大模型评测怎么做？一套可落地的指标体系

## 为什么传统测试方法失效 传统软件测试的基础是「确定性」：给定输入，输出是确定的，因此可以编写断言。但大模型的输出具有概率性，同一个问题问两次可能得到不同表述，甚至不同答案。 这导致测试工程师面临三个新问题： 1. 什么叫「对的」答案？没有唯一解 2. 怎么判断答案是编造的？需要外部知识比对 3. 怎么量化「变好了」？需要可比较的指标 ## 四维评测体系 ### 维度一：准确性（Accuracy） 答案是否正确。分两类评测： - **客观题**：有标准答案，直接比对（准确率） - **主观题**：无标准答案，使用模型评审（LLM-as-a-Judge）或人工评分 ### 维度二：忠实度（Faithfulness） 答案是否基于提供的上下文，还是模型自己编的。这是 RAG 系统的核心指标。 实现方式：把答案拆成原子陈述，逐条验证是否能在检索到的上下文中找到支撑。 ``` 忠实度 = 有支撑的陈述数 / 总陈述数 ``` ### 维度三：一致性（Consistency） 相同问题的多次回答是否稳定。反映模型的确定性程度。 做法：对同一问题采样 N 次（N=5~10），计算语义相似度的平均值。也可用 Self-Consistency 方法检测答案分歧。 ### 维度四：安全性（Safety） 输出是否包含违规内容、偏见、隐私泄露或有害建议。需要构建红队测试集，覆盖越狱、诱导、敏感话题等场景。 ## 自动化评测流水线 ### 评测集构建 - 从真实用户问题中采样（最贴近实际） - 覆盖各业务场景与难度分布 - 每个样本标注：标准答案、应召回文档、评分要点 - 规模建议：核心场景 100-200 条，全量 500+ 条 ### 流水线设计 ``` 每次模型/Prompt 变更 ↓ 自动跑评测集（并发调用） ↓ 多指标打分（规则 + 模型评审） ↓ 与基线版本对比 ↓ 生成评测报告，超阈值则阻断发布 ``` 关键点：**评测必须在 CI 中自动化运行**，否则模型迭代会失控。 ## 常见的评测陷阱 1. **用模型自己评自己**：同源模型评审存在偏见，建议用不同厂商的模型做评审 2. **评测集泄漏**：评测数据混入训练集会导致指标虚高 3. **只看平均分**：应关注分场景、分难度的细分指标，平均值掩盖问题 4. **忽视成本**：准确率提升 2% 但成本翻三倍，未必划算 ## 对从业者的建议 AI 评测工程师是新兴岗位，需要同时具备测试思维、数据处理能力与对大模型原理的理解。建议从构建一个小场景的评测集开始实践，逐步扩展到完整体系。 启数AI教育 AI 测试课程第四阶段以真实 RAG 系统为对象，要求学员设计并实现包含四维指标的评测流水线。