评测驱动的 AI 开发

AI 功能的质量改进，必须能被度量，否则只是换着说法调参。

建评测集

从真实日志里抽样，覆盖常见问题、边界情况和失败案例。规模不必大，但要能代表真实分布。

评分方式

客观任务用精确匹配或规则校验，主观任务用评分量表，必要时人工标注。混合使用比单一方式可靠。

回归门槛

每次改动跑评测，低于基线不允许合并。把评测接入 CI，才能防止悄悄退化。

线上指标

离线评测之外，还要看采纳率、重试率和投诉率。离线分数高但用户不用，说明评测集偏离了真实需求。