简介
模型上线不是终点。Evidently 做的事情是把「质量」变成可观测指标:每次发布前后跑测试,线上持续采样,异常时告警。
核心功能
- 评测指标:相关性、幻觉、毒性、格式合规等
- 漂移检测:输入分布变了、检索片段变了都能发现
- 监控面板:按时间看质量曲线与失败样本
- 测试套件:写进 CI,PR 阶段就拦下质量回退
- 部署形态:开源自托管或使用其云平台
适合谁
- 维护 RAG 或对话产品的工程与算法团队
- 需要向业务方证明「这次改动没让效果变差」的人
- 传统 ML 模型也要监控的数据团队
使用建议
从两三个和业务强相关的指标开始(比如引用正确率、拒答率),把评测集固定在版本库里,再逐步扩展,否则很容易陷入指标海洋。