Evidently AI
🧠

Evidently AI

开源的 LLM 与机器学习可观测平台,把评测当测试跑,监控线上回答质量并在漂移、幻觉率超标时告警。

🧠 模型 🆓 免费增值 ★★★★★
访问官网
✓ 优点
  • 开源可用,指标覆盖广
  • 把评测变成可持续跑的测试
  • 对传统 ML 与 LLM 都适用
  • 结果可视化清晰,方便汇报
! 缺点
  • 指标多,选哪些需要经验
  • 深层原因分析仍要人工看样本
✦ 核心功能
  • 100+ 内置评测指标
  • 线上流量采样与监控面板
  • 数据与语义漂移检测
  • 测试套件接入 CI
  • 支持自托管与云服务

简介

模型上线不是终点。Evidently 做的事情是把「质量」变成可观测指标:每次发布前后跑测试,线上持续采样,异常时告警。

核心功能

  • 评测指标:相关性、幻觉、毒性、格式合规等
  • 漂移检测:输入分布变了、检索片段变了都能发现
  • 监控面板:按时间看质量曲线与失败样本
  • 测试套件:写进 CI,PR 阶段就拦下质量回退
  • 部署形态:开源自托管或使用其云平台

适合谁

  • 维护 RAG 或对话产品的工程与算法团队
  • 需要向业务方证明「这次改动没让效果变差」的人
  • 传统 ML 模型也要监控的数据团队

使用建议

从两三个和业务强相关的指标开始(比如引用正确率、拒答率),把评测集固定在版本库里,再逐步扩展,否则很容易陷入指标海洋。