简介
Opik 要回答的是上一个非常具体的问题：线上这个 Agent 为什么答错了？ 这个问题在 demo 阶段可以靠打印日志糊过去，一旦进入生产、每天几万次调用，就必须有结构化的追踪与可复现的评测。
它把两件事放在一个平台里：一边是追踪——每次请求的检索、工具调用、模型输入输出全都串成一条链；另一边是评测——把这些真实调用沉淀成数据集，用规则或 LLM 评审员打分，回归时能立刻看出哪个版本退化了。
核心能力
- 全链路 Trace：一次用户提问下所有 LLM 调用、工具执行与检索结果都可展开查看
- 数据集与实验：把线上坏 case 一键加入数据集，改完 prompt 跑一遍对比通过率
- 自动评分器：支持精确匹配、语义相似、自定义 Python 评分器与 LLM-as-a-judge
- 护栏与监控：对输出做在线检查，超阈值告警
- 提示词管理：提示词按版本管理，配合实验定位是哪个改动带来的效果变化
适合谁用
- 正在把 Agent 推向生产的团队：需要能复现问题、能证明改动有效的工具
- 有合规要求的企业：不希望把调用日志交给第三方 SaaS，用自托管部署
- 做 RAG 的工程团队：检索召回与最终答案的落差需要分段衡量
使用建议
- 先接追踪再接评测：没有真实调用数据，评测集就是凭空捏造
- 坏 case 当天入库：用户投诉的问题应直接变成评测样本，否则同样的坑会反复踩
- 评分器分层：能用规则判定的（格式、必含字段、拒答边界）别用 LLM 判，省钱且稳定
- 只对关键链路全量追踪：全量追踪成本高，核心路径全采、长尾路径采样即可
