简介
Promptfoo 解决的是 Prompt 工程里最朴素也最难的问题:改了一句话,究竟变好了还是变坏了?
凭肉眼感觉是极不可靠的——你在三条输入上试了觉得更好,另外三十条可能已经悄悄退化。Promptfoo 的做法是把评测写成测试用例:给定输入,用一组断言(包含某关键词、相似度阈值、模型打分、自定义 JS 逻辑)判断输出是否达标,跑一遍就能给出通过率,还能和多模型、多版本提示词横向对比。
核心功能
- 声明式用例:YAML 里写输入、期望与断言,版本可管理
- 多模型对比:同一批用例同时打给多个模型,看成本、延迟与正确率
- 丰富断言:字符串匹配、语义相似、LLM 打分、JavaScript 断言、Python 断言
- 红队测试:内置数百种攻击策略,自动扫描提示注入、越狱与敏感信息泄露
- CI 集成:在 PR 中跑评测,指标下降则阻断合并
- 可视化报告:本地网页看板展示每条用例的结果差异
一条最小的评测
prompts:
- "总结这段文字:{{text}}"
providers:
- openai:gpt-4o-mini
- anthropic:claude-3-5-haiku-latest
tests:
- vars:
text: "……"
assert:
- type: contains
value: "关键结论"
- type: llm-rubric
value: "总结不超过三句话,且不臆造事实"
价格
- 开源 CLI 与网页 UI 免费
- 云端企业版提供团队协作、共享报告与持续红队扫描
优缺点
优点:
- 把 Prompt 迭代变成有据可依的工程活动
- 多模型对比对选型帮助极大
- 红队能力使安全测试不再是上线前的临时动作
缺点:
- 用例设计需要投入思考
- LLM 打分有成本与不确定性
- 面向工程团队,非技术同学上手较难