Promptfoo
🧠

Promptfoo

开源的 LLM 应用评测与红队工具,用 YAML 写测试用例批量跑模型对比,能自动扫描提示注入与越狱并接入 CI 卡住回归。

🧠 模型 🆓 免费增值 ★★★★★
访问官网
✓ 优点
  • 开源可用,本地跑零成本
  • 把「提示词改了好不好」变成可量化的回归测试
  • 红队模块把安全测试拉进日常开发流程
  • 多模型对比看板直观,选型时特别有用
! 缺点
  • 需要先想清楚评测维度,写用例有设计成本
  • 模型评分类断言仍有成本与波动
  • 非工程师使用门槛偏高
✦ 核心功能
  • 用 YAML 声明式写测试用例,覆盖多条断言
  • 支持 50+ 模型与提供商的横向对比
  • 内置红队攻击库:提示注入、越狱、数据泄露
  • 断言方式丰富:包含、相似度、模型评分、JavaScript 自定义
  • 可在 CI 中运行,提示词改动失败即阻断合并

简介

Promptfoo 解决的是 Prompt 工程里最朴素也最难的问题:改了一句话,究竟变好了还是变坏了?

凭肉眼感觉是极不可靠的——你在三条输入上试了觉得更好,另外三十条可能已经悄悄退化。Promptfoo 的做法是把评测写成测试用例:给定输入,用一组断言(包含某关键词、相似度阈值、模型打分、自定义 JS 逻辑)判断输出是否达标,跑一遍就能给出通过率,还能和多模型、多版本提示词横向对比。

核心功能

  • 声明式用例:YAML 里写输入、期望与断言,版本可管理
  • 多模型对比:同一批用例同时打给多个模型,看成本、延迟与正确率
  • 丰富断言:字符串匹配、语义相似、LLM 打分、JavaScript 断言、Python 断言
  • 红队测试:内置数百种攻击策略,自动扫描提示注入、越狱与敏感信息泄露
  • CI 集成:在 PR 中跑评测,指标下降则阻断合并
  • 可视化报告:本地网页看板展示每条用例的结果差异

一条最小的评测

prompts:
  - "总结这段文字:{{text}}"
providers:
  - openai:gpt-4o-mini
  - anthropic:claude-3-5-haiku-latest
tests:
  - vars:
      text: "……"
    assert:
      - type: contains
        value: "关键结论"
      - type: llm-rubric
        value: "总结不超过三句话,且不臆造事实"

价格

  • 开源 CLI 与网页 UI 免费
  • 云端企业版提供团队协作、共享报告与持续红队扫描

优缺点

优点:

  • 把 Prompt 迭代变成有据可依的工程活动
  • 多模型对比对选型帮助极大
  • 红队能力使安全测试不再是上线前的临时动作

缺点:

  • 用例设计需要投入思考
  • LLM 打分有成本与不确定性
  • 面向工程团队,非技术同学上手较难