🏷️ 安全
共 11 个相关内容
🧭 导航
GPT-Red
OpenAI 推出的红队安全评估 AI 模型,专门用于自主发现 LLM 系统中的漏洞与 Prompt 注入攻击,提升 AI 系统安全性。
Promptfoo
开源的 LLM 应用评测与红队工具,用 YAML 写测试用例批量跑模型对比,能自动扫描提示注入与越狱并接入 CI 卡住回归。
📝 文章
MCP 安全最佳实践指南:保护你的 AI 工具链
MCP 协议让 AI 能操作数据库、文件系统、API,安全不容忽视。本文从权限控制、沙箱隔离、审计追踪等维度,全面讲解 MCP 安全配置。
2026/5/9人在回路设计:AI Agent该在哪些节点停下来问人?
全自动Agent风险高,全人工又失去意义。本文给出HITL的四种模式、触发条件设计、审批界面实践,帮Agent安全落地。
2026/9/21AI Agent 护栏上线实录:从「全裸奔」到「有刹车」的四个阶段
很多团队把 Agent 直接连生产数据库就上线了,出事只是时间问题。本文给出一套可落地的护栏(Guardrails)分期方案,从只读沙箱到灰度放量,讲清每一阶段该拦什么、拦在哪一层。
2026/10/6Computer-Use Agent 的安全红线:当 AI 学会操作你的电脑
能控制鼠标键盘、操作任意软件的 Computer-Use Agent 是最强大也最危险的 Agent 形态。本文梳理真实攻击面、被忽视的风险,以及企业在放行前必须做的防护。
2026/10/6把用户数据喂给 AI 之前:一份工程师视角的合规自查清单(2026 版)
不要在踩了坑之后才想起合规。本文从工程实施角度梳理 AI 应用的数据合规要点:训练与推理的数据边界、供应商合同里的四个关键条款、PII 脱敏的实际做法、跨境传输的真实风险,附一份可直接用于评审的 20 项清单。
2026/4/26Agent 的安全底线不在模型,在工具权限:一份最小暴露面设计清单
给 Agent 接上真实工具之后,风险从「说错话」变成「做错事」。本文用最小权限、分级确认、数据边界与失控熔断四条原则,给出可直接落地的检查清单。
2026/10/25Agent越权事件复盘启示:权限设计的四个默认原则
Agent误删数据、误发邮件、越权访问的根因往往不是模型失控,而是权限授予得太随意。本文给出最小权限、写前确认、能力隔离、可追溯四个默认原则及实现方式。
2026/4/26自研 MCP Server 上线前必须过的 12 项检查
把内部系统暴露成 MCP Server 给 Agent 用,风险远大于写个 API。这份清单覆盖工具描述、参数校验、幂等、权限边界、超时与日志,逐条可勾选,附反例代码。
2026/4/26AI工具授权弹窗为什么没人看:把权限确认做成一次有效决策
Agent 越权事故大多不是权限没设,而是确认按钮被用户一路点过。本文拆解确认弹窗失效的四种成因,给出「分级授权 + 可撤销 + 后果预览」的三件套设计与落地清单。
2026/4/26