🏷️ LLM工程
共 5 个相关内容
📝 文章
LLM护栏不是加个敏感词表:生产环境落地的五层防线
从输入过滤、提示加固、输出校验、工具权限到运行时监控,拆解LLM应用真正可用的护栏体系,附可落地的实现清单。
2026/9/28提示缓存怎么省下70%成本:架构、陷阱与选型
提示缓存是2026年最被低估的降本手段。讲清KV缓存复用的原理、命中条件、常见失效原因,以及与RAG、路由的组合策略。
2026/9/28Prompt 缓存与批处理实战:把大模型账单砍掉70%的三个技巧
2026年大模型成本优化的核心不再是选便宜的模型,而是用好Prompt缓存、批处理API和上下文精简。本文给出可量化的实操方案和踩坑经验。
2026/4/26Agent评测为什么总是自我感觉良好:从「答对」到「没做坏事」的三层评测
用LLM当裁判、用准确率当指标,得到的高分在实践中屡屡翻车。本文提出结果层、过程层、代价层三层评测框架,并给出可直接落地的用例设计与采样策略。
2026/4/26提示词缓存命中率上不去?这7个隐藏杀手正在偷偷烧钱
很多团队接了Anthropic/DeepSeek/Kimi的缓存能力后,账单只降了10%而不是80%。本文拆解提示词缓存命中的真正判定条件,给出7类常见失效原因和可直接套用的排查清单。
2026/10/27