企业级AI API网关实战:语义缓存、敏感词熔断与Token预算治理 先直接说结论如果你负责的平台接了大模型 API且还没有做成本治理那你大概率正在被两股力量夹击——上游按 token 计费的账单越滚越厚下游各类调用方拿同一个 Key 可劲儿刷。所谓“拒绝被薅破产”并不是危言耸听。我主导做过一版企业级 AI API 网关核心就三件事动态语义缓存、敏感词熔断、多租户 Token 预算治理。这套方案部署后我们的 token 总消耗下降了约 38%异常流量导致的日成本峰值压掉了将近一半更重要的是每个租户花了多少、省了多少终于有了明确账本。这篇文章不聊空洞架构只聊实战。我会先用一个真实事故讲清楚为什么网关要做成“财务守卫”再分别拆解三块能力的原理、参数、实现细节和踩坑过程最后给出一份可以直接参考的配置和上线检查清单。适合正在自建 AI 网关的开发者、被大模型账单折磨的产品负责人以及想给自家 AI 应用加一道成本保险的技术团队。1. 为什么说 API 网关是 AI 应用的“财务守卫”1.1 一次真实的“薅羊毛”事故复盘先讲一个发生在我身边的案例。某团队做的是内部员工用的智能问答助手前期几乎没考虑成本治理接入大模型 API 时把 Key 直接放进了前端配置文件后端只做简单转发。内测一周后有人把 Key 抠出来挂在脚本里拿它给非业务场景做批量文本生成。一夜之间账单从日均几十块冲到几千块上游开始限流正常业务跟着抖动。复盘时发现问题不是一个单点造成的。第一Key 一旦泄露任何外部脚本都能绕过产品界面直接调用上游因为网关层面没有租户身份和配额第二大量请求其实是同一类问题的不同表述如果走语义缓存会挡掉相当一部分重复计费第三当异常调用集中爆发时没有一个熔断器切断链路导致风险被成倍放大。这三个坑正好对应我要讲的三个模块。1.2 网关定位从流量转发到成本治理很多团队最初搭 API 网关只是为了做路由和鉴权那时候它像一扇门验完身份就放行。但在 AI 应用里上游模型 API 是“按 token 计费”的每次转发都是在花钱所以网关必须长出成本管理和风险治理的能力。我在实际设计时把网关当成一个四层漏斗入口层做身份识别和参数校验先认人再放行缓存层做语义级去重把“同样的意思”挡在转发之前风险控制层检测请求内容和调用频率异常即熔断配额层按租户、按周期记账超限直接拒绝或降级。每层各守一段组合起来才形成闭环。这也贯穿了整篇文章的思路。传统 API 贵在带宽或算力而 AI 请求哪怕只是一个小小的文本生成也可能消耗几千 token且上游还带并发限制和内容安全风控。网关如果只管转发等于把存折放在门口任人取钱。2. 动态语义缓存让相似提问不再重复烧钱2.1 传统缓存为什么救不了 AI 场景如果只做 KV 缓存智能问答这类场景的命中率低到让人怀疑人生。原因很简单用户几乎不会用完全一样的话提问。“退款多久到账”和“退款的周期是多久啊”字面上完全不同但语义几乎一样。KV 缓存按哈希精确匹配永远撞不上。可对于大模型 API 来说这两句话都会完整走一遍计费流程成本翻倍。动态语义缓存的核心就是把“文本是否相同”变成“语义是否相近”。实现上需要给每条请求的文本内容计算向量表示然后在向量库中检索历史请求的向量用余弦相似度来判断是否命中。只要相似度超过阈值就直接复用历史缓存的回答不再转发上游。听起来不复杂但落地时每一步都有细节。2.2 语义缓存的核心链路与命中逻辑我在网关里实现的完整链路是这样的请求进来后先做参数规整去掉不可用于语义比较的字段比如用户 ID、时间戳、会话编号对规整后的文本做 embedding调用部署在局域网里的轻量向量化模型耗时在毫秒级去向量库做相似度 Top-1 检索同时取出候选记录的元数据比如业务线、版本号如果相似度不低于阈值再校验缓存 TTL 和数据版本通过则直接返回缓存内容如果未命中继续走后续的敏感词检测和配额决策最终转发上游后把结果异步写回缓存。这段链路里有一个容易忽略的点是否允许跨用户命中。如果业务场景是公开知识问答比如产品使用说明跨用户缓存毫无问题命中率会非常高。但如果是涉及个人数据的对话比如查自己的订单就不能让 B 用户命中 A 用户的缓存回答必须按租户、用户做隔离。我见过有团队忽略这点结果用户看到了别人的姓名属于非常严重的线上事故。另外几个细节也要注意缓存命中判定建议做成“高阈值 窄回落”主判定阈值 0.92 以上直接命中没有主命中时再用 0.85 到 0.92 的候选集交给规则判断。但不要轻易降低门槛因为语义相近不等于业务意图一致低阈值会带来答非所问。写缓存要异步不要阻塞请求主链路用可靠消息队列或本地异步队列即可。embedding 模型要固定版本否则换模型后向量空间变化历史缓存全部失效。2.3 关键参数调优与内容安全边界部署语义缓存时我用过一组比较保守的初始参数可以给大家参考参数推荐初始值说明similarity_threshold0.92余弦相似度越高越保守ttl3600 秒长 TTL 适合静态知识短 TTL 适合动态数据embedding 维度768成本与精度平衡Top-K1先只回最高相似候选避免多候选判断复杂度缓存空间上限按租户配额比例防止缓存库无限膨胀敏感内容方面凡是涉及身份证、手机号、邮箱等个人敏感信息的文本我在 embedding 前先用正则脱敏替换成占位符。这样既避免把这些明文写进向量库也避免向量库成为新的隐私存储点。隐私过滤是语义缓存上线前必须做的一道工序不做的话等于把用户对话数据额外存了一份副本合规压力会非常大。2.4 缓存后的一致性风险与处理语义缓存最难的地方不是命中而是“知道什么时候该失效”。比如业务上线了新政策之前缓存的回答已经过时但语义完全匹配命中后用户拿到的是旧答案。我在项目里同时引入两个工具一是带版本号的内容发布机制发布新知识时把相关缓存批量标脏二是按内容类型设置差异化 TTL知识类问题可以长一点涉及价格、时间、政策类的问题必须短甚至不缓存。还有一个常见坑是流式场景。大模型接口如果走 SSE 流式输出网关需要等完整响应结束之后才能把结果写入缓存否则缓存里可能存了一段截断内容。如果网关还需要向客户端重新推流就要在网关层做一个“边转发边攒缓存”的双通道设计否则用户响应延迟会明显增加。这块优化空间很大后面的实战部分我会再给配置思路。3. 敏感词熔断把“风险请求”挡在计费之外3.1 检测链路入口、出口与上下文很多团队理解的敏感词检测就是在请求入口跑一遍关键词字符串匹配命中就返回拒绝。这个思路有作用但远远不够。真实运营中有两类场景必须处理第一某些看似无害的词放在特定上下文里就有风险需要结合规则引擎做组合判断第二上游模型供应商自己也有内容安全策略如果我们让大量风险请求穿透到上游轻则流量被限重则整个 Key 被冻结那才是真正的破产级事故。所以我把敏感词检测放在两个方向入口侧检测 prompt 内容出口侧检测模型返回内容。入口侧的目的是在调用上游之前截住风险出口侧的目的是防止模型生成不合规文本被用户拿到。无论哪一侧触发都要进入“熔断决策”而不是简单处理这一条请求。3.2 熔断器状态机与滑动窗口设计熔断器的核心不是“发现一个敏感词就封禁调用方”而是“发现风险信号达到阈值后在一段时间内临时切断相关流量避免风险大规模放大”。我使用类似熔断器的三态模型关闭状态一切正常请求按正常链路转发但每次检测结果都会写入滑动窗口日志开启状态滑动窗口内风险计数达到阈值网关进入熔断对符合条件的请求直接返回预设提示或降级文案不再消耗上游 token半开状态熔断开启后每隔一段时间放少量请求过去探测如果风险计数恢复正常逐步恢复流量否则继续熔断。滑动窗口我用的是时间分段计数。以 60 秒窗口为例拆成 12 个 5 秒小桶每 5 秒移动一次窗口只保留最近 12 个小桶的计数。这样内存占用恒定不会随着时间线性膨胀也避免固定窗口在边界刷新时被绕过。触发阈值必须结合业务类型来定。我一开始定为“10 秒内 3 次敏感命中即熔断”上线后发现有些正常业务会连续上传多条包含个人信息的文本被判命中后误伤。后来调整为按风险级别分级红色级比如严重违禁内容2 次就触发黄色级比如一般敏感词15 秒内 10 次才触发并且不同租户可以覆盖默认值。3.3 熔断触发后的降级与恢复策略熔断不是简单的“拒绝”好的降级策略能把用户体验损失降到最低。我在熔断后提供三个动作选项拒绝请求返回固定安全提示把请求降级到规则引擎的预置答案对部分场景直接返回缓存平台提供的默认内容。选哪个取决于请求类型。闲聊类请求可以降级到预设回答但涉及直接业务办理的请求必须拒绝并提示用户稍后再试避免用错误答案误导用户。恢复策略上强烈建议不要做“时间一到全部放开”而是半开状态按比例放量。初始探测放行 10% 的流量观察 30 秒如果窗口内风险计数为 0再提高到 50%再观察全部正常后才关闭熔断。每次放量都要把探测结果落到监控看板上否则你根本不知道恢复过程中业务是不是又在出问题。从 0% 到 100% 的爬坡过程其实比熔断本身更能体现一个团队的风控成熟度。4. 多租户 Token 预算治理把每一分钱花在明处4.1 多租户场景下的预算模型当网关服务的不是一个团队而是多个业务线或外部客户时成本治理就变成了多租户问题。每个租户都有各自的 token 配额有按月给的有按日给的超了要限临近到期要通知。如果只做一个全局限流一个租户的异常流量会吃掉所有租户的成本账单分摊时也会扯皮。我用的预算模型是三层租户维度、应用维度、单用户维度。租户维度是最高层总额度比如某个客户当月购买 1000 万 token应用维度是租户内部的子项目避免一个应用把全租户额度打光单用户维度做频率限制防止个别用户无限循环调用。三层叠加以后大部分“薅羊毛”场景在到达上游计费接口之前就被掐掉了。4.2 实时配额统计的实现思路实时配额统计的基础是计数器。用 Redis 的 INCR 和 EXPIRE 就能实现按天的 token 累计关键点在于用 Lua 脚本保证原子性避免并发扣减时超卖。我举个例子某租户当天的 token 配额是 500 万每次请求动态估算出消耗 token 数包括 prompt 和预计最大补全数网关先做预扣等上游返回真实 token 消耗后再做校正。# 伪代码Redis Lua 原子扣减示例 script local key KEYS[1] local spend tonumber(ARGV[1]) local limit tonumber(ARGV[2]) local current tonumber(redis.call(get, key) or 0) if current spend limit then return -1 end redis.call(incrby, key, spend) redis.call(expire, key, ARGV[3]) return current spend 预扣的值怎么估算通用做法是取模型的 max_tokens 作为补全上限再加 prompt 的预估 token 数加在一起作为本次请求的“最大成本”。虽然看起来保守但保证了预算不超支。真实消耗返回后再把差额还回预算池这也叫“两阶段配额”机制。4.3 预警、超额处理与成本分摊预算治理不能只看执行还要有预警。我在每个租户的消耗达到额度的 70%、90%、100% 时分别触发三级通知70% 是邮件告警90% 是群机器人告警100% 则自动执行超额策略。超额策略在配置里可选拒绝请求、降级到低成本模型或者放行但额外计费。默认推荐“拒绝请求”因为降级到别的模型可能引入不可控的质量差异需要业务方明确认可后才能启用。成本分摊这件事传统 API 网关很少考虑但在 AI 场景特别重要。上游账单是按账号整体出的如果没有租户维度的 token 账本财务侧根本没法把成本分摊到具体业务线。我们的做法是网关侧按请求维度记录租户、应用、token 数、模型、缓存是否命中每小时汇总一次落到数据表月底自动生成账单。这样每个租户消耗了多少、缓存帮他们省了多少都能看得一清二楚。5. 从配置到落地一套可复用的网关实战经验5.1 网关整体架构与组件选型把前面三块能力组装起来网关的整体架构大致是接入层负责负载均衡网关核心负责路由、鉴权、动态语义缓存、敏感词熔断、配额治理上游适配层统一协议、管理重试和超时可观测层负责日志、指标、追踪。数据组件按需选型Redis 用来做配额计数和熔断窗口向量库用来存语义向量监控体系负责采集指标日志系统存请求全景。有一点要提醒不要把语义缓存、熔断器和配额逻辑打成一个大泥球。我早期把逻辑全揉在一个服务里改一个功能要全量回归非常痛苦。后来拆成独立的中间件链每个中间件只负责一件事通过上下文传递业务对象。缓存、熔断、配额都是可开关的插件不同租户可以走不同策略。这不仅让代码可控也让排查边界更清晰。5.2 核心配置示例与字段说明下面给一份我实际用过的简化配置字段都加了说明。YAML 并不代表某个具体商用产品配置它更多是一种可复现的结构你可以照搬到自己的配置中心。gateway: chain: - auth - semantic_cache - sensitive_detect - quota_guard semantic_cache: enabled: true embedding_model: local-embedding-service vector_store: type: pgvector index: hnsw similarity_threshold: 0.92 ttl_seconds: 3600 privacy_filter: enabled: true masks: - phone - id_card - email cross_tenant: false sensitive_detect: enabled: true sliding_window: buckets: 12 bucket_size_seconds: 5 rules: - level: critical trigger_count: 2 window_seconds: 30 action: reject - level: warning trigger_count: 10 window_seconds: 15 action: fallback quota_guard: enabled: true redis: prefix: quota two_phase: true limits: - tenant: tenant-a daily_tokens: 5000000 warn_at: [0.7, 0.9] overage: reject这份配置里有几个细节值得展开。第一语义缓存的 cross_tenant 设为 false意味着向量检索时先按租户过滤避免跨租户串数据。第二敏感词熔断的 critical 只触发 2 次这是针对高风险级别的极度保守设置宁可误伤也不冒险。第三quota_guard 的 warn_at 是数组表示按照 70% 和 90% 两档发送预警。配置要放在动态配置中心而不是写进代码因为调阈值和开关策略线上验证是最快的方式。5.3 上线前后的检查清单上线前的检查清单按三个模块分别梳理语义缓存确认隐私脱敏规则覆盖所有个人敏感字段确认不同租户不能互相命中确认 embedding 模型版本固定并记录在元数据里准备缓存批量清除命令发布新知识时能一键标脏。敏感词熔断先拿历史日志回放检查所有命中样本人工确认是否存在大量误伤把熔断动作接入告警而不是静默拒绝确认半开探测比例和时间参数和上游供应商的内容安全策略对齐知道对方的阈值大概在什么水平。配额治理初始化每个租户的基线额度确认预扣和校正的异步任务有重试机制把月底账单生成逻辑提前测试准备一套租户超限仲裁流程免得跨团队沟通时没有依据。上线后的第一天我会盯三个指标缓存命中率、熔断触发次数、配额拒绝次数。命中率低于 10%说明语义阈值过高或场景不合适要考虑调低阈值或检查 embedding 质量熔断触发频繁说明检测规则过敏感要及时回放样本修正配额拒绝次数偏高则可能是某个租户的预估消耗偏差太大需要调整 max_tokens 预扣策略。再说说我在实际运营里慢慢体会到的几个点。第一这三套机制单独拎出来都不难难的是它们之间的优先级。从我的经验看预算治理优先于缓存缓存优先于熔断因为如果预算本身失控缓存再能省也是杯水车薪熔断主要保护上下游健康防止一次性事故变成长期风险。第二动态语义缓存的收益比大多数团队想象中来得更快但前提是你愿意花时间去调阈值、做隐私隔离否则上线后很容易因为内容错配或隐私问题灰溜溜回滚。第三网关治理不是一个静态项目更像随着业务持续演进的基础设施。每次上游模型改价、每个新租户接入、每条新的风险规则出现都需要重新看一遍开关和阈值。我踩过很多坑最深的教训就是不要试图一次到位先用保守参数跑起来再逐步放开比一次性调优要稳得多。