所有文章
阅读时长 1 分钟
别把业务绑死在一家模型厂商身上
模型价格、限额和表现都会变。给关键流程留出路由和 fallback，不是为了追热点，而是为了某天出问题时还有路可走。
网关的价值不是把所有厂商参数强行抹平，而是让业务拥有统一的鉴权、观测和切换边界，同时保留模型特有能力。
先定义内部任务接口
业务传入任务类型、数据等级、延迟目标和预算，路由层再选择模型。不要让页面直接依赖某个厂商的模型名，也不要把所有响应压成只有 text 的最低公分母。
fallback 只处理可替代失败
限流、短暂网络错误和区域故障可以切换；安全拒答、无效输入和业务校验失败不应换模型碰碰运气。切换时还要处理不同上下文长度、工具协议和结构化输出能力。
路由规则必须可验证
为每条规则记录命中原因、实际模型、延迟、成本和质量结果。先影子流量，再小比例放量；出现质量回退时能立即固定到已知版本。
上线前检查
- 敏感数据不会路由到未批准区域
- fallback 不会重复产生副作用
- 路由变更可回放并快速撤销
