7月6日 02:00阅读时长 1 分钟

账单写着 token，但钱到底花在哪个功能上？

总账单不会告诉你哪个流程最烧钱、哪个用户一直亏。把成本落到一次任务和一次调用上，才知道该优化哪里。

按任务核算 LLM 成本可观测性封面

供应商账单能告诉你花了多少钱，却通常不能告诉你哪个产品流程创造了这笔费用。要做优化，必须把用量归属到一次可识别的用户任务。

为每次调用补齐归属

记录任务 ID、功能、租户、环境、模型版本、输入输出 token、缓存 token、重试和工具成本。不要把用户正文写进成本表；使用内部标识并与敏感数据分库存放。

一次任务可能包含检索、多个模型调用和失败重试。把这些 span 聚合到 task ID，再和任务成功、人工修正及收入指标关联；平均值之外要看 P50、P95 和最贵的异常任务。

优先处理无限重试、重复上下文、过长输出、低缓存命中和开发流量误入生产模型。只有在任务质量不下降时，换小模型或压缩提示词才算节省。

写作、抽取、长推理和高频客服，要的不是同一种模型。成本、延迟、隐私和稳定性摆在一起，答案通常不是一个名字。

GPU、运维、推理优化和宕机都会算进账里。自托管该不该做，不看口号，得先把自己的调用量和人力成本算出来。