LLM 成本控制：分层与预算

AI 产品的毛利，往往死在看不见的 token 消耗上。

分层路由

简单分类、抽取用轻量模型，复杂推理才用大模型。先分类再路由，比一律用最强模型省下大量成本。

预算硬约束

每次请求设最大 token 数，单用户设日预算。超限时降级或提示，而不是默默烧钱。

缓存

相同问题与相同上下文的回答可以缓存。把用户输入归一化后做键，能命中相当比例的重复请求。

度量

按功能统计 token 用量、成本与成功率。没有这份数据，定价就只能拍脑袋，通常拍低。