← 全部文章

TPM / RPM

API 容量规划:先明确 RPM、TPM 与峰值需求

让企业 API 容量讨论更具体的一份实用清单。

两种指标,不同问题

RPM 描述每分钟请求数,TPM 描述每分钟 Token 数。上游限制可能区分 Token 类型与作用范围,需要结合实际项目确认。

先描述工作负载

说明应用场景、平均与峰值请求速率、典型输入输出长度、并发和目标部署区域。每月用量无法单独说明短时间内的突发流量。

明确商务边界

确认可承诺的容量、用量计量方式,以及需求超过协议范围时如何处理。讨论供应前先审核服务来源与授权。

准备有代表性的样本

代表性负载能让规划更具体。请使用合成或脱敏示例,不要提交 API 凭证或客户机密记录。

延伸阅读:上游限流文档。实际限制请始终结合当前项目核验。