API 容量规划:先明确 RPM、TPM 与峰值需求
让企业 API 容量讨论更具体的一份实用清单。
两种指标,不同问题
RPM 描述每分钟请求数,TPM 描述每分钟 Token 数。上游限制可能区分 Token 类型与作用范围,需要结合实际项目确认。
先描述工作负载
说明应用场景、平均与峰值请求速率、典型输入输出长度、并发和目标部署区域。每月用量无法单独说明短时间内的突发流量。
明确商务边界
确认可承诺的容量、用量计量方式,以及需求超过协议范围时如何处理。讨论供应前先审核服务来源与授权。
准备有代表性的样本
代表性负载能让规划更具体。请使用合成或脱敏示例,不要提交 API 凭证或客户机密记录。
延伸阅读:上游限流文档。实际限制请始终结合当前项目核验。