API 容量計画：RPM、TPM、ピーク需要から始める
企業の API 容量について、具体的に話し合うためのチェックリスト。
異なる二つの指標
RPM は毎分のリクエスト数、TPM は毎分のトークン数を表します。制限はトークン種類や範囲で異なる場合があり、実際のプロジェクトで確認が必要です。
ワークロードを記録する
用途、平均・ピーク頻度、入出力の長さ、同時実行、展開地域を共有してください。月間利用量だけでは短時間の急増は分かりません。
商取引の境界を決める
合意可能な容量、計測方法、需要が契約を超えた場合の対応を確認します。供給の議論の前に供給元と権限を確認します。
代表的なサンプルを用意する
代表的な負荷は議論を具体化します。合成または匿名化した例を使い、認証情報や顧客の機密記録を送らないでください。
参考：提供者の制限に関する公式文書。現在の制限を実際のプロジェクトで確認してください。