jinbay無料で相談する

AIエンジニアの面接対策

多くの人が使うときの流量制御|LLM API の上限と混雑をさばく設計の面接対策

LLM の API には、1分あたりのリクエスト数やトークン数の上限があります。全社や多数の顧客が使うときに、上限の中で公平に、止まらずに動かす設計を面接の流れで解説します。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

試作のうちは問題にならなかったのに、全社に公開した初日に「エラーが出て使えない」と言われる。LLM アプリでよく起きる事故です。原因の多くは、LLM の API に設けられた流量の上限です。

通常の Web API の流量制御と考え方は似ていますが、LLM には「1件ごとの重さがトークン数で大きく違う」「1件の処理が数秒から数十秒かかる」という違いがあります。この記事では、その違いを踏まえた設計を解説します。

問題の例

社員1万人が使う社内の AI アシスタントと、夜間に大量の文書を要約する処理が、同じ商用 LLM の API を使っている。朝の始業時刻に利用が集中し、API から上限超過のエラーが返って利用者が使えなくなる。どう設計し直しますか。

1. まず聞き返す

聞くことなぜ聞くか
API の上限の種類と値(1分あたりのリクエスト数、トークン数)どちらの上限に先に当たっているかで、対策が変わる
時間帯ごとの利用の山の大きさ待たせて平らにできるか、上限そのものを上げる必要があるか
用途ごとの急ぎ度合い対話は数秒で返す必要があり、夜間の要約は待たせてよい
部署や顧客ごとに公平さが要るか一部の大量利用で他の人が使えなくなるのを防ぐか
複数のリージョンや、別のモデルに切り替えられるか逃がし先があるかどうか

LLM の API の多くは、リクエスト数とトークン数の両方に上限があります。長い文書を扱う処理では、リクエスト数に余裕があってもトークン数の上限に先に当たります。ここを確かめずに「リクエスト数で制限します」と答えると、論点を外します。

2. 全体の構成

アプリと LLM の API の間に、呼び出しを集約する層(ゲートウェイ)を置きます。各アプリが直接 API を呼ぶのをやめ、上限の管理をこの層に集めます。

トークン数で数える

ゲートウェイは、トークン数を単位にしたトークンバケット(一定の速さで使える量が補充され、使うたびに減る仕組み)で流量を管理します。

  1. 呼び出しの前に、入力のトークン数と、出力の上限トークン数から、使う量を見積もって確保する
  2. 応答が返ったら、実際に使った量との差を戻す
  3. 確保できなければ、すぐにエラーにせず待ち行列に入れる

出力の長さは事前に分からないので、出力の上限を必ず指定しておくことが、見積もりの前提になります。

用途で分けた待ち行列

用途扱い
対話(利用者が画面で待っている)優先度を高くする。数秒待っても確保できなければ、混雑を伝えるか小さなモデルに切り替える
夜間の一括処理優先度を低くする。空いている分だけ使い、上限に近づいたら止まって待つ
外部の顧客向けの機能契約ごとに使える量を割り当てる

一括処理に使える量の上限を決めておけば、夜間の処理が朝まで長引いても、対話の分が食われることはありません。

公平さ

部署や顧客ごとに、使える量の割り当てを持たせます。1人の利用者が長い文書を何十件も投げ続けても、他の人の分が残るようにします。

3. 上限超過のエラーが返ったとき

上限の管理をしていても、API 側の混雑などで上限超過のエラー(HTTP 429)は返ってきます。

  • すぐに再送しない:応答に再試行までの待ち時間が示されていれば従う。なければ、待ち時間を倍々に延ばし(指数バックオフ)、ばらつき(ジッター)を加える。全員が同じ間隔で再送すると、また同時に集中する
  • 再送の回数に上限を設ける:対話では、数回失敗したら利用者に伝える
  • 逃がし先を用意する:別のリージョンや、同等の別のモデルに切り替える。切り替え先で品質が変わる場合は、評価データで事前に確かめておく
  • エラーが続くときは一時的に止める:失敗が一定の割合を超えたら、しばらく呼び出しを止めて(サーキットブレーカー)、API とこちらの両方の負荷を下げる

4. 深掘りの質問と答え方

「上限を上げてもらえば済むのでは」

上限の引き上げは申請しますが、それだけに頼らない、と答えます。引き上げには時間がかかることがあり、上限を上げても利用の伸びや突発的な集中は起きます。また、上限まで使えるということは、費用もそこまで膨らむということです。費用の考え方はLLM アプリの費用と応答時間で扱っています。

「待ち行列で待たせると、利用者がしびれを切らして何度も送信します」

画面で待ち状態を表示し、送信ボタンを押せないようにします。同じ利用者から同じ内容が続けて来たら、ゲートウェイでまとめます。

「自社の GPU で動かしている場合も、同じですか」

考え方は同じですが、上限が API の契約ではなく、GPU の処理能力で決まります。同時に処理できる件数と、溜まった待ち行列の長さを見て制御します。構成の詳細は社外にデータを出せない環境での LLM の構成で解説しています。

「どの数字を監視しますか」

用途ごとの待ち時間、上限超過のエラーの数、確保したトークン数と実際の使用量の差、切り替え先に逃がした件数を見ます。監視の全体像はLLM アプリの運用監視へ。

面接官が見ていること

  • リクエスト数だけでなく、トークン数の上限を意識しているか
  • 急ぎの対話と、待たせてよい処理を分けて扱えるか
  • 再送が集中を悪化させる仕組みを理解しているか

SRE やバックエンドで流量制御、待ち行列、障害時の切り替えを扱った経験は、この題材でそのまま評価されます。

まとめ

LLM の流量制御は、呼び出しを1か所に集め、トークン数を単位に量を確保し、用途ごとの優先度と割り当てで公平に分けることが基本です。上限超過のエラーには、間隔を空けた再送、逃がし先、一時停止で備えます。インフラの経験を生成AIの面接でどう話すか迷ったら、ジンベイにご相談ください。

あわせて読みたい