AIエンジニアの面接対策
多くの人が使うときの流量制御|LLM API の上限と混雑をさばく設計の面接対策
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
試作のうちは問題にならなかったのに、全社に公開した初日に「エラーが出て使えない」と言われる。LLM アプリでよく起きる事故です。原因の多くは、LLM の API に設けられた流量の上限です。
通常の Web API の流量制御と考え方は似ていますが、LLM には「1件ごとの重さがトークン数で大きく違う」「1件の処理が数秒から数十秒かかる」という違いがあります。この記事では、その違いを踏まえた設計を解説します。
問題の例
社員1万人が使う社内の AI アシスタントと、夜間に大量の文書を要約する処理が、同じ商用 LLM の API を使っている。朝の始業時刻に利用が集中し、API から上限超過のエラーが返って利用者が使えなくなる。どう設計し直しますか。
1. まず聞き返す
| 聞くこと | なぜ聞くか |
|---|---|
| API の上限の種類と値(1分あたりのリクエスト数、トークン数) | どちらの上限に先に当たっているかで、対策が変わる |
| 時間帯ごとの利用の山の大きさ | 待たせて平らにできるか、上限そのものを上げる必要があるか |
| 用途ごとの急ぎ度合い | 対話は数秒で返す必要があり、夜間の要約は待たせてよい |
| 部署や顧客ごとに公平さが要るか | 一部の大量利用で他の人が使えなくなるのを防ぐか |
| 複数のリージョンや、別のモデルに切り替えられるか | 逃がし先があるかどうか |
LLM の API の多くは、リクエスト数とトークン数の両方に上限があります。長い文書を扱う処理では、リクエスト数に余裕があってもトークン数の上限に先に当たります。ここを確かめずに「リクエスト数で制限します」と答えると、論点を外します。
2. 全体の構成
アプリと LLM の API の間に、呼び出しを集約する層(ゲートウェイ)を置きます。各アプリが直接 API を呼ぶのをやめ、上限の管理をこの層に集めます。
トークン数で数える
ゲートウェイは、トークン数を単位にしたトークンバケット(一定の速さで使える量が補充され、使うたびに減る仕組み)で流量を管理します。
- 呼び出しの前に、入力のトークン数と、出力の上限トークン数から、使う量を見積もって確保する
- 応答が返ったら、実際に使った量との差を戻す
- 確保できなければ、すぐにエラーにせず待ち行列に入れる
出力の長さは事前に分からないので、出力の上限を必ず指定しておくことが、見積もりの前提になります。
用途で分けた待ち行列
| 用途 | 扱い |
|---|---|
| 対話(利用者が画面で待っている) | 優先度を高くする。数秒待っても確保できなければ、混雑を伝えるか小さなモデルに切り替える |
| 夜間の一括処理 | 優先度を低くする。空いている分だけ使い、上限に近づいたら止まって待つ |
| 外部の顧客向けの機能 | 契約ごとに使える量を割り当てる |
一括処理に使える量の上限を決めておけば、夜間の処理が朝まで長引いても、対話の分が食われることはありません。
公平さ
部署や顧客ごとに、使える量の割り当てを持たせます。1人の利用者が長い文書を何十件も投げ続けても、他の人の分が残るようにします。
3. 上限超過のエラーが返ったとき
上限の管理をしていても、API 側の混雑などで上限超過のエラー(HTTP 429)は返ってきます。
- すぐに再送しない:応答に再試行までの待ち時間が示されていれば従う。なければ、待ち時間を倍々に延ばし(指数バックオフ)、ばらつき(ジッター)を加える。全員が同じ間隔で再送すると、また同時に集中する
- 再送の回数に上限を設ける:対話では、数回失敗したら利用者に伝える
- 逃がし先を用意する:別のリージョンや、同等の別のモデルに切り替える。切り替え先で品質が変わる場合は、評価データで事前に確かめておく
- エラーが続くときは一時的に止める:失敗が一定の割合を超えたら、しばらく呼び出しを止めて(サーキットブレーカー)、API とこちらの両方の負荷を下げる
4. 深掘りの質問と答え方
「上限を上げてもらえば済むのでは」
上限の引き上げは申請しますが、それだけに頼らない、と答えます。引き上げには時間がかかることがあり、上限を上げても利用の伸びや突発的な集中は起きます。また、上限まで使えるということは、費用もそこまで膨らむということです。費用の考え方はLLM アプリの費用と応答時間で扱っています。
「待ち行列で待たせると、利用者がしびれを切らして何度も送信します」
画面で待ち状態を表示し、送信ボタンを押せないようにします。同じ利用者から同じ内容が続けて来たら、ゲートウェイでまとめます。
「自社の GPU で動かしている場合も、同じですか」
考え方は同じですが、上限が API の契約ではなく、GPU の処理能力で決まります。同時に処理できる件数と、溜まった待ち行列の長さを見て制御します。構成の詳細は社外にデータを出せない環境での LLM の構成で解説しています。
「どの数字を監視しますか」
用途ごとの待ち時間、上限超過のエラーの数、確保したトークン数と実際の使用量の差、切り替え先に逃がした件数を見ます。監視の全体像はLLM アプリの運用監視へ。
面接官が見ていること
- リクエスト数だけでなく、トークン数の上限を意識しているか
- 急ぎの対話と、待たせてよい処理を分けて扱えるか
- 再送が集中を悪化させる仕組みを理解しているか
SRE やバックエンドで流量制御、待ち行列、障害時の切り替えを扱った経験は、この題材でそのまま評価されます。
まとめ
LLM の流量制御は、呼び出しを1か所に集め、トークン数を単位に量を確保し、用途ごとの優先度と割り当てで公平に分けることが基本です。上限超過のエラーには、間隔を空けた再送、逃がし先、一時停止で備えます。インフラの経験を生成AIの面接でどう話すか迷ったら、ジンベイにご相談ください。
