jinbay無料で相談する

AIエンジニアの面接対策

社外にデータを出せない環境での LLM の構成|推論サーバーと GPU 見積もりの面接対策

製造業や金融など、データを社外に出せない会社で LLM を動かす設計問題を解説します。オープンウェイトのモデルの推論サーバー、GPU のメモリと台数の見積もり方、閉じたネットワークでの運用まで扱います。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

製造業、金融、医療、官公庁の案件では、「社外のサービスにデータを出せない」という条件がよく付きます。この場合、商用 LLM の API は使えず、公開されているモデル(オープンウェイトのモデル)を自社の環境で動かすことになります。

FDE(顧客の現場に入って導入を担うエンジニア)や MLOps の職種では、この構成を設計させる問題がよく出ます。この記事では、推論サーバーの構成と、GPU の見積もり方を中心に解説します。

問題の例

従業員5,000名の製造業の会社で、設計部門の技術文書を検索して答える仕組みを作りたい。データは社外に出せず、社内のデータセンターのネットワークはインターネットにつながっていない。同時に使う人は多くて50人ほど。どう構成しますか。

1. まず聞き返す

聞くことなぜ聞くか
「社外に出せない」の範囲国内のクラウドの閉じた区画なら可か、社内の機器に限るか
インターネットへの接続の可否モデルやライブラリの持ち込み方、更新の方法が変わる
用意できる GPU と予算動かせるモデルの大きさが決まる
求める品質の水準商用 LLM の API と同等を期待されているかを確かめ、差を最初に伝える
同時に使う人数と、1回の入力・出力の長さGPU の台数の見積もりに使う
運用する人の体制障害時に誰が対応するか。構成の複雑さの上限が決まる

公開されているモデルは、同じ規模の商用の最上位モデルと比べると、難しい推論で差が出ることがあります。この差を最初に共有し、評価データで「業務に足りるか」を確かめる段取りを提案すると、現場を知っている印象を与えられます。

2. 全体の構成

  1. 推論サーバー:vLLM などの推論サーバーでモデルを動かす。複数の要求をまとめて処理する仕組み(continuous batching)や、KV キャッシュのメモリを効率よく使う仕組みを持つものを選ぶ
  2. 埋め込みと並べ替えのモデル:検索に使うモデルも社内で動かす。生成のモデルより小さく、GPU 1枚で十分なことが多い
  3. ゲートウェイ:認証、利用の記録、流量の制御を受け持つ。アプリからは API の形で呼べるようにしておくと、後でモデルを差し替えやすい
  4. 検索の基盤:ベクトル検索とキーワード検索。構成は社内文書の RAG の設計と同じ
  5. 持ち込みの経路:モデルの重み、コンテナのイメージ、ライブラリを、承認された経路で持ち込み、社内のレジストリに置く

3. GPU の見積もり

面接で一番差がつくのがここです。GPU のメモリは、主に「モデルの重み」と「KV キャッシュ」で埋まります。

モデルの重み

重みのメモリ ≒ パラメータ数 × 1パラメータあたりのバイト数

16ビット(FP16、BF16)なら2バイト、8ビットに量子化すれば1バイト、4ビットなら約0.5バイトです。700億パラメータのモデルなら、16ビットで約140GB、4ビットで約35GB が目安になります。80GB のメモリを持つ GPU なら、16ビットでは2枚以上に分けて載せる(テンソル並列)必要があります。

量子化すればメモリは減りますが、精度が落ちることがあります。業務の評価データで、量子化の前後を比べてから決める、と添えます。

KV キャッシュ

LLM は、生成中に過去のトークンの計算結果(KV キャッシュ)をメモリに保持します。

1トークンあたりの KV キャッシュ ≒ 2(K と V)× 層の数 × KV ヘッドの数 × ヘッドの次元 × バイト数

必要な KV キャッシュ ≒ 1トークンあたりの量 × 1件あたりのトークン数 × 同時に処理する件数

たとえば、層の数80、KV ヘッドの数8、ヘッドの次元128、16ビットのモデルなら、1トークンあたり約0.3MB です。入力と出力を合わせて8,000トークンの要求を20件同時に処理すると、それだけで約50GB になります。RAG では根拠の文書で入力が長くなるので、重みより KV キャッシュのほうが効いてくることもあります。

速さ

1件ずつ生成する場合、1トークンを出すたびに重みをメモリから読み出すため、生成の速さはメモリの帯域で上限が決まります。おおまかには「メモリの帯域 ÷ 重みのバイト数」が、1件あたりの1秒の生成トークン数の上限の目安です。複数の要求をまとめて処理すれば、全体の処理量は増えますが、1件あたりの速さは少し落ちます。

最終的には、想定する入力の長さと同時の件数で負荷試験をして、最初のトークンまでの時間と、1秒あたりのトークン数を測ってから台数を決めます。応答時間の考え方はLLM アプリの費用と応答時間で解説しています。

4. 深掘りの質問と答え方

「インターネットにつながらない環境で、モデルをどう更新しますか」

承認された媒体や中継の区画を通じて持ち込み、ファイルのハッシュ値で改ざんがないことを確かめます。新しいモデルは、本番とは別の環境で評価データを使って比べてから入れ替えます。評価の仕組みはLLM アプリの評価の仕組みへ。

「公開されているモデルなら、どれでも使ってよいですか」

モデルごとに利用規約や使用許諾が異なり、商用での利用や用途に条件が付いているものもあります。法務の確認を経てから選ぶ、と答えます。

「GPU が1枚壊れたら」

テンソル並列で複数枚に分けていると、1枚の故障で全体が止まります。台数に余裕があれば同じ構成をもう1組用意し、ゲートウェイで振り分けます。予算が厳しい場合は、小さなモデルを待機させて、品質を落としてでも止めない、という選択肢を示します。

「混雑したら」

API の場合と違い、上限は GPU の処理能力で決まります。同時に処理する件数に上限を設け、超えた分は待ち行列で待たせます。流量の制御は多くの人が使うときの流量制御で扱っています。

面接官が見ていること

  • 重みと KV キャッシュに分けて、GPU のメモリを見積もれるか
  • 商用 LLM との品質の差を隠さず、評価で確かめる段取りを示せるか
  • 閉じたネットワークでの持ち込み、更新、障害時の運用まで考えているか

インフラやオンプレミスの運用経験がある人には、強みを出しやすい題材です。

まとめ

社外にデータを出せない環境では、オープンウェイトのモデルを推論サーバーで動かし、ゲートウェイを通して使います。GPU は「重み + KV キャッシュ」でメモリを見積もり、負荷試験で台数を決めます。閉じた環境ならではの持ち込みと更新の手順まで話せると、現場で任せられる人だと伝わります。オンプレミスの経験を生成AIの仕事にどうつなげるか迷ったら、ジンベイにご相談ください。

あわせて読みたい