AIエンジニアへの転身ガイド
モバイルアプリエンジニアから生成AIエンジニアへ|端末上の推論・音声入力で活きる経験
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
生成AIの機能は、Web のチャット画面だけでなく、スマートフォンのアプリにも広がっています。話しかけて操作する、カメラで撮った書類をその場で読み取る、電波の届かない現場でも要約や下書きができる、といった使い方です。
こうした機能を作るには、端末の性能、電池、通信の不安定さ、OS ごとの制約を知っている人が必要です。サーバーの LLM を呼ぶだけでは済まない場面が多く、モバイルの経験がそのまま差になります。この記事では、モバイルアプリの開発者が生成AIの開発に移るときに活きる経験と、足りない経験の埋め方を説明します。
そのまま活きる経験
| これまでの経験 | 生成AIの開発での使われ方 |
|---|---|
| 端末の性能・メモリの制約への対応 | 端末上で小型のモデルを動かすときの、メモリ使用量、発熱、電池消費の管理 |
| オフライン対応とデータ同期 | 通信がないときは端末で処理し、つながったらサーバーの結果と突き合わせる |
| カメラ・マイクの扱い | 画像を送る前の縮小・切り抜き、音声の録音と区切り |
| OS の権限とプライバシー表示 | 音声や写真を端末の外に出すかどうかの設計と、利用者への説明 |
| アプリサイズとストア審査 | 数百MB〜数GBのモデルを、インストール後に追加でダウンロードさせる設計 |
| クラッシュ・性能の計測 | 機種ごとの推論速度や失敗率を集めて、端末で動かすかサーバーに任せるかを決める |
端末上の推論
端末上で動かすモデルは、サーバーで使うものよりずっと小さく、量子化(数値の精度を落として軽くすること)したものを使います。iOS なら Core ML、Android なら LiteRT(旧 TensorFlow Lite)や MediaPipe、両方で使うなら ONNX Runtime が代表的な選択肢です。OS 自体が端末内の LLM を呼び出す API を提供する動きもあります。
実際の開発で問題になるのは、精度よりも次のようなことです。
- メモリ:モデルを読み込んだだけで1〜2GBを使い、他のアプリと合わせて OS に終了させられる
- 発熱:連続で推論すると端末が熱くなり、処理速度が途中から落ちる
- 機種差:同じ処理でも、新しい機種と数年前の機種で速度が数倍違う
アプリの性能改善で Instruments や Android Studio のプロファイラを使ってきた人は、この調整にすぐ入れます。
音声入力
話しかけて使う機能では、音声認識、LLM、音声合成をつなぎます。ここでの課題は、話し終わりをどう判定するか(無音が何ミリ秒続いたら区切るか)、LLM の答えを文単位で区切って順に読み上げ始めるか、利用者が話を遮ったときにすぐ読み上げを止められるか、といった応答の速さに関わる部分です。音声セッションの扱いやバックグラウンドでの録音の制約を知っていることは、そのまま強みになります。
足りない経験と、埋め方
1. Python とサーバー側の LLM の扱い
端末で処理しきれない部分は、サーバーの LLM に任せます。モデルを端末向けに変換したり、精度を測ったりする作業も Python が中心です。Swift や Kotlin で書いてきた人は、まず Python で LLM の API を呼び、出力を JSON に固定し、失敗したら再試行する、という基本を押さえてください。
2. 端末かサーバーかを決める判断
「端末で動かせるか」ではなく「端末で動かすべきか」を説明できることが求められます。判断の材料は、応答の速さ、通信がない環境での必要性、プライバシー、1回あたりの API の費用、そして小型のモデルで十分な精度が出るかどうかです。小型のモデルとサーバーの大きなモデルで、同じ質問への正答率がどれだけ違うかを自分で測ってみると、判断の根拠を持てます。
3. 精度を測る習慣
アプリ開発では、動作確認は手で触って行うことが多いと思います。生成AIでは、質問と正解の組を数十〜数百用意して、変更のたびに正答率を測ります。音声なら、雑音のある環境や方言での認識の失敗を集めておくことも評価データになります。
学ぶ順番
- サーバーの LLM を呼ぶアプリを作る(1〜2週間)。ストリーミングで答えを表示し、通信が切れたときの扱いまで作ります。
- 端末上で小型のモデルを動かす(2〜4週間)。Core ML や MediaPipe で動かし、機種ごとの速度とメモリ使用量を記録します。
- 端末とサーバーを使い分ける(2〜3週間)。短い要約は端末、長い文書はサーバー、といった分岐を作り、正答率と応答時間を比べます。
- 音声で操作できるようにする(2〜4週間)。話し終わりの判定、読み上げの開始の速さ、話を遮ったときの停止まで作ります。
ストアに公開するところまでやると、審査やプライバシー表示の経験も書けます(個人開発の書き方)。
職務経歴書の書き換え例
職務要約
書き換える前 iOS アプリ開発に7年間従事。Swift での開発を担当し、大規模アプリの保守運用を経験。
書き換えた後 月間利用者100万人規模の iOS アプリの開発に7年間携わり、起動時間と電池消費の改善を担当しました。2025年からは個人開発で、端末上で動く小型のモデルによるメモ要約アプリを作り、機種ごとの推論速度を計測して、古い機種ではサーバー処理に切り替える仕組みを入れました。端末の制約を踏まえた生成AIの機能づくりに携わりたいと考えています。
プロジェクトの書き方
書き換える前 写真アップロード機能の改善を担当。
書き換えた後 撮影した写真を送る前に端末で縮小・圧縮する処理を入れ、送信量を約70%減らしました。通信が切れた場合は端末に保存し、再接続時に自動で送り直す設計にしました。
画像を LLM に送る機能でも、送る前の加工と通信の不安定さへの対応はそのまま要ります。こうした経験を「生成AIに使える経験」として書き直してください。
応募先の選び方
- 一般利用者向けの AI アプリ:会話、学習、記録などのアプリで、使い心地と応答の速さが勝負になります。モバイルの経験がいちばん活きます。
- 現場作業向けのアプリを作る会社:工場、建設、物流などの現場で、音声入力や撮影した書類の読み取りを使います。電波が弱い場所での動作が重要です。
- 音声 AI のスタートアップ:電話応対や音声アシスタントなど、応答の速さが製品の質を決める領域です。
- 端末メーカーやデバイス向けの AI 開発:端末上の推論そのものを最適化する仕事で、C++ や性能計測の経験が問われます。
まとめ
- 端末上の推論、オフライン対応、音声入力では、モバイルの経験が直接の強みになる
- 足りないのは、Python とサーバー側の LLM の扱い、端末かサーバーかの判断、精度を測る習慣
- 職務経歴書では、性能、電池、通信の改善を数字で書き、生成AIでの使い道とつなげる
モバイルの経験を評価する生成AIの求人は、Web 中心の求人より見つけにくいことがあります。今の経験に合う応募先を、職務経歴書を見ながら一緒に探します。
