自己ホスト型LLMを試したくても、必要な性能や使い方が分からない段階で専用の機器を購入するのは難しい。 すでにAWS上にDaaSの基盤があれば、そのネットワークと運用の仕組みを使い、GPUのSpotインスタンスを追加して検証を始められる。 本稿では、既存のDaaSプラットフォームを広げ、Ollamaでモデルを動かして手元のPCからテストできる状態にした構成を紹介する。
1. DaaSの基盤を、次の検証にも使う
ブラウザで起動する自分専用デスクトップでは、AWS上のデスクトップを必要な時間だけ起動する構成を紹介した。 そこには、デスクトップ以外にも使える部品がある。プライベートサブネット、外向きの通信経路、EC2の起動・停止、操作権限、ログの収集である。
今回は、この基盤にGPUを持つEC2を並べた。Terraformで管理する既存の構成に追加するため、ネットワークや運用の入口を一から組み立てる必要がなかった。 利用目的は翻訳や文章整理を自己ホスト型LLMへ任せられるかを調べることだが、まず必要なのは、それを試せる環境である。
再利用したのはデスクトップの画面ではなく、計算資源を用意し、使い、止め、状態を確認するためのAWS基盤である。 今回も管理機能の拡張は行っており、すべてが設定追加だけで済んだわけではない。それでも、LLM専用の管理基盤を別に作る必要はなかった。
2. GPUの上で何を動かすのか
採用したのは、Tesla T4を搭載した g4dn.xlarge のSpotインスタンスである。
Deep Learning AMIを使い、Ollamaをインスタンスへ直接導入した。構築時にはGPUの認識と、OllamaがCUDAでT4を利用することを確認している。
Ollamaは、学習済みのモデルを管理し、推論を実行してAPIを提供するソフトウェアである。 入力に応じた文章を生成するのは、Ollamaから読み込まれたLLMであり、GPUはその計算を担う。
この役割分担にしておけば、モデルを試す作業と、AWS基盤を管理する作業を分けられる。 OllamaのChat APIにはモデル名とメッセージを渡す。接続する側は、GPUを直接操作する必要がない。
3. APIを公開せず、手元から接続する
DaaS記事のデスクトップにはVPN経由で接続した。今回必要なのはOllamaのAPIへの接続なので、Session Managerのポート転送を使う。
手元のPCの localhost:11434 を、EC2上のOllamaへつなぐ。推論APIをインターネットへ公開する入口は作っていない。
Session Managerを使うには、EC2側のSSM Agent・権限・サービスへの通信経路と、PC側の認証・接続ツールが必要になる。 単にプライベートサブネットへ置けば使えるのではなく、既存の管理用接続を利用できることが、着手を軽くした条件である。
管理画面でEC2を起動する操作と、PCから推論APIを呼ぶ経路は別である。 APIへの接続までをブラウザのボタンだけで完結させた構成ではない。 接続方式の選び方は、VPC内リソースへの接続方法を選ぶで整理している。
4. モデルの取得を、GPUの起動から切り離す
モデルは数GB単位のデータになる。検証用EC2から毎回外部の配布元へ取りに行くと、GPUを動かしたままダウンロードを待つことになる。 また、既存のDaaS用NATインスタンスに、大きなモデルの転送まで集中させたくない。
そこで、モデルを取得する工程と、GPUで実行する工程を分けた。
- VPC外のCodeBuildでOllamaを動かし、
ollama pullでモデルを取得する。 - 取得したモデルの保存領域をS3へ同期する。
- EC2の初回セットアップで、S3からEBSへモデルを復元する。
- Ollamaからモデルが見えることを確認し、APIで推論を試す。
EC2からS3への転送は、S3ゲートウェイエンドポイントを通す。この経路ではNATを通らず、ゲートウェイエンドポイント自体の追加料金も発生しない。 Ollamaなどのソフトウェアを外部から取得する通信まで、すべてS3経由になるわけではない。
今回の環境では、保存領域をコピーして復元したモデルが一覧に現れ、推論にも使えることを確認した。 この確認は使用した環境での結果であり、Ollamaの異なる版でも内部の保存形式に互換性があることまで保証するものではない。
モデルをS3へ分けることで、モデルを追加するたびに専用AMIを作る運用も避けられた。 既存のDeep Learning AMIと初回セットアップを使い、今回のためのカスタムAMIは作成していない。
5. 検証のための追加費用を小さくする
低コストで始められた理由は、Spotの割引だけではない。 既存の基盤を使って重複する設備と構築作業を減らし、GPUを必要な時間だけ動かすことを組み合わせている。
停止しても、EBSやS3にデータを保持する料金は残る。CodeBuild、ログ・メトリクス、通信、共用するネットワークにも費用がある。 GPUの追加費用と、プラットフォーム全体の費用は分けて見る必要がある。既存基盤がない場合は、その構築費用と運用費用から考えることになる。
Spotは、実行時刻を調整でき、中断後にやり直せる検証に合わせた選択である。 常時応答が必要なサービスへ、そのまま採用できるという結論ではない。 モデルの復元先を用意したことも、進行中の生成や評価結果を自動で保存することとは別である。
運用では「停止」と「終了」も区別する。永続的なSpotリクエストで作ったインスタンスを廃止するときは、リクエストの取り消しとインスタンスの終了を組み合わせる。 今回の管理機能も、この後始末を扱うようにした。 既存の起動・停止の考え方は、EC2インスタンスの稼働管理の運用画面例で確認できる。この画面はDaaSのモックであり、今回のLLM環境へ接続するものではない。
6. テストを開始できるところまで整えた
2026年11月の構築では、最初のモデル1個をS3へ置くCodeBuildの工程が約3分、EC2の初回UserDataが約1分30秒だった。 EC2の起動からcloud-initの完了までは約186秒である。これらは各自動処理の所要時間であり、設計や実装を含む総作業時間ではない。
管理画面では、CPU・メモリ・ネットワーク・EBSに加え、GPUの使用率、メモリ使用率、温度、電力を確認できるようにした。 既存のDaaSの運用画面から、検証中のGPUインスタンスの状態も追える。

これは、構築後にテストを始めた時間帯の表示例である。短時間の推論負荷はグラフの集計間隔によって見えにくくなるため、この画像だけで処理能力や余力を判断することはできない。
初回セットアップの完了後にも、モデルをメモリへ読み込む待ち時間はある。 また、初回構築にかかった時間を、停止後の通常の起動時間と混同してはいけない。 今回示せたのは、既存基盤の上に、接続・実行・観測ができる検証環境を用意できたことである。
Ollamaへモデルを入れることと、業務用の用語辞書や資料を使わせることも別の作業になる。 今後は、モデルと指示による基本品質を調べ、必要に応じて外部の辞書や資料を検索して入力へ加えるRAGなどを検討する。 これらの追加機能や、クラウドAIから処理を振り分ける運用は、今回の環境構築だけで完成したものではない。
7. まとめ
DaaSプラットフォームを整備した効果は、デスクトップを利用できることに加え、次の検証に必要な計算資源を追加しやすいことにもある。 今回、その基盤で自己ホスト型LLMのテストを始められた。 Mac miniなどのローカルデバイスを用意するか、Spotを使う運用を組むかは、これから性能・品質・費用・使い方を測って判断する。
