DaaS基盤をLLMの検証環境へ広げる ─ GPUのSpotインスタンスを追加して始める

 公開 2026-11-16

既存のDaaSプラットフォームにGPUのSpotインスタンスを追加し、自己ホスト型LLMのテストを始める。ネットワークと運用機能の再利用、Ollamaとモデルの配置、検証の追加費用を抑えるAWS構成を紹介する。

自己ホスト型LLMを試したくても、必要な性能や使い方が分からない段階で専用の機器を購入するのは難しい。 すでにAWS上にDaaSの基盤があれば、そのネットワークと運用の仕組みを使い、GPUのSpotインスタンスを追加して検証を始められる。 本稿では、既存のDaaSプラットフォームを広げ、Ollamaでモデルを動かして手元のPCからテストできる状態にした構成を紹介する。

1. DaaSの基盤を、次の検証にも使う

ブラウザで起動する自分専用デスクトップでは、AWS上のデスクトップを必要な時間だけ起動する構成を紹介した。 そこには、デスクトップ以外にも使える部品がある。プライベートサブネット、外向きの通信経路、EC2の起動・停止、操作権限、ログの収集である。

今回は、この基盤にGPUを持つEC2を並べた。Terraformで管理する既存の構成に追加するため、ネットワークや運用の入口を一から組み立てる必要がなかった。 利用目的は翻訳や文章整理を自己ホスト型LLMへ任せられるかを調べることだが、まず必要なのは、それを試せる環境である。

範囲
DaaSから引き継ぐもの
今回追加・拡張したもの
ネットワーク
VPC、プライベートサブネット、外向きの通信経路
LLMのAPIへ接続するポート転送
計算資源
EC2を構成管理し、必要時に起動・停止する方式
GPUのSpotインスタンスとGPU対応AMI
実行するソフトウェア
起動時にセットアップする仕組み
Ollamaの導入、モデルの復元
運用
管理画面、対象を絞った操作権限、ログ収集
GPUの監視など、検証で必要になった表示・計測

再利用したのはデスクトップの画面ではなく、計算資源を用意し、使い、止め、状態を確認するためのAWS基盤である。 今回も管理機能の拡張は行っており、すべてが設定追加だけで済んだわけではない。それでも、LLM専用の管理基盤を別に作る必要はなかった。

既存のDaaS基盤のプライベートサブネットに、デスクトップEC2とGPUのSpotインスタンスを並べる。共通の管理画面から両方を起動停止し、ログとメトリクスをCloudWatchで確認する。手元のPCからGPUのOllama APIへはSession Managerのポート転送で接続する。
既存の運用基盤に、LLMを実行するEC2を追加する

2. GPUの上で何を動かすのか

採用したのは、Tesla T4を搭載した g4dn.xlarge のSpotインスタンスである。 Deep Learning AMIを使い、Ollamaをインスタンスへ直接導入した。構築時にはGPUの認識と、OllamaがCUDAでT4を利用することを確認している。

Ollamaは、学習済みのモデルを管理し、推論を実行してAPIを提供するソフトウェアである。 入力に応じた文章を生成するのは、Ollamaから読み込まれたLLMであり、GPUはその計算を担う。

要素
この環境での役割
手元のPC
テスト入力を送り、結果を受け取る
Ollama
モデルの管理と実行、HTTP APIの提供
学習済みモデル
入力に応じた文章の生成
GPU
モデルの推論に必要な計算
EBS
OS、ソフトウェア、実行に使うモデルの保存

この役割分担にしておけば、モデルを試す作業と、AWS基盤を管理する作業を分けられる。 OllamaのChat APIにはモデル名とメッセージを渡す。接続する側は、GPUを直接操作する必要がない。

3. APIを公開せず、手元から接続する

DaaS記事のデスクトップにはVPN経由で接続した。今回必要なのはOllamaのAPIへの接続なので、Session Managerのポート転送を使う。 手元のPCの localhost:11434 を、EC2上のOllamaへつなぐ。推論APIをインターネットへ公開する入口は作っていない。

Session Managerを使うには、EC2側のSSM Agent・権限・サービスへの通信経路と、PC側の認証・接続ツールが必要になる。 単にプライベートサブネットへ置けば使えるのではなく、既存の管理用接続を利用できることが、着手を軽くした条件である。

管理画面でEC2を起動する操作と、PCから推論APIを呼ぶ経路は別である。 APIへの接続までをブラウザのボタンだけで完結させた構成ではない。 接続方式の選び方は、VPC内リソースへの接続方法を選ぶで整理している。

4. モデルの取得を、GPUの起動から切り離す

モデルは数GB単位のデータになる。検証用EC2から毎回外部の配布元へ取りに行くと、GPUを動かしたままダウンロードを待つことになる。 また、既存のDaaS用NATインスタンスに、大きなモデルの転送まで集中させたくない。

そこで、モデルを取得する工程と、GPUで実行する工程を分けた。

  1. VPC外のCodeBuildでOllamaを動かし、ollama pull でモデルを取得する。
  2. 取得したモデルの保存領域をS3へ同期する。
  3. EC2の初回セットアップで、S3からEBSへモデルを復元する。
  4. Ollamaからモデルが見えることを確認し、APIで推論を試す。
VPC外のCodeBuildが配布元からモデルを取得しS3へ保存する。プライベートサブネットのGPUインスタンスはS3ゲートウェイエンドポイント経由でモデルをEBSへ復元し、Ollamaから読み込んで実行する。
モデルの取得・保管と、GPUによる実行を分ける

EC2からS3への転送は、S3ゲートウェイエンドポイントを通す。この経路ではNATを通らず、ゲートウェイエンドポイント自体の追加料金も発生しない。 Ollamaなどのソフトウェアを外部から取得する通信まで、すべてS3経由になるわけではない。

今回の環境では、保存領域をコピーして復元したモデルが一覧に現れ、推論にも使えることを確認した。 この確認は使用した環境での結果であり、Ollamaの異なる版でも内部の保存形式に互換性があることまで保証するものではない。

モデルをS3へ分けることで、モデルを追加するたびに専用AMIを作る運用も避けられた。 既存のDeep Learning AMIと初回セットアップを使い、今回のためのカスタムAMIは作成していない。

5. 検証のための追加費用を小さくする

低コストで始められた理由は、Spotの割引だけではない。 既存の基盤を使って重複する設備と構築作業を減らし、GPUを必要な時間だけ動かすことを組み合わせている。

費用を抑える判断
この構成での扱い
専用機器の購入を先送りする
必要な性能が分かるまでは、GPUの利用時間に応じて支払う
DaaS基盤を共用する
PoC専用のVPCや管理ポータルを新設しない
Spotを使う
空き容量を利用する割引と引き換えに、中断や起動できない可能性を受け入れる
作業後に停止する
管理画面から止め、GPUのインスタンス利用料が発生する時間を絞る
モデル取得を別工程にする
外部からの取得にはCodeBuildを使い、GPUの用途を実行・評価へ寄せる

停止しても、EBSやS3にデータを保持する料金は残る。CodeBuild、ログ・メトリクス、通信、共用するネットワークにも費用がある。 GPUの追加費用と、プラットフォーム全体の費用は分けて見る必要がある。既存基盤がない場合は、その構築費用と運用費用から考えることになる。

Spotは、実行時刻を調整でき、中断後にやり直せる検証に合わせた選択である。 常時応答が必要なサービスへ、そのまま採用できるという結論ではない。 モデルの復元先を用意したことも、進行中の生成や評価結果を自動で保存することとは別である。

運用では「停止」と「終了」も区別する。永続的なSpotリクエストで作ったインスタンスを廃止するときは、リクエストの取り消しとインスタンスの終了を組み合わせる。 今回の管理機能も、この後始末を扱うようにした。 既存の起動・停止の考え方は、EC2インスタンスの稼働管理の運用画面例で確認できる。この画面はDaaSのモックであり、今回のLLM環境へ接続するものではない。

6. テストを開始できるところまで整えた

2026年11月の構築では、最初のモデル1個をS3へ置くCodeBuildの工程が約3分、EC2の初回UserDataが約1分30秒だった。 EC2の起動からcloud-initの完了までは約186秒である。これらは各自動処理の所要時間であり、設計や実装を含む総作業時間ではない。

確認したこと
確認できた状態
GPUの利用
T4が認識され、OllamaがCUDAで利用した
モデルの復元
S3から復元したモデルをOllamaが認識した
PCからの接続
Session Managerのポート転送でAPIを呼べた
推論の実行
テスト入力に対する文章が返り、評価を開始できた
運用状態の把握
管理画面でログとメトリクスを確認できた

管理画面では、CPU・メモリ・ネットワーク・EBSに加え、GPUの使用率、メモリ使用率、温度、電力を確認できるようにした。 既存のDaaSの運用画面から、検証中のGPUインスタンスの状態も追える。

DaaS管理画面のモニタリングタブ。CPU・メモリ、GPU使用率・GPUメモリ使用率、GPU温度・電力、ネットワーク・EBSの8つの時系列グラフを表示している。
GPUインスタンスのモニタリング実画面。2026年11月15日15時02分取得、表示期間は1時間。

これは、構築後にテストを始めた時間帯の表示例である。短時間の推論負荷はグラフの集計間隔によって見えにくくなるため、この画像だけで処理能力や余力を判断することはできない。

初回セットアップの完了後にも、モデルをメモリへ読み込む待ち時間はある。 また、初回構築にかかった時間を、停止後の通常の起動時間と混同してはいけない。 今回示せたのは、既存基盤の上に、接続・実行・観測ができる検証環境を用意できたことである。

Ollamaへモデルを入れることと、業務用の用語辞書や資料を使わせることも別の作業になる。 今後は、モデルと指示による基本品質を調べ、必要に応じて外部の辞書や資料を検索して入力へ加えるRAGなどを検討する。 これらの追加機能や、クラウドAIから処理を振り分ける運用は、今回の環境構築だけで完成したものではない。

7. まとめ

設計判断
得られたこと
DaaS基盤にGPUのEC2を追加する
ネットワークと運用の入口を再利用して、検証に着手できた
接続経路を用途に合わせる
推論APIを公開せず、PCからテストできた
モデルの保管と実行を分ける
GPUとは別にモデルを取得し、EC2へ復元できた
Spotと起動・停止を組み合わせる
専用機器を購入する前に、稼働時間を絞って試せるようになった

DaaSプラットフォームを整備した効果は、デスクトップを利用できることに加え、次の検証に必要な計算資源を追加しやすいことにもある。 今回、その基盤で自己ホスト型LLMのテストを始められた。 Mac miniなどのローカルデバイスを用意するか、Spotを使う運用を組むかは、これから性能・品質・費用・使い方を測って判断する。

出典

AWS: Spot Instances (2026-11-16 確認)
AWS: Manage your Spot Instances (2026-11-16 確認)
AWS: Start a session (2026-11-16 確認)
AWS: Run commands with user data (2026-11-16 確認)
Ollama: API Introduction (2026-11-16 確認)
Ollama: Generate a chat message (2026-11-16 確認)
Ollama: Local FAQ (2026-11-16 確認)
Ollama: Modelfile Reference (2026-11-16 確認)
Ollama: Embeddings (2026-11-16 確認)