ローカルLLMの構築方法｜ローカルAIサーバーを社内に立てる5ステップ

「動かせた」と「使い続けられる」の間にある差

オープンウェイトのモデルをパソコン1台にダウンロードして動かすだけなら、ソフトウェアを入れて数十分で試せます。技術に詳しい担当者が1人いれば、デモを見せるところまでは意外と早く辿り着きます。問題はそこから先です。社内の複数人が業務で使い続けられる状態にするには、動作確認だけでは足りない工程がいくつも挟まります。

具体的には、複数人が同時に使っても遅くならない処理能力の見積もり、社内のどこからアクセスできるようにするかの経路設計、モデルが古くなったときや障害が起きたときに誰が対応するかの体制づくりです。「動いた」で終わらせず「使い続けられる」まで持っていくための道筋が、この記事のテーマです。ローカルLLMという選択がそもそも自社に向いているかどうかはローカルLLMとは｜社内データを外に出さずに使える3つの業務で、モデル選びの基準はローカルLLMのおすすめモデル｜業務で選ぶ5つの基準で扱っています。この記事では、すでに対象業務と機微度が固まっている前提で、構築そのものの手順に絞って解説します。

構築に入る前に、決まっていてほしいこと

構築作業に着手する前に、次の3点が決まっているかを確認してください。決まっていない場合は、先にローカルLLMとはの記事で整理することをおすすめします。

ローカルAIの構築方法は、この5ステップで進む

着手する順に5つへ整理しました。最初から本番規模を用意する必要はなく、小さく動かして検証してから広げる進め方が現実的です。

GPUメモリの必要量は、着手前に概算できる

ステップ1で最初に詰まるのが機材の規模です。必要なGPUメモリ（VRAM）は、モデルのパラメータ数に1パラメータあたりのバイト数を掛けると、おおよその桁が出ます。1パラメータあたりのバイト数は、16ビットで読み込むなら2バイト、8ビットに量子化するなら1バイト、4ビットなら0.5バイトです。

モデルを載せるぶんだけでは足りません。問い合わせの文脈を保持する作業領域が、同時に使う人数と文脈の長さに比例して増えるため、上の数字に2割から3割の余白を足して見ます。利用者が増えたときは、モデル本体よりこの余白のほうが先に足りなくなります。

構築でつまずきやすい3つの落とし穴

実際の相談で繰り返し出てくる、構築段階特有のつまずきを3つ紹介します。

自前で組める範囲と、支援を受ける範囲の分かれ目

社内のエンジニア1人で自作できないか、という相談も多いです。工程ごとに分けて見ると、自前で届く範囲と止まりやすい範囲は、はっきり分かれています。

分かれ目は、作った本人以外が業務で使い始める段です。ここから先は、技術の作業より権限設計と運用体制づくりが仕事の中心になります。自作で検証まで進めたあと、ステップ4とステップ5だけ支援を受けて社内公開し、以降の運用は社内で引き取る形もよくあります。自社で持つか外部へ委託するかの判断軸は内製と外注の分岐点で整理しました。

実例に見る構築のポイント

ローカルLLMそのものの事例ではなく社内AI・RAGの構築事例ですが、「小さく検証してから広げる」「権限を先に設計する」という進め方は共通しています。実際に支援した2つの事例を紹介します。

社内文書を参照させる設計そのものの考え方は京都の社内AI・RAG構築｜精度と運用を両立する7つの実装ポイントで、自社で持つか外部に委託するかの判断軸はAI開発を外注する前に｜内製との分岐点で扱っています。

費用の考え方

構築段階の費用を左右するのは、用意するGPUの規模、推論基盤のセットアップにかける工数、権限・監視の作り込みの深さの3点です。検証段階はクラウドのGPUインスタンスを時間単位で借りて小さく試し、本番運用の見通しが立ってから自社機材への切り替えを検討する進め方であれば、初期投資を抑えながら手応えを確かめられます。金額は機材構成や対象業務の規模によって大きく変わるため、当社では貴社の想定利用量と機微度をうかがったうえで個別にお見積もりします。

社内でどこまで費用対効果を見込めるかの考え方は、中小企業のAI導入コストとROIで整理しました。業務ごとの投資対効果の目安は、業務別のAI投資対効果をまとめた資料としてお配りしています。

よくある質問

登壇・セミナー実績

開催レポートを読む →

開催レポートを読む →

神戸商工会議所・石川県庁など、各地の商工会議所や自治体でAI活用セミナーに登壇しています。現場で得た知見をもとに、京都の中小企業のAI導入を支援しています。