京都の社内AI・RAG構築｜精度と運用を両立する7つの実装ポイント
社内の規定やマニュアルを読み込ませたAIを作ってはみたものの、質問のたびに答えがぶれる。京都の企業のDX推進担当・情シス担当の方から、当社にはこの相談が繰り返し寄せられます。画面が動くところまでは、いまの開発環境ならそれほど時間はかかりません。精度を決めているのは、AIに読ませる前の文書整理と、公開前の評価のしかたです。この記事では、対象業務の絞り込みから評価・運用体制の設計まで、社内AI・RAG構築の実装ポイントを7つの順序で解説します。読み終えたときに、自社は何から着手すべきかを決められる状態を目指しました。
- 回答精度が安定しないとき、原因が集まる3か所
- 着手順に整理した7つの実装ポイント（業務の絞り込みから運用体制まで）
- 公開してから効いてくる3つの注意点（コスト・誤回答・担当者の交代）
- 京都・関西での構築事例と、そこで精度を分けた判断
- 費用の考え方と、相談の多い質問への回答
京都で「社内文書に答えるAI」の相談が増えている理由
ChatGPTのような生成AIは、一般に公開された知識には答えられますが、自社の就業規則も、製品ごとの仕様書も、過去の見積根拠も知りません。そこで使われるのがRAG（検索拡張生成）です。質問を受けると社内文書を検索し、見つかった文章を根拠にして回答を組み立てる仕組みで、社内問い合わせの一次対応や、ベテランしか答えられない照会業務の受け皿として導入が進んでいます。
京都では、少人数で総務・経理・情シスを兼務している中小企業や、会員からの照会に定型的な回答を返している業界団体からの相談が目立ちます。人を増やさずに問い合わせ対応の負荷を下げたい、という動機はどこも共通しています。
ところが、実際に動かしてみると「思ったような回答が返らない」「同じ質問なのに答えが変わる」という壁にぶつかります。原因はAIモデルの性能ではなく、その手前にある文書の整理と評価の工程を飛ばしたことにあるケースがほとんどです。
精度が安定しないとき、原因は3か所に集まる
精度が出ないという相談を分解していくと、原因はたいてい次の3か所のどれかにあります。
| よくある進め方 | その結果、何が起きているか |
|---|---|
| フォルダの文書をまとめて読み込ませる | 関係のない文脈まで一緒に検索され、回答の焦点がぼやける。古い規定と新しい規定が同居していれば、どちらを根拠にするかもAI任せになる |
| 用意した数問のデモで判断する | 整えた質問では良く見えても、現場が使う言い回しや表記のゆれが入った瞬間に当たらなくなる |
| 公開したあと触らなくなる | 元の文書が改訂されても参照先は古いままで、誤った回答を返し続ける。誰も気づかないまま数か月が過ぎる |
設計を飛ばして公開した場合
- 質問ごとに精度がばらつく
- 現場が数週間で使わなくなる
- 古い情報のまま誤回答が残る
7つのポイントを押さえた場合
- 評価セットで精度の変化を数値で追える
- 現場の担当者が自分で手を入れられる
- 文書を更新すれば回答も切り替わる
精度の低いまま社内に公開すると、「うちの業務にAIは使えない」という評価が先に定着します。その後どれだけ改善しても、一度離れた現場はなかなか戻ってきません。最初の公開でどこまで作り込むかは、技術の問題であると同時に、社内の期待値をどう扱うかの問題でもあります。
導入全般でのつまずき方は中小企業のAI導入の失敗事例に、RAGに絞った失敗パターンはRAG構築の失敗7事例にまとめています。次章では、これらを避けるための手順を見ていきます。
社内AI・RAG構築で外せない7つの実装ポイント
着手する順に7つへ整理しました。最初からすべてを完璧にする必要はありません。ただしどれを飛ばすと後戻りが大きいかは知っておいたほうがよく、特に1と2は後から取り返しがききません。
対象業務を1つに絞り、合格ラインを数字で決める
「何でも答えられるAI」を目標にすると、精度の評価基準まで決まらなくなります。総務への問い合わせの一次回答、社内規定の検索、見積根拠の照会。まずどれか1つに絞り、現場からよく来る質問のうち何割に正しく答えられれば合格かを、着手前に決めておきます。この数字が後の工程すべての判断基準になります。
参照させる文書を棚卸しし、意味のまとまりで分割する
読み込ませる文書を洗い出し、失効した規定や重複した資料を先に外します。そのうえで、文書を検索できる単位に分割します（チャンク化）。章や条文の切れ目を無視して機械的に文字数で切ると、質問と関係のある一文と関係のない一文が同じ塊に入り、検索の精度が頭打ちになります。分割設計の具体例はRAGのチャンク分割7事例で扱っています。
キーワード検索と意味検索を組み合わせる
文章を数値のベクトルに変換して意味の近さで探す検索は、言い換えや表記ゆれに強い反面、型番・条文番号・図面番号のように一字違えば別物になる情報には弱くなります。文字列を直接照合するキーワード検索と併用すると、業務文書の実態に合います。製造業の図面番号、士業の条文番号のような検索が多い会社ほど、この組み合わせが効きます。
根拠を示す回答設計で、誤回答の実害を抑える
「参照した文書に書かれていなければ、分からないと答える」よう明示的に指示し、根拠にした文書名と該当箇所を回答に添えます。ただし、指示の書き方だけで誤回答が消えるわけではありません。検索の段階で的外れな文書を拾っていれば、そこから作られる回答も外れます。利用者が根拠を自分で確かめられる状態にしておくことが、誤りを実害にしない現実的な備えです。設計の考え方はハルシネーション対策の構成例で解説しています。
評価用の質問セットを作り、公開前に数値で測る
現場で実際に聞かれている質問を20問から30問集め、正解となる文書とセットにして評価用の質問集を作ります。設定を変えるたびにこれを流せば、改善したのか悪化したのかを感覚ではなく数値で判断できます。ポイント1で決めた合格ラインに届いたかどうかも、ここで確かめます。
権限とデータの置き場所を先に線引きする
社内情報を扱う以上、誰がどの文書を参照できるかの整理は避けて通れません。人事評価や取引条件のように、閲覧できる人が限られる文書を無条件に読み込ませると、AI経由で見えてしまいます。機密度の高い文書を扱う場合は、自社が管理するサーバー環境に置いて通信経路を閉じる構成も選べます。社内ルールの整え方はAIセキュリティ・ガバナンス支援のページにまとめました。
更新担当と見直しの周期を、公開前に決める
規定が改訂されたとき誰がデータを入れ替えるのか、誤った回答に誰が気づいて直すのか。この2つを公開前に決めておかないと、運用は数か月で止まります。担当者を1人に固定せず、手順書とチェックリストの形で残しておくと、異動や退職があっても回り続けます。社内で運用を引き取っていく進め方はAI内製化の進め方ガイドで解説しています。
ポイント2から5（文書の分割・検索方式・回答設計・評価）が精度を決め、ポイント6と7（権限設計・運用体制）が使われ続けるかどうかを決めます。片方だけを頑張ると、精度は高いのに誰も使っていないAIか、よく使われているのに誤回答に気づけないAIのどちらかになります。まずはポイント1の対象業務を1つ決め、その業務で現場から来る質問を20問集めるところから始めると、残りの工程が具体的になります。
京都で社内AI・RAGの構築を検討中で、どこから精度を作り込むか整理したい方へ
対象業務の絞り込みから文書の分割設計、評価体制の作り方まで、貴社の業務データをうかがったうえでご提案します。まずは資料のご確認、またはオンラインでのご相談からお気軽にどうぞ。
公開したあとに効いてくる3つの注意点
構築時には見えにくく、運用が始まってから表面化する論点が3つあります。
利用が増えるほど、AIの利用料も増える
生成AIは呼び出した回数に応じて費用が発生します。参照する文書が増え、使う人が増えれば、その分だけ月々の利用料も上がります。全社に広げる前に、1日あたり何件の質問が来る想定かを置いて、月あたりの費用感を試算しておくと、稟議のやり直しを避けられます。投資対効果の考え方はRAG導入のROI7事例が参考になります。
誤回答をゼロにはできない前提で運用を組む
対策を重ねても、事実と異なる回答が出る確率は完全には消えません。だからこそ、根拠にした文書を必ず画面に表示する、金額や契約に関わる判断は人が最終確認するといった運用側の設計が要ります。技術で確率を下げ、運用で影響を止める。この二段構えが現実的です。
担当者が代わったところで止まりやすい
社内AIの運用が止まる原因として多いのが、構築時に旗を振っていた担当者の異動です。設定変更の手順、評価用の質問集の置き場所、月次で何を確認するか。この3点を文書に残しておくだけでも、引き継ぎのときの断絶はかなり減らせます。評価用の質問集は、更新のたびに現場の新しい質問を足していくと、そのまま運用の記録にもなります。
京都・関西での構築事例
実際に支援した事例を2つ紹介します。どちらも、公開後の更新担当と確認のルールを先に決めたうえで構築しました。
建設業：法規制と過去事例に答える社内チャットボット
法規制・過去事例・コスト資料が複数のファイルと担当者の記憶に散らばり、該当する条文や似た事例を探すだけで初動が遅れていた会社の事例です。専門用語と条文番号のように完全一致が求められる検索が多く、文書の分割設計と検索方式の組み合わせが精度を分けました。提案や見積の初動が速くなり、新人教育にも使われています。
製造業：熟練工の判断プロセスを構造化して残す
ベテランの判断が言語化されないまま退職を迎えることへの危機感から着手した事例です。ヒアリング音声・現場写真・社内マニュアルを読み込ませ、判断の流れをフローチャートとして書き出し、熟練工本人が確認して直せるたたき台にしました。社内で検索できる形に構造化しておくと、教育プログラムや問い合わせ対応にも展開できます。
京都の製造業に絞った導入の進め方は京都の製造業のAI導入で、問い合わせ対応そのものを自動化する範囲まで含めた話は京都でのAI業務自動化で扱っています。受託開発・導入支援・研修まで含めた全体像は京都のAI導入支援ページにまとめました。
費用の考え方
費用を左右するのは、読み込ませる文書の量、検索方式をどこまで作り込むか、評価と運用の設計をどこまで含めるかの3点です。全社の文書をいきなり対象にするより、業務を1つに絞って小さく作り、精度を確かめてから範囲を広げるほうが、結果的に総額は抑えられます。当社では、貴社の文書と目的をうかがったうえで個別にお見積もりします。
社内でどこまで費用対効果を見込めるかの考え方は、中小企業のAI導入コストとROIや中小企業がAIを費用対効果高く活用する方法で整理しています。
よくある質問
まとめ｜京都で社内AI・RAGを精度と運用の両面から成立させる
社内文書に答えるAIで成果が出るかどうかは、モデルの選定よりも、対象業務の絞り込み、文書の分割、検索方式、回答設計、評価、権限、運用体制の7工程をどこまで押さえたかで決まります。特に、合格ラインを数字で決めることと、評価用の質問集を作ること。この2つがないと、改善したかどうかを誰も判断できないまま運用が続きます。
当社は京都市左京区（百万遍）を拠点に、社内AI・RAGの構築を含むAIシステム開発・導入支援・人材研修・業務自動化を一貫してご提供しています。京都でのAI活用の全体像は京都 AI 導入支援のまとめでご確認いただけます。すでに構築したものの精度で伸び悩んでいる環境の見直しもご相談いただけますので、まずはお気軽にお問い合わせください。
登壇・セミナー実績
神戸商工会議所・石川県庁など、各地の商工会議所や自治体でAI活用セミナーに登壇しています。現場で得た知見をもとに、京都の中小企業のAI導入を支援しています。
監修
仙入 功樹 せんにゅう こうき
代表取締役
吉村 祐樹 よしむら ゆうき
COO
本記事はAI導入支援の実務担当が監修しています。京都の中小企業を中心に、AI導入の相談から開発・研修・運用定着までを支援しています。
京都での社内AI・RAG構築は、ノーコードソリューションズにご相談ください
貴社の文書と業務をうかがい、精度と運用を両立させる進め方を個別にご提案します。資料のご確認、無料相談のいずれからでもお気軽にどうぞ。
コメント
コメント一覧 （1件）
[…] 京都の社内AI・RAG構築の実装ポイント […]