2精度
社内文書AIの精度は、
何で決まるのか
画面が動くところまでは、いまの開発環境ならそれほど時間はかかりません。難しいのはその先です。「同じ質問をしても答えが変わる」という相談を多く受けます。弊社では、モデルの選定に加えて、読み込ませる文書、評価に使う質問、公開後の更新のしかたを確認します。それぞれで、次のような問題が起こります。
- フォルダの文書をまとめて読み込ませる
- 関係のない文書まで検索され、回答の焦点がぼやけます。古い規程と新しい規程が並んでいると、どちらを根拠にするかもAI任せになります。
- 用意した数問のデモで判断する
- 整えた質問では当たっても、現場の言い回しや表記のゆれが入ると外れます。
- 公開したあと手を入れない
- 元の文書が改訂されても参照先が古いままになり、誤った回答が続きます。
このため弊社は、AIに読ませる前の文書整理と、公開前の評価を開発の中心に置いています。
どんな業務に使えるか
- 規程・マニュアルの照会
- 総務・人事・経理への「これはどうすれば」を、規程の該当箇所を示して答えます。
- 過去の事例・資料の検索
- ベテランの記憶に頼っていた「似た案件は」「この地域の規制は」を、出典つきで返します。
- 製品・仕様の問い合わせ
- 製品カタログや仕様書から、営業や顧客の質問に答えます。
- 熟練者の判断を文書にする
- ヒアリング音声・写真・マニュアルから判断の手順を整理し、検索できる形にします。
向いているのは、答えの根拠が文書に書かれていて、同じ種類の質問が繰り返し来る業務です。根拠が文書になく担当者の頭の中にしかない場合は、先に聞き取りで文書にする工程から始めます。
弊社に頼むと、何が違うのか
精度を数字で測ってから進めます
試作の段階で、実際に現場から集めた質問を使って正答率を測り、本開発に進むかどうかの判断材料にします。整えた数問だけで「できた」とはしません。
RAGの専門エンジニアが設計します
RAGの設計はCAIOの小松、インフラはCTOの七瀬が担当し、
代表の2人が業務の聞き取りと研修を受け持ちます。
作って終わりにせず、社内で回せる形で引き継ぎます
文書を差し替える手順、誤回答を見つけたときの直し方、評価のやり直し方を手順書にして渡します。運用を社内で担う担当者向けの研修もできます。
3データの扱い
データを社外に出さずに作れるか
作れます。社外に出せない文書には、社内のサーバーで動かす構成を選べます。外部のサービスを使ってよい文書も含め、構成ごとのデータの扱いは次のとおりです。
- 法人向けのAIサービス
- 入力した内容を学習に使わない契約で使います。向いているのは、一般的な社内規程・マニュアルです。
- 自社で契約したクラウドのAI
（Azure OpenAI・Amazon Bedrockなど） - 自社契約のリージョン内で処理し、学習に再利用しません。向いているのは、顧客情報など外部のサービスに置きたくない文書です。
- 社内のサーバーで動かすローカルLLM
- モデルとデータを社内に置き、外へ出る通信がありません。インターネットに接続しない構成も選べます。向いているのは、図面・設計情報・契約書など社外に出せない文書です。
どの構成でも、誰がどの文書を検索できるかの権限と、問い合わせの記録を公開前に設計します。契約の形と利用ルールの決め方は「AIセキュリティ・ガバナンス支援」、ローカルLLMの考え方は「ローカルLLMとは」で解説しています。
4開発事例
実際に作ったもの
- 01建設業法規制と過去の事例を、出典つきで答えるチャットボットにした開発 約3か月
- 02製造業熟練工の判断を、本人が直せる下書きとして手順書にした
- 03デモ社内文書の検索と根拠つき回答を、ブラウザで操作できるようにした
建設業の事例では、全国の木造建築の事例と地域ごとの法規制をデータベースにしました。ベテランに聞いていた内容をチャットボットで確かめられるようになり、提案や見積もりに取りかかるまでが早くなっています。
5進め方と費用
依頼してから使い始めるまで、どう進むか
- 01ヒアリング
対象業務と文書の現状を伺い、最初に絞る業務を1つ決めます。
- 02文書の整理と試作
対象の文書を整理し、小さく作って、現場の質問で正答率を測ります。
- 正答率を測ってから03本開発
測った結果をもとに範囲を決め、今の業務の流れに組み込みます。
- 04運用と引き継ぎ
運用が落ち着くまで支援し、文書の更新と評価の手順を社内に引き継ぎます。
引き継ぐもの文書の更新と、評価のやり直しの手順
費用はどう決まるか
費用は、次の条件を伺ってから個別にお見積もりします。
見積もりを左右する条件
- 文書の量と状態紙のスキャンや表の多い資料は、読み取りと整理の手間が増えます
- 求める精度誤った回答が業務にどう響くかで、評価に使う質問の数と検証の手間が変わります
- データの置き場所クラウドか、自社環境か、社内サーバーか
- 連携する既存システム社内のポータルやチャットに組み込むかどうか
補助金を使う場合は、対象になる費用の範囲から一緒に確認します。
6ご質問
検討中の方からのご質問
- Q. 文書がフォルダに散らばったままでも頼めますか。
- A. 頼めます。最初の工程で、どの文書を読ませるか、古い版をどう扱うかを一緒に決めます。整理せずに全部を読み込ませると精度が下がるため、この工程を省きません。
- Q. 回答が間違っていたら、どう分かりますか。
- A. 回答には、根拠にした文書の箇所を表示します。利用者はその記述と回答を照らし合わせて確かめられます。誤回答が見つかったときの直し方も、引き継ぎの際に手順書でお渡しします。
- Q. 社内に詳しい担当者がいなくても運用できますか。
- A. 運用は社内へ引き継ぐ形を基本にしています。文書の差し替えと評価のやり直しを、担当者が一人で回せるところまで支援します。保守だけを弊社に任せることもできます。
- Q. Microsoft 365 Copilot や SharePoint の機能では足りませんか。
- A. 文書がSharePointにまとまっていて、検索の精度に不満がなければ、まずはその機能を使ってください。参照する文書を細かく選びたい、回答の根拠を必ず示したい、社外に出せない文書を扱いたい、という場合に個別の開発を検討します。考え方は「SharePointのエージェント」にまとめています。
- Q. 小さく試してから決められますか。
- A. できます。試作の結果を確認してから、本開発を依頼するかを決めていただけます。
- Q. 京都以外の会社でも頼めますか。
- A. 頼めます。打ち合わせはオンライン（Zoom／Google Meet）でも受けており、秘密保持契約を先に結ぶこともできます。
ご相談と資料
どの文書から始めるか決まる前から、ご相談いただけます
30分の無料相談で、対象にしたい業務と文書の今の状態を伺い、最初に試す範囲を一緒に決めます。
ご相談はオンライン（Zoom／Google Meet）でもお受けします。秘密保持契約を先に結ぶこともできます。AI開発全体についてはAI受託開発、京都での活用は京都AIハブもご覧ください。
1 / 4表紙