「社内のデータを外に出せないので、AIは自社のサーバーで動かしたい」
「API利用料が読めないので、ローカルで動かしたほうが安いのではないか」

この2つは、いまよくいただくご相談です。
当社でも2026年に入ってから、数万件規模の文書を分類する業務で
ローカルAIを検証しました。その結果、事前の想像と違っていた点が3つありました。

構築手順には触れません。判断するために必要な考え方だけを書きます。


1. GPUがあるかどうかで、結論がまるごと変わる

最初に確認すべきはここです。「ローカルAIを使えるか」ではなく、
「GPUがあるか」が実質的な分岐点になります。

同じ処理量を見積もったとき、当社の試算では次のようになりました。

環境 処理の見込み
CPUのみ(多コアのサーバー) 数十日。実用にならない
GPUあり 1〜2日。実用になる

桁がひとつ違うのではなく、使えるか使えないかが変わります。

よくある誤解は「とりあえず手元のサーバーで試してみよう」です。
CPUだけの環境で試すと「遅すぎて使い物にならない」という結論になりますが、
それはローカルAIの評価ではなく、その環境の評価でしかありません。

検討の最初の質問は「どのモデルを使うか」ではなく、
「GPUを用意できるか、用意するといくらか」です。


2. 「ローカルのほうが安い」は、必ずしも成り立たない

これが一番意外でした。

当社が見積もった処理量を、クラウドの軽量モデルのAPIで一括処理した場合の試算は
数十ドル規模でした。数万件ではなく、百万件規模を通してもです。

一方ローカルで動かす場合、API利用料はゼロですが、

  • GPUを備えた機材の費用(または時間貸しの費用)
  • 動かし続ける電力と場所
  • 動かなくなったときに調べる人の時間

がかかります。3番目が一番大きいというのが実感です。

つまり、「一度きり、または年に数回の大量処理」であれば、クラウドのAPIを
使い切ってしまうほうが、総額では安くなることがあります。

では、ローカルAIが効くのはどこか。
費用ではなく「データを外に出せない」が理由のときです。
この場合は比較の問題ではなく、選択肢が1つしかありません。

「安くなりそうだから」でローカルを選ぶと、たいてい高くつきます。


3. モデルを大きくするより、「渡す材料」を設計するほうが効く

ここが最も実務的な発見でした。

同じAI・同じ指示で、渡す材料だけを3通りに変えて精度を測りました。
対象は150件、正解は公的機関が公開している分類コードです。

渡したもの 1件あたりの量 正解との一致 費用の比
A:要約だけ 177字 73.3% 1.0
B:本文だけ 1,929字 76.0% 3.3
C:要約+本文の先頭600字 745字 81.3% 1.7

本文を全部渡したB より、要約と本文の先頭だけを渡したC のほうが、
正確で、しかも安い。

理由は単純で、要約の側にしか入っていない情報(規模・拠点数など)があり、
本文の側にしか入っていない情報(具体的な事業の記述)もあるからです。
両方を少しずつ渡すのが一番よかったということになります。

AIの精度が出ないとき、多くの場合まず「もっと賢いモデルに変える」
「もっとたくさん読ませる」を考えます。ですが実際には、
何を渡すかを設計し直すほうが、安く、速く、効きます。


4. 精度を測るときの落とし穴 ― 「正解データ」のほうが間違っていることがある

もうひとつ、測ってみないと分からなかったことがあります。

上の検証で、3通りすべてが正解データと食い違った22件を、1件ずつ目で確認しました。
その内訳です。

内訳 件数 中身
AIのほうが正しい 8 正解データ側の分類が粗い。実態と合っていない
本質的に曖昧 9 自社で作って自社で売る会社を「製造」と見るか「卸売」と見るか、など
もともと判定不能 3 元の文書が1行しかない。AIも「判定できない」と答えており、これは正しい
本当の誤り 2 海外本社の情報を読んで日本法人を取り違えた

22件中、AIが本当に間違えていたのは2件でした。

一致率だけを見ると「81%」ですが、中身を見ると実質は9割前後です。
逆に言えば、一致率の上限は正解データ側の粗さで決まっていたことになります。

ここから言えることは2つあります。

  1. 一致率の絶対値を目標にしない。 「95%を目指す」と決めても、
    正解データが90%の粒度しかなければ到達しません。
  2. 外れた分は必ず目で見る。 見ないと、AIの誤りなのか、
    正解データの粗さなのか、そもそも判定できない入力なのかが分かりません。
    この3つは打ち手がまったく違います。

5. 向くもの・向かないもの

検証を通じて整理した使い分けです。

ローカルAIが向く

  • データを社外に出せない(契約上・規程上)
  • 大量の文書を粗く仕分けたい。少し外しても後段で拾える
  • 同じ処理を継続的に、長期間回し続ける

クラウドのAIが向く

  • 一度きり、または頻度の低い大量処理
  • 高い精度が要る。判断の難しいものを扱う
  • 新しい知識や、広い常識が必要

併用がいちばん現実的です。 当社の検討でも、
「まずローカルで粗く通し、重要な層だけクラウドで見直す」という形に落ち着きました。
全部を一方に寄せる必要はありません。


6. 検討をどう始めるか

実際に手を動かす前に、次の3つを決めると、無駄な試行錯誤が減ります。

  1. 何件を、どのくらいの頻度で処理するのか(ここで GPU の要否が決まる)
  2. 外に出せないデータなのか(ここでローカルか否かが決まる。費用の話ではない)
  3. 何%外しても業務が回るのか(ここで必要な精度が決まる)

3番目が抜けたまま始めると、いつまでも「もう少し精度を上げたい」が続きます。
「後段で人が見るので7割で十分」なのか「誤りが1件でも許されない」のかで、
選ぶものがまったく変わります。


ソフトシンク株式会社は2006年から、金融・保険の基幹システムを中心に
受託開発と運用保守を手がけています。AIの業務適用についてのご相談は
お問い合わせから承ります。