「社内のデータを外に出せないので、AIは自社のサーバーで動かしたい」
「API利用料が読めないので、ローカルで動かしたほうが安いのではないか」
この2つは、いまよくいただくご相談です。
当社でも2026年に入ってから、数万件規模の文書を分類する業務で
ローカルAIを検証しました。その結果、事前の想像と違っていた点が3つありました。
構築手順には触れません。判断するために必要な考え方だけを書きます。
1. GPUがあるかどうかで、結論がまるごと変わる
最初に確認すべきはここです。「ローカルAIを使えるか」ではなく、
「GPUがあるか」が実質的な分岐点になります。
同じ処理量を見積もったとき、当社の試算では次のようになりました。
| 環境 | 処理の見込み |
|---|---|
| CPUのみ(多コアのサーバー) | 数十日。実用にならない |
| GPUあり | 1〜2日。実用になる |
桁がひとつ違うのではなく、使えるか使えないかが変わります。
よくある誤解は「とりあえず手元のサーバーで試してみよう」です。
CPUだけの環境で試すと「遅すぎて使い物にならない」という結論になりますが、
それはローカルAIの評価ではなく、その環境の評価でしかありません。
検討の最初の質問は「どのモデルを使うか」ではなく、
「GPUを用意できるか、用意するといくらか」です。
2. 「ローカルのほうが安い」は、必ずしも成り立たない
これが一番意外でした。
当社が見積もった処理量を、クラウドの軽量モデルのAPIで一括処理した場合の試算は
数十ドル規模でした。数万件ではなく、百万件規模を通してもです。
一方ローカルで動かす場合、API利用料はゼロですが、
- GPUを備えた機材の費用(または時間貸しの費用)
- 動かし続ける電力と場所
- 動かなくなったときに調べる人の時間
がかかります。3番目が一番大きいというのが実感です。
つまり、「一度きり、または年に数回の大量処理」であれば、クラウドのAPIを
使い切ってしまうほうが、総額では安くなることがあります。
では、ローカルAIが効くのはどこか。
費用ではなく「データを外に出せない」が理由のときです。
この場合は比較の問題ではなく、選択肢が1つしかありません。
「安くなりそうだから」でローカルを選ぶと、たいてい高くつきます。
3. モデルを大きくするより、「渡す材料」を設計するほうが効く
ここが最も実務的な発見でした。
同じAI・同じ指示で、渡す材料だけを3通りに変えて精度を測りました。
対象は150件、正解は公的機関が公開している分類コードです。
| 渡したもの | 1件あたりの量 | 正解との一致 | 費用の比 |
|---|---|---|---|
| A:要約だけ | 177字 | 73.3% | 1.0 |
| B:本文だけ | 1,929字 | 76.0% | 3.3 |
| C:要約+本文の先頭600字 | 745字 | 81.3% | 1.7 |
本文を全部渡したB より、要約と本文の先頭だけを渡したC のほうが、
正確で、しかも安い。
理由は単純で、要約の側にしか入っていない情報(規模・拠点数など)があり、
本文の側にしか入っていない情報(具体的な事業の記述)もあるからです。
両方を少しずつ渡すのが一番よかったということになります。
AIの精度が出ないとき、多くの場合まず「もっと賢いモデルに変える」
「もっとたくさん読ませる」を考えます。ですが実際には、
何を渡すかを設計し直すほうが、安く、速く、効きます。
4. 精度を測るときの落とし穴 ― 「正解データ」のほうが間違っていることがある
もうひとつ、測ってみないと分からなかったことがあります。
上の検証で、3通りすべてが正解データと食い違った22件を、1件ずつ目で確認しました。
その内訳です。
| 内訳 | 件数 | 中身 |
|---|---|---|
| AIのほうが正しい | 8 | 正解データ側の分類が粗い。実態と合っていない |
| 本質的に曖昧 | 9 | 自社で作って自社で売る会社を「製造」と見るか「卸売」と見るか、など |
| もともと判定不能 | 3 | 元の文書が1行しかない。AIも「判定できない」と答えており、これは正しい |
| 本当の誤り | 2 | 海外本社の情報を読んで日本法人を取り違えた |
22件中、AIが本当に間違えていたのは2件でした。
一致率だけを見ると「81%」ですが、中身を見ると実質は9割前後です。
逆に言えば、一致率の上限は正解データ側の粗さで決まっていたことになります。
ここから言えることは2つあります。
- 一致率の絶対値を目標にしない。 「95%を目指す」と決めても、
正解データが90%の粒度しかなければ到達しません。 - 外れた分は必ず目で見る。 見ないと、AIの誤りなのか、
正解データの粗さなのか、そもそも判定できない入力なのかが分かりません。
この3つは打ち手がまったく違います。
5. 向くもの・向かないもの
検証を通じて整理した使い分けです。
ローカルAIが向く
- データを社外に出せない(契約上・規程上)
- 大量の文書を粗く仕分けたい。少し外しても後段で拾える
- 同じ処理を継続的に、長期間回し続ける
クラウドのAIが向く
- 一度きり、または頻度の低い大量処理
- 高い精度が要る。判断の難しいものを扱う
- 新しい知識や、広い常識が必要
併用がいちばん現実的です。 当社の検討でも、
「まずローカルで粗く通し、重要な層だけクラウドで見直す」という形に落ち着きました。
全部を一方に寄せる必要はありません。
6. 検討をどう始めるか
実際に手を動かす前に、次の3つを決めると、無駄な試行錯誤が減ります。
- 何件を、どのくらいの頻度で処理するのか(ここで GPU の要否が決まる)
- 外に出せないデータなのか(ここでローカルか否かが決まる。費用の話ではない)
- 何%外しても業務が回るのか(ここで必要な精度が決まる)
3番目が抜けたまま始めると、いつまでも「もう少し精度を上げたい」が続きます。
「後段で人が見るので7割で十分」なのか「誤りが1件でも許されない」のかで、
選ぶものがまったく変わります。
ソフトシンク株式会社は2006年から、金融・保険の基幹システムを中心に
受託開発と運用保守を手がけています。AIの業務適用についてのご相談は
お問い合わせから承ります。
