ローカルLLMとは

ローカルLLMとは、膨大な文章から言葉の続きを予測する仕組みを自社のコンピュータで動かすことです。インターネット経由で他社のサーバーを使う方式と異なり、入力データを外部に送出しません。

同じ予測の仕組みでも、動かす場所が変わるとメリットとデメリットが異なります。機密情報の扱いや通信環境、必要な投資など、複数の視点で判断が必要です。

中小企業の実務でどう関わるか

• 機密情報を守りやすい：顧客データや営業秘密をネットに送らず社内で処理します。
• インターネット接続が不要：ネット環境が不安定でも、導入後は安定稼働が期待できます。
• 自社に合わせた工夫が可能：業務知識を学ばせたり出力を調整したりできます。
• 専門的な準備が必要：サーバー機器と、運用できる人材の確保が必要になります。
• 応答速度は環境に左右される：自社機器の性能が低いと回答までの時間が長くなります。

あわせて知りたい言葉

• 生成AI：膨大な学習データから新しいテキストや画像を生み出す技術全般
• クラウド版：インターネット経由で他社のサーバーから同じ機能を借りる方式
• プロンプト：AIに指示を与えるために書く質問や説明文
• 自社サーバー：社内で保有・管理するコンピュータ（オンプレミスとも呼ぶ）