大規模言語モデル

スマートフォンに話しかけると自然な文章で答えが返り、プログラマーがコードの相談をすれば的確な修正案を提示してくれる。これらの能力を実現しているのが大規模言語モデルです。LLM（Large Language Model）とは、膨大なテキストデータで学習された大規模なニューラルネットワークモデルで、自然言語の理解・生成を中心に多様なタスクをこなすAIの総称です。

スケーリング則と創発現象

LLMの「大規模」には2つの軸があります。ひとつは学習データの量で、Web上のテキスト、書籍、論文、コードなど数兆トークン規模のデータを使用します。もうひとつはパラメータ数で、GPT-3が1,750億、Llama 3が最大4,050億パラメータを持ちます。2020年にOpenAIが発表したスケーリング則（Scaling Laws）は、パラメータ数・データ量・計算量を増やすと性能が予測可能な形で向上することを示し、大規模化の理論的根拠になりました。さらに興味深いのが創発現象（Emergence）です。小規模モデルでは全くできなかった能力——たとえば複雑な推論、多段階の計算、翻訳の指示なしでの言語切り替え——が、ある規模を超えると突然発現します。この現象がLLMの可能性を予測困難なものにしています。

学習の3段階パイプライン

LLMの構築は典型的に3段階のプロセスで行われます。まず事前学習（Pre-training）で、大量のテキストから「次のトークンを予測する」訓練を行い、文法・知識・推論パターンを獲得します。次に指示チューニング（SFT）で、人間が作成した「指示→回答」ペアを学習させ、ユーザーの指示に従えるようにします。最後にRLHFやDPOなどの選好学習で、より人間の好みに沿った回答を生成できるよう調整します。各段階がモデルの品質を決定的に左右します。

主要モデルとオープン対クローズド

2025年現在、LLMの生態系は大きくクローズドモデルとオープンモデルに分かれています。クローズド側ではOpenAIのGPT-4o、AnthropicのClaude、GoogleのGeminiが代表格で、APIを通じて利用します。オープン側ではMetaのLlamaシリーズ、Mistral AI、中国のDeepSeekなどが台頭し、モデルの重みが公開されているため、自社環境での運用やカスタマイズが可能です。オープンモデルはプライバシーやコスト面で優位、クローズドモデルは最先端の性能で優位という補完的な構図です。

LLMの限界を正しく理解する

LLMは強力ですが万能ではありません。ハルシネーション（もっともらしいが不正確な情報の生成）は最も知られた課題ですが、それだけではありません。学習データのカットオフ以降の情報を知らない、数学的に厳密な計算が苦手、学習データの偏りによるバイアスがあるなど、構造的な限界があります。LLMは「知識のデータベース」ではなく「言語パターンの超高性能な学習器」です。RAGで最新情報を補完する、計算はコード実行に任せる、重要な事実は人間が検証するなど、限界を踏まえた設計がAI活用の鍵になります。