第9章: 「続きを書く」専門家 — GPTとデコーダ系
GPT に「以下の英文を日本語に訳して: I love Tokyo Tower.」と入力すると、ちゃんと日本語訳が返ってくる。 「Python で FizzBuzz を書いて」と頼めば、コードが返ってくる。 「カレーの作り方を教えて」と聞けば、レシピが返ってくる。
ところが、GPT が事前学習で訓練されたタスクは たった 1 つ だ ── 「文の続きを書け。次に来る単語の確率を出せ。」
それだけ。翻訳の練習も、コーディングの練習も、料理の知識の暗記もしていない。 それなのに、なぜ全部できるのか？
この 「次の単語予測だけで、なぜ全部できるのか」 が、本書のクライマックスの問いだ。 本章はその種明かしを試みる。
9.1 GPT は「次の単語当てクイズ」を解く機械
GPT (Generative Pre-trained Transformer) は、第7章で扱った Transformer の デコーダ部分 を、巨大なテキストで事前学習したモデルだ。
事前学習のタスクは、本当にシンプル：
GPT の事前学習タスク（次トークン予測 / Next Token Prediction）
大量のテキストを与え、各位置で 「次にどのトークンが来るか」 を予測させる。 予測が外れたら、当たるように内部のパラメータを調整する。 これだけを延々と繰り返す（数千億〜数兆トークン分）。
例：「私 は 寿司 を 食べ」までを入力 → 次のトークン「た」を予測。 「The cat sat on the」までを入力 → 次のトークン「mat」を予測。
第4章で出てきた n-gram の言語モデル と、問題設定は同一 だ。 「これまで並んだ単語の列を見て、次に来る単語の確率を出す」。 違うのは、規模と内部の仕組みだけ。
ただ、ここから先で起きることが、まったく違ってくる。
9.2 GPT は文章を「書く」── 自己回帰的生成
GPT は 次のトークンを 1 つ予測する ことしかしない。 ところが、これを 繰り返し適用 すると、長い文章を生成できる。
ステップ 1: 「私は」を入力 → 次トークンの確率分布
→ 「寿司」を選ぶ
ステップ 2: 「私は寿司」を入力 → 次トークンの確率分布
→ 「を」を選ぶ
ステップ 3: 「私は寿司を」を入力 → 次トークンの確率分布
→ 「食べ」を選ぶ
...直前まで生成した内容を入力に戻し、次のトークンを 1 つ予測する ── これを 自己回帰的（autoregressive）生成 と呼ぶ。
このシンプルな繰り返しで、GPT は長い文章を書く。 あなたが ChatGPT を使うとき、画面に トークンが 1 つずつ流れるように表示される のは、まさにこの仕組みが内側で動いているからだ。
GPT の生成は、早送りで眺めると一気に文が出てくるように見える が、内側では トークンを 1 つずつ、確率に従って選ぶ という地味な作業を繰り返しているだけだ。
「魔法のような会話」も「コードの自動生成」も、その正体は 「次の単語を 1 つ予測する」を高速に繰り返している にすぎない。
9.3 「次トークン予測だけ」で、なぜ翻訳もコードも書けるのか
ここが本書最大の謎解きどころだ。 GPT は「次の単語予測」しか練習していないのに、なぜ翻訳・要約・コード生成・推論までできるのか？
答えは、こうだ：
世界のテキストを大量に予測し続けると、副産物としてあらゆる「言葉のスキル」が獲得される。
- 大量のテキストには 「英文の後に日本語訳が続く」 例が無数に含まれている → 機械はその対応関係を学ぶ → 翻訳ができる
- 大量のコードを読めば「コメントの後にコード本体が続く」例が無数にある → 機械は対応を学ぶ → コード生成ができる
- 大量の Q&A ペアを読めば「質問の後に回答が続く」パターンが学ばれる → 質問応答ができる
つまり、「次の単語を予測する」というシンプルな目標を、世界規模のテキストで追求すると、その途上で人類が文章として書いてきた多くのスキルが自然に学ばれる。
世界のテキスト（インターネット、書籍、論文、コード）には、人類が言葉でできることのほぼすべてが含まれている。 それを 「次の単語を当てる」という共通フォーマット で学習することで、GPT は副産物として 言語タスクのほぼ全領域 をカバーする。
これが本書の冒頭でも予告した、「次の単語予測だけで全部やる」 という現代 LLM の核となる真実だ。
9.4 「In-Context Learning」── 例を見せると、それに合わせる
GPT が次トークン予測しかしていないなら、「翻訳して」と頼んだとき、どうやって 翻訳モード に入るのか？
答えは、プロンプト（入力文）の中で、例を見せる ことだ。
入力プロンプト:
英: I love Tokyo Tower.
日: 東京タワーが大好きだ。
英: She is reading a book.
日: 彼女は本を読んでいる。
英: The weather is nice today.
日:最後の 日: の続きを GPT が予測する。
すると、上の文脈から「これは英文→日本文に訳すパターンだ」と読み取り、その続きとして自然な「今日は天気がいい。」を生成する。
これを In-Context Learning（文脈内学習） と呼ぶ。 追加の学習なしで、プロンプトの中で「やってほしいタスク」を例示するだけで、その挙動に合わせてくれる 現象だ。
GPT-3（2020 年）の論文では、これが特に強調された：
- Zero-shot: 例なしで、ただ指示するだけ。「以下を日本語に訳して: …」
- Few-shot: 数例見せて、続きを書かせる
- One-shot: 1 例見せて、続きを書かせる
GPT-3 の登場で、研究者たちは衝撃を受けた： 追加学習なしで、プロンプトを工夫するだけで、これだけ多様なタスクが解ける。 これは BERT 時代の「タスクごとに微調整」のパラダイムを根本から覆した。
GPT-3 登場前の私たちの常識は「ある程度のタスクごとに、最適なモデルを訓練するもの」だった。 それが GPT-3 で、「1 つの巨大モデルが、プロンプト次第でほぼ何でもこなす」という時代に移った。 たった数年で常識が反転した。
9.5 「スケーリング則」── 大きくすればするほど賢くなる
GPT 系の進化を語るうえで欠かせないのが、スケーリング則（Scaling Laws） という現象だ。
OpenAI などの研究者が発見したのは、ざっくりこう言える：
スケーリング則の発見（2020 年頃）
モデルのパラメータ数、学習データ量、計算量 ── これら 3 つを 同時に、桁単位で増やす と、モデルの能力が 対数比例で滑らかに向上する。
つまり「大きくすれば、もっと賢くなる」が、法則として確認された。 そして特定の規模を超えると、思いもよらない能力 がにわかに現れる（創発的能力 と呼ばれる）。
スケーリング則を信じて、OpenAI、Google、Anthropic、Meta は モデルをひたすら大きくする戦略 に賭けた：
| モデル | パラメータ数 | 登場年 |
|---|---|---|
| GPT-2 | 15 億 | 2019 |
| GPT-3 | 1750 億 | 2020 |
| GPT-4 | 推定 1 兆超 | 2023 |
| Llama 3 | 4050 億（最大版） | 2024 |
| Claude Opus 4 | 公開なし（推定数千億〜兆規模） | 2025〜 |
そして、スケーリングを進めると 新しい能力が「ある規模を超えた瞬間にいきなり出現する」 現象が観測された：
- 簡単な算術
- 多段推論（chain of thought）
- 命令の理解
- 翻訳の精度向上
- コード生成
これらは「小さなモデルにはなくて、大きなモデルにはある」能力で、創発的（emergent） と呼ばれる。 「大きくすると、新しい仕事ができるようになる」 ── これが現代 LLM 競争の動機となっている。
9.6 でも、GPT-3 だけでは ChatGPT にならなかった
ここまでで GPT の「次の単語予測 + 巨大化」のパワーを見てきた。 だが、ChatGPT 登場前の 生の GPT-3 は、実は今のような「指示に従う、対話できる AI」とは少し違った。
たとえば、生の GPT-3 にこう聞いたとする：
「お疲れさまです。明日のミーティング、何時開始ですか？」
返答（生の GPT-3、想像例）：
「お疲れさまです。明日のミーティング、何時開始ですか？ ── というメッセージを受け取った場合、社会人として適切な返答を 3 つ挙げると …」
なぜこうなるか？ GPT-3 は 「インターネット上のテキストの続きを書く」 ように訓練されている。 ユーザーのメッセージを、「あるブログ記事や Q&A サイトの冒頭」と解釈してしまい、続きを書こうとする。
つまり、生の GPT-3 は：
- テキストの続きを書く ことはできる
- でも 指示に従う ように訓練されていない
「もっと指示に従ってほしい」「親切で安全な返答をしてほしい」── これを実現するための追加工程が必要だった。 それが次章で扱う Instruction Tuning と RLHF、すなわち ChatGPT 誕生の決定的なステップだ。
9.7 デコーダ系の系譜
GPT は「デコーダ系」LLM の元祖だ。本書執筆現在、現代の主要 LLM はほぼすべてデコーダ系 で、ここに集まっている。
| モデル | 提供元 | 特徴 |
|---|---|---|
| GPT-2 / GPT-3 / GPT-4 / GPT-5 系 | OpenAI | 元祖、ChatGPT の中核 |
| Llama 系 | Meta | 公開モデルとして広く使われる |
| Claude 系 | Anthropic | 安全性と長文処理に強み |
| Gemini 系 | マルチモーダルとの統合 | |
| Mistral / Mixtral 系 | Mistral AI | 高効率な公開モデル |
| DeepSeek、Qwen など | 各社 | 中国発の高性能オープンモデル |
これらはすべて、次トークン予測 という同じ事前学習目標を共有している。 違いは：
- パラメータ規模、学習データの種類、計算量
- 微調整・RLHF（次章）の質
- アーキテクチャの細かい工夫（Mixture-of-Experts、長文対応、効率化など）
しかし、核となる発想は GPT のままだ。
9.8 ここまでの整理 ── 「読む」と「書く」の対比
第8章 BERT と第9章 GPT を並べると、対比が際立つ。
| 観点 | BERT（エンコーダ系） | GPT（デコーダ系） |
|---|---|---|
| 主な役割 | 読む（理解する） | 書く（生成する） |
| Transformer の使い方 | エンコーダ部分 | デコーダ部分 |
| 事前学習タスク | 穴埋め予測（Masked LM） | 次トークン予測 |
| 文脈の扱い | 双方向（前後を同時に見る） | 片方向（前だけ見て次を予測） |
| 用途 | 検索、分類、抽出、QA | 会話、生成、翻訳、コード |
| 出力 | 単語のラベルや分類結果 | 文章 |
「読む側の達人」と「書く側の達人」── どちらも Transformer から派生した、対をなす存在だ。
そして 2022 年末、デコーダ系 GPT に 「もっと指示に従う」工夫 が加わって、ChatGPT という現象が生まれる。 それが次章のテーマだ。
9.9 この章の振り返り
- GPT は Transformer のデコーダ部分を、次トークン予測 という単一目標で巨大に事前学習したモデル
- 自己回帰的（autoregressive）に トークンを 1 つずつ生成 することで、長い文章が書ける
- 「次の単語予測だけ」で、翻訳・コード・要約・推論まで 副産物として獲得 される
- In-Context Learning: プロンプトの中で例を見せるだけで、追加学習なしでタスクに合わせる
- スケーリング則: モデル・データ・計算量を増やすほど、滑らかに能力が向上する
- 特定の規模を超えると 創発的能力（新しい仕事ができるようになる）が現れる
- GPT-3 段階では「指示に従う」訓練がなく、ChatGPT になるには次章の工程が必要
- 現代のほぼすべての主要 LLM（GPT、Claude、Gemini、Llama、Mistral…）が デコーダ系
次章では、GPT-3 から ChatGPT への 一段ジャンプ の正体 ── Instruction Tuning（指示追従の微調整） と RLHF（人間の好みからの強化学習） に踏み込む。 これこそが、LLM を「便利な続き書き機」から「指示に従う対話相手」に変えた決定的な工程だ。