自然言語処理まるごと入門
2022年11月、ChatGPT が公開された。
「論文の要旨を3行でまとめて」 「このコードのバグを直して」 「明日のプレゼン用に喋り口調でリライトして」
人類は、機械に 言葉で頼みごとをして、言葉で返事をもらう という体験を、生まれて初めて手にした。 それから 3 年。LLM、Transformer、RAG、ハルシネーション ── 新しい用語が毎週ニュースに出る。
機械は、いつから、どうやって、こんなに 言葉が分かる ようになったのか。 本書はその「内側」の話だ。
この本でやること
機械にとって、言葉は最初から扱いにくい相手だった。
数値なら足したり比べたりできる。画像なら画素値の格子に並べれば計算機の得意な形になる。 ところが「猫が窓際で寝ている」という一文は、そのままでは計算できない。 文字列を眺めても、機械には何も見えていない。
だから自然言語処理 (NLP) という分野は、長いあいだ 「言葉を、機械が計算できる形にどう変換するか」 を追いかけてきた。 そして 2017 年の Transformer 登場以降、その変換は爆発的に強力になり、ChatGPT のような 「続きを書ける機械」 が現実のものになった。
本書のゴールはひとつ。 ChatGPT を含む現代の言語モデルが、内側で何をしているのかを腑に落とすこと。 数式の厳密さやライブラリの使い方ではなく、仕組みの背骨 に向かう。
この本の物語の流れ
本書は 1 冊の長い物語 として読めるようにした。 「言葉を数にしたい」という素朴な動機から始まって、その階段を 13 段上りきると、ChatGPT の中身に辿り着く構成だ。
| 章 | たどり着く理解 |
|---|---|
| 第1章 | 「東京タワー」は1語か2語か ── トークン化 という最初の関門 |
| 第2章 | 単語に座標を与えると「王 − 男 + 女 ≈ 女王」が出てくる ── 埋め込み |
| 第3章 | 「bank」が銀行か土手か ── 文脈で意味が動く 文脈埋め込み |
| 第4章 | 「次に来る単語」を確率で考える ── 統計的言語モデルの原点 |
| 第5章 | 長い文の前の方を覚える工夫 ── RNN / LSTM |
| 第6章 | 翻訳で「猫が」は英語の何に対応するか ── Attention の発見 |
| 第7章 | Attention だけで全部作り直したらどうなるか ── Transformer |
| 第8章 | 「読む」専門家 ── BERT が検索と分類を一変させる |
| 第9章 | 「続きを書く」専門家 ── GPT はなぜ会話できるか |
| 第10章 | GPT-3 → ChatGPT の一段ジャンプ ── Instruction Tuning と RLHF |
| 第11章 | 知らないことを外から取ってくる ── RAG |
| 第12章 | 画像も音声も言語と同じ枠に ── マルチモーダル |
| 第13章 | なぜ自信満々に間違うのか ── ハルシネーションと評価 |
各章は 15 分程度で読める ように設計してある。第1〜7章は階段なので順に読むのが楽。第8〜13章は気になる章から拾い読みもできる。
章マップ
三つの「合言葉」
この本を読むときに、頭の片隅に置いておくと迷子にならない合言葉が三つある。
① 「言葉を、どんな形の数にしているか?」
機械にとって言葉は最終的に ベクトル（数の並び） だ。 単語 1 つが何百次元のベクトルで、文全体がその列。 新しいモデルが出るたびに、「何を、どんな数で表現しているか」を問い直すと迷わない。
② 「学習の元ネタは何か?」
BERT は「穴埋め問題」、GPT は「次の単語当て」、RLHF は「人間の好み」。 強力に見えるモデルでも、突き詰めると 何を予測するように訓練したか が背骨にある。 そこを押さえると、モデルの得意・不得意がほとんど予測できる。
③ 「次の単語予測だけで全部やる」
現代の LLM の不思議さの正体は、ほぼこれ ── という話を、第9章のクライマックスで掘り下げる。 そこに辿り着くまで、合言葉として頭の片隅に置いておいてほしい。
こんな人向け
- ChatGPT を業務で使い始めたが、中で何が起きているか 気持ち悪い 人
- 「LLM、Transformer、Attention、RAG」のような用語を聞き流していて、一度ちゃんと整理したい人
- AI 関連の意思決定をする立場で、「結局どこまで信用していい技術なのか」を判断したい人
- 機械学習は触ったことがあるが、言語側の流派をフォローし損ねた人
逆に、PyTorch で自分でモデルを書く実装ガイドや、最新論文のサーベイは本書のスコープ外だ。 本書は 仕組みを腑に落とす入門書 として書いた。読み終わったあと、論文や実装ガイドに進むと急に風景が見えるようになるはずだ。
前提知識
- Python の擬似コードが読めれば OK
- 数学は高校レベル + 行列の掛け算が「ベクトルの座標変換」と知っていれば十分
- 確率・統計の基礎（条件付き確率くらい）
たまに出てくる数式は、出てきたところで言葉で補足する。
本の中で使う「目印」
落とし穴 ハマりやすい罠、誤解されやすい点。
実務メモ 業務で使うときの経験則。
さあ、はじめよう
次の 「全体像」 で、まず ChatGPT が内側でやっていることを 1 つの具体例で通しで 眺める。 「東京の天気は？」という入力が「晴れです…」に変わるまでに、機械の中で何が起きているのか。 そこで描く 5 工程の地図を頭に入れてから、第1章以降の細部に降りていく構成にした。
細かい話を読んでいて迷子になりかけたら、いつでも「全体像」に戻って、いま自分はどの工程の話を読んでいるのか を確認できる。それが本書の地図だ。