A Friendly Textbook on
自然言語処理まるごと入門
― LLMを内側から理解する ―
— LLM時代の言葉の扱い方を、内側から理解する —
トークン化、埋め込み、Attention、Transformer、BERT、GPT、RLHF、RAG、ハルシネーション — ChatGPTに至るまで、機械が言葉をどう数として扱い、どう「続きを書ける」ようになったかを、文系・他分野エンジニアでも追える形で根本から腑に落とす全13章+用語集。
目次
序章
言葉を数にする
- 第1章 トークン化 — 機械に言葉を扱わせる最初の関門は「どこで切るか」。「東京タワー」が1語か2語かという素朴な問いから、現代LLMが使うサブワード分割（BPE）までを地続きで理解する。
- 第2章 埋め込み — トークンに番号を振っただけでは、機械はまだ意味を捉えていない。各単語にベクトル（座標）を与えると、なぜか「王 − 男 + 女 ≈ 女王」が出てくる。意味が幾何学になる瞬間の話。
- 第3章 文脈で動く意味 — 「bank」は銀行か土手か。「Apple」は果物か会社か。同じ単語でも文脈で意味が変わる現象を、機械はどう扱うか。文脈埋め込みという発想が生まれた瞬間の話。
系列を扱う
- 第4章 n-gramと確率的言語モデル — スマホの予測変換、Google検索のサジェスト、初期の機械翻訳。これらは「次の単語を確率で当てる」という発想で動いていた。LLMの最も遠い祖先である、確率的言語モデルの世界。
- 第5章 RNNとLSTM — n-gramの「直前n単語だけ見る」という制約を、ニューラルネットの「記憶」で乗り越える。文を頭から順に読みながら、過去の文脈を内部状態に蓄えていく系列モデルの発想。
注意機構とTransformer
- 第6章 Attentionの登場 — 機械翻訳で「猫が」は英語の何に対応するか。文を順に読む代わりに、「全文を見渡して、どこに注目するか」を学ばせる発想。Transformerの心臓となるアイデアが生まれた瞬間。
- 第7章 Transformer — 「Attentionだけで十分」── 2017年に登場し、現代のLLMすべての土台となったTransformer。なぜRNNを置き換えたのか、その構造のキモは何か、を内側から腑に落とす。
大規模言語モデル
- 第8章 BERTとエンコーダ系 — Googleが2018年に発表したBERTは、検索・分類・抽出といった「読む」系タスクを一夜で変えた。穴埋め問題で事前学習するという発想と、なぜそれが効くかを内側から理解する。
- 第9章 GPTとデコーダ系 — GPTは「次の単語を当てる」というシンプルな目標だけで訓練されている。なのに翻訳・要約・コード生成・推論まで創発する。本書の核「次の単語予測だけで全部やる」の本拠地章。
- 第10章 Instruction TuningとRLHF — GPT-3からChatGPTへの一段ジャンプの正体。「文の続きを書くだけの機械」を「指示に従う対話相手」に変えた、Instruction TuningとRLHFという2つの決定的な工程を内側から理解する。
応用と評価
- 第11章 RAG — 「LLMは最新情報を知らない」「社内文書のことは答えられない」── この弱点を、検索とLLMを組み合わせて解決するのがRAG。社内チャットボットからPerplexityまで、現代AIシステムの主役。
- 第12章 マルチモーダル — GPT-4Vが画像を読み、ChatGPTの音声会話が成立する仕組み。鍵は「画像も音声も、言葉と同じ埋め込み空間に押し込む」発想。マルチモーダルLLMの内部を覗く。
- 第13章 ハルシネーションと評価 — LLMはなぜ自信満々に間違うのか。「次の単語予測」という構造に内在する宿命を理解し、評価指標とハルシネーション対策の現在地を見渡す本書の最終章。
付録
- 用語集 — 本書に登場する自然言語処理ワードを、章の順で整理した索引。分からない単語が出たらここに戻ってくる。