Chapter 10

第10章: 指示に従わせる — Instruction TuningとRLHF

2022 年 11 月 30 日。OpenAI が ChatGPT を公開した。内部的には、ベースは前年の GPT-3.5。新規モデルというより、既存モデルを「指示に従うように」仕込み直しただけ のリリースだ。

ところが、これが世界を変えた。

公開から 5 日で 100 万ユーザー。2 ヶ月で 1 億ユーザー。人類史上、最速で普及したサービスとなった。それまで研究者と一部の開発者のものだった LLM が、「自然な日本語で話せば、何でも手伝ってくれる相棒」 として、誰でも使える形になった。

GPT-3.5 と ChatGPT で、何が違ったのか？答えは モデルの規模ではない。 「指示に従わせる」ための仕込み ── つまり本章のテーマ、Instruction Tuning と RLHF だ。

10.1 生の GPT は「便利だが、使いにくい」

前章末で予告した通り、生の GPT-3 は 文の続きを書く達人 だが、人間の指示に従う訓練を受けていない。

具体例で見よう。生 GPT-3 に「ペンギンが空を飛べる理由を 3 つ挙げて」と入力したとする。想像される返答：

「ペンギンが空を飛べる理由を 3 つ挙げて」というのは、子どもの好奇心を刺激する面白いトピックです。実際にはペンギンは空を飛びませんが、もし飛べるとしたら …

機械は 「これは Q&A サイトに投稿された質問の冒頭だな」 と解釈して、その続きを書こうとする。 「ユーザーの指示」 ではなく、「テキストの続き」 として処理してしまう。

これでは使い物にならない ── というほどではないが、プロンプトを工夫しないと指示通り動かない。プロンプトエンジニアリングは確かに強力だが、普通の人にとっては敷居が高い 道具だ。

生の GPT が抱える問題：

指示に従わない ── 質問されてもクイズ風に続けてしまう
不適切な内容を平気で書く ── 学習データに偏った/有害な記述が含まれていれば、それも生成する
嘘を堂々と書く ── もっともらしい誤情報を、自信たっぷりに生成

これでは「みんなが使える相棒」にはなれない。

10.2 第一の工夫 ── Instruction Tuning（指示追従の微調整）

最初に行う工夫が、Instruction Tuning（インストラクション・チューニング） だ。

発想は素朴：

Instruction Tuning の発想

「指示 → 望ましい応答」の 見本ペア を、人間が大量に作る。その見本ペアを使って、GPT を 微調整（fine-tuning） する。

例：

入力（指示）: 「次の英文を日本語に訳して: I love sushi.」
出力（理想の応答）: 「私は寿司が大好きです。」

これを 数千〜数万例 用意し、モデルを「指示と応答」のペア形式に 馴染ませる。

第8章の BERT で出てきた「事前学習 + 微調整」とまったく同じ構図だ。事前学習で言葉一般の知識を入れたモデルを、「指示に従う」という特殊な仕事に合わせて微調整 する。

Instruction Tuning の直接の効果：

「翻訳して」と頼めば、ちゃんと翻訳する
「要約して」と頼めば、ちゃんと要約する
「丁寧に説明して」と頼めば、丁寧に説明する

ここまで来ると、生の GPT-3 と比べてかなり使いやすくなる。 指示の意図を、応答として正しく実行する ── これが LLM の最初の人格修正だ。

補足
Instruction Tuning は、各社のモデルで形が違う。OpenAI の InstructGPT、Google の FLAN、Anthropic の Helpful, Honest, Harmless データセットなど。共通項は「質の高い指示・応答ペアでモデルを微調整する」点。

10.3 でも、それだけだと「微妙な好み」を扱えない

Instruction Tuning で「指示に従う」モデルはできる。しかし、これだけでは詰めきれないことがある。

たとえば、同じ「カレーの作り方を教えて」という指示に対し、3 通りの応答を作るとする：

応答案	特徴
A	簡潔に手順を 5 つ箇条書き
B	詳しく材料・工程・コツまで説明、約 500 文字
C	一般論で「お好きなレシピで作ってください」と曖昧に答える

どれが 「指示に従っている」 かは曖昧で、3 つとも 100% 間違いではない。だがユーザー視点では明らかに B > A > C の順で好ましい。

人間の好みは、「正解 / 不正解」の二値ではなく、微妙な程度問題 で決まる。 Instruction Tuning（教師あり学習）では、この 「より良いほうを学ばせる」 という指示が伝わりにくい。

そこで出てくるのが、第二の工夫 ── RLHF だ。

10.4 第二の工夫 ── RLHF（人間の好みからの強化学習）

RLHF (Reinforcement Learning from Human Feedback) = 人間のフィードバックを使った強化学習。名前は仰々しいが、考え方はシンプルだ。

強化学習 (Reinforcement Learning)
機械学習の一手法。「正解の答えを直接教える」のではなく、「行動の結果に対して報酬（点数）を与え、報酬が高くなる方向にモデルを動かす」やり方。ゲーム AI（将棋・囲碁の AlphaGo など）で有名だが、ここでは「LLM の応答にスコアを付け、スコアが高くなる方向にパラメータを調整する」道具として使われる。

RLHF の発想

モデルに同じ質問を投げて、複数の応答を生成 させる
人間（評価者）に 「どちらが良いか」を選んでもらう
その「人間の好み」を予測するモデル（報酬モデル）を別途学習する
元の LLM が 「報酬モデルが高得点をつけるような応答」を出すように さらに調整する

つまり、「人間が好む応答を作るモデル」に育てるための、二段構えの仕掛け。

具体的なプロセスを 1 ステップずつ：

Step 1: 応答ペアを集める

同じプロンプトに対し、Instruction Tuning 済みモデルに 複数の応答を生成 させる。人間の評価者が「どちらが良いか」をクリックしていく。こうして (プロンプト, 応答 A, 応答 B, A が良い) という形のデータが、数万件規模で集まる。

Step 2: 報酬モデルを訓練する

人間の選好を学んだ 「採点係」のモデル（報酬モデル） を別途作る。このモデルは、「ある応答が人間にどれだけ好まれそうか」を 数値スコア として出す。

Step 3: 元のモデルを、報酬モデルで磨く

元の LLM に応答を生成させ、報酬モデルでスコアを付ける。スコアが高くなる方向に、LLM のパラメータを 強化学習 で調整していく。

これを繰り返すと、LLM は 「人間の好む応答を、確率的に多く生成する」 モデルに育つ。

ここで一つ大事なメタファー：
Instruction Tuning は「お手本を見せて真似させる」（教師あり学習）。
RLHF は「選好を測って磨かせる」（強化学習）。

前者は「正解を教える」、後者は「好みのほうに引っ張る」。両者を組み合わせると、LLM は「ちゃんと指示に従い、しかも人間が好む形で応答する」相棒に化ける。

10.5 RLHF が変えたもの

RLHF を経たモデル（ChatGPT、Claude、Gemini など）は、生の GPT-3 と比べて目に見えて違う：

観点	生 GPT-3	RLHF 後の ChatGPT
指示への追従	弱い	強い
応答の構造	続き書き的	質問に直接答える
不適切内容の回避	しない	拒否する場合がある
「分からない」への態度	自信満々に嘘を書く	「分かりません」と言える（理想）
文体の整い	バラつき	一貫して丁寧

特に重要なのは、「LLM が、人間社会で使われるための作法を身につけた」 という点だ。

暴力や差別的な内容を求められたとき、ある程度拒否する
ヘイト発言を促すような誘導を、ある程度かわす
質問の意図を読み取って、適切な粒度で答える
「分かりません」と認める（完璧ではないが）

これらは Instruction Tuning だけでは身につきにくく、RLHF の「人間の好みを大規模に取り込む」 プロセスが効いている。

10.6 「Helpful, Honest, Harmless」── LLM の三原則

RLHF の評価でよく出てくるスローガンが、Anthropic が提唱した HHH 原則 だ：

H	意味
Helpful	役に立つ。質問の意図に沿って、実用的な応答を返す
Honest	誠実。嘘や誤情報を避け、不確かなら「分からない」と言う
Harmless	無害。差別、暴力、危険行為を助長する応答を避ける

これらは互いに 緊張関係 にある：

「危険な化学物質の合成方法を教えて」と聞かれたとき
- Helpful になりすぎると、Harmless を破る
- Harmless になりすぎると、Helpful が下がる
「絶対に正確に答えて」と問われたとき
- Honest であるためには「分からない」と言わざるを得ない場面が出てくる
- だが Helpful を優先したくなる誘惑がある

RLHF は、この 緊張関係を、人間の好みを通じてバランスさせる 工程でもある。モデル開発者は、評価データの設計を通じて、自社のモデルの「人格」をチューニングする。

ChatGPT、Claude、Gemini が、それぞれ少し違う 「キャラ」 を持つように感じるのは、気のせいではない。各社が RLHF の評価データを設計する際の 方針の違い（何を good とするか）が、モデルの口調や態度に反映されている。

LLM は単に大量のテキストを学んだ統計機械ではなく、「人間の好みでチューニングされた、企業ごとに少し違う人格」 として完成する。

10.7 GPT-3 → ChatGPT のジャンプの正体

ここで本章の核となる問いに戻る：「GPT-3 から ChatGPT への一段ジャンプの正体は何か？」

答えはこう：

GPT-3 → ChatGPT で起きたのは、モデルの中身（学習目標、アーキテクチャ、規模）の革新 ではない。 「人間の指示に従い、人間の好みで応答する」ための後処理工程の革新 だった。

具体的には：

Instruction Tuning で「指示に従う」を植え付け
RLHF で「人間の好み」に合わせて磨く

これだけで、「便利だが扱いにくい続き書き機」が、「誰でも使える対話相手」に化けた。

この発見は、LLM 業界の競争軸を変えた：

以前: 「もっと大きく、もっと賢く」
今: 「もっと安全に、もっと指示に従って、もっと人間に好まれる形で」

スケールアップ競争に並行して、RLHF と関連手法の研究競争 が、各社の最重要トピックになった。

10.8 RLHF の限界と発展

RLHF は革命的だったが、限界もある：

限界①: 「人間の好み」が偏る可能性

評価者の構成（多くが英語話者、特定の文化圏）によって、モデルの応答が その文化のバイアス を帯びる。 RLHF は「人間の好み」を増幅するが、その人間が誰かによって、モデルの人格が変わる。

限界②: 「分かったふり」を学ぶ恐れ

人間は「自信たっぷりに答える応答」を好む傾向がある。これに引きずられると、LLM は 「分からないこと」を正直に言わず、もっともらしく嘘を書く ように育つ可能性がある。これが第13章で扱う ハルシネーション の温床にもなる。

限界③: コストとスケール

人間の評価者を大量に雇うのは高くつく。そこで近年は、AI 自身に評価させる 手法も発展している：

RLAIF (RL from AI Feedback): 上位 LLM に「どちらが良いか」を判定させ、人間評価の代わりにする
Constitutional AI (Anthropic): モデル自身が「これは原則に反する」と気づいて修正する
DPO (Direct Preference Optimization): 報酬モデルを介さず、直接 LLM を好みに合わせて最適化する

これらの手法は、本書執筆現在も活発に進化中だ。

10.9 「大規模言語モデル」編、ここまでの整理

第8〜10章で、「大規模言語モデル」グループを走り切った。

[大規模言語モデル]
 第8章: BERT ──「読む」専門家。穴埋め予測で事前学習
 第9章: GPT ──「書く」専門家。次トークン予測で事前学習
 第10章: Instruction Tuning + RLHF ── 指示に従い、人間に好まれる人格を仕込む ← イマココ

ここまでで、ChatGPT の内部構造 はほぼ全部分かったと言っていい。次のグループ「応用と評価」では、この LLM を 実世界でどう使い、何を信じるか に話が移る。

第11章: RAG ── 知らないことを外から取ってくる
第12章: マルチモーダル ── 画像・音声も同じ枠で扱う
第13章: ハルシネーションと評価 ── どう測り、どう信頼するか

10.10 この章の振り返り

生の GPT-3 は「文の続きを書く」のは得意だが、「指示に従う」訓練を受けていない
Instruction Tuning: 「指示 → 望ましい応答」の見本ペアで微調整、指示追従を仕込む
RLHF (Reinforcement Learning from Human Feedback): 人間の好みを学んだ報酬モデルで、LLM を磨く
報酬モデル経由で、微妙な好みの違い をモデルに学ばせられる
HHH 原則（Helpful, Honest, Harmless）── LLM が満たすべき三つの軸、互いに緊張関係
GPT-3 → ChatGPT のジャンプは、モデル中身ではなく後処理工程 の革新だった
限界: 評価者のバイアス、ハルシネーションの温床、コスト。発展形として RLAIF、Constitutional AI、DPO

次章からは「応用と評価」の世界へ。まずは LLM の「知らないことは知らない」という弱点を 外部知識で補う 仕掛け、RAG の話だ。