概要

人の好み評価から報酬モデルを作り、強化学習でモデルの振る舞いを調整する手法。
「正しさ」を数式だけで書けない目標(丁寧さ・安全性など)を、比較フィードバックで近似する。
LLM の指示追従や安全性チューニングで広く使われた。
運用時の承認ゲートとは別レイヤだが、人の判断をシステムに埋め込む点で隣接する。

関連

Contents