概要
AIやエージェントの入出力・行動を、あらかじめ決めた境界内に収める制約・検証の仕組み。
有害出力の遮断、形式チェック、ポリシー違反の検知など、モデル本体の外側に置くことが多い。
失敗時は修正ループや人へのエスカレーションにつなげる。
エージェント開発ではサンドボックスや承認ポリシーとセットで語られる。
AIやエージェントの入出力・行動を、あらかじめ決めた境界内に収める制約・検証の仕組み。
有害出力の遮断、形式チェック、ポリシー違反の検知など、モデル本体の外側に置くことが多い。
失敗時は修正ループや人へのエスカレーションにつなげる。
エージェント開発ではサンドボックスや承認ポリシーとセットで語られる。