概要

生テキストをモデルが扱えるトークン列(数値 ID)に変換する部品。
単語・文字・サブワードなど分割方式があり、語彙はモデル学習時に固定される。
どのトークナイザかで同じ文のトークン数が変わり、コスト見積もりやコンテキスト判定に直結する。

関連

Contents