概要 生テキストをモデルが扱えるトークン列(数値 ID)に変換する部品。 単語・文字・サブワードなど分割方式があり、語彙はモデル学習時に固定される。 どのトークナイザかで同じ文のトークン数が変わり、コスト見積もりやコンテキスト判定に直結する。 関連 トークン Contents