概要

学習済みの重みと推論処理を、自分の PC や自組織のサーバ上に置いて動かす LLM の使い方。
プロンプトや添付ファイルは、その環境の中で処理できる。
公開された重みを量子化してメモリを減らし、実行環境に載せる構成が典型になる。
扱える規模と応答速度は、GPU とメモリの容量で決まる。

関連

Contents