Bonsai 27B
ぼんさいにじゅうななびー / 1-bit Bonsai 27B / Ternary Bonsai 27B
製品・サービスBonsai 27Bは、約270億パラメータ規模の大規模言語モデル(LLM)を、重みの精度を大きく落として小さくしたオープンソースのモデルです。スマートフォンやノートPCなど、メモリの限られた端末でも動かせることを目指して作られたものです。
通常の大きな言語モデルは、精度を高く保つと数十ギガバイト級のメモリを必要とし、スマホやノートPCでは現実的に載りにくいことがあります。Bonsai 27Bは、各重みを1〜2ビット程度の少ない値で表すことでモデル全体を圧縮し、端末上での実行を可能にしようとするアプローチの一例です。知識や推論、数学、コーディング、指示への対応など、幅広いタスク向けの用途が想定されます。商用利用可能なライセンスで公開されるオープンソースのモデルとして言及されることがあります。
実例
「PrismMLのBonsai 27BをiPhoneで実行可能に」では、PrismMLがQwen3.6 27Bを基にマルチモーダル対応のBonsai 27Bを開発したと紹介されている。各パラメータの重みを1〜2ビット程度へ削減し、スマートフォン向けには「−1」と「+1」の2値で表す1-bit版、ノートPC向けには「−1」「0」「+1」の3値で表すTernary版を用意した。1-bit版は有効1.125ビット/重みで3.9GB、Ternary版は有効1.71ビット/重みで5.9GBまで縮小され、27BクラスをiPhoneで実行可能な容量に収めたとされる。知識、推論、数学、コーディング、指示追従、ツール使用、視覚認識を含む15ベンチマークでは、Ternary版がフル精度の95%、1-bit版が90%の性能を維持したとする評価結果が示されている。Apache 2.0ライセンスで公開されたオープンソースLLMとして位置づけられている。