PrismML-Eng/Bonsai-demo

它是做什么的

PrismML 的 Bonsai 系列语言模型官方演示仓库，主打极致量化：1-bit 版每权重约 1.125 bit，27B 模型能塞进现代 iPhone；三值（Ternary）版约 1.7 bit，是质量更高的默认选项。最新 27B 是视觉语言模型，支持看图、tool calling、MCP、256k+ 长上下文和推理努力度调节。

仓库包含什么

纯 Shell 脚本工程：setup.sh / setup.ps1 一键装依赖下模型，scripts/ 放运行和下载脚本，另有三份白皮书 PDF、AGENTS.md（写给 AI agent 看的配置指南）、VISION/TOOLS 等专题文档与社区 benchmark。

技术栈

Shell + llama.cpp 服务端，模型托管在 HuggingFace；支持 Mac Metal、CUDA/Vulkan/ROCm 和纯 CPU，Apache-2.0。

适用场景

• 手机 / 边缘设备开发者 —— 在 iPhone 上离线跑 27B 视觉语言模型
• 隐私敏感场景 —— 医疗、法律等数据不出本地的本地 AI 助手
• 硬件玩家 —— 在树莓派等低功耗设备上体验大模型

为什么走红

视觉语言模型与 iPhone 端侧演示把技术卖点变得直观，配套脚本也降低了上手与复现实验的门槛。

当前上榜位置