本地部署工具大全
Open WebUI
Open WebUI（openwebui.com）是「自托管 AI 平台 / 界面」：一条命令（pip/Docker，约 60 秒）即可在你自己的机器或服务器上跑起来，连接任意模型（Ollama、OpenAI、Anthropic 及任意 OpenAI 兼容端点），本地与云端混合、数据留在你手里。能力完整且可扩展——RAG 检索、Agents（Tools/Functions/Python pipelines）、语音、视觉、联网搜索，并能用 Python 自写函数与工具、从社区库一键安装/共享；企业版还提供 SSO、RBAC、审计日志、数据驻留与离线/气隙部署。GitHub 154K+ stars、社区 500K+ 成员、下载 4 亿+，生态极强。许可证是自定义「Open WebUI License（非标准 OSI）」：个人自托管免费，商业/企业用途需授权。
AnythingLLM
AnythingLLM 是开源、可自托管的全功能本地 AI 聊天与知识库（RAG）桌面应用，支持文档上传、私有知识库构建、多模型切换、智能体技能与本地会议助理，所有数据在设备端处理，强调隐私与离线可用。
Cactus Compute
Cactus Compute（cactuscompute.com）做「面向微型设备的自动化基础模型」：旗舰模型 Needle 3 仅 8–29MB、2-bit 量化，可完全本地运行（不上云、可离线），端侧解码最快约 4k tokens/sec，支持 tool calls、结构化抽取与 embeddings。它覆盖手机、可穿戴、AR 眼镜、智能家居、机器人、车机、PC、游戏机、电视乃至微控制器，让设备端直接跑「自动化」而非依赖云端大模型。Needle 在 GitHub 开源（Apache-2.0，13k+ stars）可自由使用与微调，并有面向设备厂商的「Platform / Whistle」商业平台（公开定价缺失、需联系销售）。投资方与 Raspberry Pi 创始人 Eben Upton、Pebble 创始人 Eric Migicovsky 公开背书。
Strata
Strata（github.com/Niko1221/Strata）是一个在消费级硬件上本地运行大模型的推理引擎，主打把 Qwen3.8-Flash-Next 带到普通 Windows / Linux 机器：提供一键安装包，本机起一个 OpenAI / Anthropic 兼容的 API（localhost），并可选支持图像输入。它让没有高端 GPU 的用户也能离线、隐私地跑大模型，且现有应用与 agent 框架几乎零改动即可切到本地模型。项目 MIT 开源、14k+ stars、C++ 实现，2026 年 9 月创建并持续更新；优点是真·本地/低门槛/API 兼容/开源热度高/支持图像输入，短板是绑定单一模型权重、消费级硬件性能有上限、项目很新生态待验证、无云端多用户能力。
Desert Ant Labs
Desert Ant Labs 为开发者与产品团队提供可在设备端直接运行的小型 AI 模型及配套原生 SDK（标语“一颗小脑，嵌入每一款产品”），旨在为各类应用快速打造低成本、低延迟、隐私友好的智能层。每个模型体积轻巧且仅专注做好一件事——如语音增强（Clear）、语音识别（Voz，iPhone 上 2 秒转写 10 分钟音频）、逐词时间戳（Align）、语种检测（Ear/Tongue）、PII 脱敏（Redact，信息传出前移除）、内容主题标注（Gist）、标题生成（Title）、语气词检测（Uhm）、形状识别（Shapes）、内容审核（Moderator）与结构化抽取（Schemer）等，仅需几行代码即可嵌入任意产品，完全在设备端执行、无需云端账单。定价以免费为主：无需 token、无需登录，每个模型在每个平台上免费支持最多 10 万台月活跃设备，且永不按用户计量收费。