基于 Docker Compose 的本地 LLM 全栈编排 CLI 工具,一条命令启动预互联的推理后端、前端 UI、RAG、语音、图像生成等服务
Harbor 是一个面向本地 LLM 开发者的全栈编排工具,通过 harbor up 一条命令即可基于 Docker Compose 拉起预配置、预互联的完整 LLM 技术栈。
核心能力覆盖:14+ 推理后端(Ollama、vLLM、llama.cpp、TGI、SGLang、LMDeploy、KTransformers、TabbyAPI、Aphrodite Engine、mistral.rs、LiteLLM、AirLLM、KoboldCpp、Modular MAX)、7+ 前端 UI(Open WebUI、LibreChat、HuggingFace ChatUI、Lobe Chat、Hollama、BionicGPT、AnythingLLM)、Web RAG(SearXNG + Perplexica/Morphic/Local Deep Research)、语音对话(Speaches STT/TTS)、图像生成(ComfyUI + FLUX)、MCP 生态管理(MetaMCP + mcpo)、低代码工作流(Dify、n8n、LangFlow、Flowise、Open WebUI Pipelines、LitLytics、FloWise)。内置 Traefik 反向代理自动处理路由,内置 cloudflared 可暴露公网隧道,QR 码支持手机快速访问。
CLI 设计注重易用性:参数顺序无关(如 harbor model vllm 等价于 harbor vllm model)、harbor how 自助问答、Profile 配置保存/切换/URL 导入、本地命令历史。Harbor Bench 提供内置基准测试,Harbor Boost 提供可脚本化的优化代理。harbor eject 可将当前编排导出为独立 docker-compose 文件,支持脱离 Harbor 运行。配套桌面应用 Harbor App 提供可视化管理界面。
架构上,Harbor 本身不实现任何 AI 推理,纯粹作为编排胶水层,自动处理 Docker 网络、环境变量注入和服务依赖。采用多运行时(Shell/Deno/Node.js/Python),主要语言占比 TypeScript 37.3%、Python 20.8%、HTML 19.8%、Shell 15.6%。服务以独立目录形式组织在 services/ 下,profiles/ 存储 profile,skills/ 包含技能模块,boost/ 为优化代理模块。v0.4.12+ 引入 workspace-init sidecar 模式解决 17+ 服务的 bind mount 权限问题。
运行依赖 Docker Engine + Docker Compose,支持 Linux 和 macOS,通过单行 curl 脚本安装到 ~/.harbor 并链接到 PATH。截至记录时最新版本 v0.4.14,已发布 136 个 release,迭代频率高。采用 Apache-2.0 许可证。