vllm-mlx
🧠面向 Apple Silicon 的 vLLM 风格推理服务器，基于原生 MLX 后端，单进程同时暴露 OpenAI 与 Anthropic 兼容 API，支持多模态统一服务、Continuous Batching、Paged KV Cache、SSD 分级缓存等生产级特性。
Python大语言模型多模态
全部项目
5 个项目
Rapid-MLX
✨Apple Silicon 本地 AI 推理引擎，提供 OpenAI 兼容 API，支持多模态、Tool Calling 和智能云端路由。
Python大语言模型MCP
vLLM-Omni
🧠全解耦多模态模型推理与服务框架，扩展 vLLM 支持任意到任意模态的统一推理与高性能部署。
Python工作流自动化PyTorch
mlx-openai-server
✨面向 Apple Silicon 的本地 OpenAI 兼容多模态 API 服务器，支持文本、视觉、音频转录与图像生成/编辑模型的统一部署。
PythonPyTorch大语言模型
DeepChat - 深度聊天助手
✨一个功能强大的开源AI助手平台，统一管理多种AI模型、工具和智能代理，支持多模态对话和本地模型部署。
PythonTypeScriptElectron
每页
第 1 / 1 页 · 共 5 条