vllm-mlx
🧠面向 Apple Silicon 的 vLLM 风格推理服务器,基于原生 MLX 后端,单进程同时暴露 OpenAI 与 Anthropic 兼容 API,支持多模态统一服务、Continuous Batching、Paged KV Cache、SSD 分级缓存等生产级特性。
面向 Apple Silicon 的 vLLM 风格推理服务器,基于原生 MLX 后端,单进程同时暴露 OpenAI 与 Anthropic 兼容 API,支持多模态统一服务、Continuous Batching、Paged KV Cache、SSD 分级缓存等生产级特性。
面向实时语音与多模态对话 AI Agent 的开源 Python 框架,通过可组合 Pipeline 架构实现端到端语音流式交互。
Apple Silicon 本地 AI 推理引擎,提供 OpenAI 兼容 API,支持多模态、Tool Calling 和智能云端路由。
全解耦多模态模型推理与服务框架,扩展 vLLM 支持任意到任意模态的统一推理与高性能部署。
面向 Apple Silicon 的本地 OpenAI 兼容多模态 API 服务器,支持文本、视觉、音频转录与图像生成/编辑模型的统一部署。
面向 AI Agent 的 macOS 全桌面操控系统,通过 29 个 MCP 工具实现结构化感知、视觉定位、合成输入与自学习 Recipe 工作流。
跨平台桌面 AI 生产力客户端,统一接入多家 LLM 提供商,支持多模型对比对话、知识库构建、AI 绘图与 MCP 扩展。
基于 LiveKit 构建的可学习、可配置、高度插件化的全能型实时交互虚拟助手框架,支持多模态记忆、用户画像与外部工具集成。
Rodel Agent是一款Windows桌面应用程序,整合聊天、文本转语音、图像生成和翻译功能。支持主流AI服务和MCP服务器插件,采用AOT编译,为用户提供优秀的桌面AI体验。
一个AI智能体框架,用于构建和管理多模态智能体系统,提供增强现实能力和远程操作功能。
第 1 / 2 页 · 共 12 条
获取最新的 AI 工具和趋势,直接发送到您的收件箱。没有垃圾邮件,只有智能。