vllm-mlx
🧠面向 Apple Silicon 的 vLLM 风格推理服务器，基于原生 MLX 后端，单进程同时暴露 OpenAI 与 Anthropic 兼容 API，支持多模态统一服务、Continuous Batching、Paged KV Cache、SSD 分级缓存等生产级特性。
多模态大语言模型Python
全部项目
22 个项目
Rapid-MLX
✨Apple Silicon 本地 AI 推理引擎，提供 OpenAI 兼容 API，支持多模态、Tool Calling 和智能云端路由。
AI代理大语言模型MCP
AutoRound
✨Intel 官方的大语言模型与视觉-语言模型后训练量化工具包，基于 SignRound 算法支持 2-4 bit 极低比特量化与自动混合精度方案生成，可跨 Intel CPU/GPU、NVIDIA GPU、Habana Gaudi 部署。
多模态大语言模型Transformers
vLLM-Omni
🧠全解耦多模态模型推理与服务框架，扩展 vLLM 支持任意到任意模态的统一推理与高性能部署。
深度学习多模态FastAPI
mlx-openai-server
✨面向 Apple Silicon 的本地 OpenAI 兼容多模态 API 服务器，支持文本、视觉、音频转录与图像生成/编辑模型的统一部署。
深度学习大语言模型多模态
RLinf
✨面向具身智能与智能体 AI 后训练场景的灵活可扩展强化学习训练基础设施，通过 M2Flow 范式实现逻辑工作流构建与高效物理执行解耦。
多模态AI代理强化学习
trackers
✨即插即用的多目标跟踪（MOT）Python库，提供SORT和ByteTrack等经典算法的模块化实现。采用检测器无关设计，可配合任意目标检测模型（YOLO、DETR等）使用，支持视频文件、摄像头、RTSP流等多种输入源。提供统一CLI工具与Python API，内置CLEAR、HOTA、Identity等标准MOT评估指标计算功能。
多模态深度学习SDK
MiniCPM-o
✨清华大学THUNLP推出的端到端全能多模态大模型，支持视觉理解、语音对话和全双工多模态实时流交互，性能接近Gemini 2.5 Flash，可在手机端高效运行。
大语言模型多模态Transformers
Vision-Agents 视觉智能体
✨Stream公司开发的开源视觉智能体框架，支持任何模型或视频提供商，通过Stream的边缘网络实现超低延迟，帮助开发者快速构建视觉AI应用。
智能体与应用工具PythonPyTorch
My-Neuro: AI个人助手
✨一个可自定义的AI桌面伴侣项目，支持角色设定、语音对话、长期记忆等功能，响应时间低于1秒，可集成Live2D模型。
智能体与应用工具PythonElectron
每页
第 1 / 3 页 · 共 22 条