面向 Apple Silicon 的 vLLM 风格推理服务器，基于原生 MLX 后端，单进程同时暴露 OpenAI 与 Anthropic 兼容 API，支持多模态统一服务、Continuous Batching、Paged KV Cache、SSD 分级缓存等生产级特性。

多模态大语言模型Python

查看详情 →

开源免费的 AI Prompt 与 Skill 一站式管理工作台，支持 Prompt 版本管理、多平台 Skill 分发、多模型并行测试与本地优先数据同步。

模型与推理框架大语言模型Electron

查看详情 →

自动为每个 LLM 请求路由到最便宜但仍能胜任的模型的本地代理服务

模型与推理框架AI代理大语言模型

查看详情 →

首个实验性全节点对等（P2P）分布式 AGI 系统，通过自主 Agent 网络实现持续复合的智能进化，支持跨异构设备的去中心化分布式训练、P2P 推理路由及内置区块链微支付经济体系。

模型与推理框架多智能体系统AI代理

查看详情 →

Apple Silicon 本地 AI 推理引擎，提供 OpenAI 兼容 API，支持多模态、Tool Calling 和智能云端路由。

AI代理大语言模型MCP

查看详情 →

面向大语言模型的灵活、高效、生产可用的强化学习后训练框架

其他深度学习多模态

查看详情 →

衡量 AI 模型是否会挑战无意义提示词而非自信回答的基准测试工具，包含 100 道覆盖 5 个领域的无意义问题，采用三级评判体系与多裁判面板机制。

模型与推理框架自然语言处理大语言模型

查看详情 →

Intel 官方的大语言模型与视觉-语言模型后训练量化工具包，基于 SignRound 算法支持 2-4 bit 极低比特量化与自动混合精度方案生成，可跨 Intel CPU/GPU、NVIDIA GPU、Habana Gaudi 部署。

多模态大语言模型Transformers

查看详情 →

全解耦多模态模型推理与服务框架，扩展 vLLM 支持任意到任意模态的统一推理与高性能部署。

深度学习多模态FastAPI

查看详情 →

基于 Docker Compose 的本地 LLM 全栈编排 CLI 工具，一条命令启动预互联的推理后端、前端 UI、RAG、语音、图像生成等服务

模型与推理框架多模态大语言模型

查看详情 →