Mooncake
✨面向大语言模型服务的 KVCache 中心化解耦架构平台，提供分布式 KVCache 池化存储、拓扑感知高速传输引擎与中心化调度器，支持 Prefill-Decode 分离部署与 MoE 弹性推理。
PythonRustPyTorch
按分类筛选
固定项目分类
按领域筛选
按产品形态筛选
全部项目
2 个项目
NVIDIA Dynamo：高性能分布式AI推理框架
🧠专为多节点分布式环境设计的生成式AI和推理模型服务框架，提供高吞吐、低延迟的推理能力。
PythonRustDocker
每页
第 1 / 1 页 · 共 2 条