verl
🧠面向大语言模型的灵活、高效、生产可用的强化学习后训练框架
面向大语言模型的灵活、高效、生产可用的强化学习后训练框架
Intel 官方的大语言模型与视觉-语言模型后训练量化工具包,基于 SignRound 算法支持 2-4 bit 极低比特量化与自动混合精度方案生成,可跨 Intel CPU/GPU、NVIDIA GPU、Habana Gaudi 部署。
全解耦多模态模型推理与服务框架,扩展 vLLM 支持任意到任意模态的统一推理与高性能部署。
面向大语言模型服务的 KVCache 中心化解耦架构平台,提供分布式 KVCache 池化存储、拓扑感知高速传输引擎与中心化调度器,支持 Prefill-Decode 分离部署与 MoE 弹性推理。
NVIDIA 出品的 LLM 全流程开发管线工具集,覆盖合成数据生成、多后端推理、模型训练与 11 大类 benchmark 评测,支持从单 GPU 到万卡 Slurm 集群的弹性扩展。
面向 Apple Silicon 的本地 OpenAI 兼容多模态 API 服务器,支持文本、视觉、音频转录与图像生成/编辑模型的统一部署。
面向 macOS Apple Silicon 的全链路端侧语音 AI 助手,集成 STT、LLM、TTS、VLM、RAG 与系统操作控制,完全离线运行。
面向具身智能与智能体 AI 后训练场景的灵活可扩展强化学习训练基础设施,通过 M2Flow 范式实现逻辑工作流构建与高效物理执行解耦。
在本地设备集群上运行前沿大模型的分布式推理框架,基于 Apple MLX 与 libp2p,支持自动设备发现、拓扑感知并行与多 API 兼容。
面向大语言模型的强化学习训练环境构建库,提供从开发、测试到规模化 Rollout 采集的完整基础设施,内置丰富的 RLVR 场景与工具调用支持。
第 1 / 8 页 · 共 72 条
获取最新的 AI 工具和趋势,直接发送到您的收件箱。没有垃圾邮件,只有智能。