发现 AI 代理的未来

Future AGI

收录于 2026年5月7日
智能体与应用工具
开源
PythonDocker大语言模型FastAPIMCPAI代理Web应用智能体与应用工具模型与推理框架开发者工具/代码协议/API/集成安全/隐私

开源端到端 LLM/AI Agent 评估、观测与优化平台,集成追踪、评估、模拟、防护、网关、Prompt 优化六大能力。

Future AGI 是一个面向 LLM 与 AI Agent 全生命周期的开源平台,以六大支柱能力替代传统方案中需要拼凑的多个独立工具:

模拟:支持数千轮多轮对话模拟,覆盖真实人设、对抗性输入与边缘案例,同时支持文本与语音模态(LiveKit、VAPI、Retell、Pipecat)。

评估:提供 50+ 内置指标(groundedness、hallucination、工具调用正确性、PII、语气等),支持 LLM-as-judge、启发式、ML 三种评估范式,通过单一 evaluate() 调用完成。

防护:内置 18 个扫描器与 15 个供应商适配器(Lakera、Presidio、Llama Guard 等),可嵌入 Gateway 管线或独立 SDK 使用。

监控:基于 OpenTelemetry 的原生追踪,零配置接入 50+ 框架(LangChain、LlamaIndex、CrewAI、DSPy 等),提供 Span 图、延迟、Token 成本实时仪表盘。

Agent 控制中心:OpenAI 兼容 Gateway,接入 100+ LLM 供应商,15 种路由策略,语义缓存,虚拟密钥,支持 MCP 与 A2A 协议。Go 实现,性能达 ~29k req/s,P99 ≤ 21ms。

优化:6 种 Prompt 优化算法(GEPA、PromptWizard、ProTeGi、Bayesian、Meta-Prompt、Random),支持生产追踪数据直接回流作为训练数据。

架构上采用 Django + Go Gateway + React 前端,PostgreSQL 存储元数据、ClickHouse 存储时序追踪数据、Redis 缓存、RabbitMQ + Temporal 编排异步任务。所有组件通过开放接口(OTLP、OpenAI-compatible HTTP、SQL)通信,可在任意层替换。支持 Docker 自托管、Kubernetes(Helm)及 Cloud 三种部署方式,提供 Python 与 npm 双语言 SDK 体系。

当前处于 Nightly 发布阶段(v0.5.4),稳定版即将推出。Cloud 版提供 SOC 2 Type II 与 HIPAA 合规。自托管版本仅发送匿名使用计数,不发送追踪数据、Prompt 或 API Key,可通过环境变量完全关闭遥测。

保持更新

获取最新的 AI 工具和趋势,直接发送到您的收件箱。没有垃圾邮件,只有智能。