面向 LLM 应用的全栈 LLMOps 平台,集成 Agent 仿真、可观测性、评估与 Prompt 管理,提供亚毫秒级 AI Gateway 治理能力。
LangWatch 是由 Reasoning Engine B.V. 开发的全栈 LLMOps 平台,致力于解决大语言模型及 Agent 应用在开发与生产环境中的可观测性、评估与治理问题。平台采用多语言混合架构,前端与核心服务基于 TypeScript 构建,AI Gateway 采用 Go 语言编写以实现约 11 µs 的亚毫秒级延迟处理(内嵌 bifrost/core 调度库),而重度 NLP 评估任务则由 Python 后端承担,底层依赖 PostgreSQL、Redis、ClickHouse 及 OpenSearch。
核心功能涵盖四大板块:一是基于 OpenTelemetry/OTLP 协议的全链路 Trace 追踪与自动化评估闭环(Trace → Dataset → Evaluate → Optimize → Re-test);二是全栈端到端 Agent 仿真,可模拟工具、状态与用户行为以精准定位失败节点;三是高性能 AI Gateway,提供 OpenAI/Anthropic 兼容代理端点、虚拟密钥体系、分层预算控制(组织→团队→项目→VK→主体,支持软警告/硬阻断)、内联 Guardrails(PII 脱敏、Prompt 注入检测等)及 Provider Fallback 链与 Model Aliases 一键切换;四是集成 Git 版本控制的 Prompt 管理与优化工作室(支持 DSPy 优化)。此外,平台提供完善的团队协作机制(运行审查、失败标注、Annotation Queue)并符合 GDPR 与 ISO 27001 合规要求,同时提供 LangWatch MCP Server 可接入 Claude Desktop 等 MCP 客户端。
在接入方面,LangWatch 保持严格的框架无关性,除提供 Python/TypeScript/Go SDK 外,原生支持 OTLP 协议接入,并官方适配了 LangChain、LlamaIndex、CrewAI、Vercel AI SDK、Google ADK、Semantic Kernel、Spring AI 等 20 余种主流开发框架及 n8n、LangFlow、Flowise 等无代码平台。部署形态灵活,支持本地一键启动(npx @langwatch/server)、Docker Compose、Kubernetes Helm Chart、云原生 OnPrem 以及数据本地化混合部署。
部署方式
- 云端 SaaS:访问 https://app.langwatch.ai 创建免费账户,获取 API Key 后集成 SDK
- 本地一键运行:
npx @langwatch/server(自动安装依赖并启动所有服务于 http://localhost:5560) - Docker Compose:克隆仓库后执行
docker compose up -d --wait --build - Kubernetes:使用
charts/目录下的 Helm Charts 部署,含独立 AI Gateway 子 Chart
AI Gateway 接入示例
# OpenAI 兼容
export OPENAI_BASE_URL=https://gateway.langwatch.ai/v1
export OPENAI_API_KEY=lw_vk_live_...
# Anthropic 兼容
export ANTHROPIC_BASE_URL=https://gateway.langwatch.ai/v1
export ANTHROPIC_AUTH_TOKEN=lw_vk_live_...
注意事项:该项目源码基于 Business Source License 1.1 发布(Change Date 2099-12-31,届时转为 Apache-2.0),源码可见但生产环境商业使用需获取相应商业授权。GitHub 仓库页面 License 标注存在冲突(同时出现 "Unknown" 和 "Apache-2.0"),以仓库内 LICENSE.md 文件为准。