Langfuse 是一个 开源 LLM 工程 平台。它帮助团队协作 开发、监控、评估 以及 调试 AI 应用。Langfuse 可在几分钟内 自托管，并且经过 实战考验。
✨ 核心特性
-
LLM 应用可观察性：为你的应用插入仪表代码，并开始将追踪数据传送到 Langfuse，从而追踪 LLM 调用及应用中其他相关逻辑（如检索、嵌入或代理操作）。检查并调试复杂日志及用户会话。试试互动的 演示 看看效果。
-
提示管理 帮助你集中管理、版本控制并协作迭代提示。得益于服务器和客户端的高效缓存，你可以在不增加延迟的情况下反复迭代提示。
-
评估 是 LLM 应用开发流程的关键组成部分，Langfuse 能够满足你的多样需求。它支持 LLM 作为"裁判"、用户反馈收集、手动标注以及通过 API/SDK 实现自定义评估流程。
-
数据集 为评估你的 LLM 应用提供测试集和基准。它们支持持续改进、部署前测试、结构化实验、灵活评估，并能与 LangChain、LlamaIndex 等框架无缝整合。
-
LLM 试玩平台 是用于测试和迭代提示及模型配置的工具，缩短反馈周期，加速开发。当你在追踪中发现异常结果时，可以直接跳转至试玩平台进行调整。
-
综合 API：Langfuse 常用于驱动定制化的 LLMOps 工作流程，同时利用 Langfuse 提供的构建模块和 API。我们提供 OpenAPI 规格、Postman 集合以及针对 Python 和 JS/TS 的类型化 SDK。
📦 部署 Langfuse
Langfuse Cloud
由 Langfuse 团队管理的部署，提供慷慨的免费额度（爱好者计划），无需信用卡。
自托管 Langfuse
在你自己的基础设施上运行 Langfuse：
-
本地（docker compose）：使用 Docker Compose 在你的机器上于 5 分钟内运行 Langfuse。
# 获取最新的 Langfuse 仓库副本
git clone https://github.com/langfuse/langfuse.git
cd langfuse
# 运行 Langfuse 的 docker compose
docker compose up
-
Kubernetes（Helm）：使用 Helm 在 Kubernetes 集群上部署 Langfuse。这是推荐的生产环境部署方式。
-
虚拟机：使用 Docker Compose 在单台虚拟机上部署 Langfuse。
-
Terraform 模板: AWS、Azure、GCP
请参阅 自托管文档 了解更多关于架构和配置选项的信息。
🔌 集成
主要集成：
| 集成 | 支持语言/平台 | 描述 |
|---|
| SDK | Python, JS/TS | 使用 SDK 进行手动仪表化，实现全面灵活性。 |
| OpenAI | Python, JS/TS | 通过直接替换 OpenAI SDK 实现自动仪表化。 |
| Langchain | Python, JS/TS | 通过传入回调处理器至 Langchain 应用实现自动仪表化。 |
| LlamaIndex | Python | 通过 LlamaIndex 回调系统实现自动仪表化。 |
| Haystack | Python | 通过 Haystack 内容追踪系统实现自动仪表化。 |
| LiteLLM | Python, JS/TS (仅代理) | 允许使用任何 LLM 替代 GPT。支持 Azure、OpenAI、Cohere、Anthropic、Ollama、VLLM、Sagemaker、HuggingFace、Replicate（100+ LLMs）。 |
| Vercel AI SDK | JS/TS | 基于 TypeScript 的工具包，帮助开发者使用 React、Next.js、Vue、Svelte 和 Node.js 构建 AI 驱动的应用。 |
| API | | 直接调用公共 API。提供 OpenAPI 规格。 |
| Google VertexAI 和 Gemini | 模型 | 在 Google 上运行基础模型和微调模型。 |
与 Langfuse 集成的软件包：
🚀 快速入门
为你的应用增加仪表代码，并开始将追踪数据上传到 Langfuse，从而记录 LLM 调用及应用中其他相关逻辑（如检索、嵌入或代理操作）。
1️⃣ 创建新项目
- 创建 Langfuse 账户 或 自托管
- 创建一个新项目
- 在项目设置中创建新的 API 凭证
2️⃣ 记录你的第一个 LLM 调用
使用 @observe() 装饰器 可轻松跟踪任何 Python LLM 应用。在本快速入门中，我们还使用了 Langfuse 的 OpenAI 集成 来自动捕获所有模型参数。
[!提示]
不使用 OpenAI？请访问 我们的文档 了解如何记录其他模型和框架。
安装依赖：
pip install langfuse openai
配置环境变量（创建名为 .env 的文件）：
LANGFUSE_SECRET_KEY="sk-lf-..."
LANGFUSE_PUBLIC_KEY="pk-lf-..."
LANGFUSE_BASE_URL="https://cloud.langfuse.com" # 🇪🇺 欧盟区域
# LANGFUSE_BASE_URL="https://us.cloud.langfuse.com" # 🇺🇸 美洲区域
创建示例代码（文件名：main.py）：
from langfuse import observe
from langfuse.openai import openai # OpenAI 集成
@observe()
def story():
return openai.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "What is Langfuse?"}],
).choices[0].message.content
@observe()
def main():
return story()
main()
3️⃣ 在 Langfuse 中查看追踪记录
在 Langfuse 中查看你的语言模型调用及其他应用逻辑。
Langfuse 中的公共示例追踪
[!提示]
了解更多 关于 Langfuse 中的追踪，或试试 互动演示。
⭐️ 给我们加星
💭 支持
查找问题答案：
- 我们的 文档 是查找答案的最佳起点。内容全面，我们投入大量时间进行维护。你也可以通过 GitHub 提出文档修改建议。
- Langfuse 常见问题 解答了最常见的问题。
- 使用 "Ask AI" 立即获取问题答案。
支持渠道：
- 在 GitHub Discussions 的 公共问答 中提出任何问题。 请尽量提供详细信息（如代码片段、截图、背景信息）以帮助我们理解你的问题。
- 在 GitHub Discussions 中 提出功能请求。
- 在 GitHub Issues 中 报告 Bug。
- 对于时效性较强的问题，请通过应用内聊天小部件联系我们。
🤝 贡献
欢迎你的贡献！
🥇 许可证
除 ee 文件夹外，本仓库采用 MIT 许可证。详情请参见 LICENSE 以及 文档。
⭐️ 星标历史
❤️ 使用 Langfuse 的开源项目
以下是使用 Langfuse 的顶级开源 Python 项目，按星标数排名（来源）：
🔒 安全与隐私
我们非常重视数据安全和隐私。更多信息请参阅我们的 安全与隐私 页面。
遥测
默认情况下，Langfuse 会自动将自托管实例的基础使用统计数据上传至集中服务器（PostHog）。
这有助于我们：
- 了解 Langfuse 的使用情况，并改进最关键的功能。
- 跟踪整体使用数据，以便内部及外部（例如筹款）报告。
所有数据均不会与第三方共享，也不包含任何敏感信息。我们对这一过程保持高度透明，你可以在 此处 查看我们收集的具体数据。
你可以通过设置 TELEMETRY_ENABLED=false 来选择退出。
