Lunary

Lunary: 开源 LLM 工程平台

什么是 Lunary?

Lunary 是一个开源 LLM（大型语言模型）工程平台，旨在帮助团队自信地构建、监控和优化 AI 应用程序。它提供了一套全面的工具，用于可观测性、提示管理、评估和产品分析。

Lunary 如何工作？

Lunary 通过集成到您的 AI 应用程序堆栈中，从 LLM 和相关组件捕获数据。然后，这些数据用于提供对模型性能、用户交互和整体应用程序健康状况的洞察。该平台提供以下功能：

• 可观测性 (Observability): 实时监控 LLM 性能，包括延迟、成本和错误率。
• 提示管理 (Prompt Management): 用于创建、版本控制和 A/B 测试提示的工具。
• 评估 (Evaluations): 基于预定义标准自动评分 LLM 响应。
• 产品分析 (Product Analytics): 跟踪用户参与度和对 AI 驱动功能的满意度。

为什么选择 Lunary？

• 开源 (Open Source): 对您的数据和基础设施的完全透明和控制。
• 自托管 (Self-Hostable): 在您自己的基础设施上部署 Lunary，以增强安全性和合规性。
• 一行集成 (1-Line Integration): 使用轻量级 SDK 轻松与现有 AI 应用程序集成。

Lunary 适合谁？

Lunary 非常适合构建以下内容的团队：

• 内部工具 (Internal Tools): 自动化工作流程并改善团队对公司知识的访问。
• 客户支持聊天机器人 (Customer Support Chatbots): 提供准确且有帮助的客户咨询回复。
• 自主代理 (Autonomous Agents): 部署代理以执行复杂任务并监控其性能。

主要特性和优势

• 调试 LLM 代理 (Debug LLM Agents): 记录提示和结果，以了解代理在生产中的表现。
• 跟踪和分析性能 (Track and Analyze Performance): 监控 GenAI 项目的性能、成本和用户交互。
• 迭代提示 (Iterate on Prompts): 创建模板并与非技术团队成员协作处理提示。
• 确保安全 (Ensure Security): PII 屏蔽、RBAC 和 SSO，实现企业级安全和合规性。

使用案例

• 聊天机器人分析 (Chatbot Analytics): 了解您的聊天机器人与用户之间的差距。
• 内部知识库 (Internal Knowledge Bases): 帮助您的团队访问公司知识并自动化工作流程。
• 客户支持自动化 (Customer Support Automation): 构建可理解您的文档的面向客户的聊天机器人。
• 代理监控 (Agent Monitoring): 部署自主代理并实时监控其性能。

集成和兼容性

Lunary 提供与各种 LLM 和框架的无缝集成，包括：

• OpenAI
• LangChain

它通过其 SDK 支持多种编程语言，包括 Python。

安全和合规

Lunary 优先考虑安全性和合规性，具有以下功能：

• PII 屏蔽 (PII Masking): 保护用户个人信息。
• RBAC 和 SSO: 管理访问控制并确保数据安全。
• 自托管 (Self-Hosting): 在您自己的 VPC 中使用 Kubernetes 或 Docker 部署。
• 通过 SOC 2 Type II 和 ISO 27001 认证 (SOC 2 Type II and ISO 27001 Certified)

客户评价

• Nevo David, Gitroom.com 的 OSS 负责人: "在用 Lunary 监控我们的聊天机器人数据之前，我不知道它们幻觉发生的频率有多高。它确实对提高它们的答案质量很有帮助。而且集成实际上只花了 2 分钟。绝对是必不可少的工具！"
• David Erik Mollberg, Islandsbanki 的 GenAI 工程师: "Lunary 在我们的 GenAI 之旅中发挥了重要作用。它为我们提供了 GenAI 应用程序的全面概述，极大地帮助了它的开发和维护。"
• Bart van der Meeren, Growf 的 CTO 兼联合创始人: "对 Lunary AI 非常满意，因为它不需要我们的监督，并且始终可以信任它能可靠地工作。我们在几分钟内就完成了设置，并直接开始监控和改进我们的提示。"

快速开始

Lunary 提供自托管和云选项。您可以按照以下步骤在几分钟内开始使用：

1. 自托管开源平台。
2. 注册云版本。

结论

Lunary 是一个强大而多功能的 LLM 工程平台，可帮助团队有效地构建、监控和优化 AI 应用程序。凭借其开源性质、全面的功能以及对安全性的关注，Lunary 是希望利用 LLM 的强大功能，同时保持控制和合规性的组织的绝佳选择。