LiteLLM:LLM网关

LiteLLM

3 | 100 | 0
类型:
开源项目
最后更新:
2025/07/08
资源描述:
LLM网关(OpenAI代理)用于管理100多个LLM的身份验证、负载平衡和费用跟踪。全部采用OpenAI格式。
分享:

工具介绍

LiteLLM 是一个 LLM 网关(OpenAI 代理),旨在简化对 100 多个 LLM 的模型访问、费用跟踪和回退。 它以 OpenAI 格式提供统一的界面,使开发人员能够无缝集成和管理各种语言模型,如 OpenAI、Azure、Gemini、Bedrock 和 Anthropic。

主要功能包括成本跟踪、预算和速率限制、自动支出归因、LLM 回退和提示管理。 它非常适合为开发人员提供 LLM 访问的平台团队,提供诸如高效的资源管理、成本控制和改进的模型可观察性等优势。

LiteLLM 通过支持更快地访问新模型、减少对特定于提供商的代码转换的需求以及简化 LLM 驱动的应用程序的部署和管理来增强用户体验。 通过支持开源和企业部署选项,它可以满足各种用例。

相似链接

StartKit.AI
暂无图片
109 0

使用 StartKit 的样板代码,以 100 倍的速度启动您的 AI 产品。包括用户身份验证、速率限制、所有 OpenAI API 等。

SaaS
样板代码
OpenAI
MacCopilot
暂无图片
144 0

macOS原生CopilotAI应用,集成了GPT-4o, ClaudeAI Opus, Google Gemini等先进的AI模型。可以通过AI自由地与屏幕内容互动。

AI助手
macOS
Quick Snack
暂无图片
188 1

Quick Snack 允许您通过与 LLM/AI 助手对话来构建 React Native 应用。它建立在 Expo Snack 之上。

人工智能
React Native
RecurseChat
暂无图片
122 0

RecurseChat:一款个人AI应用,用于与本地AI聊天,支持离线,并可与PDF/markdown聊天。

AI聊天
本地LLM
离线AI
LlamaIndex
暂无图片
120 0

LlamaIndex是一个灵活的框架,用于构建使用LLM连接到企业数据的知识助手,实现快速部署AI驱动的解决方案。

LLM
知识管理
AI助手
Third Garden
暂无图片
109 1

Third Garden为企业和个人提供AI驱动的工具,如聊天机器人,AI搜索,代码调试器,翻译,提示词生成器等。我们的工具可以帮助您自动化工作流程,享受乐趣或提高生产力。

人工智能工具
聊天机器人
代码调试
MxChat
暂无图片
140 0

MxChat:适用于 WordPress 的 AI 聊天机器人,通过 24/7 自动化支持提高客户满意度。价格实惠,无需月度订阅。

AI 聊天机器人
WordPress
Amanu
暂无图片
158 0

为AI初创公司快速构建Telegram应用。聊天机器人、Mini Apps和AI基础设施。从概念到MVP只需4周。

Telegram
聊天机器人
BotPenguin
暂无图片
223 0

BotPenguin 是一款免费的 AI 聊天机器人创建工具,适用于网站、WhatsApp、Facebook 和 Telegram。 无需代码的聊天机器人制作工具,带有在线聊天插件和 ChatGPT 集成。 立即尝试!

聊天机器人
人工智能
自动化