工具介绍
AutoArena是一个开源工具,旨在自动评估大型语言模型(LLM)、检索增强生成(RAG)系统和其他生成式AI应用程序。它利用使用评判模型的正面对决判断来提供可信赖的结果。在CI中评估您的生成式AI系统。在您的源代码存储库中设置自动化,以阻止错误的提示更改、预处理或后处理更新或RAG系统更新。了解您的系统的最新版本与以前版本的系统相比如何。通过在您的拉取请求上发表评论的GitHub机器人进行集成。它支持与来自OpenAI、Anthropic、Cohere、Google等的各种评判模型集成,以及本地通过Ollama运行的开放权重模型。借助AutoArena,您可以减少评估偏差,节省评估时间和金钱,并微调评判模型以进行更准确、特定于领域的评估。 使用pip install autoarena
在本地安装。
相似链接

Superduper Agents是一个用于管理虚拟AI员工队伍的平台,可自动执行任务、回答有关数据的问题以及将AI功能构建到产品和服务中。


macOS原生CopilotAI应用,集成了GPT-4o, ClaudeAI Opus, Google Gemini等先进的AI模型。可以通过AI自由地与屏幕内容互动。



BotPenguin 是一款免费的 AI 聊天机器人创建工具,适用于网站、WhatsApp、Facebook 和 Telegram。 无需代码的聊天机器人制作工具,带有在线聊天插件和 ChatGPT 集成。 立即尝试!


Promptsideas:AI提示词市场,适用于艺术、写作、营销。购买或出售DALL·E、Midjourney、Stable Diffusion、ChatGPT、Leonardo AI、Claude AI、Google Bard的提示词。

Quick Snack 允许您通过与 LLM/AI 助手对话来构建 React Native 应用。它建立在 Expo Snack 之上。