BenchLLM

BenchLLM: 终极 LLM 评估工具

什么是 BenchLLM？BenchLLM 是一个开源框架，旨在评估和测试由大型语言模型 (LLM) 驱动的应用程序。它允许 AI 工程师构建测试套件、生成质量报告和监控模型性能。它支持自动化、交互式和自定义评估策略，在不影响可预测结果的前提下，提供灵活性和强大功能。

主要特点：

• 灵活的 API：BenchLLM 开箱即用地支持 OpenAI、Langchain 和任何其他 API。
• 强大的 CLI：使用简单的 CLI 命令运行和评估模型，非常适合 CI/CD 管道。
• 轻松评估：以 JSON 或 YAML 格式直观地定义测试。
• 有组织的测试：轻松将测试组织成可版本化的套件。
• 自动化：在 CI/CD 管道中自动化评估。
• 报告：生成和共享评估报告。
• 性能监控：通过监控模型性能来检测生产中的回归。

BenchLLM 如何工作？

BenchLLM 使 AI 工程师能够通过以下几个步骤有效地评估他们的代码和 LLM：

1. 实例化测试对象：通过创建具有输入和预期输出的 Test 对象来定义测试。
2. 生成预测：使用 Tester 对象运行测试并从您的模型生成预测。
3. 评估模型：使用 Evaluator 对象（例如 SemanticEvaluator）来评估模型的预测。

这是一个基本示例：

from benchllm import SemanticEvaluator, Test, Tester
from langchain.agents import AgentType, initialize_agent
from langchain.llms import OpenAI

## 以您喜欢的方式组织您的代码
def run_agent(input: str):
    llm=OpenAI(temperature=0)
    agent = initialize_agent(
        load_tools(["serpapi", "llm-math"], llm=llm),
        llm=llm,
        agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION
    )
    return agent(input)["output"]

## 实例化您的 Test 对象
tests = [
    Test(
        input="V7 是何时成立的？将其除以 2",
        expected=["1009", "结果是 2018 / 2 = 1009"]
    )
]

## 使用 Tester 对象生成预测
tester = Tester(run_agent)
tester.add_tests(tests)
predictions = tester.run()

## 使用 Evaluator 对象评估您的模型
evaluator = SemanticEvaluator(model="gpt-3")
evaluator.load(predictions)
evaluator.run()

用于 CI/CD 集成的强大 CLI

BenchLLM 具有强大的命令行界面 (CLI)，可以无缝集成到 CI/CD 管道中。您可以使用简单的 CLI 命令运行测试和评估模型，从而更轻松地监控模型性能并检测生产中的回归。

用于自定义评估的灵活 API

BenchLLM 灵活的 API 支持 OpenAI、Langchain 和几乎任何其他 API。这使您可以随时测试您的代码并使用多种评估策略，从而提供根据您的特定需求量身定制的深刻报告。

如何使用 BenchLLM？

要开始使用 BenchLLM，请按照以下步骤操作：

1. 下载并安装：下载并安装 BenchLLM。
2. 定义测试：以 JSON 或 YAML 格式定义您的测试。
3. 运行测试：使用 CLI 或 API 运行您的测试。
4. 生成报告：生成评估报告并与您的团队分享。

以下是如何使用 @benchllm.test 装饰器定义测试的示例：

import benchllm
from benchllm.input_types import ChatInput
import openai

def chat(messages: ChatInput):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=messages
    )
    return response.choices[0].message.content.strip()

@benchllm.test(suite=".")
def run(input: ChatInput):
    return chat(input)

BenchLLM 适合谁？

BenchLLM 非常适合：

• 希望确保其 LLM 驱动应用程序的质量和可靠性的 AI 工程师。
• 正在寻找灵活而强大的工具来评估其模型的开发人员。
• 需要监控模型性能并检测生产中回归的团队。

为什么选择 BenchLLM？

• 开源：受益于透明且社区驱动的工具。
• 灵活性：支持各种 API 和评估策略。
• 集成：无缝集成到 CI/CD 管道中。
• 全面的报告：提供深刻的报告来跟踪模型性能。

BenchLLM 由 V7 构建和维护，V7 是一支热衷于构建 AI 产品的 AI 工程师团队。该工具旨在弥合 AI 的强大功能和灵活性与对可预测结果的需求之间的差距。

与 Simon Edwardsson 或 Andrea Azzini 分享您的反馈、想法和贡献，以帮助改进 BenchLLM 并使其成为 AI 工程师的最佳 LLM 评估工具。

通过选择 BenchLLM，您可以确保您的 LLM 应用程序符合最高的质量和可靠性标准。立即下载 BenchLLM 并开始自信地评估您的模型！