BenchLLM

BenchLLM: Das ultimative LLM-Evaluierungstool

Was ist BenchLLM? BenchLLM ist ein Open-Source-Framework zur Evaluierung und zum Testen von Anwendungen, die auf Large Language Models (LLMs) basieren. Es ermöglicht KI-Ingenieuren, Testsuiten zu erstellen, Qualitätsberichte zu generieren und die Modellleistung zu überwachen. Es unterstützt automatisierte, interaktive und benutzerdefinierte Evaluierungsstrategien und bietet Flexibilität und Leistung, ohne Kompromisse bei vorhersagbaren Ergebnissen einzugehen.

Hauptmerkmale:

• Flexible API: BenchLLM unterstützt standardmäßig OpenAI, Langchain und jede andere API.
• Leistungsstarke CLI: Führen Sie Modelle mit einfachen CLI-Befehlen aus und bewerten Sie sie. Ideal für CI/CD-Pipelines.
• Einfache Evaluierung: Definieren Sie Tests intuitiv im JSON- oder YAML-Format.
• Organisierte Tests: Organisieren Sie Tests einfach in versionierbaren Suiten.
• Automatisierung: Automatisieren Sie Evaluierungen in CI/CD-Pipelines.
• Berichterstellung: Generieren und teilen Sie Evaluierungsberichte.
• Leistungsüberwachung: Erkennen Sie Regressionen in der Produktion durch Überwachung der Modellleistung.

Wie funktioniert BenchLLM?

BenchLLM ermöglicht es KI-Ingenieuren, ihren Code und ihre LLMs effektiv in mehreren Schritten zu evaluieren:

1. Testobjekte instanziieren: Definieren Sie Tests, indem Sie Test-Objekte mit Eingaben und erwarteten Ausgaben erstellen.
2. Vorhersagen generieren: Verwenden Sie ein Tester-Objekt, um die Tests auszuführen und Vorhersagen von Ihrem Modell zu generieren.
3. Modelle evaluieren: Verwenden Sie ein Evaluator-Objekt, wie z. B. SemanticEvaluator, um die Vorhersagen des Modells zu evaluieren.

Hier ist ein einfaches Beispiel:

from benchllm import SemanticEvaluator, Test, Tester
from langchain.agents import AgentType, initialize_agent
from langchain.llms import OpenAI

## Behalten Sie Ihre Codeorganisation so bei, wie Sie sie mögen
def run_agent(input: str):
    llm=OpenAI(temperature=0)
    agent = initialize_agent(
        load_tools(["serpapi", "llm-math"], llm=llm),
        llm=llm,
        agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION
    )
    return agent(input)["output"]

## Instanziieren Sie Ihre Testobjekte
tests = [
    Test(
        input="Wann wurde V7 gegründet? Dividiere es durch 2",
        expected=["1009", "Das wären 2018 / 2 = 1009"]
    )
]

## Verwenden Sie ein Tester-Objekt, um Vorhersagen zu generieren
tester = Tester(run_agent)
tester.add_tests(tests)
predictions = tester.run()

## Verwenden Sie ein Evaluator-Objekt, um Ihr Modell zu evaluieren
evaluator = SemanticEvaluator(model="gpt-3")
evaluator.load(predictions)
evaluator.run()

Leistungsstarke CLI für die CI/CD-Integration

BenchLLM verfügt über eine leistungsstarke Befehlszeilenschnittstelle (CLI), die eine nahtlose Integration in CI/CD-Pipelines ermöglicht. Sie können Tests ausführen und Modelle mit einfachen CLI-Befehlen evaluieren, wodurch es einfacher wird, die Modellleistung zu überwachen und Regressionen in der Produktion zu erkennen.

Flexible API für benutzerdefinierte Evaluierungen

Die flexible API von BenchLLM unterstützt OpenAI, Langchain und praktisch jede andere API. Dies ermöglicht es Ihnen, Ihren Code im laufenden Betrieb zu testen und mehrere Evaluierungsstrategien zu verwenden, wodurch Sie aufschlussreiche Berichte erhalten, die auf Ihre spezifischen Bedürfnisse zugeschnitten sind.

Wie verwende ich BenchLLM?

Um mit BenchLLM zu beginnen, befolgen Sie diese Schritte:

1. Herunterladen und installieren: Laden Sie BenchLLM herunter und installieren Sie es.
2. Tests definieren: Definieren Sie Ihre Tests im JSON- oder YAML-Format.
3. Tests ausführen: Verwenden Sie die CLI oder API, um Ihre Tests auszuführen.
4. Berichte generieren: Generieren Sie Evaluierungsberichte und teilen Sie sie mit Ihrem Team.

Hier ist ein Beispiel, wie Sie einen Test mit dem @benchllm.test-Dekorator definieren:

import benchllm
from benchllm.input_types import ChatInput
import openai

def chat(messages: ChatInput):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=messages
    )
    return response.choices[0].message.content.strip()

@benchllm.test(suite=".")
def run(input: ChatInput):
    return chat(input)

Für wen ist BenchLLM geeignet?

BenchLLM ist ideal für:

• KI-Ingenieure, die die Qualität und Zuverlässigkeit ihrer LLM-gestützten Anwendungen sicherstellen möchten.
• Entwickler, die ein flexibles und leistungsstarkes Tool zur Evaluierung ihrer Modelle suchen.
• Teams, die die Modellleistung überwachen und Regressionen in der Produktion erkennen müssen.

Warum BenchLLM wählen?

• Open-Source: Profitieren Sie von einem transparenten und gemeinschaftlich getragenen Tool.
• Flexibilität: Unterstützt verschiedene APIs und Evaluierungsstrategien.
• Integration: Lässt sich nahtlos in CI/CD-Pipelines integrieren.
• Umfassende Berichterstellung: Bietet aufschlussreiche Berichte zur Verfolgung der Modellleistung.

BenchLLM wird mit ♥ von V7 entwickelt und gepflegt, einem Team von KI-Ingenieuren, die sich leidenschaftlich für die Entwicklung von KI-Produkten einsetzen. Das Tool zielt darauf ab, die Kluft zwischen der Leistung und Flexibilität von KI und dem Bedarf an vorhersagbaren Ergebnissen zu überbrücken.

Teilen Sie Ihr Feedback, Ihre Ideen und Beiträge mit Simon Edwardsson oder Andrea Azzini, um BenchLLM zu verbessern und es zum besten LLM-Evaluierungstool für KI-Ingenieure zu machen.

Durch die Wahl von BenchLLM stellen Sie sicher, dass Ihre LLM-Anwendungen die höchsten Qualitäts- und Zuverlässigkeitsstandards erfüllen. Laden Sie BenchLLM noch heute herunter und beginnen Sie mit der Evaluation Ihrer Modelle mit Zuversicht!