BenchLLM

BenchLLM: La herramienta definitiva para la evaluación de LLM

¿Qué es BenchLLM? BenchLLM es un framework de código abierto diseñado para evaluar y probar aplicaciones impulsadas por Modelos de Lenguaje Grandes (LLMs). Permite a los ingenieros de AI construir suites de pruebas, generar informes de calidad y monitorear el rendimiento del modelo. Soporta estrategias de evaluación automatizadas, interactivas y personalizadas, proporcionando flexibilidad y potencia sin comprometer resultados predecibles.

Características clave:

• API flexible: BenchLLM soporta OpenAI, Langchain y cualquier otra API de fábrica.
• CLI potente: Ejecute y evalúe modelos con comandos CLI sencillos, ideal para pipelines CI/CD.
• Evaluación fácil: Defina pruebas intuitivamente en formato JSON o YAML.
• Pruebas organizadas: Organice fácilmente las pruebas en suites versionables.
• Automatización: Automatice las evaluaciones en pipelines CI/CD.
• Informes: Genere y comparta informes de evaluación.
• Monitoreo del rendimiento: Detecte regresiones en producción monitoreando el rendimiento del modelo.

¿Cómo funciona BenchLLM?

BenchLLM permite a los ingenieros de AI evaluar su código y LLMs eficazmente a través de varios pasos:

1. Instanciar objetos de prueba: Defina las pruebas creando objetos Test con entradas y salidas esperadas.
2. Generar predicciones: Utilice un objeto Tester para ejecutar las pruebas y generar predicciones de su modelo.
3. Evaluar modelos: Emplee un objeto Evaluator, como SemanticEvaluator, para evaluar las predicciones del modelo.

Aquí tienes un ejemplo básico:

from benchllm import SemanticEvaluator, Test, Tester
from langchain.agents import AgentType, initialize_agent
from langchain.llms import OpenAI

## Mantenga su código organizado de la manera que desee
def run_agent(input: str):
    llm=OpenAI(temperature=0)
    agent = initialize_agent(
        load_tools(["serpapi", "llm-math"], llm=llm),
        llm=llm,
        agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION
    )
    return agent(input)["output"]

## Instanciar sus objetos de prueba
tests = [
    Test(
        input="¿Cuándo se fundó V7? Divídelo por 2",
        expected=["1009", "Eso sería 2018 / 2 = 1009"]
    )
]

## Utilice un objeto Tester para generar predicciones
tester = Tester(run_agent)
tester.add_tests(tests)
predictions = tester.run()

## Utilice un objeto Evaluator para evaluar su modelo
evaluator = SemanticEvaluator(model="gpt-3")
evaluator.load(predictions)
evaluator.run()

CLI potente para la integración de CI/CD

BenchLLM cuenta con una potente interfaz de línea de comandos (CLI) que permite una integración perfecta en los pipelines de CI/CD. Puede ejecutar pruebas y evaluar modelos utilizando comandos CLI sencillos, lo que facilita el monitoreo del rendimiento del modelo y la detección de regresiones en producción.

API flexible para evaluaciones personalizadas

La API flexible de BenchLLM soporta OpenAI, Langchain y prácticamente cualquier otra API. Esto le permite probar su código sobre la marcha y utilizar múltiples estrategias de evaluación, proporcionando informes perspicaces adaptados a sus necesidades específicas.

¿Cómo usar BenchLLM?

Para empezar con BenchLLM, siga estos pasos:

1. Descargar e instalar: Descargue e instale BenchLLM.
2. Definir pruebas: Defina sus pruebas en formato JSON o YAML.
3. Ejecutar pruebas: Utilice la CLI o la API para ejecutar sus pruebas.
4. Generar informes: Genere informes de evaluación y compártalos con su equipo.

Aquí tienes un ejemplo de cómo definir una prueba utilizando el decorador @benchllm.test:

import benchllm
from benchllm.input_types import ChatInput
import openai

def chat(messages: ChatInput):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=messages
    )
    return response.choices[0].message.content.strip()

@benchllm.test(suite=".")
def run(input: ChatInput):
    return chat(input)

¿Para quién es BenchLLM?

BenchLLM es ideal para:

• Ingenieros de AI que quieren asegurar la calidad y fiabilidad de sus aplicaciones impulsadas por LLM.
• Desarrolladores que buscan una herramienta flexible y potente para evaluar sus modelos.
• Equipos que necesitan monitorear el rendimiento del modelo y detectar regresiones en producción.

¿Por qué elegir BenchLLM?

• Código abierto: Benefíciese de una herramienta transparente e impulsada por la comunidad.
• Flexibilidad: Soporta varias APIs y estrategias de evaluación.
• Integración: Se integra perfectamente en los pipelines de CI/CD.
• Informes exhaustivos: Proporciona informes perspicaces para rastrear el rendimiento del modelo.

BenchLLM está construido y mantenido con ♥ por V7, un equipo de ingenieros de AI apasionados por la creación de productos de AI. La herramienta tiene como objetivo cerrar la brecha entre la potencia y la flexibilidad de la AI y la necesidad de resultados predecibles.

Comparta sus comentarios, ideas y contribuciones con Simon Edwardsson o Andrea Azzini para ayudar a mejorar BenchLLM y convertirla en la mejor herramienta de evaluación de LLM para ingenieros de AI.

Al elegir BenchLLM, se asegura de que sus aplicaciones LLM cumplen con los más altos estándares de calidad y fiabilidad. Descargue BenchLLM hoy mismo y empiece a evaluar sus modelos con confianza.