BenchLLM

BenchLLM: A Ferramenta Definitiva de Avaliação de LLM

O que é BenchLLM? BenchLLM é uma estrutura de código aberto projetada para avaliar e testar aplicações alimentadas por Modelos de Linguagem Grandes (LLMs). Permite que engenheiros de AI construam conjuntos de testes, gerem relatórios de qualidade e monitorem o desempenho do modelo. Ele suporta estratégias de avaliação automatizadas, interativas e personalizadas, proporcionando flexibilidade e poder sem comprometer resultados previsíveis.

Principais Características:

• API Flexível: BenchLLM suporta OpenAI, Langchain e qualquer outra API pronta para uso.
• CLI Poderoso: Execute e avalie modelos com comandos CLI simples, ideais para pipelines de CI/CD.
• Avaliação Fácil: Defina testes intuitivamente em formato JSON ou YAML.
• Testes Organizados: Organize facilmente os testes em conjuntos versionáveis.
• Automação: Automatize avaliações em pipelines de CI/CD.
• Relatórios: Gere e compartilhe relatórios de avaliação.
• Monitoramento de Desempenho: Detecte regressões em produção monitorando o desempenho do modelo.

Como o BenchLLM funciona?

BenchLLM permite que engenheiros de AI avaliem seu código e LLMs de forma eficaz através de várias etapas:

1. Instanciar Objetos de Teste: Defina testes criando objetos Test com entradas e saídas esperadas.
2. Gerar Previsões: Use um objeto Tester para executar os testes e gerar previsões do seu modelo.
3. Avaliar Modelos: Empregue um objeto Evaluator, como SemanticEvaluator, para avaliar as previsões do modelo.

Aqui está um exemplo básico:

from benchllm import SemanticEvaluator, Test, Tester
from langchain.agents import AgentType, initialize_agent
from langchain.llms import OpenAI

## Mantenha seu código organizado da maneira que preferir
def run_agent(input: str):
    llm=OpenAI(temperature=0)
    agent = initialize_agent(
        load_tools(["serpapi", "llm-math"], llm=llm),
        llm=llm,
        agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION
    )
    return agent(input)["output"]

## Instancie seus objetos de Teste
tests = [
    Test(
        input="Quando a V7 foi fundada? Divida por 2",
        expected=["1009", "Isso seria 2018 / 2 = 1009"]
    )
]

## Use um objeto Tester para gerar previsões
tester = Tester(run_agent)
tester.add_tests(tests)
predictions = tester.run()

## Use um objeto Evaluator para avaliar seu modelo
evaluator = SemanticEvaluator(model="gpt-3")
evaluator.load(predictions)
evaluator.run()

CLI Poderoso para Integração de CI/CD

BenchLLM apresenta uma Interface de Linha de Comando (CLI) poderosa que permite a integração perfeita em pipelines de CI/CD. Você pode executar testes e avaliar modelos usando comandos CLI simples, tornando mais fácil monitorar o desempenho do modelo e detectar regressões em produção.

API Flexível para Avaliações Personalizadas

A API flexível do BenchLLM suporta OpenAI, Langchain e virtualmente qualquer outra API. Isso permite que você teste seu código rapidamente e use várias estratégias de avaliação, fornecendo relatórios perspicazes adaptados às suas necessidades específicas.

Como usar BenchLLM?

Para começar com o BenchLLM, siga estes passos:

1. Baixar e Instalar: Baixe e instale o BenchLLM.
2. Definir Testes: Defina seus testes em formato JSON ou YAML.
3. Executar Testes: Use o CLI ou API para executar seus testes.
4. Gerar Relatórios: Gere relatórios de avaliação e compartilhe-os com sua equipe.

Aqui está um exemplo de como definir um teste usando o decorador @benchllm.test:

import benchllm
from benchllm.input_types import ChatInput
import openai

def chat(messages: ChatInput):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=messages
    )
    return response.choices[0].message.content.strip()

@benchllm.test(suite=".")
def run(input: ChatInput):
    return chat(input)

Para quem é o BenchLLM?

BenchLLM é ideal para:

• Engenheiros de AI que querem garantir a qualidade e confiabilidade de suas aplicações alimentadas por LLM.
• Desenvolvedores que procuram uma ferramenta flexível e poderosa para avaliar seus modelos.
• Equipes que precisam monitorar o desempenho do modelo e detectar regressões em produção.

Por que escolher BenchLLM?

• Código Aberto: Beneficie-se de uma ferramenta transparente e orientada pela comunidade.
• Flexibilidade: Suporta várias APIs e estratégias de avaliação.
• Integração: Integra-se perfeitamente em pipelines de CI/CD.
• Relatórios Abrangentes: Fornece relatórios perspicazes para rastrear o desempenho do modelo.

BenchLLM é construído e mantido com ♥ pela V7, uma equipe de engenheiros de AI apaixonados por construir produtos de AI. A ferramenta visa preencher a lacuna entre o poder e a flexibilidade da AI e a necessidade de resultados previsíveis.

Compartilhe seus comentários, ideias e contribuições com Simon Edwardsson ou Andrea Azzini para ajudar a melhorar o BenchLLM e torná-lo a melhor ferramenta de avaliação de LLM para engenheiros de AI.

Ao escolher BenchLLM, você garante que suas aplicações LLM atendam aos mais altos padrões de qualidade e confiabilidade. Baixe o BenchLLM hoje e comece a avaliar seus modelos com confiança!