BenchLLM

BenchLLM: 궁극의 LLM 평가 도구

BenchLLM이란 무엇입니까? BenchLLM은 대규모 언어 모델(LLM)로 구동되는 애플리케이션을 평가하고 테스트하도록 설계된 오픈 소스 프레임워크입니다. 이를 통해 AI 엔지니어는 테스트 스위트를 구축하고, 품질 보고서를 생성하고, 모델 성능을 모니터링할 수 있습니다. 자동화된 대화형 및 사용자 정의 평가 전략을 지원하여 예측 가능한 결과를 저해하지 않으면서 유연성과 강력한 기능을 제공합니다.

주요 기능:

• 유연한 API: BenchLLM은 OpenAI, Langchain 및 기타 모든 API를 즉시 지원합니다.
• 강력한 CLI: CI/CD 파이프라인에 이상적인 간단한 CLI 명령으로 모델을 실행하고 평가합니다.
• 쉬운 평가: JSON 또는 YAML 형식으로 테스트를 직관적으로 정의합니다.
• 정리된 테스트: 테스트를 버전 관리 가능한 스위트로 쉽게 구성합니다.
• 자동화: CI/CD 파이프라인에서 평가를 자동화합니다.
• 보고: 평가 보고서를 생성하고 공유합니다.
• 성능 모니터링: 모델 성능을 모니터링하여 프로덕션에서 회귀를 감지합니다.

BenchLLM은 어떻게 작동합니까?

BenchLLM을 통해 AI 엔지니어는 여러 단계를 거쳐 코드와 LLM을 효과적으로 평가할 수 있습니다.

1. 테스트 객체 인스턴스화: 입력 및 예상 출력이 있는 Test 객체를 생성하여 테스트를 정의합니다.
2. 예측 생성: Tester 객체를 사용하여 테스트를 실행하고 모델에서 예측을 생성합니다.
3. 모델 평가: SemanticEvaluator와 같은 Evaluator 객체를 사용하여 모델의 예측을 평가합니다.

기본 예제는 다음과 같습니다.

from benchllm import SemanticEvaluator, Test, Tester
from langchain.agents import AgentType, initialize_agent
from langchain.llms import OpenAI

## 원하는 방식으로 코드를 정리합니다.
def run_agent(input: str):
    llm=OpenAI(temperature=0)
    agent = initialize_agent(
        load_tools(["serpapi", "llm-math"], llm=llm),
        llm=llm,
        agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION
    )
    return agent(input)["output"]

## 테스트 객체를 인스턴스화합니다.
tests = [
    Test(
        input="V7은 언제 설립되었습니까? 2로 나눕니다.",
        expected=["1009", "2018 / 2 = 1009입니다."]
    )
]

## Tester 객체를 사용하여 예측을 생성합니다.
tester = Tester(run_agent)
tester.add_tests(tests)
predictions = tester.run()

## Evaluator 객체를 사용하여 모델을 평가합니다.
evaluator = SemanticEvaluator(model="gpt-3")
evaluator.load(predictions)
evaluator.run()

CI/CD 통합을 위한 강력한 CLI

BenchLLM은 CI/CD 파이프라인에 원활하게 통합할 수 있는 강력한 명령줄 인터페이스(CLI)를 제공합니다. 간단한 CLI 명령을 사용하여 테스트를 실행하고 모델을 평가할 수 있으므로 모델 성능을 모니터링하고 프로덕션에서 회귀를 감지하기가 더 쉽습니다.

사용자 정의 평가를 위한 유연한 API

BenchLLM의 유연한 API는 OpenAI, Langchain 및 거의 모든 API를 지원합니다. 이를 통해 코드를 즉석에서 테스트하고 여러 평가 전략을 사용하여 특정 요구 사항에 맞게 조정된 통찰력 있는 보고서를 제공할 수 있습니다.

BenchLLM 사용 방법

BenchLLM을 시작하려면 다음 단계를 따르십시오.

1. 다운로드 및 설치: BenchLLM을 다운로드하여 설치합니다.
2. 테스트 정의: JSON 또는 YAML 형식으로 테스트를 정의합니다.
3. 테스트 실행: CLI 또는 API를 사용하여 테스트를 실행합니다.
4. 보고서 생성: 평가 보고서를 생성하고 팀과 공유합니다.

@benchllm.test 데코레이터를 사용하여 테스트를 정의하는 방법의 예는 다음과 같습니다.

import benchllm
from benchllm.input_types import ChatInput
import openai

def chat(messages: ChatInput):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=messages
    )
    return response.choices[0].message.content.strip()

@benchllm.test(suite=".")
def run(input: ChatInput):
    return chat(input)

BenchLLM은 누구를 위한 것입니까?

BenchLLM은 다음에 적합합니다.

• LLM 기반 애플리케이션의 품질과 안정성을 보장하려는 AI 엔지니어
• 모델을 평가하기 위한 유연하고 강력한 도구를 찾는 개발자
• 모델 성능을 모니터링하고 프로덕션에서 회귀를 감지해야 하는 팀

BenchLLM을 선택하는 이유

• 오픈 소스: 투명하고 커뮤니티 기반 도구의 이점을 누리십시오.
• 유연성: 다양한 API 및 평가 전략을 지원합니다.
• 통합: CI/CD 파이프라인에 원활하게 통합됩니다.
• 포괄적인 보고: 모델 성능을 추적하기 위한 통찰력 있는 보고서를 제공합니다.

BenchLLM은 AI 제품 구축에 열정적인 AI 엔지니어 팀인 V7에서 구축하고 유지 관리합니다. 이 도구는 AI의 강력한 기능과 유연성, 그리고 예측 가능한 결과에 대한 필요성 사이의 격차를 해소하는 것을 목표로 합니다.

Simon Edwardsson 또는 Andrea Azzini와 피드백, 아이디어 및 기여를 공유하여 BenchLLM을 개선하고 AI 엔지니어를 위한 최고의 LLM 평가 도구로 만드십시오.

BenchLLM을 선택하면 LLM 애플리케이션이 최고 수준의 품질과 안정성을 충족하는지 확인할 수 있습니다. 지금 BenchLLM을 다운로드하고 자신 있게 모델 평가를 시작하십시오!