Selene

Selene da Atla AI: Modelos de Avaliação de IA de Fronteira

O que é Selene?

Selene é um conjunto de modelos LLM Judge de código aberto desenvolvidos pela Atla AI, projetados para fornecer avaliações precisas e confiáveis do desempenho de aplicações de AI. Ele ajuda os desenvolvedores a construir confiança com os clientes, garantindo a confiabilidade de seus aplicativos de AI generativa por meio de pontuações detalhadas e críticas acionáveis.

Como o Selene funciona?

Os modelos Selene funcionam como LLM-as-a-Judge, analisando as respostas de AI para fornecer pontuações e críticas. Você pode usar os modelos Selene através do Hugging Face Transformers, Ollama ou Github.

Modelos Selene

Explore o tamanho certo para suas necessidades de avaliação com dois modelos principais:

• Selene 1: O modelo principal, que oferece precisão líder do setor em uma ampla variedade de tarefas de avaliação. Ideal para avaliações de pré-produção.
• Selene 1 Mini: Uma versão enxuta e otimizada, perfeita para executar avaliações no tempo de inferência, priorizando velocidade e eficiência.

Principais Características e Benefícios

• Alta Precisão: Selene foi projetado para fornecer as avaliações mais precisas disponíveis.
• Avaliação Versátil: Adequado para uma ampla variedade de tarefas de avaliação.
• Otimizado para Velocidade: Selene 1 Mini é otimizado para executar avaliações rapidamente durante a inferência.
• Código Aberto: Use e contribua com os modelos através do Hugging Face Transformers.

Como Usar o Selene

Para usar o Selene, você pode aproveitar a biblioteca Hugging Face Transformers. Aqui está um exemplo simples:

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"  # o dispositivo para carregar o modelo
model_id = "AtlaAI/Selene-1-Mini-Llama-3.1-8B"
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "Ouvi dizer que você pode avaliar minhas respostas?"  # substitua pelo seu prompt de avaliação

messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

Casos de Uso

• Avaliando o Desempenho do Agente: Use Selene para avaliar o desempenho de agentes de AI, rastrear erros e obter insights instantâneos.
• Construindo Confiança: Garanta a confiabilidade do seu aplicativo de AI generativa para construir confiança com os clientes.
• Avaliações de Pré-Produção: Use Selene 1 para avaliações rigorosas antes de implantar sua aplicação de AI.
• Avaliações em Tempo de Inferência: Use Selene 1 Mini para avaliações rápidas durante a inferência.

Por que Selene é importante?

À medida que as aplicações de AI se tornam mais prevalentes, garantir sua confiabilidade e credibilidade é crucial. Selene fornece um meio robusto e preciso de avaliar o desempenho da AI, capacitando os desenvolvedores a criar sistemas de AI mais seguros e confiáveis. É particularmente importante para construir confiança com os clientes, especialmente em aplicações de AI generativa onde as saídas podem ser imprevisíveis.

Onde posso usar Selene?

Você pode integrar Selene em seu fluxo de trabalho de desenvolvimento de AI usando Hugging Face Transformers. Além disso, você pode explorar Agent Evals by Atla para aprimorar e rastrear Agentes.

Ao fornecer modelos de avaliação de código aberto, a Atla AI contribui para um futuro com AI segura e confiável.