Selene

Atla AI 的 Selene：前沿 AI 评估模型

什么是 Selene？

Selene 是由 Atla AI 开发的一套开源 LLM Judge 模型，旨在为 AI 应用程序性能提供精确且可靠的评估。它通过详细的分数和可操作的批评，确保其生成式 AI 应用的可靠性，从而帮助开发者赢得客户的信任。

Selene 如何工作？

Selene 模型充当 LLM-as-a-Judge，分析 AI 响应以提供分数和评论。您可以通过 Hugging Face Transformers、Ollama 或 Github 使用 Selene 模型。

Selene 模型

通过两个主要模型，探索适合您评估需求的正确大小：

• Selene 1: 旗舰模型，在各种评估任务中提供行业领先的准确性。非常适合预生产评估。
• Selene 1 Mini: 一个精简、优化的版本，非常适合在推理时运行评估，优先考虑速度和效率。

主要特性和优势

• 高精度： Selene 旨在提供最准确的评估。
• 多功能评估： 适用于各种评估任务。
• 针对速度优化： Selene 1 Mini 经过优化，可在推理期间快速运行评估。
• 开源： 通过 Hugging Face Transformers 使用模型并为其做出贡献。

如何使用 Selene

要使用 Selene，您可以利用 Hugging Face Transformers 库。这是一个简单的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"  # the device to load the model onto
model_id = "AtlaAI/Selene-1-Mini-Llama-3.1-8B"
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "I heard you can evaluate my responses?"  # replace with your eval prompt

messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

使用案例

• 评估 Agent 性能： 使用 Selene 评估 AI Agent 的性能，跟踪错误并获得即时见解。
• 建立信任： 确保您的生成式 AI 应用的可靠性，以建立客户的信任。
• 预生产评估： 在部署您的 AI 应用程序之前，使用 Selene 1 进行严格的评估。
• 推理时评估： 使用 Selene 1 Mini 在推理期间进行快速评估。

为什么 Selene 很重要？

随着 AI 应用程序越来越普及，确保其可靠性和可信度至关重要。Selene 提供了一种强大而准确的评估 AI 性能的方法，使开发人员能够创建更安全、更可靠的 AI 系统。这对于建立客户信任尤其重要，尤其是在生成式 AI 应用程序中，其输出可能无法预测。

我在哪里可以使用 Selene？

您可以使用 Hugging Face Transformers 将 Selene 集成到您的 AI 开发工作流程中。此外，您还可以探索 Atla 的 Agent Evals，以增强和跟踪 Agents。

通过提供开源评估模型，Atla AI 为实现安全可靠的 AI 的未来做出了贡献。