Selene

Atla AIによるSelene：最先端の AI 評価モデル

Seleneとは？

SeleneはAtla AIによって開発されたオープンソースのLLM Judgeモデルのスイートであり、AIアプリケーションのパフォーマンスを正確かつ信頼性の高い評価を提供することを目的としています。詳細なスコアと実行可能な批評を通じて、生成AIアプリの信頼性を確保することで、開発者が顧客との信頼関係を構築するのに役立ちます。

Seleneの仕組み

Seleneモデルは、LLM-as-a-Judgeとして機能し、AIの応答を分析してスコアと批評を提供します。Seleneモデルは、Hugging Face Transformers、Ollama、またはGithubを通じて使用できます。

Seleneモデル

2つの主要モデルから、評価ニーズに合った適切なサイズを見つけてください。

• Selene 1: 幅広い評価タスクで業界をリードする精度を提供する主力モデル。本番前評価に最適です。
• Selene 1 Mini: 推論時に評価を実行するのに最適な、無駄がなく最適化されたバージョンで、速度と効率を優先します。

主な特徴と利点

• 高精度: Seleneは、利用可能な最も正確な評価を提供するように設計されています。
• 汎用性の高い評価: 幅広い評価タスクに適しています。
• 速度のために最適化: Selene 1 Miniは、推論中に評価を迅速に実行するために最適化されています。
• オープンソース: Hugging Face Transformersを通じてモデルを使用し、貢献してください。

Seleneの使い方

Seleneを使用するには、Hugging Face Transformersライブラリを活用できます。簡単な例を次に示します。

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"  # the device to load the model onto
model_id = "AtlaAI/Selene-1-Mini-Llama-3.1-8B"
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "I heard you can evaluate my responses?"  # replace with your eval prompt

messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

使用例

• エージェントのパフォーマンスの評価: Seleneを使用して、AIエージェントのパフォーマンスを評価し、エラーを追跡し、即座に洞察を得ます。
• 信頼の構築: 生成AIアプリの信頼性を確保して、顧客との信頼を構築します。
• 本番前評価: AIアプリケーションをデプロイする前に、Selene 1を使用して厳密な評価を行います。
• 推論時評価: 推論中にSelene 1 Miniを使用して迅速な評価を行います。

なぜSeleneが重要なのか？

AIアプリケーションが普及するにつれて、その信頼性と信頼性を確保することが重要になります。Seleneは、AIパフォーマンスを評価するための堅牢で正確な手段を提供し、開発者がより安全で信頼性の高いAIシステムを作成できるようにします。これは、特に生成AIアプリケーションにおいて、顧客との信頼を構築するために重要です。生成AIアプリケーションでは、出力が予測できない場合があります。

Seleneはどこで使用できますか？

Hugging Face Transformersを使用して、SeleneをAI開発ワークフローに統合できます。また、AtlaのAgent Evalsを調べて、エージェントを強化および追跡することもできます。

オープンソースの評価モデルを提供することで、Atla AIは安全で信頼性の高いAIの未来に貢献します。