Llama Family：オープンソースのAIモデルエコシステム

Llama Familyとは？ Llama Familyは、Llamaモデルと関連技術を中心とした共同作業を通じて、汎用人工知能（AGI）の開発を促進することに特化したオープンソースコミュニティです。開発者や愛好家が、大規模モデルから小規模モデル、テキストからマルチモーダル機能、ソフトウェアからハードウェアアルゴリズムの最適化まで、AIのさまざまな側面を網羅するオープンソースのエコシステムに貢献できるプラットフォームの構築を目指しています。

Llama Familyの主要コンポーネント

モデル：このコミュニティは、Metaによってオープンソース化されたさまざまなLlamaモデル（Llama、Llama 2、Llama 3、Code Llama、Atomなど）に焦点を当てています。これらのモデルは、さまざまなユースケースや研究の方向性に対応するため、さまざまなパラメータサイズとトレーニングデータセットをカバーしています。
計算リソース：このコミュニティは、モデルのトレーニングと実験のためのコラボレーションとリソースの共有を奨励しています。これには、GeForce RTXシリーズ、NVIDIA H100、A100 Tensor Core GPUなどのGPUリソースの活用が含まれます。
コミュニティ： Llama Familyの中心となるのは、開発者、研究者、愛好家からなる活気のあるコミュニティです。このコミュニティは、コラボレーション、知識の共有、リソースとツールの共同作成を促進します。

Llamaモデル

Meta Llama

Metaによってオープンソース化されたLlamaモデルは、産業界と学術界の両方で広く使用されています。バージョンには、1B、3B、8B、70B、405Bがあり、トレーニングデータは15.0Tトークンを超えています。Visionモデルには、11Bと90Bがあり、60億を超える画像-テキストペアでトレーニングされています。

Model	Training Data	Params	Tokens	Release Date
LLaMA	English CommonCrawl, C4, Github, Wikipedia, Gutenberg and Books3, ArXiv, Stack Exchange	7B (6.7B)	1.0T	2023/02/24
		13B (13.0B)	1.0T
		33B (32.5B)	1.4T
		65B (65.2B)	1.4T
Llama 2	A new mix of publicly available online data	7B	2.0T	2023/07/18
		13B	2.0T
		34B	2.0T
		70B	2.0T
Llama 3	A new mix of publicly available online data	8B	15.0T	2024/04/18
		70B	15.0T
Llama 3.1	Collected from publicly available sources, over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages	8B	15.0T	2024/07/23
		70B	15.0T
		405B	15.0T
Llama 3.2	Llama 3.2-Text: A new mix of publicly available online data	1B (1.23B)	9.0T	2024/09/25
		3B (3.21B)	9.0T
Llama 3.2-Vision	Pretrained on image and text pairs. The instruction tuning data includes publicly available vision instruction datasets, as well as over 3M synthetically generated examples	11B (10.6B)	6B (image, text) pairs
		90B (88.8B)	6B (image, text) pairs

Code Llama

Code Llamaは、Llama 2をベースにコードデータを使用してトレーニングされており、Base Model、Python Model、Instruct Modelに分類され、パラメータサイズは7B、13B、34B、70Bです。コードの継続、入力、および指示ベースのプログラミングをサポートしています。

Model	Training Data	Params	Type
Code Llama	Based on Llama 2, trained using a public code dataset of 500B tokens. To help the model retain natural language understanding skills, 8% of the sample data comes from natural language datasets related to code.	7B	Base Model: a foundational model for code generation tasks
			Python: a version specialized for Python
			Instruct: a fine-tuned version with human instructions and self-instruct code synthesis data
		13B
		34B
		70B

Atom

Atomは、AtomEchoとLlama Familyが共同で開発したもので、Llamaアーキテクチャに基づいており、2.7Tの中国語および多言語コーパスでトレーニングされており、パラメータサイズは1B、7B、13Bです。Atomは、Llamaモデルの中国語能力を強化します。

Model	Training Data	Params	Tokens	Release Date
Atom	Chinese and multilingual encyclopedias, books, blogs, news, novels, financial data, legal data, medical data, code, paper, Chinese NLP competition datasets, etc.	1B	2.7T	2023/12/20
		7B	2.7T	2023/08/28
		13B	2.7T	2023/07/31