Llama Family: 开源 AI 模型生态系统

什么是 Llama Family？ Llama Family 是一个开源社区，致力于通过围绕 Llama 模型和相关技术的协作努力，促进通用人工智能 (AGI) 的发展。它的目标是创建一个平台，让开发者和爱好者可以为开源生态系统做出贡献，该生态系统涵盖 AI 的各个方面，从大型模型到小型模型，从文本到多模态能力，以及从软件到硬件算法优化。

Llama Family 的主要组成部分

模型: 该社区专注于 Meta 开源的各种 Llama 模型，包括 Llama、Llama 2、Llama 3、Code Llama 和 Atom。这些模型涵盖了一系列参数大小和训练数据集，可满足不同的用例和研究方向。
计算: 该社区鼓励为模型训练和实验进行协作和资源共享。这包括利用 GPU 资源，例如 GeForce RTX 系列、NVIDIA H100 和 A100 Tensor Core GPU。
社区: Llama Family 的核心是其充满活力的开发者、研究人员和爱好者社区。该社区促进协作、知识共享以及资源和工具的共同创建。

Llama 模型

Meta Llama

Meta 开源的 Llama 模型已广泛应用于工业界和学术界。版本包括 1B、3B、8B、70B 和 405B，训练数据超过 15.0T tokens。 Vision 模型包括 11B 和 90B，在超过 60 亿个图像-文本对上进行训练。

Model	Training Data	Params	Tokens	Release Date
LLaMA	English CommonCrawl, C4, Github, Wikipedia, Gutenberg and Books3, ArXiv, Stack Exchange	7B (6.7B)	1.0T	2023/02/24
		13B (13.0B)	1.0T
		33B (32.5B)	1.4T
		65B (65.2B)	1.4T
Llama 2	A new mix of publicly available online data	7B	2.0T	2023/07/18
		13B	2.0T
		34B	2.0T
		70B	2.0T
Llama 3	A new mix of publicly available online data	8B	15.0T	2024/04/18
		70B	15.0T
Llama 3.1	Collected from publicly available sources, over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages	8B	15.0T	2024/07/23
		70B	15.0T
		405B	15.0T
Llama 3.2	Llama 3.2-Text: A new mix of publicly available online data	1B (1.23B)	9.0T	2024/09/25
		3B (3.21B)	9.0T
Llama 3.2-Vision	Pretrained on image and text pairs. The instruction tuning data includes publicly available vision instruction datasets, as well as over 3M synthetically generated examples	11B (10.6B)	6B (image, text) pairs
		90B (88.8B)	6B (image, text) pairs

Code Llama

Code Llama 基于 Llama 2 使用代码数据进行训练，并分为 Base Model、Python Model 和 Instruct Model，参数大小为 7B、13B、34B 和 70B。它支持代码续写、填充和基于指令的编程。

Model	Training Data	Params	Type
Code Llama	Based on Llama 2, trained using a public code dataset of 500B tokens. To help the model retain natural language understanding skills, 8% of the sample data comes from natural language datasets related to code.	7B	Base Model: a foundational model for code generation tasks
			Python: a version specialized for Python
			Instruct: a fine-tuned version with human instructions and self-instruct code synthesis data
		13B
		34B
		70B

Atom

Atom 由 AtomEcho 和 Llama Family 联合开发，基于 Llama 架构，并在 2.7T 中文和多语种语料库上进行训练，参数大小包括 1B、7B 和 13B。 Atom 增强了 Llama 模型的中文语言能力。

Model	Training Data	Params	Tokens	Release Date
Atom	Chinese and multilingual encyclopedias, books, blogs, news, novels, financial data, legal data, medical data, code, paper, Chinese NLP competition datasets, etc.	1B	2.7T	2023/12/20
		7B	2.7T	2023/08/28
		13B	2.7T	2023/07/31