Familia Llama: El Ecosistema de Modelos de IA de Código Abierto

¿Qué es Familia Llama? La Familia Llama es una comunidad de código abierto dedicada a promover el desarrollo de la Inteligencia Artificial General (AGI) a través de esfuerzos colaborativos centrados en los modelos Llama y tecnologías relacionadas. Su objetivo es crear una plataforma donde desarrolladores y entusiastas puedan contribuir a un ecosistema de código abierto que abarque varios aspectos de la AI, desde modelos a gran escala hasta modelos más pequeños, desde texto hasta capacidades multimodales y desde software hasta optimizaciones de algoritmos de hardware.

Componentes Clave de Familia Llama

Modelos: La comunidad se centra en varios modelos Llama de código abierto por Meta, incluidos Llama, Llama 2, Llama 3, Code Llama y Atom. Estos modelos cubren una variedad de tamaños de parámetros y conjuntos de datos de entrenamiento, que atienden a diferentes casos de uso y direcciones de investigación.
Cómputo: La comunidad fomenta la colaboración y el intercambio de recursos para el entrenamiento y la experimentación de modelos. Esto incluye la utilización de recursos de GPU como la serie GeForce RTX, NVIDIA H100 y A100 Tensor Core GPUs.
Comunidad: Un aspecto central de la Familia Llama es su vibrante comunidad de desarrolladores, investigadores y entusiastas. La comunidad fomenta la colaboración, el intercambio de conocimientos y la creación conjunta de recursos y herramientas.

Modelos Llama

Meta Llama

El modelo Llama de código abierto por Meta es ampliamente utilizado tanto en la industria como en la academia. Las versiones incluyen 1B, 3B, 8B, 70B y 405B, con datos de entrenamiento que superan los 15.0T tokens. Los modelos de visión incluyen 11B y 90B, entrenados en más de 6 mil millones de pares imagen-texto.

Model	Training Data	Params	Tokens	Release Date
LLaMA	English CommonCrawl, C4, Github, Wikipedia, Gutenberg and Books3, ArXiv, Stack Exchange	7B (6.7B)	1.0T	2023/02/24
		13B (13.0B)	1.0T
		33B (32.5B)	1.4T
		65B (65.2B)	1.4T
Llama 2	A new mix of publicly available online data	7B	2.0T	2023/07/18
		13B	2.0T
		34B	2.0T
		70B	2.0T
Llama 3	A new mix of publicly available online data	8B	15.0T	2024/04/18
		70B	15.0T
Llama 3.1	Collected from publicly available sources, over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages	8B	15.0T	2024/07/23
		70B	15.0T
		405B	15.0T
Llama 3.2	Llama 3.2-Text: A new mix of publicly available online data	1B (1.23B)	9.0T	2024/09/25
		3B (3.21B)	9.0T
Llama 3.2-Vision	Pretrained on image and text pairs. The instruction tuning data includes publicly available vision instruction datasets, as well as over 3M synthetically generated examples	11B (10.6B)	6B (image, text) pairs
		90B (88.8B)	6B (image, text) pairs

Code Llama

Code Llama se entrena sobre Llama 2 utilizando datos de código y se clasifica en Modelo Base, Modelo Python y Modelo Instruct, con tamaños de parámetros de 7B, 13B, 34B y 70B. Admite la continuación, el relleno y la programación basada en instrucciones de código.

Model	Training Data	Params	Type
Code Llama	Based on Llama 2, trained using a public code dataset of 500B tokens. To help the model retain natural language understanding skills, 8% of the sample data comes from natural language datasets related to code.	7B	Base Model: a foundational model for code generation tasks
			Python: a version specialized for Python
			Instruct: a fine-tuned version with human instructions and self-instruct code synthesis data
		13B
		34B
		70B

Atom

Atom, desarrollado conjuntamente por AtomEcho y Familia Llama, se basa en la arquitectura Llama y se entrena en 2.7T de corpus chinos y multilingües, con tamaños de parámetros que incluyen 1B, 7B y 13B. Atom mejora las capacidades del idioma chino del modelo Llama.

Model	Training Data	Params	Tokens	Release Date
Atom	Chinese and multilingual encyclopedias, books, blogs, news, novels, financial data, legal data, medical data, code, paper, Chinese NLP competition datasets, etc.	1B	2.7T	2023/12/20
		7B	2.7T	2023/08/28
		13B	2.7T	2023/07/31

Cómo Contribuir a Familia Llama

Únete a la Comunidad: Interactúa con otros desarrolladores y entusiastas a través de foros, grupos de chat y eventos.
Contribuye con Código: Envía solicitudes de extracción con correcciones de errores, nuevas características o mejoras del modelo.
Comparte Recursos: Comparte conjuntos de datos, scripts de entrenamiento y modelos pre-entrenados con la comunidad.
Proporciona Comentarios: Ofrece comentarios sobre los modelos y herramientas existentes para ayudar a mejorar su calidad y usabilidad.

¿Por qué es importante Familia Llama?

La Familia Llama es importante porque fomenta la colaboración y acelera el desarrollo de modelos de AI de código abierto. Al proporcionar una plataforma para que desarrolladores e investigadores compartan recursos y conocimientos, la Familia Llama ayuda a democratizar el acceso a la tecnología de AI y promueve la innovación.

Conclusión

La Familia Llama es una comunidad en crecimiento dedicada a promover la AI a través de la colaboración de código abierto. ¡Únete a la Familia Llama hoy mismo para contribuir al futuro de la AI!