Llama Family 개요
Llama Family: 오픈 소스 AI 모델 생태계
Llama Family란 무엇인가요? Llama Family는 Llama 모델 및 관련 기술을 중심으로 한 공동 노력을 통해 AGI(Artificial General Intelligence, 범용 인공 지능) 개발을 촉진하는 데 전념하는 오픈 소스 커뮤니티입니다. 이 커뮤니티는 개발자와 매니아가 대규모 모델에서 소규모 모델, 텍스트에서 멀티모달 기능, 소프트웨어에서 하드웨어 알고리즘 최적화에 이르기까지 AI의 다양한 측면을 포괄하는 오픈 소스 생태계에 기여할 수 있는 플랫폼을 만드는 것을 목표로 합니다.
Llama Family의 주요 구성 요소
모델: 커뮤니티는 Meta에서 오픈 소스한 다양한 Llama 모델(Llama, Llama 2, Llama 3, Code Llama, Atom 포함)에 중점을 둡니다. 이러한 모델은 다양한 사용 사례 및 연구 방향에 맞춰 다양한 매개변수 크기와 훈련 데이터 세트를 포괄합니다.
컴퓨팅: 커뮤니티는 모델 훈련 및 실험을 위한 협업 및 리소스 공유를 장려합니다. 여기에는 GeForce RTX 시리즈, NVIDIA H100 및 A100 Tensor Core GPU와 같은 GPU 리소스 활용이 포함됩니다.
커뮤니티: Llama Family의 핵심은 개발자, 연구원 및 매니아로 구성된 활기찬 커뮤니티입니다. 커뮤니티는 협업, 지식 공유, 리소스 및 도구의 공동 생성을 촉진합니다.
Llama 모델
Meta Llama
Meta에서 오픈 소스한 Llama 모델은 산업 및 학계 모두에서 널리 사용됩니다. 버전에는 1B, 3B, 8B, 70B 및 405B가 포함되며, 훈련 데이터는 15.0T 토큰을 초과합니다. Vision 모델에는 11B 및 90B가 포함되며, 60억 개 이상의 이미지-텍스트 쌍으로 훈련되었습니다.
| Model | Training Data | Params | Tokens | Release Date |
|---|---|---|---|---|
| LLaMA | English CommonCrawl, C4, Github, Wikipedia, Gutenberg and Books3, ArXiv, Stack Exchange | 7B (6.7B) | 1.0T | 2023/02/24 |
| 13B (13.0B) | 1.0T | |||
| 33B (32.5B) | 1.4T | |||
| 65B (65.2B) | 1.4T | |||
| Llama 2 | A new mix of publicly available online data | 7B | 2.0T | 2023/07/18 |
| 13B | 2.0T | |||
| 34B | 2.0T | |||
| 70B | 2.0T | |||
| Llama 3 | A new mix of publicly available online data | 8B | 15.0T | 2024/04/18 |
| 70B | 15.0T | |||
| Llama 3.1 | Collected from publicly available sources, over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages | 8B | 15.0T | 2024/07/23 |
| 70B | 15.0T | |||
| 405B | 15.0T | |||
| Llama 3.2 | Llama 3.2-Text: A new mix of publicly available online data | 1B (1.23B) | 9.0T | 2024/09/25 |
| 3B (3.21B) | 9.0T | |||
| Llama 3.2-Vision | Pretrained on image and text pairs. The instruction tuning data includes publicly available vision instruction datasets, as well as over 3M synthetically generated examples | 11B (10.6B) | 6B (image, text) pairs | |
| 90B (88.8B) | 6B (image, text) pairs |
Code Llama
Code Llama는 Llama 2를 기반으로 코드 데이터를 사용하여 훈련되었으며, Base Model, Python Model 및 Instruct Model로 분류되고, 매개변수 크기는 7B, 13B, 34B 및 70B입니다. 코드 연속, 채우기 및 지침 기반 프로그래밍을 지원합니다.
| Model | Training Data | Params | Type |
|---|---|---|---|
| Code Llama | Based on Llama 2, trained using a public code dataset of 500B tokens. To help the model retain natural language understanding skills, 8% of the sample data comes from natural language datasets related to code. | 7B | Base Model: a foundational model for code generation tasks |
| Python: a version specialized for Python | |||
| Instruct: a fine-tuned version with human instructions and self-instruct code synthesis data | |||
| 13B | |||
| 34B | |||
| 70B |
Atom
Atom은 AtomEcho와 Llama Family가 공동으로 개발했으며, Llama 아키텍처를 기반으로 하고 2.7T의 중국어 및 다국어 코퍼스로 훈련되었으며, 매개변수 크기는 1B, 7B 및 13B입니다. Atom은 Llama 모델의 중국어 언어 기능을 향상시킵니다.
| Model | Training Data | Params | Tokens | Release Date |
|---|---|---|---|---|
| Atom | Chinese and multilingual encyclopedias, books, blogs, news, novels, financial data, legal data, medical data, code, paper, Chinese NLP competition datasets, etc. | 1B | 2.7T | 2023/12/20 |
| 7B | 2.7T | 2023/08/28 | ||
| 13B | 2.7T | 2023/07/31 |
Llama Family에 기여하는 방법
- 커뮤니티에 가입: 포럼, 채팅 그룹 및 이벤트를 통해 다른 개발자 및 매니아와 교류하십시오.
- 코드 기여: 버그 수정, 새로운 기능 또는 모델 개선 사항이 포함된 풀 요청을 제출하십시오.
- 리소스 공유: 데이터 세트, 훈련 스크립트 및 사전 훈련된 모델을 커뮤니티와 공유하십시오.
- 피드백 제공: 기존 모델 및 도구에 대한 피드백을 제공하여 품질과 사용성을 개선하는 데 도움을 주십시오.
Llama Family가 중요한 이유
Llama Family는 협업을 촉진하고 오픈 소스 AI 모델 개발을 가속화하기 때문에 중요합니다. 개발자와 연구원이 리소스와 지식을 공유할 수 있는 플랫폼을 제공함으로써 Llama Family는 AI 기술에 대한 액세스를 민주화하고 혁신을 촉진하는 데 도움이 됩니다.
결론
Llama Family는 오픈 소스 협업을 통해 AI 발전에 전념하는 성장하는 커뮤니티입니다. 지금 Llama Family에 가입하여 AI의 미래에 기여하십시오!
"Llama Family"의 최고의 대체 도구
다양한 하드웨어에 최적화된 C/C++ 라이브러리인 llama.cpp을 사용하여 효율적인 LLM 추론을 활성화하고 양자화, CUDA 및 GGUF 모델을 지원합니다. 로컬 및 클라우드 배포에 이상적입니다.
FinGPT: 금융 데이터, 감정 분석 및 예측을 민주화하기 위한 오픈 소스 금융 대규모 언어 모델입니다. 시기적절한 시장 통찰력을 위해 신속하게 미세 조정하십시오.
PearAI는 AI 채팅, PearAI 에이전트를 통한 자동 코딩 및 지능형 디버깅 기능을 갖춘 오픈 소스 AI 코드 편집기입니다.
Nebius AI Studio Inference Service는 호스팅된 오픈소스 모델을 제공하여 독점 API보다 더 빠르고 저렴하며 정확한 추론 결과를 제공합니다. MLOps 없이 원활하게 확장 가능하며, RAG 및 생산 워크로드에 이상적입니다。
ChatLLaMA는 LLaMA 모델 기반 LoRA 훈련 AI 어시스턴트로, 로컬 GPU에서 사용자 지정 개인 대화를 가능하게 합니다. 데스크톱 GUI 제공, Anthropic의 HH 데이터셋으로 훈련, 7B, 13B, 30B 모델 지원.
xTuring은 오픈소스 라이브러리로, 사용자가 대형 언어 모델(LLM)을 효율적으로 사용자 정의하고 미세 조정할 수 있게 하며, AI 개인화를 위한 단순성, 자원 최적화, 유연성에 중점을 둡니다.
Sagify는 AWS SageMaker에서 머신러닝 파이프라인을 간소화하는 오픈 소스 Python 도구로, 독점 및 오픈 소스 대형 언어 모델의 원활한 통합을 위한 통합 LLM 게이트웨이를 제공합니다.
LlamaChat은 Mac에서 LLaMA, Alpaca 및 GPT4All 모델과 로컬로 채팅할 수 있는 macOS 앱입니다. 지금 다운로드하여 로컬 LLM 채팅을 경험해보세요!
Jan은 오픈 소스, 오프라인 우선 AI 클라이언트입니다. 개인 정보 보호 및 API 요금 없이 로컬에서 대규모 언어 모델(LLM)을 실행하세요. 다양한 모델 및 서비스에 연결하십시오.
Replicate를 사용하면 클라우드 API로 오픈 소스 머신러닝 모델을 실행하고 미세 조정할 수 있습니다. AI 제품을 쉽게 구축하고 확장하세요.
Arbius는 전 세계적으로 GPU로 구동되는 탈중앙화 네트워크로 생성 AI를 중심으로 공유 경제를 창출합니다. 사용자는 거버넌스에 참여하고 스테이킹을 통해 수수료를 얻고 개방형 AI를 장려할 수 있습니다.
TextGen은 AI 기반 템플릿과 스마트 콘텐츠 생성을 통해 메모 작성 경험을 향상시키는 Obsidian용 오픈 소스 AI 플러그인입니다.
AskCodi는 단일 인터페이스를 통해 GPT-4, Claude 및 Gemini와 같은 여러 AI 모델에 액세스하여 코드 개발을 간소화하는 AI 기반 API 플랫폼입니다. 워크플로를 간소화하고 더 스마트한 애플리케이션을 구축하십시오.
Interacly는 AI 에이전트를 생성, 사용자 정의 및 협업할 수 있도록 지원하는 오픈 소스 AI 슈퍼 앱입니다. 이 개인 정보 보호 중심 플랫폼은 자연스러운 대화, 자동화 및 개발 도구를 제공합니다.