
Llama Family
Übersicht von Llama Family
Llama Familie: Das Open-Source AI Modell-Ökosystem
Was ist die Llama Familie? Die Llama Familie ist eine Open-Source-Community, die sich der Förderung der Entwicklung von Artificial General Intelligence (AGI) durch gemeinsame Anstrengungen rund um Llama-Modelle und verwandte Technologien widmet. Sie zielt darauf ab, eine Plattform zu schaffen, auf der Entwickler und Enthusiasten zu einem Open-Source-Ökosystem beitragen können, das verschiedene Aspekte von AI umfasst, von grossen Modellen bis hin zu kleineren, von Text bis zu multimodalen Fähigkeiten und von Software bis hin zu Hardware-Algorithmusoptimierungen.
Hauptkomponenten der Llama Familie
Modelle: Die Community konzentriert sich auf verschiedene von Meta Open-Sourced Llama-Modelle, darunter Llama, Llama 2, Llama 3, Code Llama und Atom. Diese Modelle decken eine Reihe von Parametergrössen und Trainingsdatensätzen ab und bedienen verschiedene Anwendungsfälle und Forschungsrichtungen.
Compute: Die Community fördert die Zusammenarbeit und den Ressourcenaustausch für Modelltraining und -experimente. Dies beinhaltet die Nutzung von GPU-Ressourcen wie GeForce RTX-Serie, NVIDIA H100 und A100 Tensor Core GPUs.
Community: Das Herzstück der Llama Familie ist ihre lebendige Community von Entwicklern, Forschern und Enthusiasten. Die Community fördert die Zusammenarbeit, den Wissensaustausch und die gemeinsame Entwicklung von Ressourcen und Tools.
Llama Modelle
Meta Llama
Das von Meta Open-Sourced Llama-Modell ist in Industrie und Wissenschaft weit verbreitet. Zu den Versionen gehören 1B, 3B, 8B, 70B und 405B, wobei die Trainingsdaten 15.0T Tokens übersteigen. Vision-Modelle umfassen 11B und 90B, trainiert auf über 6 Milliarden Bild-Text-Paaren.
Model | Training Data | Params | Tokens | Release Date |
---|---|---|---|---|
LLaMA | English CommonCrawl, C4, Github, Wikipedia, Gutenberg and Books3, ArXiv, Stack Exchange | 7B (6.7B) | 1.0T | 2023/02/24 |
13B (13.0B) | 1.0T | |||
33B (32.5B) | 1.4T | |||
65B (65.2B) | 1.4T | |||
Llama 2 | A new mix of publicly available online data | 7B | 2.0T | 2023/07/18 |
13B | 2.0T | |||
34B | 2.0T | |||
70B | 2.0T | |||
Llama 3 | A new mix of publicly available online data | 8B | 15.0T | 2024/04/18 |
70B | 15.0T | |||
Llama 3.1 | Collected from publicly available sources, over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages | 8B | 15.0T | 2024/07/23 |
70B | 15.0T | |||
405B | 15.0T | |||
Llama 3.2 | Llama 3.2-Text: A new mix of publicly available online data | 1B (1.23B) | 9.0T | 2024/09/25 |
3B (3.21B) | 9.0T | |||
Llama 3.2-Vision | Pretrained on image and text pairs. The instruction tuning data includes publicly available vision instruction datasets, as well as over 3M synthetically generated examples | 11B (10.6B) | 6B (image, text) pairs | |
90B (88.8B) | 6B (image, text) pairs |
Code Llama
Code Llama wird auf der Grundlage von Llama 2 mit Codedaten trainiert und ist in Base Model, Python Model und Instruct Model kategorisiert, mit Parametergrössen von 7B, 13B, 34B und 70B. Es unterstützt Code-Fortsetzung, -Füllung und anweisungsbasierte Programmierung.
Model | Training Data | Params | Type |
---|---|---|---|
Code Llama | Based on Llama 2, trained using a public code dataset of 500B tokens. To help the model retain natural language understanding skills, 8% of the sample data comes from natural language datasets related to code. | 7B | Base Model: a foundational model for code generation tasks |
Python: a version specialized for Python | |||
Instruct: a fine-tuned version with human instructions and self-instruct code synthesis data | |||
13B | |||
34B | |||
70B |
Atom
Atom, das gemeinsam von AtomEcho und Llama Family entwickelt wurde, basiert auf der Llama-Architektur und wurde auf 2.7T chinesischen und mehrsprachigen Korpora trainiert, mit Parametergrössen von 1B, 7B und 13B. Atom verbessert die chinesischen Sprachfähigkeiten des Llama-Modells.
Model | Training Data | Params | Tokens | Release Date |
---|---|---|---|---|
Atom | Chinese and multilingual encyclopedias, books, blogs, news, novels, financial data, legal data, medical data, code, paper, Chinese NLP competition datasets, etc. | 1B | 2.7T | 2023/12/20 |
7B | 2.7T | 2023/08/28 | ||
13B | 2.7T | 2023/07/31 |
Wie man zur Llama Familie beitragen kann
- Der Community beitreten: Interagieren Sie mit anderen Entwicklern und Enthusiasten über Foren, Chatgruppen und Veranstaltungen.
- Code beitragen: Senden Sie Pull-Requests mit Fehlerbehebungen, neuen Funktionen oder Modellverbesserungen.
- Ressourcen teilen: Teilen Sie Datensätze, Trainingsskripte und vortrainierte Modelle mit der Community.
- Feedback geben: Geben Sie Feedback zu bestehenden Modellen und Tools, um deren Qualität und Benutzerfreundlichkeit zu verbessern.
Warum ist die Llama Familie wichtig?
Die Llama Familie ist wichtig, weil sie die Zusammenarbeit fördert und die Entwicklung von Open-Source-AI-Modellen beschleunigt. Indem sie eine Plattform für Entwickler und Forscher bietet, um Ressourcen und Wissen auszutauschen, trägt die Llama Familie dazu bei, den Zugang zu AI-Technologie zu demokratisieren und Innovationen zu fördern.
Fazit
Die Llama Familie ist eine wachsende Community, die sich der Weiterentwicklung von AI durch Open-Source-Zusammenarbeit widmet. Treten Sie noch heute der Llama Familie bei, um zur Zukunft von AI beizutragen!
Beste Alternativwerkzeuge zu "Llama Family"

Huaweis Open-Source-KI-Framework MindSpore. Automatische Differenzierung und Parallelisierung, ein Training, Multi-Szenario-Bereitstellung. Deep-Learning-Trainings- und Inferenz-Framework, das alle Szenarien der End-Side-Cloud unterstützt und hauptsächlich in den Bereichen Computer Vision, Natural Language Processing und anderen KI-Bereichen für Data Scientists, Algorithmusingenieure und andere Personen verwendet wird.

PerfAgents ist eine KI-gestützte synthetische Überwachungsplattform, die die Überwachung von Webanwendungen mithilfe vorhandener Automatisierungsskripte vereinfacht. Es unterstützt Playwright, Selenium, Puppeteer und Cypress und gewährleistet so kontinuierliche Tests und zuverlässige Leistung.


Erstellen Sie schnell Telegram-Apps für KI-Startups. Chatbots, Mini Apps und KI-Infrastruktur. Von der Idee zum MVP in 4 Wochen.

Der Altnordisch-Übersetzer ist ein professionelles Tool, das Übersetzungen zwischen Altnordisch und modernen nordischen Sprachen wie Schwedisch, Dänisch, Norwegisch, Isländisch und Färöisch ermöglicht. Ob für akademische Forschung, literarische Werke oder das tägliche Lernen, unser Übersetzer hilft Ihnen, den Charme und die Komplexität des Altnordischen und seiner modernen Nachfolger genau zu verstehen. Beginnen Sie jetzt mit der Nutzung, um die Welt der nordischen Sprachen zu erkunden!

Mit SmartaDoc AI können Sie mit KI mit Ihren Dokumenten chatten. Erhalten Sie schnell Antworten und Einblicke aus PDF-, TXT-, CSV-, JSON-, XLSX-, DOCX-, PPTX- und EPUB-Dateien. Ideal für Studenten, Forscher und Fachleute.

AI Short (ChatGPT Shortcut) ist ein KI-Befehlsverwaltungstool, das entwickelt wurde, um die Effizienz bei der Arbeit und beim Studium zu steigern. Es bietet eine kuratierte Prompt-Bibliothek, Ein-Klick-Befehlsversand, mehrsprachige Übersetzung und personalisierte Verwaltung, die Benutzern hilft, schnell genaues Feedback zu erhalten. Treten Sie unserer Prompt-Community bei, teilen Sie Inspiration, wecken Sie Kreativität und erleben Sie die Bequemlichkeit und Innovation, die ein effizienter KI-Assistent mit sich bringt!

Promptsideas ist ein KI-Prompt-Marktplatz für DALL-E, Midjourney, Stable Diffusion, ChatGPT und mehr. Kaufen und verkaufen Sie KI-Prompts für Kunst, Schreiben, Marketing und Bilder.

Tradepost.ai: KI-gestützte Marktintelligenz für intelligenteren Handel. Echtzeitanalyse von Nachrichten, Newslettern und SEC-Einreichungen.