Meta AI bracht een derde lama naar de tafel.
Meta-AI heeft ontwikkeld en aangekondigd Llama 3, een groot taalmodel dat met zijn eerdere releases furore maakt in de kunstmatige intelligentie. Deze nieuwste toevoeging aan de Llama-familie beschikt over indrukwekkende mogelijkheden, waaronder het genereren van samenhangende en vloeiende tekst, het beantwoorden van vragen en het aangaan van gesprekken.
Llama 3 – Gewoon weer een herziening?
Wat onderscheidt Llama 3 van zijn voorgangers? Volgens mens evaluatie resultaten behaalt het model een winstpercentage van 59.3% tegen Mistral Medium en 63.7% tegen GPT-3.5. Deze indrukwekkende cijfers geven aan dat Llama 3 tekst kan genereren die qua kwaliteit vergelijkbaar is met door mensen gegenereerde tekst.
De trainingsdataset voor Llama 3 bestaat uit meer dan 15T tokens verzameld uit openbaar beschikbare bronnen, waardoor deze zeven keer groter is dan de trainingsdataset die voor Llama 2 wordt gebruikt. Dankzij deze uitgebreide trainingsgegevens kan het model diverse en nauwkeurige tekst genereren.
Deze token-dataset van 15 biljoen is aanzienlijk groter dan zijn voorganger, bevat zeven keer zoveel gegevens als Llama 2 en bevat een uitgebreid codebereik – een verviervoudiging van de hoeveelheid die eerder werd gebruikt. Opvallend is dat meer dan 5% van de gegevens niet-Engelse inhoud van hoge kwaliteit is die meer dan 30 talen omvat, hoewel wordt erkend dat de prestaties in deze talen mogelijk niet het niveau bereiken dat in het Engels wordt gezien.
Om de kwaliteit van de gegevens te garanderen, ontwikkelde Meta geavanceerde filterpijplijnen. Deze omvatten heuristische filters, NSFW-inhoudsfilters, semantische deduplicatie en classificaties die zijn ontworpen om de tekstkwaliteit te beoordelen. Interessant is dat Llama 2 werd gebruikt om de trainingsgegevens voor deze kwaliteitsclassificatoren te verfijnen, wat een belangrijke rol bleek te spelen bij het aandrijven van de volgende generatie.
Wat betreft het opschalen van de pre-training heeft Meta geïnnoveerd met gedetailleerde schaalwetten om de modeltraining effectief te verbeteren. Deze wetten sturen de mix van data- en computergebruik, waardoor de prestaties worden geoptimaliseerd voor verschillende benchmarks, zoals het genereren van code. Verrassend genoeg vertoonden de 8B- en 70B-parametermodellen voortdurende prestatieverbeteringen die verder gingen dan de traditionele trainingslimieten, wat potentieel aantoonde in scenario's voor enorme datatraining.
Lama 3 en jij
De toekomst van het Llama-ecosysteem ziet er ook veelbelovend uit, met plannen om de mogelijkheden van het model uit te breiden en het nog toegankelijker te maken voor ontwikkelaars. Dit betekent dat we de komende maanden en jaren nog meer innovatieve toepassingen van Llama 3 kunnen verwachten.
Voor een praktische trainingstoepassing maakte Meta gebruik van een drietal parallellisatiestrategieën (data-, model- en pijplijnparallelisatie) om te trainen op een ongekende schaal met behulp van 16K GPU's. Deze schaalgrootte werd mogelijk gemaakt door op maat gemaakte GPU-clusters en een nieuwe trainingsstack die meer dan 95% effectieve trainingstijd garandeert door het onderhoud te automatiseren en het GPU-gebruik te optimaliseren.
Meta meldt dat verfijning na de training door middel van het afstemmen van instructies van cruciaal belang is geweest. Technieken zoals gecontroleerde verfijning, afwijzingssteekproeven en beleidsoptimalisaties hebben de prestaties van het model op specifieke taken verfijnd en geholpen om de juiste antwoorden te leren selecteren uit de gegenereerde mogelijkheden. Deze genuanceerde trainingsstrategie heeft de redeneer- en codeermogelijkheden van Llama 3 aanzienlijk verbeterd, waardoor een nieuwe maatstaf is gezet voor de training en toepassing van AI-modellen.
Afsluitende gedachten
Llama 3 arriveert met veel concurrenten en belooft betere prestaties en bruikbaarheid. Met zijn indrukwekkende mogelijkheden en uitgebreide trainingsgegevens zal het een revolutie teweegbrengen in de manier waarop we met machines omgaan. Of je nu een ontwikkelaar bent die Llama in je volgende project wil integreren of gewoon iemand die geïnteresseerd is in de toekomst van AI, Llama 3 is de moeite waard om in de gaten te houden.
Meta AI kan worden gebruikt op Facebook, Instagram, WhatsApp, Messenger en het web. Meta AI biedt documentatie voor Meta AI hier.
De Lama 3 website heeft de downloadinformatie voor de modellen en biedt een Handleiding Aan de slag.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
