Meta AI ha portato sul tavolo un terzo lama.
Meta AI ha sviluppato e annunciato Llama 3, un modello linguistico di grandi dimensioni che sta facendo scalpore nel campo dell'intelligenza artificiale con le sue versioni precedenti. Quest'ultima aggiunta alla famiglia Llama vanta capacità impressionanti, tra cui la generazione di testo coerente e fluente, la risposta alle domande e il coinvolgimento in conversazioni.
Lama 3 – Solo un'altra revisione?
Cosa distingue Llama 3 dai suoi predecessori? Secondo umano valutazione risultati, il modello raggiunge un tasso di vincita del 59.3% contro Mistral Medium e del 63.7% contro GPT-3.5. Queste cifre impressionanti indicano che Llama 3 può generare testo paragonabile in termini di qualità al testo generato dall'uomo.
Il set di dati di addestramento per Llama 3 è costituito da oltre 15T token raccolti da fonti disponibili al pubblico, il che lo rende sette volte più grande del set di dati di addestramento utilizzato per Llama 2. Questi dati di addestramento estesi consentono al modello di generare testo diversificato e accurato.
Questo set di dati da 15 trilioni di token è significativamente più grande del suo predecessore, contiene sette volte i dati di Llama 2 e include una vasta gamma di codici, quadruplicando la quantità utilizzata in precedenza. In particolare, oltre il 5% dei dati riguarda contenuti non inglesi di alta qualità che abbracciano più di 30 lingue, anche se è riconosciuto che le prestazioni in queste lingue potrebbero non raggiungere i livelli osservati in inglese.
Garantendo la qualità dei dati, Meta ha sviluppato sofisticate pipeline di filtraggio. Questi includono filtri euristici, filtri dei contenuti NSFW, deduplicazione semantica e classificatori progettati per valutare la qualità del testo. È interessante notare che Llama 2 è stato utilizzato per perfezionare i dati di addestramento per questi classificatori di qualità, rivelandosi determinante nel potenziare la generazione successiva.
Per quanto riguarda l'aumento della pre-formazione, Meta ha innovato con leggi dettagliate sulla scalabilità per migliorare in modo efficace la formazione dei modelli. Queste leggi guidano il mix di dati e utilizzo del calcolo, ottimizzando le prestazioni su vari benchmark come la generazione di codice. Sorprendentemente, i modelli di parametri 8B e 70B hanno mostrato continui miglioramenti delle prestazioni oltre i tradizionali limiti di addestramento, mostrando il potenziale in scenari di addestramento di dati di massa.
Lama 3 e tu
Anche il futuro dell'ecosistema Llama sembra promettente, con piani per espandere le capacità del modello e renderlo ancora più accessibile agli sviluppatori. Ciò significa che possiamo aspettarci di vedere applicazioni ancora più innovative di Llama 3 nei mesi e negli anni a venire.
Per un'applicazione di formazione pratica, Meta ha sfruttato una triplice strategia di parallelizzazione (parallelizzazione di dati, modello e pipeline) per addestrarsi su un scala senza precedenti utilizzando GPU da 16K. Questa scalabilità è stata facilitata da cluster GPU personalizzati e da un nuovo stack di formazione che garantisce un tempo di formazione effettivo superiore al 95% automatizzando la manutenzione e ottimizzando l'utilizzo della GPU.
Meta riferisce che il perfezionamento post-allenamento attraverso la messa a punto delle istruzioni è stato vitale. Tecniche come la messa a punto supervisionata, il campionamento del rifiuto e l'ottimizzazione delle politiche hanno perfezionato le prestazioni del modello su compiti specifici e lo hanno aiutato a imparare a selezionare le risposte corrette dalle possibilità generate. Questa strategia di formazione articolata ha migliorato significativamente le capacità di ragionamento e di codifica di Llama 3, stabilendo un nuovo punto di riferimento per la formazione e l'applicazione del modello di intelligenza artificiale.
Riflessioni conclusive
Llama 3 arriva con molti concorrenti, promettendo prestazioni e utilità migliori. Con le sue straordinarie capacità e i dati esaustivi sulla formazione, rivoluzionerà il modo in cui interagiamo con le macchine. Che tu sia uno sviluppatore che desidera integrare Llama nel tuo prossimo progetto o semplicemente qualcuno interessato al futuro dell'intelligenza artificiale, vale la pena tenere d'occhio Llama 3.
Meta AI può essere utilizzato su Facebook, Instagram, WhatsApp, Messenger e la rete. Meta AI fornisce la documentazione per Meta AI qui.
Le Sito web di Lama 3 contiene le informazioni per il download dei modelli e fornisce un file Guida introduttiva.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
