Pi rappresenta il rapporto tra la circonferenza di un cerchio e il suo diametro e ha un numero infinito di cifre decimali che non si ripetono né finiscono mai. Calcolare il Pi infinito non è solo un’avventura elettrizzante per i matematici; è anche un modo per sottoporre la potenza di calcolo e la capacità di archiviazione a un test di resistenza definitivo. Fino ad ora, il Cloud di Google ha detenuto il record mondiale per la più grande risoluzione Pi con 100 trilioni di cifre. Ad oggi, StorageReview ha abbinato il loro numero e lo ha fatto in una frazione del tempo.
Pi rappresenta il rapporto tra la circonferenza di un cerchio e il suo diametro e ha un numero infinito di cifre decimali che non si ripetono né finiscono mai. Calcolare il Pi infinito non è solo un’avventura elettrizzante per i matematici; è anche un modo per sottoporre la potenza di calcolo e la capacità di archiviazione a un test di resistenza definitivo. Fino ad ora, il Cloud di Google ha detenuto il record mondiale per la più grande risoluzione Pi con 100 trilioni di cifre. Ad oggi, StorageReview ha abbinato il loro numero e lo ha fatto in una frazione del tempo.
Pi nel cielo, sopra le nuvole
L'anno scorso, Emma Haruka Iwao, sostenitrice degli sviluppatori di Google Cloud, ha annunciato che lei e il suo team avevano calcolato Pi fino a 100 trilioni di cifre, battendo il suo precedente record di 31.4 trilioni di cifre del 2019. Hanno utilizzato un programma chiamato y-cruncher in esecuzione sul Compute Engine di Google Cloud, che ha richiesto circa 158 giorni per essere completato ed elaborato circa 82 petabyte di dati. Alla fine, quella corsa avrebbe avuto anche un enorme impatto sul cloud computing e sull'archiviazione, combinato con il crescente slancio delle organizzazioni a riportare carichi di lavoro specifici on-premise, il che ci ha dato un'idea interessante...
Siamo rimasti colpiti dai risultati ottenuti da Emma e da Google Cloud, ma ci siamo anche chiesti se avremmo potuto farlo più velocemente, con un costo totale inferiore. Su StorageReview.com abbiamo accesso ad alcuni degli hardware più recenti e migliori del settore, tra cui Processori AMD EPYC di quarta generazione, Solidig SSD P5316e quantità oscene di batterie al litio. Come in un incontro perfetto, abbiamo creato un server ad alte prestazioni con poco meno di 600 TB di flash QLC e un'esclusiva soluzione di alimentazione ad alta disponibilità.
Ecco le specifiche del nostro sistema di calcolo:
- 2 AMD EPYC 9654 (96 core, 2.4 GHz, boost a 3.7 GHz)
- 24 DIMM DDR64-5 da 4800 GB, 1.5 TB in totale
- 19 x SSD Solidigm QLC P30.72 da 5316 TB
- Windows Server 2022 Standard 21H2
- Programma: y-cruncher di Alexander Yee
Sebbene l'hardware totale possa sembrare estremo, il costo per acquistare il nostro hardware a titolo definitivo è ancora una frazione dell'esecuzione dello stesso carico di lavoro nel cloud per sei mesi.
Data Center: progettato da Madmen
Una delle prime domande che è emersa mentre stavamo progettando il nostro impianto per questo test è stata: "Come presenteremo un volume contiguo abbastanza grande da contenere un file di testo con 100 trilioni di cifre di Pi?" citazione che abbiamo detto totalmente). La matematica è abbastanza semplice, 1 cifra Pi = 1 byte e avere 100 trilioni di cifre decimali significava che avevamo bisogno di 100 TB per questo e altri 83 TB per gli 83 trilioni esadecimali che sarebbero stati calcolati. Per fortuna questo è StorageReview e, se c'è una cosa che sappiamo fare, è archiviare molti dati con una quantità eccessiva di stress.
Sfortunatamente, anche Kevin non ha (ancora) un'unità flash da 183 TB sul suo portachiavi delle dimensioni di un custode. Quindi, dopo aver esaminato e testato vari metodi in laboratorio ed esplorato diversi modi per mappare un NAS o una condivisione di file, abbiamo notato durante i test che a y-cruncher piace avere il controllo IO diretto dei dischi con cui lavora; non solo i dischi di scambio, ma anche la directory di output del file. Fornire a y-cruncher un volume a cui inviare comandi SCSI era la nostra unica opzione, poiché garantisce prestazioni ottimali.
Quindi l'unica cosa logica da fare dopo era utilizzare un target iSCSI su a Server di archiviazione supermicro per archiviare i file di output, che erano troppo grandi per adattarsi a un singolo volume sull'host di calcolo locale. Questa piattaforma era più tradizionale nel senso di storage ad alta capacità, ospitando "solo" 200 TB su quattro LUN da 50 TB di cui abbiamo eseguito lo striping sulla nostra piattaforma di elaborazione.
Anche se RAID 0 potrebbe sollevare qualche perplessità, a nostra difesa, lo spazio di archiviazione del file server è stato ricavato da un pool di Windows Storage Spaces con mirroring, quindi la ridondanza era disponibile sull'host remoto. È stato quindi eseguito il multi-percorso su un'interfaccia 10G a doppia porta, collegata direttamente e cablata tra entrambi i server. La rimozione di un passaggio da questa equazione è stata voluta, poiché questa piattaforma Pi è stata progettata per funzionare in modo completamente separato nel caso in cui il laboratorio principale dovesse andare offline.
Sebbene la protezione dell'alimentazione non sia sempre una grande preoccupazione nel laboratorio StorageReview, un progetto di questa portata (che si estende su mesi) ha richiesto misure estreme per garantire i tempi di attività. Ne abbiamo sfruttati tre Centrali elettriche portatili EcoFlow Delta Pro, ciascuno con una capacità di uscita di 3600 W e una batteria da 3600 Wh.
Il server AMD Genoa ne sfruttava due, con uno Eaton 5PX gruppo di continuità in linea tra un Delta Pro, per alleviare il ritardo di commutazione da EcoFlow durante un'interruzione. Al fileserver era dedicato un Delta Pro, con uno Eaton 5PX G2 per ritardi nel trasferimento.
In breve, abbiamo creato un UPS potenziato, combinando i vantaggi delle centrali elettriche portatili ad alta capacità con l'affidabilità delle moderne apparecchiature di backup a batteria di livello data center. Al picco di carico di calcolo, abbiamo avuto un'autonomia di 4-8 ore con la batteria. Abbiamo avuto numerose tempeste durante la corsa Pi 100T, ma potevamo dormire sonni tranquilli, sapendo che la corsa Pi sarebbe rimasta operativa.
Carne, patate e Pi. Un sacco di Pi…
Abbiamo iniziato il calcolo giovedì 9 febbraio 17:40:47 2023 EST e lo abbiamo terminato lunedì 10 aprile 05:27:37 2023 EST. Il tempo trascorso per il calcolo del Pi è stato di 54 giorni, 17 ore, 35 minuti e 48.96 secondi, mentre il tempo totale da parete a parete, inclusa scrittura e convalida, è stato di 59 giorni, 10 ore, 46 minuti e 49.55 secondi.
La dimensione di archiviazione totale disponibile era di 530.1 TB, esclusa la destinazione iSCSI da 200 TB per la scrittura. Ecco alcuni punti salienti dei contatori dal file di convalida di y-cruncher, disponibile per il download e la verifica.
I numeri
Data di inizio: giovedì 9 febbraio 17:40:47 2023
Modello funzionante:
- Costante: pi greco
- Algoritmo: Chudnovsky (1988)
- Cifre decimali: 100,000,000,000,000
- Cifre esadecimali: 83,048,202,372,185
- Memoria di lavoro: 1,512,978,804,672 (1.38 TiB)
- Memoria totale: 1,514,478,305,280 (1.38 TiB)
Contatori del disco logico:
- Checkpoint logico più grande: 150,215,548,774,568 (137 TiB)
- Utilizzo picco disco logico: 514,540,112,731,728 (468 TiB)
- Byte totali letti sul disco logico: 40,187,439,132,182,512 (35.7 PiB)
- Byte totali scritti sul disco logico: 35,439,733,386,707,040 (31.5 PiB)
I numeri non mentono:
- Tempo di calcolo totale: 4728948.966 secondi
- Tempo di wall dall'inizio alla fine: 5136409.559 secondi
- Ultime cifre decimali:
- 4658718895 1242883556 4671544483 9873493812 1206904813: 99,999,999,999,950
- 2656719174 5255431487 2142102057 7077336434 3095295560: 100,000,000,000,000
Data di fine: lunedì 10 aprile 05:27:37 2023
Le dieci cifre del Pi greco che portano a 100 trilioni sono 3095295560.
Abbiamo calcolato Pi fino a 100 trilioni di cifre in circa un terzo del tempo, grazie in parte a tutto lo spazio di archiviazione di scambio locale rispetto al metodo di Google. Ciò dimostra le incredibili prestazioni, densità ed efficienza degli SSD QLC Solidigm P5316 collegati localmente e, ovviamente, dei processori AMD EPYC di quarta generazione.
L'archiviazione locale era parte integrante di questa corsa veloce. Sebbene la corsa di Google potesse attingere a quantità di spazio di archiviazione quasi illimitate, era limitata a un’interfaccia di rete da 100 Gb. È strano dire che 100 GB siano lenti, ma sulla scala del nostro test diventano un enorme collo di bottiglia. Durante i nostri burst di scrittura swap, abbiamo misurato velocità di trasferimento cumulative sugli SSD Solidigm P5316 QLC fino a 38 GB/s.
Le velocità di lettura erano ancora più elevate. In termini di rete, sarebbero necessari più collegamenti da 400 Gb (ridondanza) per far circolare quella quantità di dati. Sebbene non sia impossibile, molti ambienti cloud semplicemente non sono progettati per quel livello di larghezza di banda. Le istanze I/O bare metal Dense di Oracle sono probabilmente le più vicine a questa scala di velocità pura, ma sono limitate a otto SSD NVMe e 54.4 TB di capacità combinati.
Solidigm QLC Flash per prestazioni, resistenza e densità
Per facilitare un calcolo così significativo, avevamo bisogno di spazio, e di molto, il più velocemente possibile per trovarlo. La modalità swap è una funzionalità di y-cruncher che consente di eseguire calcoli utilizzando il disco, necessario per eseguire calcoli di grandi dimensioni che non possono essere contenuti nella memoria principale. L'utilizzo di più unità in parallelo è necessario per ottenere prestazioni migliori e, per migliorare ulteriormente le prestazioni, è possibile utilizzare unità a stato solido (SSD). Tuttavia, in passato non è stato consigliato perché l'analisi teorica della loro usura non è incoraggiante.
L’uso della modalità swap di y-cruncher, invece di fare affidamento sul file di paging del sistema operativo, è essenziale perché i modelli di accesso alla memoria in y-cruncher non sono direttamente compatibili con il disco. Per fortuna, la modalità di scambio di y-cruncher è progettata per superare questa limitazione riducendo al minimo le ricerche del disco e utilizzando accessi sequenziali al disco. La modalità y-crunchers Swap è stata utilizzata in una configurazione RAID 0 con 19 unità, che ha fornito all'applicazione accesso IO diretto ai dischi NVMe per prestazioni ottimali.
Gli SSD Solidigm P5316 che abbiamo utilizzato nel nostro test utilizzano un'interfaccia PCIe Gen4 e sono dotati di memoria flash QLC NAND a 144 strati. Offrono prestazioni eccezionali, con velocità di lettura sequenziale fino a 7 GB/s e velocità di scrittura sequenziale fino a 3.6 GB/s.
Le unità a stato solido QLC sono riconosciute per la loro capacità di ridurre i costi senza compromettere la capacità di archiviazione e prestazioni efficienti. Ciò rende la tecnologia SSD QLC vantaggiosa per molte situazioni aziendali. Ad esempio, VAST Data incorpora queste unità nei propri prodotti per eliminare la necessità di unità disco rigido. Allo stesso tempo, Pliops utilizza una scheda acceleratrice con unità QLC per una risoluzione rapida ed economicamente vantaggiosa.
Abbiamo queste unità nel nostro laboratorio dalla fine del 2021 e le abbiamo sottoposte a numerosi test, ma questo è stato uno dei test più intensivi ed estesi fino ad oggi. Delle 19 unità che abbiamo utilizzato, tutte avevano uno stato di salute del 99-100% all'inizio del calcolo.
Durante i 54.5 giorni di esecuzione di questo calcolo, abbiamo avuto un totale di 33,127,095 GB di scrittura sulle unità, ovvero circa 1,742,500 GB per unità. Convertendo questo valore in un eccesso giornaliero durante la nostra corsa, si tratta di poco più di 29 TB per unità al giorno.
L'estrapolazione per un carico di lavoro simulato a lungo termine è di circa 10.69 PB all'anno di scritture dati per unità. Solidigm elenca la resistenza del P5316 a 22.9 PBW per carichi di lavoro casuali e 104.6 PBW per carichi di lavoro sequenziali. Poiché il carico di lavoro del Pi è rimasto attivo per tutta la sua durata senza stressare pesantemente il flash, ha agito in modo molto sequenziale, posizionando il carico di lavoro verso l'estremità più alta dello spettro di resistenza di Solidigm.
Ciò significa che potresti sottoporli a un carico di lavoro simile per quasi un decennio prima di esaurirti la vita. A dir poco impressionante, considerando che si tratta di QLC NAND e la garanzia dell'unità è di cinque anni. Chiunque sia preoccupato dell'usura di queste unità può utilizzare questo caso d'uso come un altro punto di convalida del fatto che QLC è pronto per l'azienda.
Al termine dell'esecuzione di 59.5 giorni, lo stato di integrità è stato segnalato al 97-98% su tutte le unità del server. Avevamo appena intaccato la resistenza di queste unità.
CPU AMD EPYC epiche
I processori AMD EPYC di quarta generazione si basano sulla microarchitettura Zen 4 e sul processo produttivo a 4 nm, rendendoli i primi processori per data center x5 a 5 nm del settore. Supportano fino a 86 canali di memoria DDR12, AVX-5 VNNI e istruzioni BFloat512 per prestazioni migliorate nelle applicazioni AI e ML. Offrono fino al 16% in più di prestazioni per core rispetto ai processori Intel Ice Lake e fino al doppio delle prestazioni rispetto ai processori EPYC Milan della generazione precedente di AMD.
La messa a punto è stata una parte importante di questa corsa, poiché avevamo ampiamente testato e ripetuto record più piccoli di calcoli Pi precedentemente conservati, come 1 miliardo e 10 miliardi. Attraverso alcune ottimizzazioni del BIOS e utilizzando il tempo di esecuzione di 10 miliardi come parametro, siamo stati in grado di ottenere miglioramenti significativi delle prestazioni per questo carico di lavoro. Ciò ci ha offerto un vantaggio significativo rispetto all'utilizzo delle risorse cloud poiché avevamo un controllo granulare sulla piattaforma per ottimizzarla per la nostra applicazione, cosa che non è un'opzione con le istanze cloud standard.
Abbiamo iniziato disabilitando SMT nel BIOS e abbiamo riscontrato alcuni miglioramenti% sul tempo di esecuzione dei test più piccoli. L’opzione successiva che abbiamo esplorato è stata quella dei C-States. Abbiamo notato che durante l'esecuzione di y-cruncher, la CPU tendeva a entrare e uscire dagli stati C a basso consumo abbastanza spesso mentre attraversava processi diversi.
La messa a punto delle impostazioni del BIOS, inclusa la disabilitazione di SMT e il controllo degli stati C, insieme ad alcune modifiche alle prestazioni del sistema operativo, è stato un fattore cruciale nel miglioramento delle prestazioni per questo carico di lavoro. Un grande ringraziamento ad Alexander Yee di y-Cruncher e ad un amico della scena dell'overclocking, Forks, per aver contribuito a sottolineare alcune modifiche e impostazioni sia in Windows che in y-Cruncher per contribuire a far sì che questa corsa si realizzasse.
Pi; Corsa veloce 100T, 100%. E adesso?
Bene, gente, mentre concludiamo questo Pi-lgrimage, prendiamoci un momento per crogiolarci nella gloria di aver calcolato l'enorme cifra di 100 trilioni di cifre di Pi in soli 54 brevi giorni! Grazie al programma y-cruncher, alla forza erculea dei processori AMD EPYC di quarta generazione e ai velocissimi SSD Solidigm P4 QLC, abbiamo assistito a un risultato che farà arrossire la tua calcolatrice.
Superando i limiti della potenza dei computer grezzi e dell'archiviazione di dati di dimensioni oceaniche, il nostro fidato team di unità di archiviazione flash QLC collegate localmente ha davvero avuto il suo tempo per brillare. Gli SSD Solidigm P5316, con la loro resistenza e prestazioni eccezionali, sono come i supereroi aiutanti del mondo degli affari. E non dimentichiamoci delle nostre centrali elettriche portatili e della robusta batteria di riserva, che assicuravano che la nostra Pirata continuasse a funzionare, anche quando Madre Natura cercava di piovere sulla nostra celebrazione perfettamente cotta.
Quindi, mentre diciamo addio a questa stravaganza del Pi da record, alziamo una fetta delle infinite possibilità che ci attendono nei mondi della matematica e dell'informatica. Saluti!
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
