Extreme Edge – Abilitare l'astrofotografia con l'HCI

Di recente noi ha scritto un pezzo (E creato un video) evidenziando la facilità di implementazione del minuscolo cluster HCI di Scale Computing. Il cluster a tre nodi è molto semplice da configurare, il che lo rende uno dei preferiti per casi d'uso edge come la vendita al dettaglio. Ma dobbiamo pensare: che ne dici di utilizzare questi nodi su un confine un po’ più remoto? Come nel profondo deserto dell'Arizona, abbinato a un paio di centrali elettriche portatili e un potente telescopio attrezzato per fotografare il cielo sopra di noi. Continua a leggere per saperne di più su come lo Scale Computing consente la ricerca scientifica all'avanguardia.

Di recente noi ha scritto un pezzo (E creato un video) evidenziando la facilità di implementazione del minuscolo cluster HCI di Scale Computing. Il cluster a tre nodi è molto semplice da configurare, il che lo rende uno dei preferiti per casi d'uso edge come la vendita al dettaglio. Ma dobbiamo pensare: che ne dici di utilizzare questi nodi su un confine un po’ più remoto? Come nel profondo deserto dell'Arizona, abbinato a un paio di centrali elettriche portatili e un potente telescopio attrezzato per fotografare il cielo sopra di noi. Continua a leggere per saperne di più su come lo Scale Computing consente la ricerca scientifica all'avanguardia.

Astrofotografia nel deserto

Eccessivo? Sì, è un po’ come portare una corazzata a una gara di pesca e usare le bombe di profondità per portare i pesci in superficie. Tuttavia, questo è più un test per vedere quanto velocemente potremmo elaborare le fotografie di grandi dimensioni non appena arrivano.

Il telescopio è estremamente veloce in quanto ha una grande apertura, F/1.9, il che significa che non dobbiamo dedicare molto tempo agli obiettivi e i nostri tempi di esposizione possono essere molto più brevi. Ciò significa che in un'intera notte di astrofotografia, posso acquisire più dati e fare più obiettivi di quelli che potrei elaborare in tempo reale sul laptop con controller locale (un i7 di settima generazione con specifiche moderate, 7HQ con SSD SATA m.7820 di serie) .

Inoltre preferisco suddividere il compito di controllo nella guida del telescopio e nell'elaborazione delle immagini per non sovraccaricare il sistema o incorrere in qualsiasi tipo di limitazione IO. Abbiamo a che fare con 120 MB-150 MB per frame, che diventano molto rapidi sul consumo di I/O del disco e della CPU durante l'elaborazione di set di dati di grandi dimensioni.

Spiegazione semplificata dell'astrofotografia

Cosa intendo per elaborazione? Il primo passo è la registrazione delle foto; questo applica un punteggio generale della qualità e crea un file di testo che elenca arbitrariamente dove si trovano tutte le stelle in ciascuna immagine. Man mano che scattiamo sempre più foto dello stesso soggetto, questi file di registrazione vengono utilizzati per aiutare ad allineare tutte le immagini nel processo di impilamento delle immagini finale.

Una volta che i file sono tutti registrati, li impiliamo insieme utilizzando vari metodi. Per semplicità, possiamo dire che facciamo la media dei valori di ciascun pixel, che, all'aumentare della dimensione dell'immagine, maggiore sarà il tempo necessario. Successivamente, passi alla post-elaborazione, che può essere semplice come l'editing di Photoshop. Le operazioni più complesse utilizzano software dedicato in grado di sfruttare GPU e intelligenza artificiale per rimuovere le stelle e molto altro ancora. La post-elaborazione è il luogo in cui entra in gioco l'arte.

Con questo telescopio, posso scattare con esposizioni di 30 secondi e ottenere risultati incredibili, quindi generalmente mi piace scattare tra 100 e 200 scatti per ciascun bersaglio e raggiungere il maggior numero possibile di bersagli in una sera.

Il software che utilizzo si chiama Deep Sky Stacker e Deep Sky Stacker Live. Deep Sky Stacker Live ti offre un'anteprima dal vivo (chi avrebbe mai immaginato) e non calibrata del set di immagini dei tuoi target attuali e registra le immagini non appena arrivano dalla fotocamera, risparmiando tempo su tutta la linea.

Per questo particolare test, ero curioso di sapere se potessimo registrare, impilare ed elaborare le immagini il più velocemente possibile. Questo è piuttosto impegnativo dal punto di vista computazionale poiché queste immagini sono da 62 megapixel ciascuna e sto scattando tra 100 e 200 fotogrammi per target. Ciò significa che ha generato tra 15 GB e 20 GB di informazioni all'ora; l'intera serata ha generato 178 GB di dati che ho potuto elaborare sullo Scale Computing HCI Cluster. Oh, e poiché siamo molto remoti, stiamo facendo tutto questo solo con la batteria.

Il tempo di impilamento per ciascun target, utilizzando un metodo di media, incluso un set completo di fotogrammi di calibrazione, ha richiesto dai 25 ai 35 minuti per essere completato completamente. Si tratta di una prestazione sorprendentemente impressionante per lo Scale Computing Cluster e alla pari con la mia workstation desktop e l'Astro Server dedicato a casa.

Ho condotto ricerche approfondite e questo è in linea con ciò che ho scoperto, è meno importante utilizzare enormi quantità di RAM e CPU e più importante ottenere le migliori velocità di IOPS del disco e di lettura/scrittura in assoluto che è possibile ottenere per questo processo. sii il più veloce possibile (ne parleremo più avanti in un altro articolo). Le unità all-flash M.2 NVMe di Scale Computing Cluster si adattano perfettamente fornendo prestazioni elevate per questo particolare flusso di lavoro con un basso consumo energetico.

Attrezzatura per astrofotografia

Informazioni sul telescopio, sull'infrastruttura IT e sulla posizione del sito per il test:

• Celestron Nexstar GPS 11″ su base HD Wedge e treppiede HD
  • Starzona Hyperstar11v4
    • Lunghezza focale 540 mm
    • Apertura F/1.9
• Telecamera a colori One Shot ZWO ASI6200MC Pro
• Laptop Dell aziendale generico con i7 di settima generazione per controllo e acquisizione
• Cluster di elaborazione su scala
• Switch Netgear 1G a otto porte non gestito
• 2x batterie EcoFlow River Mini
• Collegamento stellare V2
• Picacho Peak State Park, sito Bortle 2.
• Software
  • NINA
  • PHD2
  • Impilatore del cielo profondo
  • rete stellare
  • Photoshop

Extreme Edge HCI

La configurazione generale era piuttosto semplice; Ho configurato un tavolo, uno switch a 8 porte, il laptop di controllo, il cluster Scale Computing HCI e Starlink per l'accesso a Internet. Tutto era collegato in rete tramite lo switch, che nonostante fosse solo uno switch da 1 GbE, come la velocità sul cluster Scale, non era un problema in questo flusso di lavoro grazie alla velocità dei dati in arrivo, circa 300 megabyte al minuto.

Tutta l'energia per lo Scale Cluster e il laptop di controllo è andata a un Ecoflow River Mini, mentre il telescopio e la fotocamera sono stati spenti dall'altro. Il telescopio e la fotocamera accettano l'alimentazione a 12 V dalla porta dell'accendisigari dell'auto, un ingresso per la montatura del telescopio per alimentare i motori di puntamento e tracciamento e un altro per far funzionare l'elemento Peltier per il dispositivo di raffreddamento della fotocamera.

Il sensore della fotocamera viene raffreddato a -5°C. Il cluster e il laptop (con schermo e luminosità minima) consumano l'EcoFlow River Mini in poco meno di 2 ore e 30 minuti, mentre quello dedicato al telescopio è riuscito ad alimentarlo per due notti intere nei test preliminari.

Il laptop di controllo è collegato al telescopio e alla fotocamera tramite USB 3.0 e un hub USB 3.0. Nella mia configurazione, mi piace eseguire solo il minimo indispensabile sul laptop di controllo e le immagini vengono quindi solitamente archiviate in remoto, su un NAS se lo ho a disposizione (cosa che, in questo caso, ho fatto su Scale Cluster) o su una memoria flash esterna se non dispongo di rete.

Per questo test ho configurato tre macchine virtuali su questo cluster, due per lo stacking e una per l'archiviazione dei file di immagine come condivisione di rete. Il laptop di controllo del telescopio ha scaricato i file direttamente dalla telecamera all'ammasso attraverso la rete. Quindi ogni stacker era responsabile di alternare il lavoro di elaborazione di ciascun target man mano che i file arrivavano. Grazie all'enorme quantità di potenza di calcolo disponibile con il cluster, riuscivamo più che a tenere il passo con il carico di lavoro.

Durante le normali escursioni ai siti del cielo oscuro, con solo il laptop di controllo, non sono in grado di elaborare sul campo a causa dell'enorme volume di dati in arrivo. Inoltre, non ho potuto caricarli direttamente sui server domestici per l'elaborazione a causa della connettività Internet limitata , il che significa che non conoscerò fino a un giorno o più dopo i risultati del tempo trascorso sull'obiettivo. Starlink risolve questo problema in una certa misura, ma è sul punto di essere una soluzione affidabile, soprattutto se si hanno più utenti/telescopi, poiché le velocità di caricamento di 5-20 Mbps diventerebbero rapidamente un collo di bottiglia.

Questo test nel complesso è stato un'ottima prova di concetto per dimostrare che se avessi avuto due, tre o anche più attrezzature dedicate all'astrofotografia installate in un osservatorio remoto installato in modo permanente, potresti facilmente gestire tutto il tuo impilamento sul posto e quindi caricare il file file impilati alla base per la modifica finale a casa.

Suggerirei anche che potresti portare un cluster più piccolo a una festa stellare ed essere in grado di elaborare anche sul campo poiché avresti la possibilità di distribuire rapidamente una VM per ciascun utente da poter utilizzare per i propri flussi di lavoro personali. Per convalidare questo concetto, mi sono seduto dall'altra parte del campeggio sul mio laptop collegato al telefono su 5G e dal desktop remoto al laptop di controllo, dove ho potuto impilare ed elaborare in remoto le immagini sul cluster con grande successo.

Considerazioni finali

In questo particolare test, il cluster a 3 nodi di Scale Computing si è rivelato senza dubbio eccessivo. Detto questo, ha anche dimostrato che durante un'escursione di un lungo fine settimana, una festa stellare più grande o con più telescopi che catturano immagini, è possibile ottenere risultati rapidi, convalida completa delle immagini e verificare eventuali problemi nei dati. Invece di fare le valigie e tornare a casa, solo per rendersi conto di avere una macchia sulla lente, o troppa luce diffusa da qualche parte, o di aver selezionato il filtro sbagliato, questi problemi possono essere risolti quasi in tempo reale sul campo.

I vantaggi sono diventati evidenti dopo aver finito di impilare il mio secondo bersaglio; Mi sono reso conto che c'era troppa luce diffusa dai LED sull'hub USB che stavo utilizzando, creando degli strani artefatti nelle immagini. Sono riuscito a tornare al telescopio, coprirli e riprendere il bersaglio, quindi rimontare con risultati migliori.

La soluzione Scale Computing si adatterebbe molto bene anche ad un'installazione permanente, un osservatorio remoto per più utenti che sia al 100% off-grid, grazie al suo design a basso consumo e alle alte prestazioni. Se fossi in grado di ottenere una capacità aggiuntiva di accumulo di energia e una soluzione solare sufficientemente grande, non ci sarebbero limiti al tempo di funzionamento e, avendo la possibilità di spegnere i nodi in eccesso durante il giorno per massimizzare la velocità di carica, posso vedere molto di potenziale per queste applicazioni.

Ho riscontrato due grossi inconvenienti che penso possano essere facilmente risolti, uno con un aggiornamento software, forse, e l'altro con un semplice aggiornamento hardware. Il primo è l'impossibilità di passare attraverso qualsiasi dispositivo USB; se avesse un pass-through USB, lascerei cadere al 100% tutta la mia attrezzatura attuale e la inserirei come principale per il flusso di lavoro, anche seduto a casa in cortile. Devo poter passare l'hub USB a un sistema operativo ospite per il controllo diretto del telescopio e della fotocamera.

Il secondo problema è la quantità limitata di spazio di archiviazione. Un terabyte per host è abbastanza decente; tuttavia, vorrei vedere qualcosa nell'ordine di 2-4 TB per host per renderlo un'opzione utilizzabile tutti i giorni nel mio particolare flusso di lavoro. Tuttavia, sto catturando con una velocità dati più elevata con la fotocamera che sto implementando, quindi per chi ha fotocamere con risoluzione inferiore, questo potrebbe essere un problema minore. Scale può configurare questi sistemi con più spazio di archiviazione, quindi questa è una soluzione semplice se hai bisogno di capacità.

Il minuscolo cluster HCI di Scale Computing offre numerosi vantaggi aziendali grazie alle dimensioni ridotte, al software facile da usare e al costo relativamente basso. Per i casi d’uso della ricerca come l’astrofotografia, qualcosa di simile può accelerare in modo significativo la scoperta scientifica. Chiunque cerchi un cluster a basso consumo che sia anche resiliente ed economico farebbe bene a provare Scale Computing; hanno anche un prova gratuita.

Se desideri provare a modificare gli stack grezzi, i file tif possono essere trovati a questo link di Google Drive

Giorno 0 con il calcolo in scala

Elaborazione in scala

Interagisci con StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed