Extreme Edge – Astrofotografie mit HCI ermöglichen

Vor kurzem haben wir schrieb ein Stück (und hat ein Video erstellt), was die einfache Bereitstellung des winzigen HCI-Clusters von Scale Computing hervorhebt. Der Drei-Knoten-Cluster ist sehr einfach einzurichten und eignet sich daher ideal für Edge-Anwendungsfälle wie den Einzelhandel. Aber wir mussten darüber nachdenken, wie wäre es mit der Verwendung dieser Knoten an einem etwas weiter entfernten Rand? Wie tief in der Wüste von Arizona, gepaart mit ein paar tragbaren Kraftwerken und einem leistungsstarken Teleskop, das so aufgebaut ist, dass es den Himmel über sich fotografiert. Lesen Sie weiter, um mehr darüber zu erfahren, wie Scale Computing wissenschaftliche Forschung an der Spitze ermöglicht.

Vor kurzem haben wir schrieb ein Stück (und hat ein Video erstellt), was die einfache Bereitstellung des winzigen HCI-Clusters von Scale Computing hervorhebt. Der Drei-Knoten-Cluster ist sehr einfach einzurichten und eignet sich daher ideal für Edge-Anwendungsfälle wie den Einzelhandel. Aber wir mussten darüber nachdenken, wie wäre es mit der Verwendung dieser Knoten an einem etwas weiter entfernten Rand? Wie tief in der Wüste von Arizona, gepaart mit ein paar tragbaren Kraftwerken und einem leistungsstarken Teleskop, das so aufgebaut ist, dass es den Himmel über sich fotografiert. Lesen Sie weiter, um mehr darüber zu erfahren, wie Scale Computing wissenschaftliche Forschung an der Spitze ermöglicht.

Astrofotografie in der Wüste

Overkill? Ja, das ist ein bisschen so, als würde man ein Schlachtschiff zu einem Angelwettbewerb mitnehmen und die Wasserbomben einsetzen, um die Fische an die Oberfläche zu bringen. Dies ist jedoch eher ein Test, um zu sehen, wie schnell und wie schnell wir große Fotos verarbeiten können, sobald sie eingehen.

Das Teleskop ist extrem schnell, da es eine große Blende von F/1.9 hat, was bedeutet, dass wir nicht viel Zeit auf Ziele verwenden müssen und unsere Belichtungszeiten viel kürzer sein können. Das bedeutet, dass ich in einer ganzen Nacht Astrofotografie mehr Daten erfassen und mehr Ziele erreichen kann, als ich in Echtzeit auf dem lokalen Controller-Laptop verarbeiten könnte (ein i7 der 7. Generation mit mittlerer Ausstattung, 7820HQ mit der serienmäßigen m.2-SATA-SSD). .

Ich bevorzuge es auch, die Aufgabe der Steuerung in die Führung des Teleskops und die Verarbeitung der Bilder zu unterteilen, um das System nicht zu überlasten oder in irgendwelche IO-Einschränkungen zu geraten. Wir haben es mit 120 MB bis 150 MB pro Frame zu tun, was sich bei der Verarbeitung großer Datenmengen sehr schnell auf die Festplatten-IO und den CPU-Verbrauch auswirkt.

Vereinfachte Erklärung der Astrofotografie

Was meine ich mit Verarbeitung? Der erste Schritt ist die Registrierung der Fotos; Dadurch wird eine allgemeine Bewertung der Qualität vorgenommen und eine Textdatei erstellt, die willkürlich auflistet, wo sich alle Sterne in jedem Bild befinden. Da wir immer mehr Fotos desselben Ziels aufnehmen, werden diese Registrierungsdateien verwendet, um beim endgültigen Bildstapelungsprozess die Ausrichtung aller Bilder zu unterstützen.

Sobald alle Dateien registriert sind, stapeln wir sie mit verschiedenen Methoden. Der Einfachheit halber können wir sagen, dass wir die Werte jedes Pixels mitteln, was mit zunehmender Bildgröße umso länger dauert. Anschließend geht es an die Nachbearbeitung, die so einfach sein kann wie die Photoshop-Bearbeitung. Komplexere Vorgänge nutzen spezielle Software, die GPUs und KI nutzen kann, um die Sterne zu entfernen und vieles mehr. Bei der Nachbearbeitung kommt die Kunst ins Spiel.

Mit diesem Teleskop kann ich 30-Sekunden-Aufnahmen machen und unglaubliche Ergebnisse erzielen. Deshalb mache ich im Allgemeinen gerne zwischen 100 und 200 Aufnahmen von jedem Ziel und erreiche an einem Abend so viele Ziele wie möglich.

Die Software, die ich verwende, heißt Deep Sky Stacker und Deep Sky Stacker Live. Deep Sky Stacker Live bietet Ihnen eine Live-Vorschau (wer hätte das gedacht), eine unkalibrierte Vorschau Ihres aktuellen Zielbildsatzes und registriert die Bilder, sobald sie von der Kamera eingehen, was später Zeit spart.

Für diesen speziellen Test war ich neugierig, ob wir die Bilder so schnell registrieren, stapeln und verarbeiten könnten, wie wir sie aufnehmen konnten. Das ist ziemlich rechenintensiv, da diese Bilder jeweils 62 Megapixel haben und ich zwischen 100 und 200 Bilder pro Ziel aufnehme. Das bedeutet, dass pro Stunde zwischen 15 und 20 GB an Informationen generiert wurden. Der gesamte Abend hat 178 GB Daten generiert, die ich auf dem Scale Computing HCI Cluster verarbeiten konnte. Oh, und weil wir sehr abgelegen sind, machen wir das alles nur mit Batteriestrom.

Die Stapelzeit für jedes Ziel dauerte unter Verwendung einer Mittelungsmethode, einschließlich eines vollständigen Satzes von Kalibrierungsrahmen, zwischen 25 und 35 Minuten. Das ist eine überraschend beeindruckende Leistung des Scale Computing Clusters und liegt auf dem Niveau meiner Desktop-Workstation und meines dedizierten Astro-Servers zu Hause.

Ich habe ausführliche Nachforschungen angestellt und das deckt sich mit dem, was ich herausgefunden habe: Es ist weniger wichtig, riesige Mengen an RAM und CPU zu verschwenden, sondern vielmehr, die absolut besten Festplatten-IOPS und Lese-/Schreibgeschwindigkeiten zu erreichen, die man für diesen Prozess erreichen kann Seien Sie so schnell wie möglich (mehr dazu später in einem anderen Artikel). Die All-Flash-M.2-NVMe-Laufwerke des Scale Computing Clusters eignen sich hervorragend, da sie für diesen speziellen Workflow eine hohe Leistung bei geringem Stromverbrauch bieten.

Astrofotografie-Rig

Das Teleskop, die IT-Infrastruktur und Standortinformationen für den Test:

• Celestron Nexstar GPS 11″ auf einem HD Wedge und HD Stativ
  • Starizona Hyperstar11v4
    • 540 mm Brennweite
    • Blende F/1.9
• ZWO ASI6200MC Pro One Shot Farbkamera
• Generisches Enterprise-Dell-Notebook mit i7 der 7. Generation für Steuerung und Aufnahme
• Scale-Computing-Cluster
• Nicht verwalteter Netgear 1G-Switch mit acht Ports
• 2x EcoFlow River Mini-Batterien
• Starlink V2
• Picacho Peak State Park, Standort Bortle 2.
• Software
  • Nina
  • PHD2
  • Deep Sky Stacker
  • Sternennetz
  • Photoshop

Extreme Edge HCI

Der allgemeine Aufbau war ziemlich einfach; Ich habe einen Tisch, einen 8-Port-Switch, den Steuerungslaptop, den Scale Computing HCI-Cluster und Starlink für den Internetzugang eingerichtet. Alles wurde über den Switch miteinander vernetzt. Obwohl es sich lediglich um einen 1-GbE-Switch handelte, der mit der Geschwindigkeit des Scale-Clusters übereinstimmte, stellte er in diesem Workflow dank der eingehenden Datenrate von etwa 300 Megabyte pro Minute kein Problem dar.

Der gesamte Strom für das Scale-Cluster und den Kontroll-Laptop ging an einen Ecoflow River Mini, während das Teleskop und die Kamera über den anderen Strom versorgt wurden. Das Teleskop und die Kamera werden über den Zigarettenanzünderanschluss mit 12 V versorgt, ein Eingang für die Teleskophalterung versorgt die Motoren zum Ausrichten und Nachführen mit Strom und ein weiterer Eingang versorgt das Peltier-Element für den Kühler an der Kamera.

Der Kamerasensor ist auf -5°C gekühlt. Der Cluster und der Laptop (mit Bildschirm und minimaler Helligkeit) erschöpfen den EcoFlow River Mini in knapp 2 Stunden und 30 Minuten, während der für das Teleskop vorgesehene ihn im Vorversuch zwei ganze Nächte lang mit Strom versorgen konnte.

Der Steuerungslaptop wird über USB 3.0 und einen USB 3.0 Hub mit dem Teleskop und der Kamera verbunden. In meinem Setup möchte ich nur das Nötigste auf dem Steuerungslaptop ausführen, und die Bilder werden dann normalerweise remote gespeichert, entweder auf einem NAS, wenn ich es zur Verfügung habe (was ich in diesem Fall auf dem Scale Cluster gemacht habe). oder auf einen externen Flash-Speicher, wenn ich kein Netzwerk habe.

Für diesen Test habe ich auf diesem Cluster drei virtuelle Maschinen eingerichtet, zwei zum Stapeln und eine zum Speichern der Bilddateien als Netzwerkfreigabe. Der Steuerungs-Laptop für das Teleskop hat seine Dateien direkt von der Kamera über das Netzwerk an den Cluster übertragen. Anschließend war jeder Stapler für die abwechselnde Verarbeitung der einzelnen Ziele verantwortlich, sobald die Dateien eingingen. Dank der enormen Rechenleistung des Clusters konnten wir mit der Arbeitslast mehr als Schritt halten.

Bei normalen Exkursionen zu Dark-Sky-Standorten, bei denen ich nur den Kontroll-Laptop verwende, kann ich die Daten aufgrund der schieren Menge der eingehenden Daten nicht vor Ort verarbeiten. Aufgrund der eingeschränkten Internetverbindung konnte ich sie auch nicht direkt zur Verarbeitung auf die Heimserver hochladen , was bedeutet, dass ich die Ergebnisse der am Ziel verbrachten Zeit erst einen Tag oder später erfahre. Starlink löst dieses Problem bis zu einem gewissen Grad, steht aber kurz vor einer zuverlässigen Lösung, insbesondere wenn Sie mehrere Benutzer/Teleskope haben, da die Upload-Geschwindigkeit von 5–20 Mbit/s schnell zu einem Engpass werden würde.

Insgesamt war dieser Test ein großartiger Proof of Concept, der zeigte, dass Sie, wenn Sie zwei, drei oder noch mehr dedizierte Astrofotografie-Rigs an einem fest installierten, entfernten Observatorium aufgestellt hätten, Ihre gesamte Stapelung ganz einfach vor Ort erledigen und dann hochladen könnten Legen Sie die gestapelte Datei für die endgültige Bearbeitung zu Hause zurück auf die Basis.

Ich würde auch vorschlagen, dass Sie einen kleineren Cluster zu einer Star-Party mitnehmen und auch Prozesse vor Ort durchführen könnten, da Sie dann die Möglichkeit hätten, schnell eine VM für jeden Benutzer bereitzustellen, die er für seine eigenen persönlichen Arbeitsabläufe nutzen kann. Um dieses Konzept zu validieren, saß ich auf der anderen Seite des Campingplatzes auf meinem Laptop, der über 5G mit meinem Telefon verbunden war, und über den Remotedesktop zurück zum Steuerungslaptop, wo ich mit großem Erfolg aus der Ferne Bilder auf dem Cluster stapeln und verarbeiten konnte.

Abschließende Überlegungen

In diesem speziellen Test war der 3-Knoten-Cluster von Scale Computing zweifellos übertrieben. Allerdings zeigte es auch, dass man bei einem langen Wochenendausflug, einer größeren Sternenparty oder mit mehreren Teleskopen, die Bilder aufnehmen, schnelle Ergebnisse erzielen, die Bilder vollständig validieren und die Daten auf Probleme überprüfen konnte. Anstatt zu packen und nach Hause zu fahren und dann festzustellen, dass das Objektiv verschmiert ist, irgendwo zu viel Streulicht eintrifft oder der falsche Filter ausgewählt wurde, können diese Probleme nahezu in Echtzeit vor Ort behoben werden.

Die Vorteile wurden deutlich, nachdem ich mit dem Stapeln meines zweiten Ziels fertig war. Mir fiel auf, dass die LEDs am von mir verwendeten USB-Hub zu viel Streulicht erzeugten, was zu seltsamen Artefakten in den Bildern führte. Ich konnte zum Teleskop zurückgehen, sie abdecken, das Ziel erneut abschießen und dann mit besseren Ergebnissen erneut stapeln.

Die Scale-Computing-Lösung würde dank ihres stromsparenden Designs und ihrer hohen Leistung auch hervorragend in eine dauerhaft installierte Fernobservatorium mit mehreren Benutzern passen, das zu 100 % netzunabhängig ist. Wenn ich in der Lage wäre, zusätzliche Stromspeicherkapazitäten und eine ausreichend große Solarlösung zu erhalten, gäbe es keine Begrenzung der Laufzeit, und wenn ich die Möglichkeit hätte, überschüssige Knoten tagsüber abzuschalten, um die Laderate zu maximieren, kann ich viel sehen Potenzial für diese Anwendungen.

Es gab zwei große Nachteile, von denen ich glaube, dass sie leicht behoben werden könnten, einer vielleicht mit einem Software-Update und der andere mit einem einfachen Hardware-Upgrade. Das erste ist die Unfähigkeit, USB-Geräte durchzuleiten. Wenn dies einen USB-Pass-Through hätte, würde ich meine gesamte aktuelle Ausrüstung zu 100 % fallen lassen und diese als primäre Schnittstelle für den Workflow verwenden, selbst wenn ich zu Hause im Hinterhof sitze. Ich muss in der Lage sein, den USB-Hub an ein Gastbetriebssystem weiterzugeben, um das Teleskop und die Kamera direkt steuern zu können.

Das zweite Problem ist der begrenzte Speicherplatz. Ein Terabyte pro Host ist ziemlich anständig; Allerdings würde ich mir eine Größe in der Größenordnung von 2 bis 4 TB pro Host wünschen, um dies zu einer alltagstauglichen Option in meinem speziellen Arbeitsablauf zu machen. Allerdings erfasse ich mit der Kamera, die ich verwende, höhere Datenraten, sodass dies für diejenigen mit Kameras mit niedrigerer Auflösung möglicherweise weniger problematisch ist. Scale kann diese Systeme mit mehr Speicher konfigurieren, sodass dies eine einfache Lösung ist, wenn Sie die Kapazität benötigen.

Der kleine HCI-Cluster von Scale Computing bietet dank der geringen Größe, der benutzerfreundlichen Software und der relativ geringen Kosten viele Geschäftsvorteile. Für Forschungsanwendungsfälle wie die Astrofotografie kann so etwas die wissenschaftliche Entdeckung erheblich beschleunigen. Wer auf der Suche nach einem Cluster mit geringem Stromverbrauch ist, der gleichzeitig robust und kostengünstig ist, sollte Scale Computing ausprobieren. sie haben sogar eine die kostenlose Testversion..

Wenn Sie versuchen möchten, die Rohstapel zu bearbeiten, Die TIF-Dateien finden Sie unter diesem Google Drive-Link

Tag 0 mit Scale Computing

Scale Computing

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed