Extreme Edge: habilitación de la astrofotografía con HCI

Recientemente nosotros escribió una pieza (y creó un video) que destaca la facilidad de implementación del pequeño clúster HCI de Scale Computing. El clúster de tres nodos es muy fácil de configurar, lo que lo convierte en el favorito para casos de uso perimetral como el comercio minorista. Pero nos pusimos a pensar, ¿qué hay de usar estos nodos en un borde que es un poco más remoto? Como en lo profundo del desierto de Arizona, junto con un par de centrales eléctricas portátiles y un poderoso telescopio equipado para fotografiar los cielos. Siga leyendo para obtener más información sobre cómo Scale Computing permite la investigación científica en el borde extremo.

Recientemente nosotros escribió una pieza (y creó un video) que destaca la facilidad de implementación del pequeño clúster HCI de Scale Computing. El clúster de tres nodos es muy fácil de configurar, lo que lo convierte en el favorito para casos de uso perimetral como el comercio minorista. Pero nos pusimos a pensar, ¿qué hay de usar estos nodos en un borde que es un poco más remoto? Como en lo profundo del desierto de Arizona, junto con un par de centrales eléctricas portátiles y un poderoso telescopio equipado para fotografiar los cielos. Siga leyendo para obtener más información sobre cómo Scale Computing permite la investigación científica en el borde extremo.

Astrofotografía en el desierto

¿Excesivo? Sí, esto es un poco como llevar un acorazado a una competencia de pesca y usar las cargas de profundidad para sacar el pez a la superficie. Sin embargo, esto es más una prueba para ver qué tan rápido podemos procesar fotografías grandes a medida que llegan.

El telescopio es extremadamente rápido porque tiene una gran apertura, F/1.9, lo que significa que no tenemos que pasar mucho tiempo en los objetivos y nuestros tiempos de exposición pueden ser mucho más cortos. Esto significa que en una noche entera de astrofotografía, puedo capturar más datos y hacer más objetivos de los que podría procesar en tiempo real en la computadora portátil del controlador local (un i7 de 7.ª generación, 7820HQ de especificaciones moderadas con el SSD SATA m.2 estándar) .

También prefiero subdividir la tarea de control en el guiado del telescopio y el procesamiento de las imágenes para no sobrecargar el sistema ni encontrar ningún tipo de limitaciones de IO. Estamos lidiando con 120 MB-150 MB por cuadro, lo que se vuelve agresivo en el consumo de CPU y E/S del disco muy rápidamente cuando se procesan grandes conjuntos de datos.

Explicación de astrofotografía simplificada

¿A qué me refiero con procesamiento? El primer paso es el registro de las fotos; esto aplica una puntuación general de la calidad y crea un archivo de texto que enumera arbitrariamente dónde están todas las estrellas en cada imagen. A medida que tomamos más y más fotos del mismo objetivo, estos archivos de registro se utilizan para ayudar a alinear todas las imágenes en el proceso final de apilamiento de imágenes.

Una vez que todos los archivos están registrados, los apilamos usando varios métodos. En aras de la simplicidad, podemos decir que promediamos los valores de cada píxel, que, a medida que aumenta el tamaño de la imagen, más tarda. Luego, se dirige al procesamiento posterior, que puede ser tan simple como la edición de Photoshop. Las operaciones más complejas utilizan un software dedicado que puede aprovechar las GPU y la IA para eliminar las estrellas y mucho más. El posprocesamiento es donde entra el arte.

Con este telescopio, puedo disparar exposiciones de 30 segundos y obtener resultados increíbles, por lo que generalmente me gusta tomar entre 100 y 200 disparos de cada objetivo y llegar a tantos objetivos como pueda en una noche.

El software que uso se llama Deep Sky Stacker y Deep Sky Stacker Live. Deep Sky Stacker Live le brinda una vista previa en vivo (quién lo hubiera adivinado) sin calibrar de su conjunto de imágenes de objetivos actuales, y registra las imágenes a medida que provienen de la cámara, ahorrando tiempo en el futuro.

Para esta prueba en particular, tenía curiosidad por saber si podíamos registrar, apilar y procesar las imágenes tan rápido como las tomábamos. Esto es bastante exigente desde el punto de vista computacional, ya que estas imágenes tienen 62 megapíxeles cada una, y estoy tomando entre 100 y 200 fotogramas por objetivo. Esto significa que generó entre 15 GB y 20 GB de información por hora; toda la noche generó 178 GB de datos que pude procesar en Scale Computing HCI Cluster. Ah, y debido a que somos muy remotos, estamos haciendo todo esto solo con energía de la batería.

El tiempo de apilamiento para cada objetivo, utilizando un método de promediado, incluido un conjunto completo de marcos de calibración, tomó entre 25 y 35 minutos para completarse por completo. Este es un rendimiento sorprendentemente impresionante del Scale Computing Cluster y está a la par con mi estación de trabajo de escritorio y Astro Server dedicado en casa.

He realizado una investigación exhaustiva, y esto se alinea con lo que he descubierto, es menos importante arrojar cantidades masivas de RAM y CPU y más importante obtener las mejores velocidades de IOPS de disco y lectura/escritura que pueda obtener para este proceso. ser lo más rápido posible (más sobre esto más adelante en otro artículo). Las unidades all-flash M.2 NVMe de Scale Computing Cluster se adaptan perfectamente al proporcionar un alto rendimiento para este flujo de trabajo particular con un bajo consumo de energía.

Equipo de astrofotografía

El telescopio, la infraestructura de TI y la información de ubicación del sitio para la prueba:

• Celestron Nexstar GPS 11″ en HD Wedge y HD Tripod
  • Starizona Hyperstar11v4
    • 540 mm de distancia focal
    • Apertura F/1.9
• Cámara ZWO ASI6200MC Pro One Shot Color
• Laptop Dell empresarial genérica con i7 de 7.ª generación para control y captura
• Clúster de computación a escala
• Conmutador Netgear 1G de ocho puertos no administrado
• 2 mini baterías EcoFlow River
• enlace estelar V2
• Parque estatal Picacho Peak, sitio Bortle 2.
• Software
  • nina
  • PHD2
  • Apilador de cielo profundo
  • StarNet
  • Photoshop

HCI de borde extremo

La configuración general fue bastante sencilla; Configuré una mesa, un conmutador de 8 puertos, la computadora portátil de control, el clúster HCI de Scale Computing y Starlink para el acceso a Internet. Todo estaba conectado en red a través del conmutador, que a pesar de ser solo un conmutador de 1 GbE, igual que la velocidad en el clúster Scale, no fue un problema en este flujo de trabajo gracias a la velocidad de entrada de datos, aproximadamente 300 megabytes por minuto.

Toda la energía para Scale Cluster y Control Laptop se dirigió a un Ecoflow River Mini, y el telescopio y la cámara se apagaron el otro. El telescopio y la cámara aceptan alimentación de 12 V del puerto del encendedor del automóvil, una entrada para la montura del telescopio para alimentar los motores para apuntar y rastrear, y otra para hacer funcionar el elemento Peltier para el enfriador de la cámara.

El sensor de la cámara se enfría a -5°C. El grupo y la computadora portátil (con pantalla y brillo mínimo) agotan el EcoFlow River Mini en apenas 2 horas y 30 minutos, mientras que el dedicado al telescopio pudo alimentarlo durante dos noches enteras en la prueba preliminar.

La computadora portátil de control está conectada al telescopio y la cámara a través de USB 3.0 y un concentrador USB 3.0. En mi configuración, me gusta ejecutar solo lo mínimo en la computadora portátil de control, y las imágenes generalmente se almacenan de forma remota, ya sea en un NAS si lo tengo disponible (que, en este caso, hice en Scale Cluster) o al almacenamiento flash externo si no tengo redes.

Configuré tres máquinas virtuales en este clúster para esta prueba, dos para apilar y una para almacenar los archivos de imagen como un recurso compartido de red. La computadora portátil de control del telescopio descargó sus archivos directamente desde la cámara a través de la red al cúmulo. Luego, cada apilador era responsable de alternar el trabajo de procesar cada objetivo a medida que ingresaban los archivos. Gracias a la enorme cantidad de potencia informática disponible con el clúster, pudimos más que mantenernos al día con la carga de trabajo.

En excursiones normales a sitios de cielo oscuro, solo con la computadora portátil de control, no puedo procesar el campo debido a la gran cantidad de datos que ingresan. Tampoco pude cargarlos directamente a los servidores domésticos para su procesamiento debido a la conectividad limitada a Internet. , lo que significa que no sé hasta un día o más después los resultados del tiempo dedicado al objetivo. Starlink resuelve esto hasta cierto punto, pero está a punto de ser una solución confiable, especialmente si tiene múltiples usuarios/telescopios, ya que las velocidades de carga de 5-20 Mbps se convertirían rápidamente en un cuello de botella.

En general, esta prueba fue una gran prueba de concepto para demostrar que si tuviera dos, tres o incluso más plataformas de astrofotografía dedicadas instaladas en un observatorio remoto instalado de forma permanente, podría manejar fácilmente todo su apilamiento en el sitio y luego cargar el archivo apilado de nuevo a la base para la edición final en casa.

También sugeriría que podría llevar un clúster más pequeño a una fiesta estelar y poder procesar el campo también, ya que tendría la capacidad de implementar rápidamente una VM para que cada usuario pueda utilizarla para sus propios flujos de trabajo personales. Para validar este concepto, me senté en el campamento en mi computadora portátil conectada a mi teléfono en 5G y el escritorio remoto de regreso a la computadora portátil de control, donde podía apilar y procesar imágenes en el clúster de forma remota con gran éxito.

Reflexiones Finales:

En esta prueba en particular, el clúster de 3 nodos de Scale Computing fue sin duda excesivo. Dicho esto, también demostró que en una excursión de un fin de semana largo, una fiesta estelar más grande o con múltiples telescopios capturando imágenes, podría obtener resultados rápidos, completar la validación de las imágenes y verificar si hay problemas en los datos. En lugar de empacar y regresar a casa, solo para darse cuenta de que tenía una mancha en una lente, o demasiada luz perdida de algún lugar, o seleccionó el filtro incorrecto, estos pueden abordarse casi en tiempo real en el campo.

Los beneficios se hicieron evidentes después de que terminé de apilar mi segundo objetivo; Me di cuenta de que había demasiada luz perdida de los LED en el concentrador USB que estaba usando, creando algunos artefactos extraños en las imágenes. Pude volver al telescopio, cubrirlos y volver a disparar al objetivo, luego volver a apilar con mejores resultados.

La solución Scale Computing también encajaría extremadamente bien en una instalación permanente, un observatorio remoto de múltiples usuarios que esté 100% fuera de la red, gracias a su diseño de bajo consumo y alto rendimiento. Si pudiera obtener alguna capacidad adicional de almacenamiento de energía y una solución solar lo suficientemente grande, no habría límite para el tiempo de ejecución, y tener la capacidad de apagar el exceso de nodos durante el día para maximizar la tasa de carga, puedo ver mucho de potencial para estas aplicaciones.

Hubo dos grandes inconvenientes que encontré que creo que podrían abordarse fácilmente, uno con una actualización de software, tal vez, y el otro con una simple actualización de hardware. El primero es la incapacidad de pasar a través de cualquier dispositivo USB; si esto tuviera un paso de USB, dejaría todo mi equipo actual al 100% y lo colocaría como principal para el flujo de trabajo, incluso sentado en casa en el patio trasero. Necesito poder pasar el concentrador USB a un sistema operativo invitado para el control directo del telescopio y la cámara.

El segundo problema es la cantidad limitada de almacenamiento. Un terabyte por host es bastante decente; sin embargo, me gustaría ver en algún lugar del orden de 2 a 4 TB por host para que esta sea una opción utilizable todos los días en mi flujo de trabajo particular. Sin embargo, estoy capturando en el extremo superior de las velocidades de datos con la cámara que estoy implementando, por lo que para aquellos con cámaras de menor resolución, esto puede ser un problema menor. Scale puede configurar estos sistemas con más almacenamiento, por lo que esta es una solución fácil si necesita la capacidad.

El diminuto clúster HCI de Scale Computing ofrece muchos beneficios comerciales gracias al tamaño pequeño, el software fácil de usar y el costo relativamente bajo. Para casos de uso de investigación como la astrofotografía, algo como esto puede acelerar significativamente el descubrimiento científico. Cualquiera que busque un clúster de bajo consumo que también sea resistente y rentable haría bien en probar Scale Computing; incluso tienen un prueba gratuita..

Si desea intentar editar las pilas sin procesar, los archivos tif se pueden encontrar en este enlace de google drive

Día 0 con Scale Computing

Computación a escala

Interactuar con StorageReview

Boletín informativo | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed