El rápido crecimiento de la computación perimetral ha llevado a un aumento en la generación y recopilación de datos a niveles sin precedentes. Las instalaciones temporales, como las estaciones de investigación científica, los sistemas de vigilancia y las instalaciones industriales, a menudo requieren una rápida recopilación y transferencia de datos para un funcionamiento fluido. Sin embargo, el alto costo del hardware, junto con la necesidad de un almacenamiento de datos confiable y eficiente, puede plantear desafíos importantes para estos proyectos. Amazon AWS Storage Optimized Snowball, combinado con máquinas virtuales personalizadas, presenta una solución innovadora para este problema.

Plataforma forestal optimizada EC2 AWS Snowball Edge Storage

AWS Snowball Edge está disponible en dos tipos de dispositivos principales. Snowball Edge Compute Optimized, con más capacidades informáticas (vCPU, DRAM) y GPU, adecuado para cargas de trabajo de mayor rendimiento, y Snowball Edge Storage Optimized con más almacenamiento, que es adecuado para migraciones de datos a gran escala y cargas de trabajo orientadas a la capacidad. Nuestros requisitos iniciales al realizar el pedido de Snowballs encajaban perfectamente con la solución Snowball Edge Storage Optimized.

Mientras exploraba el uso de Snowball para mover nuestro Cálculo de 100 billones de Pi a la nube, terminamos ordenando ligeramente en exceso. Pedimos Snowballs gemelos de 80 TB ajustados para la migración de datos y solo necesitábamos uno. Entonces, con el segundo, queríamos ver si podíamos poner en funcionamiento una instancia EC2 en una configuración remota. Si bien esta sería una opción de configuración fácil al configurar el Snowball antes del envío para que el cliente reciba un dispositivo con EC2 listo para funcionar, es un poco más complicado, aunque no imposible, reconfigurarlo en el campo después del hecho.

Atención, este artículo entrará en el meollo de la configuración de una VM y la carga lateral en el Snowball. Si desea saltar a esa sección, haga clic aquí.

Antecedentes y descripción general de Amazon AWS Storage Optimized Snowball

Amazon AWS Storage Optimized Snowball es una solución de transferencia de datos resistente, portátil y segura diseñada para simplificar y acelerar el proceso de mover grandes volúmenes de datos hacia y desde la nube de AWS. Este dispositivo especialmente diseñado está diseñado específicamente para casos de uso que requieren transferencias de datos de alta velocidad y almacenamiento perimetral a corto plazo, lo que lo hace ideal para instalaciones temporales o ubicaciones con conectividad de red limitada o nula.

Estacionamiento optimizado de EC2 AWS Snowball Edge Storage

Equipado con capacidades de almacenamiento avanzadas, encriptación y funciones resistentes a la manipulación, el Snowball optimizado para almacenamiento garantiza una migración de datos segura y eficiente al tiempo que reduce significativamente los costos de transferencia de datos en comparación con los métodos tradicionales. Al aprovechar este dispositivo innovador, las organizaciones pueden superar los desafíos de la recopilación y el almacenamiento de datos en entornos perimetrales, allanando el camino para la integración y el análisis de datos en la nube.

Snowball optimizado para almacenamiento cuenta con varias características clave que lo convierten en una solución poderosa para la transferencia y el almacenamiento de datos:

Almacenamiento de alta capacidad: con capacidades de almacenamiento de hasta 80 TB, Storage Optimized Snowball puede manejar fácilmente tareas de migración de datos a gran escala, atendiendo a varios casos de uso y aplicaciones de uso intensivo de datos.
Transferencia de datos rápida: Equipado con conexiones de red de alta velocidad de 40 Gbps, Snowball permite transferencias de datos rápidas y eficientes, lo que reduce el tiempo necesario para la migración de datos.
Seguridad de datos: Snowball utiliza protocolos de cifrado estándar de la industria (como AES de 256 bits) para proteger los datos tanto en tránsito como en reposo, lo que garantiza la confidencialidad e integridad de sus datos durante todo el proceso de migración.
Diseño robusto: Construido para resistir entornos hostiles, el Snowball optimizado para almacenamiento cuenta con un diseño robusto y resistente a la intemperie, lo que lo hace adecuado para su uso en una amplia gama de condiciones e instalaciones temporales.
Capacidades informáticas perimetrales: las capacidades informáticas integradas de Snowball permiten a los usuarios ejecutar cargas de trabajo informáticas perimetrales y procesar datos directamente en el dispositivo, lo que reduce la latencia y permite el análisis en tiempo real.
Integración de AWS Greengrass: Snowball viene preinstalado con AWS Greengrass, lo que permite una integración perfecta con AWS Lambda y otros servicios de AWS, lo que permite el análisis y el procesamiento perimetral.
Fácil implementación y administración: con su interfaz intuitiva y fácil de usar, Storage Optimized Snowball simplifica el proceso de configuración de dispositivos, transferencia de datos y seguimiento, agilizando las tareas de migración de datos para organizaciones de todos los tamaños.

Amazon AWS Storage Optimized Snowball ofrece importantes beneficios de eficiencia y ahorro de costos en comparación con los métodos tradicionales de transferencia de datos. Al utilizar el almacenamiento de alta capacidad y las capacidades de transferencia rápida de datos de Snowball, las organizaciones pueden reducir drásticamente el tiempo y el ancho de banda necesarios para la migración de datos, lo que genera ahorros sustanciales tanto en tiempo como en recursos.

Además, el diseño resistente y las características informáticas de borde de Snowball eliminan la necesidad de inversiones adicionales en hardware e infraestructura en el sitio, lo que reduce aún más los costos de instalaciones temporales o proyectos de borde. Además, la perfecta integración con los servicios de AWS permite optimizar la administración y el análisis de datos, lo que mejora la productividad general y la eficiencia operativa.

Y como se mencionó anteriormente, pedimos dos de los dispositivos optimizados para almacenamiento en el borde de AWS Snowball, pero Amazon tiene Snowballs que están diseñados para ser más pesados en computación y no requerirían el proceso de carga lateral que estamos a punto de discutir. Simplemente teníamos un dispositivo "extra" y queríamos ver cuánto podíamos empujarlo fuera de su ventana de comodidad diseñada.

Transferencia local de máquinas virtuales personalizadas a Snowball optimizado para almacenamiento

Le sugerimos encarecidamente que lea detenidamente el blog oficial de amazon sobre este proceso; nuestros pasos aquí se basan en nuestra configuración específica y cómo pudimos ejecutarla.

Cuando AWS Snowball Edge se presentó por primera vez en 2016, los usuarios que querían ejecutar instancias de Amazon Elastic Compute Cloud (Amazon EC2) en el dispositivo tenían que especificar una imagen de máquina de Amazon (AMI) durante el proceso de pedido. Luego, el dispositivo admitiría el lanzamiento de instancias de Amazon EC2 en función de la AMI seleccionada. Sin embargo, actualizar una AMI o cambiar a una diferente para nuevas cargas de trabajo, resolución de problemas o habilitar nuevas características requería devolver el dispositivo a AWS para la actualización de la AMI y luego esperar a que se enviara de vuelta.

Desde entonces, este proceso se ha simplificado. Algunos de los pasos aquí son solo para referencia y se pueden usar directamente desde la pieza de Amazon, por lo que no especificaremos los detalles, sino que proporcionaremos una lista de verificación.

Cree una máquina virtual en su estación de trabajo que desee cargar en Snowball.
1. Instale su hipervisor. Elegimos usar Oracle VirtualBox según lo especificado por Amazon. Sin embargo, usamos un host basado en Windows, que tiene algunas diferencias menores en el proceso.
2. Instale su sistema operativo invitado. Elegimos Ubuntu 22.04 porque era fácil de obtener y trabajar con él. Una vez instalado, sugerimos realizar actualizaciones y asegurarse de que DHCP esté habilitado y comenzar a probar el acceso SSH/RDP ahora.
  1. Tenga en cuenta que al seleccionar un tamaño de disco, en un paso posterior, se convertirá en un archivo de disco RAW, por lo que, independientemente del tamaño del disco que tenga que seleccionar, tendrá que cargar todo el espacio en el dispositivo Snow.
3. Localice el archivo .vdi del disco virtual en su disco duro y copie la ubicación con el nombre del archivo.
4. Navegue a la carpeta de instalación de VirtualBox; para nosotros, fue "C:\Archivos de programa\Oracle\VirtualBox" Haga clic con el botón derecho en "Abrir ventana de Powershell aquí" (otros comandos específicos de Windows disponibles en el artículo de Amazon)
5. Use la ruta de su archivo .vdi que creó anteriormente y este comando como referencia para crear el suyo propio. (Versión de Windows aquí)
  1. .\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
6. Cargue la imagen .raw en el dispositivo Snow.
7. Cree permisos de IAM para la importación de imágenes configurando un rol de IAM y una política asociada para el proceso de importación/exportación de VM.
  1. Cree una política de IAM que otorgue los permisos necesarios para que el servicio de importación/exportación de VM local descargue la instantánea de Amazon S3 en el dispositivo.
  2. Después de crear la política, cree un rol de IAM con una política de confianza, lo que permite que Snowball VM Import/Export asuma el rol.
  3. Adjunte la política creada anteriormente al rol de IAM, lo que permite que VM Import/Export acceda a la imagen almacenada en el depósito de S3 en el dispositivo.
8. Importar imagen como instantánea
  1. Vuelva a la página del panel de control de Snowball y seleccione "Comenzar" en el panel "Iniciar computación".
  2. Elija "Instantáneas" y luego "Importar instantánea" para comenzar a importar la imagen sin procesar como una instantánea.
  3. En la página "Importar instantánea", proporcione las descripciones requeridas y especifique el rol de IAM creado anteriormente.
  4. Explore S3 para ubicar y seleccionar el archivo de imagen sin procesar, luego envíe la solicitud de importación.
  5. La importación de instantáneas tardará unos minutos en completarse, según el tamaño de la imagen.
  6. Al finalizar, el estado mostrará "Completado".
9. Registrar una AMI desde la instantánea
  1. Para registrar una AMI desde la instantánea, seleccione la ID de la instantánea que acaba de crear y haga clic en "Registrar imagen".
  2. Ingrese un nombre y una descripción para la AMI, manteniendo el dispositivo de volumen raíz como /dev/sda1, y envíelo.
  3. La instantánea ahora se registrará como una AMI, lo que le permitirá lanzar instancias EC2 desde ella.
10. Inicie su instancia EC2 en el dispositivo Snow
  1. Para lanzar una instancia EC2 desde su AMI, vuelva a la página del panel de control de Snowball y seleccione "Instancias".
  2. Haga clic en "Iniciar instancia" e ingrese su nombre de AMI y el tipo de instancia deseado.
  3. Para la asignación de direcciones IP públicas, elija crear una nueva (VNI), usar una existente o no asignar ninguna.
  4. Con respecto al par de claves, opte por no adjuntar un par de claves si ya agregó las claves públicas requeridas a la imagen o elija crear/usar un par de claves existente.
  5. Haga clic en "Iniciar" para inicializar su instancia EC2.
  6. Una vez que la instancia EC2 esté en funcionamiento, acceda a ella de la misma manera que a cualquier otra instancia EC2 en AWS.

Si bien el proceso de transferencia local de máquinas virtuales personalizadas en dispositivos como AWS Snowball Edge puede parecer complejo y desafiante, el esfuerzo bien vale la pena debido a los numerosos beneficios que ofrece. Es importante tener en cuenta que, si bien es posible realizar una carga lateral de una AMI después de pedir el dispositivo, optar por el dispositivo con la AMI ya cargada le proporcionará un dispositivo preconfigurado que está listo para usar.

El uso de máquinas virtuales personalizadas para la recopilación de datos perimetrales ofrece varias ventajas significativas. La personalización permite a las organizaciones adaptar sus máquinas virtuales a casos de uso específicos, optimizando el rendimiento y la eficiencia. Al integrar aplicaciones especializadas, las organizaciones pueden optimizar el procesamiento y análisis de datos directamente en el perímetro, reduciendo la latencia y mejorando la toma de decisiones en tiempo real.

La mayor flexibilidad y adaptabilidad que ofrecen estas máquinas virtuales personalizadas transferidas puede permitir a las organizaciones responder rápidamente a las necesidades cambiantes o cambios inesperados en sus requisitos de recopilación de datos. Al instalar máquinas virtuales personalizadas en dispositivos perimetrales como AWS Snowball Storage Optimized Edge, las organizaciones pueden aprovechar todo el potencial de la computación perimetral y administrar de manera eficiente sus necesidades de recopilación y procesamiento de datos en diversos entornos.

Implementación de la recopilación rápida de datos en el perímetro

La configuración de un Snowball optimizado para almacenamiento para la recopilación de datos implica configurar el dispositivo para manejar tareas y requisitos específicos de recopilación de datos. Al aprovechar las capacidades sólidas del dispositivo Snowball Edge, las organizaciones pueden recopilar y procesar grandes volúmenes de datos en entornos con conectividad intermitente o ubicaciones remotas.

El almacenamiento en bloque del dispositivo y el almacenamiento de objetos compatible con Amazon S3 permiten a los usuarios almacenar, administrar y transferir de forma segura grandes cantidades de datos de manera eficiente. Al personalizar Snowball Edge de acuerdo con los requisitos del proyecto, las organizaciones pueden optimizar los procesos de recopilación de datos para satisfacer sus necesidades y objetivos únicos.

La integración de máquinas virtuales personalizadas con herramientas de recopilación de datos agiliza aún más el proceso de recopilación de datos en el perímetro. Al incorporar aplicaciones o marcos especializados, las organizaciones pueden procesar y analizar datos directamente en el dispositivo Snowball Edge, lo que reduce la latencia y mejora la toma de decisiones en tiempo real.

Esta integración permite una colaboración fluida entre varias herramientas de recopilación de datos y máquinas virtuales personalizadas, lo que garantiza un procesamiento y una gestión de datos eficientes. Además, la optimización de la transferencia y sincronización de datos con Amazon S3 permite a las organizaciones beneficiarse del almacenamiento escalable y seguro proporcionado por la infraestructura en la nube de Amazon.

Este proceso facilita la transferencia fluida de los datos recopilados desde el dispositivo Snowball Edge a Amazon S3, lo que garantiza que los datos estén disponibles para su posterior análisis o almacenamiento a largo plazo. A su vez, esto fomenta un ecosistema de gestión de datos confiable y eficiente que admite la recopilación y el procesamiento rápidos de datos en el perímetro.

Ventaja de la red de zapatillas

En muchos escenarios, Sneaker-net, o la transferencia física de datos mediante dispositivos como el Snowball optimizado para almacenamiento, puede ser más rápido que la transferencia de datos a través de Internet. Esto es especialmente cierto para instalaciones remotas o temporales con ancho de banda limitado, alta latencia o conectividad poco confiable.

Los ejemplos incluyen estaciones de investigación en ubicaciones remotas, lugares de eventos temporales o incluso sitios de recuperación de desastres. Al utilizar AWS Snowball para transportar grandes volúmenes de datos, las organizaciones pueden eludir las limitaciones de las conexiones a Internet lentas o poco confiables y garantizar que los datos se transfieran de manera rápida y segura a Amazon S3 para su posterior procesamiento y análisis.

Los datos almacenados en S3 se benefician de la escalabilidad y flexibilidad inherentes que ofrece el ecosistema de AWS. A medida que crecen los volúmenes de datos, las organizaciones pueden ajustar fácilmente su capacidad de almacenamiento para adaptarse a los requisitos cambiantes sin necesidad de realizar costosas inversiones en infraestructura.

Además, S3 se integra a la perfección con una amplia gama de servicios de AWS, como Amazon Athena, Amazon Redshift y Amazon SageMaker, lo que permite a las organizaciones analizar, procesar y obtener información de sus datos mediante potentes herramientas de análisis y aprendizaje automático. Esta integración, en última instancia, permite a las organizaciones tomar decisiones basadas en datos y desbloquear nuevas oportunidades de crecimiento e innovación.

Pensamientos Finales

Amazon AWS Storage Optimized Snowball, cuando se combina con máquinas virtuales personalizadas, ofrece una solución potente y rentable para la recopilación rápida de datos en el perímetro. Las instalaciones temporales ahora pueden recopilar y almacenar de manera eficiente grandes volúmenes de datos mientras se benefician de la seguridad, la escalabilidad y la facilidad de integración que ofrece S3. Al adoptar este enfoque innovador, las organizaciones pueden reducir significativamente los costos de hardware, optimizar su gestión de datos y desbloquear nuevos conocimientos a partir de sus datos.

Si bien nuestro enfoque de este proceso fue un poco atrasado, idealmente configuraría las instancias EC2 en el momento del pedido para facilitarle la vida, es bueno saber que AWS permite la "flexibilidad creativa" con sus dispositivos Snowball. Sin embargo, si la carga de trabajo es intensiva en computación, AWS ofrece Snowball Edge Compute Optimized con hasta 104 vCPU, 416 GB de DRAM y 28 TB de flash. Y si tiene una necesidad de análisis, incluso ofrecen Snowballs con GPU. Para la recopilación de datos perimetrales, AWS ofrece un montón de opciones y parte de la diversión es descubrir qué dispositivo Snow podría ser el adecuado para usted.

Podcast de nieve de AWS con StorageReview y Wayne Duso

Interactuar con StorageReview