La croissance rapide de l'informatique de périphérie a entraîné une augmentation de la génération et de la collecte de données à des niveaux sans précédent. Les installations temporaires, telles que les stations de recherche scientifique, les systèmes de surveillance et les installations industrielles, nécessitent souvent une collecte et un transfert rapides des données pour un bon fonctionnement. Cependant, le coût élevé du matériel, associé à la nécessité d'un stockage de données fiable et efficace, peut poser des défis importants pour ces projets. Amazon AWS Storage Optimized Snowball, combiné à des machines virtuelles personnalisées, présente une solution révolutionnaire à ce problème.

La croissance rapide de l'informatique de périphérie a entraîné une augmentation de la génération et de la collecte de données à des niveaux sans précédent. Les installations temporaires, telles que les stations de recherche scientifique, les systèmes de surveillance et les installations industrielles, nécessitent souvent une collecte et un transfert rapides des données pour un bon fonctionnement. Cependant, le coût élevé du matériel, associé à la nécessité d'un stockage de données fiable et efficace, peut poser des défis importants pour ces projets. Amazon AWS Storage Optimized Snowball, combiné à des machines virtuelles personnalisées, présente une solution révolutionnaire à ce problème.

AWS Snowball Edge est disponible dans deux types d'appareils principaux. Snowball Edge Compute Optimized, avec plus de capacités de calcul (vCPU, DRAM) et GPU, adaptées aux charges de travail plus performantes, et Snowball Edge Storage Optimized avec plus de stockage, adapté aux migrations de données à grande échelle et aux charges de travail axées sur la capacité. Nos exigences initiales lors de la commande de Snowballs correspondaient parfaitement à la solution Snowball Edge Storage Optimized.

Tout en explorant l'utilisation de Snowball pour déplacer notre Calcul de 100 XNUMX milliards de Pi au cloud, nous avons fini par commander légèrement en trop grande quantité. Nous avons commandé deux Snowballs de 80 To adaptées à la migration des données et nous n'en avions besoin que d'une seule. Donc, avec le second, nous voulions voir si nous pouvions rendre une instance EC2 opérationnelle dans un environnement distant. Bien qu'il s'agisse d'une option de configuration facile lors de la configuration de la Snowball avant l'expédition afin que le client reçoive une appliance avec EC2 prête à fonctionner, il est un peu plus délicat, mais pas impossible, de reconfigurer sur le terrain après coup.

Attention, cet article entrera dans le vif du sujet de la configuration d'une machine virtuelle et de son chargement latéral sur la Snowball. Si vous souhaitez passer à cette section, cliquez ici.

Contexte et présentation d'Amazon AWS Storage Optimized Snowball

Amazon AWS Storage Optimized Snowball est une solution de transfert de données robuste, portable et sécurisée conçue pour simplifier et accélérer le processus de déplacement de gros volumes de données vers et depuis le cloud AWS. Cet appareil spécialement conçu est spécialement conçu pour les cas d'utilisation nécessitant des transferts de données à haut débit et un stockage périphérique à court terme, ce qui le rend idéal pour les installations temporaires ou les emplacements avec une connectivité réseau limitée ou inexistante.

Équipé de capacités de stockage avancées, de cryptage et de fonctionnalités inviolables, le Storage Optimized Snowball garantit une migration des données sécurisée et efficace tout en réduisant considérablement les coûts de transfert de données par rapport aux méthodes traditionnelles. En tirant parti de cette appliance innovante, les organisations peuvent surmonter les défis de la collecte et du stockage des données dans les environnements périphériques, ouvrant la voie à une intégration et une analyse transparentes des données dans le cloud.

Storage Optimized Snowball dispose de plusieurs fonctionnalités clés qui en font une solution puissante pour le transfert et le stockage des données :

• Stockage haute capacité : Avec des capacités de stockage allant jusqu'à 80 To, Storage Optimized Snowball peut facilement gérer des tâches de migration de données à grande échelle, répondant à divers cas d'utilisation et applications gourmandes en données.
• Transfert de données rapide : équipé de connexions réseau haut débit de 40 Gbit/s, Snowball permet des transferts de données rapides et efficaces, réduisant ainsi le temps nécessaire à la migration des données.
• Sécurité des données : Snowball utilise des protocoles de chiffrement standard (tels que AES 256 bits) pour protéger les données en transit et au repos, garantissant la confidentialité et l'intégrité de vos données tout au long du processus de migration.
• Conception robuste : Conçue pour résister aux environnements difficiles, la Snowball optimisée pour le stockage présente une conception robuste et résistante aux intempéries, ce qui la rend adaptée à une utilisation dans un large éventail de conditions et d'installations temporaires.
• Capacités de calcul en périphérie : les capacités de calcul intégrées de Snowball permettent aux utilisateurs d'exécuter des charges de travail de calcul en périphérie et de traiter les données directement sur l'appareil, ce qui réduit la latence et permet une analyse en temps réel.
• Intégration AWS Greengrass : Snowball est préinstallé avec AWS Greengrass, permettant une intégration transparente avec AWS Lambda et d'autres services AWS, permettant le traitement et l'analyse en périphérie.
• Déploiement et gestion faciles : grâce à son interface intuitive et conviviale, Storage Optimized Snowball simplifie le processus de configuration des appareils, de transfert et de suivi des données, en rationalisant les tâches de migration des données pour les organisations de toutes tailles.

Amazon AWS Storage Optimized Snowball offre des avantages significatifs en termes d'économies et d'efficacité par rapport aux méthodes de transfert de données traditionnelles. En utilisant les capacités de stockage haute capacité et de transfert de données rapide de Snowball, les entreprises peuvent réduire considérablement le temps et la bande passante nécessaires à la migration des données, ce qui se traduit par des économies substantielles de temps et de ressources.

De plus, la conception robuste et les fonctionnalités d'edge computing de Snowball éliminent le besoin d'investissements matériels supplémentaires et d'infrastructure sur site, ce qui réduit encore les coûts des installations temporaires ou des projets edge. De plus, l'intégration transparente avec les services AWS permet une gestion et une analyse rationalisées des données, améliorant ainsi la productivité globale et l'efficacité opérationnelle.

Et comme mentionné précédemment, nous avons commandé deux des appareils AWS Snowball Edge Storage Optimized, mais Amazon a des Snowballs qui sont conçus pour être plus lourds en calcul et ne nécessiteraient pas le processus de chargement latéral dont nous allons discuter. Nous avions simplement un appareil "supplémentaire" et voulions voir à quel point nous pouvions le pousser en dehors de sa fenêtre de confort conçue.

Chargement indépendant de machines virtuelles personnalisées dans une boule de neige optimisée pour le stockage

Nous vous suggérons fortement de lire attentivement le blog officiel d'Amazon sur ce processus ; nos étapes ici sont basées sur notre configuration spécifique et comment nous avons pu l'exécuter.

Lorsque AWS Snowball Edge a été introduit pour la première fois en 2016, les utilisateurs qui souhaitaient exécuter des instances Amazon Elastic Compute Cloud (Amazon EC2) sur l'appareil devaient spécifier une Amazon Machine Image (AMI) lors du processus de commande. L'appareil prendrait alors en charge le lancement d'instances Amazon EC2 en fonction de l'AMI sélectionnée. Cependant, la mise à jour d'une AMI ou le passage à une autre pour de nouvelles charges de travail, la résolution de problèmes ou l'activation de nouvelles fonctionnalités nécessitait de renvoyer l'appareil à AWS pour la mise à jour de l'AMI, puis d'attendre qu'il soit renvoyé.

Ce processus a depuis été rationalisé. Certaines des étapes ici sont à titre de référence uniquement et peuvent être utilisées directement à partir de la pièce Amazon, nous ne spécifierons donc pas les détails, mais fournirons davantage une liste de contrôle.

1. Créez une machine virtuelle sur votre poste de travail que vous souhaitez charger dans Snowball.
   1. Installez votre hyperviseur. Nous avons choisi d'utiliser Oracle VirtualBox comme spécifié par Amazon. Cependant, nous avons utilisé un hôte basé sur Windows, qui présente quelques différences mineures dans le processus.
   2. Installez votre système d'exploitation invité. Nous avons choisi Ubuntu 22.04 car il était facile à obtenir et à utiliser. Une fois installé, nous vous suggérons de faire des mises à jour et de vous assurer que DHCP est activé et de commencer à tester l'accès SSH/RDP maintenant.
      1. Gardez à l'esprit lors de la sélection d'une taille de disque, dans une étape ultérieure, il sera converti en un fichier de disque RAW, donc quelle que soit la taille du disque que vous devez sélectionner, vous devrez charger tout l'espace sur le périphérique Snow.
   3. Localisez le fichier .vdi du disque virtuel sur votre disque dur et copiez l'emplacement avec le nom du fichier.
   4. Accédez au dossier d'installation de VirtualBox ; pour nous, c'était "C:\Program Files\Oracle\VirtualBox" Clic droit, "Ouvrir la fenêtre Powershell ici" (autres commandes spécifiques à Windows disponibles dans l'article Amazon)
   5. Utilisez le chemin de votre fichier .vdi que vous avez créé précédemment et cette commande comme référence pour créer le vôtre. (Version Windows ici)
      1. .\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
   6. Chargez l'image .raw sur le Snow Device.
      
   7. Créez des autorisations IAM pour l'importation d'images en configurant un rôle IAM et la stratégie associée pour le processus d'importation/exportation de machine virtuelle.
      
      1. Créez une stratégie IAM accordant les autorisations nécessaires au service local d'importation/exportation de VM pour télécharger l'instantané depuis Amazon S3 sur l'appareil.
      2. Après avoir créé la stratégie, créez un rôle IAM avec une stratégie d'approbation, permettant à Snowball VM Import/Export d'assumer le rôle.
      3. Attachez la stratégie créée précédemment au rôle IAM, permettant à VM Import/Export d'accéder à l'image stockée dans le compartiment S3 sur l'appareil.
   8. Importer l'image en tant qu'instantané
      1. Revenez à la page du tableau de bord Snowball et sélectionnez "Commencer" dans le panneau "Démarrer l'informatique".
      2. Choisissez "Instantanés" puis "Importer un instantané" pour commencer à importer l'image brute en tant qu'instantané.
      3. Sur la page « Importer un instantané », fournissez les descriptions requises et spécifiez le rôle IAM créé précédemment.
      4. Parcourez S3 pour localiser et sélectionner le fichier image brut, puis soumettez la demande d'importation.
      5. L'importation de l'instantané prendra quelques minutes, selon la taille de l'image.
      6. Une fois terminé, l'état affichera "Terminé.
   9. Enregistrer une AMI à partir de l'instantané
      1. Pour enregistrer une AMI à partir de l'instantané, sélectionnez l'ID d'instantané que vous venez de créer et cliquez sur « Enregistrer l'image ».
      2. Entrez un nom et une description pour l'AMI, en gardant le périphérique de volume racine comme /dev/sda1, et soumettez.
      3. L'instantané sera désormais enregistré en tant qu'AMI, ce qui vous permettra de lancer des instances EC2 à partir de celui-ci.
   10. Lancez votre instance EC2 sur l'appareil Snow
       
       1. Pour lancer une instance EC2 à partir de votre AMI, revenez à la page du tableau de bord Snowball et sélectionnez « Instances ».
       2. Cliquez sur "Lancer l'instance" et entrez votre nom d'AMI et le type d'instance souhaité.
       3. Pour l'attribution d'une adresse IP publique, choisissez d'en créer une nouvelle (VNI), d'en utiliser une existante ou de ne pas en attribuer une du tout.
       4. En ce qui concerne la paire de clés, choisissez de ne pas attacher de paire de clés si vous avez déjà ajouté les clés publiques requises à l'image ou choisissez de créer/utiliser une paire de clés existante.
       5. Cliquez sur "Lancer" pour initialiser votre instance EC2.
       6. Une fois l'instance EC2 opérationnelle, accédez-y de la même manière que toute autre instance EC2 dans AWS.

Bien que le processus de chargement de machines virtuelles personnalisées dans des appareils comme AWS Snowball Edge puisse sembler complexe et difficile, l'effort en vaut la peine en raison des nombreux avantages qu'il offre. Il est important de noter que bien qu'il soit possible de charger une AMI après avoir commandé l'appareil, opter pour l'appareil avec l'AMI déjà chargée vous fournira une appliance préconfigurée prête à l'emploi.

L'utilisation de machines virtuelles personnalisées pour la collecte de données Edge offre plusieurs avantages significatifs. La personnalisation permet aux organisations d'adapter leurs machines virtuelles à des cas d'utilisation spécifiques, en optimisant les performances et l'efficacité. En intégrant des applications spécialisées, les organisations peuvent rationaliser le traitement et l'analyse des données directement à la périphérie, réduisant ainsi la latence et améliorant la prise de décision en temps réel.

La flexibilité et l'adaptabilité accrues qu'offrent ces machines virtuelles personnalisées à chargement externe peuvent permettre aux organisations de répondre rapidement à l'évolution des besoins ou aux changements inattendus dans leurs exigences de collecte de données. En chargeant des machines virtuelles personnalisées dans des appareils périphériques comme AWS Snowball Storage Optimized Edge, les entreprises peuvent exploiter tout le potentiel de l'informatique périphérique et gérer efficacement leurs besoins en matière de collecte et de traitement de données dans divers environnements.

Mise en œuvre de la collecte rapide de données à la périphérie

La configuration d'une Snowball optimisée pour le stockage pour la collecte de données implique la configuration de l'appareil pour gérer des tâches et des exigences spécifiques de collecte de données. En tirant parti des capacités robustes de l'appareil Snowball Edge, les entreprises peuvent collecter et traiter de gros volumes de données dans des environnements avec une connectivité intermittente ou des sites distants.

Le stockage en bloc de l'appareil et le stockage d'objets compatible avec Amazon S3 permettent aux utilisateurs de stocker, gérer et transférer efficacement et en toute sécurité d'énormes quantités de données. En personnalisant Snowball Edge en fonction des exigences du projet, les organisations peuvent optimiser les processus de collecte de données pour répondre à leurs besoins et objectifs uniques.

L'intégration de machines virtuelles personnalisées avec des outils de collecte de données rationalise davantage le processus de collecte de données à la périphérie. En incorporant des applications ou des infrastructures spécialisées, les entreprises peuvent traiter et analyser les données directement sur l'appareil Snowball Edge, réduisant ainsi la latence et améliorant la prise de décision en temps réel.

Cette intégration permet une collaboration transparente entre divers outils de collecte de données et des machines virtuelles personnalisées, garantissant un traitement et une gestion efficaces des données. De plus, l'optimisation du transfert et de la synchronisation des données avec Amazon S3 permet aux organisations de bénéficier du stockage évolutif et sécurisé fourni par l'infrastructure cloud d'Amazon.

Ce processus facilite le transfert transparent des données collectées de l'appareil Snowball Edge vers Amazon S3, garantissant que les données sont facilement disponibles pour une analyse plus approfondie ou un stockage à long terme. À son tour, cela favorise un écosystème de gestion des données fiable et efficace qui prend en charge la collecte et le traitement rapides des données à la périphérie.

Avantage du filet de baskets

Dans de nombreux scénarios, Sneaker-net, ou le transfert physique de données à l'aide d'appareils tels que Storage Optimized Snowball, peut être plus rapide que le transfert de données sur Internet. Cela est particulièrement vrai pour les installations distantes ou temporaires avec une bande passante limitée, une latence élevée ou une connectivité peu fiable.

Les exemples incluent des stations de recherche dans des endroits éloignés, des lieux d'événements temporaires ou même des sites de reprise après sinistre. En utilisant AWS Snowball pour transporter de gros volumes de données, les organisations peuvent contourner les contraintes des connexions Internet lentes ou peu fiables et s'assurer que les données sont transférées rapidement et en toute sécurité vers Amazon S3 pour un traitement et une analyse plus poussés.

Les données stockées dans S3 bénéficient de l'évolutivité et de la flexibilité inhérentes offertes par l'écosystème AWS. À mesure que les volumes de données augmentent, les entreprises peuvent facilement ajuster leur capacité de stockage pour s'adapter à l'évolution des besoins sans avoir besoin d'investissements coûteux en infrastructure.

De plus, S3 s'intègre de manière transparente à une large gamme de services AWS, tels qu'Amazon Athena, Amazon Redshift et Amazon SageMaker, permettant aux organisations d'analyser, de traiter et de tirer des informations de leurs données à l'aide de puissants outils d'analyse et d'apprentissage automatique. Cette intégration permet finalement aux organisations de prendre des décisions basées sur les données et d'ouvrir de nouvelles opportunités de croissance et d'innovation.

Réflexions de clôture

Amazon AWS Storage Optimized Snowball, lorsqu'il est associé à des machines virtuelles personnalisées, offre une solution puissante et économique pour une collecte rapide des données à la périphérie. Les installations temporaires peuvent désormais collecter et stocker efficacement de gros volumes de données tout en bénéficiant de la sécurité, de l'évolutivité et de la facilité d'intégration offertes par S3. En adoptant cette approche innovante, les entreprises peuvent réduire considérablement les coûts matériels, rationaliser leur gestion des données et débloquer de nouvelles informations à partir de leurs données.

Alors que notre approche de ce processus était un peu en arrière, idéalement vous configureriez les instances EC2 au moment de la commande pour vous faciliter la vie, il est bon de savoir qu'AWS permet une « flexibilité créative » avec leurs appliances Snowball. Cependant, si la charge de travail est intensive en calcul, AWS propose le Snowball Edge Compute Optimized avec jusqu'à 104 vCPU, 416 Go de DRAM et 28 To de mémoire flash. Et si vous avez un besoin d'analyse, ils proposent même des boules de neige avec GPU. Pour la collecte de données en périphérie, AWS propose une tonne d'options et une partie du plaisir consiste à découvrir quel appareil Snow pourrait vous convenir.

Podcast AWS Snow avec StorageReview et Wayne Duso

S'engager avec StorageReview

Newsletter |  YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS