Den snabba tillväxten av edge computing har lett till en ökning av datagenerering och -insamling på oöverträffade nivåer. Tillfälliga installationer, såsom vetenskapliga forskningsstationer, övervakningssystem och industrianläggningar, kräver ofta snabb datainsamling och överföring för smidig drift. Men den höga kostnaden för hårdvara, tillsammans med behovet av tillförlitlig och effektiv datalagring, kan innebära betydande utmaningar för dessa projekt. Amazon AWS Storage Optimized Snowball, kombinerat med anpassade virtuella maskiner, presenterar en spelförändrande lösning på detta problem.
Den snabba tillväxten av edge computing har lett till en ökning av datagenerering och -insamling på oöverträffade nivåer. Tillfälliga installationer, såsom vetenskapliga forskningsstationer, övervakningssystem och industrianläggningar, kräver ofta snabb datainsamling och överföring för smidig drift. Men den höga kostnaden för hårdvara, tillsammans med behovet av tillförlitlig och effektiv datalagring, kan innebära betydande utmaningar för dessa projekt. Amazon AWS Storage Optimized Snowball, kombinerat med anpassade virtuella maskiner, presenterar en spelförändrande lösning på detta problem.
AWS Snowball Edge finns i två kärnenhetstyper. Snowball Edge Compute Optimized, med fler beräkningsmöjligheter (vCPU, DRAM) och GPU, lämpad för arbetsbelastningar med högre prestanda, och Snowball Edge Storage Optimized med mer lagring, vilket är lämpligt för storskaliga datamigreringar och kapacitetsorienterade arbetsbelastningar. Våra initiala krav när vi beställde snöbollar passade perfekt för Snowball Edge Storage Optimized-lösningen.
Medan vi utforskar användningen av Snowball för att flytta vår 100 biljoner Pi-beräkning till molnet slutade vi med att vi överbeställde något. Vi beställde dubbla snöbollar på 80 TB inställda för datamigrering och behövde bara en. Så med den andra ville vi se om vi kunde få en EC2-instans i drift i en fjärrinställning. Även om detta skulle vara ett enkelt installationsalternativ när du konfigurerar Snowball före leverans så att kunden får en apparat med EC2 redo att rulla, är det lite knepigare, men inte omöjligt, att konfigurera om på fältet i efterhand.
Obs, den här artikeln kommer att gå in på det knepiga med att konfigurera en virtuell dator och ladda den på snöbollen. Om du vill hoppa till det avsnittet, klicka här.
Bakgrund och översikt av Amazon AWS Storage Optimized Snowball
Amazon AWS Storage Optimized Snowball är en robust, bärbar och säker dataöverföringslösning utformad för att förenkla och påskynda processen att flytta stora mängder data till och från AWS Cloud. Den här specialbyggda enheten är speciellt designad för användningsfall som kräver höghastighetsdataöverföringar och kortvarig kantlagring, vilket gör den idealisk för tillfälliga installationer eller platser med begränsad eller ingen nätverksanslutning.
Utrustad med avancerade lagringsmöjligheter, kryptering och manipuleringssäkra funktioner, garanterar Storage Optimized Snowball säker och effektiv datamigrering samtidigt som den avsevärt minskar dataöverföringskostnaderna jämfört med traditionella metoder. Genom att utnyttja denna innovativa apparat kan organisationer övervinna utmaningarna med datainsamling och lagring i avancerade miljöer, vilket banar väg för sömlös dataintegration och analys i molnet.
Storage Optimized Snowball har flera nyckelfunktioner som gör den till en kraftfull lösning för dataöverföring och lagring:
- Lagring med hög kapacitet: Med lagringskapacitet på upp till 80 TB kan Storage Optimized Snowball enkelt hantera storskaliga datamigreringsuppgifter, tillgodose olika användningsfall och dataintensiva applikationer.
- Snabb dataöverföring: Snowball är utrustad med höghastighetsnätverksanslutningar på 40 Gbps och möjliggör snabba och effektiva dataöverföringar, vilket minskar tiden som behövs för datamigrering.
- Datasäkerhet: Snowball använder krypteringsprotokoll av industristandard (som 256-bitars AES) för att skydda data både under överföring och vila, vilket säkerställer konfidentialitet och integritet för dina data under hela migreringsprocessen.
- Robust design: Storage Optimized Snowball är byggd för att motstå tuffa miljöer och har en robust och väderbeständig design, vilket gör den lämplig för användning i en mängd olika förhållanden och tillfälliga installationer.
- Edge computing-funktioner: Snowballs inbyggda beräkningsfunktioner tillåter användare att köra edge computing-arbetsbelastningar och bearbeta data direkt på enheten, vilket minskar latensen och möjliggör realtidsanalys.
- AWS Greengrass-integration: Snowball kommer förinstallerad med AWS Greengrass, vilket möjliggör sömlös integration med AWS Lambda och andra AWS-tjänster, vilket möjliggör kantbearbetning och analys.
- Enkel implementering och hantering: Med sitt intuitiva och användarvänliga gränssnitt förenklar Storage Optimized Snowball processen för enhetsinstallation, dataöverföring och spårning, vilket effektiviserar datamigreringsuppgifter för organisationer av alla storlekar.
Amazon AWS Storage Optimized Snowball erbjuder betydande kostnadsbesparingar och effektivitetsfördelar jämfört med traditionella dataöverföringsmetoder. Genom att utnyttja Snowballs lagringskapacitet med hög kapacitet och snabba dataöverföringsmöjligheter kan organisationer dramatiskt minska tiden och bandbredden som krävs för datamigrering, vilket resulterar i avsevärda besparingar i både tid och resurser.
Dessutom eliminerar Snowballs robusta design och edge computing behovet av ytterligare hårdvaruinvesteringar och infrastruktur på plats, vilket ytterligare minskar kostnaderna för tillfälliga installationer eller edge-projekt. Dessutom möjliggör den sömlösa integrationen med AWS-tjänster strömlinjeformad datahantering och analys, vilket förbättrar den totala produktiviteten och operativa effektiviteten.
Och som tidigare nämnts beställde vi två av AWS Snowball Edge Storage Optimized-enheter, men Amazon har Snowballs som är designade för att vara mer datortunga och inte skulle kräva sidladdningsprocessen som vi ska diskutera. Vi hade helt enkelt en "extra" enhet och ville se hur mycket vi kunde trycka den utanför dess designade komfortfönster.
Sidladdning av anpassade virtuella maskiner till lagringsoptimerad snöboll
Vi rekommenderar starkt att du läser igenom den officiella Amazon-bloggen om denna process; våra steg här är baserade på vår specifika konfiguration och hur vi kunde utföra den.
När AWS Snowball Edge först introducerades 2016 var användare som ville köra Amazon Elastic Compute Cloud (Amazon EC2)-instanser på enheten tvungna att ange en Amazon Machine Image (AMI) under beställningsprocessen. Enheten skulle sedan stödja lansering av Amazon EC2-instanser baserat på den valda AMI. Men att uppdatera en AMI eller byta till en annan för nya arbetsbelastningar, problemlösning eller aktivera nya funktioner krävde att enheten returnerades till AWS för AMI-uppdateringen och sedan väntade på att den skulle skickas tillbaka.
Denna process har sedan dess effektiviserats. Några av stegen här är endast för referens och kan användas direkt från Amazon-delen, så vi kommer inte att specificera detaljerna utan tillhandahålla mer av en checklista.
- Skapa en virtuell dator på din arbetsstation som du vill ska laddas till Snowball.
- Installera din hypervisor. Vi valde att använda Oracle VirtualBox som specificerats av Amazon. Vi använde dock en Windows-baserad värd, som har några mindre skillnader i processen.
- Installera ditt gäst-OS. Vi valde Ubuntu 22.04 för att det var lätt att få till och arbeta med. När det är installerat föreslår vi att du gör uppdateringar och ser till att DHCP är aktiverat och börjar testa SSH/RDP-åtkomst nu.
- Tänk på när du väljer en diskstorlek, i ett senare steg kommer den att konverteras till en RAW-diskfil, så hur stor eller liten en disk du än måste välja, måste du ladda allt utrymme till Snow-enheten.
- Leta upp den virtuella diskens .vdi-fil på din hårddisk och kopiera platsen med filnamnet.
- Navigera till installationsmappen för VirtualBox; för oss var det "C:\Program Files\Oracle\VirtualBox" Högerklicka, "Öppna Powershell Window Here" (Windows-specifika andra kommandon tillgängliga i Amazon-artikeln)
- Använd sökvägen till din .vdi-fil som du skapade tidigare och detta kommando som referens för att göra din egen. (Windows-versionen här)
.\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
- Ladda .raw-bilden till Snow Device.
- Skapa IAM-behörigheter för bildimport genom att ställa in en IAM-roll och tillhörande policy för VM-import/exportprocessen.
- Skapa en IAM-policy som ger nödvändiga behörigheter för den lokala VM Import/Export-tjänsten för att ladda ner ögonblicksbilden från Amazon S3 på enheten.
- När du har skapat policyn skapar du en IAM-roll med en förtroendepolicy, så att Snowball VM Import/Export kan ta rollen.
- Bifoga policyn som skapats tidigare till IAM-rollen, så att VM Import/Export kan komma åt bilden som är lagrad i S3-bucket på enheten.
- Importera bild som ögonblicksbild
- Navigera tillbaka till sidan för Snowball-instrumentpanelen och välj "Kom igång" på panelen "Starta datoranvändning".
- Välj "Snapshots" och sedan "Importera ögonblicksbild" för att börja importera den råa bilden som en ögonblicksbild.
- På sidan "Importera ögonblicksbild" tillhandahåller du de nödvändiga beskrivningarna och specificerar den IAM-roll som skapats tidigare.
- Bläddra i S3 för att hitta och välja den råa bildfilen och skicka sedan importförfrågan.
- Importen av ögonblicksbilder tar några minuter att slutföra, beroende på bildstorleken.
- När det är klart kommer tillståndet att visa "Completed.
- Registrera en AMI från ögonblicksbilden
- För att registrera en AMI från ögonblicksbilden, välj det ögonblicksbild-ID du just skapade och klicka på "Registrera bild."
- Ange ett namn och en beskrivning för AMI, behåll rotvolymenheten som /dev/sda1 och skicka.
- Ögonblicksbilden kommer nu att registreras som en AMI, så att du kan starta EC2-instanser från den.
- Starta din EC2-instans på Snow-enheten
- För att starta en EC2-instans från din AMI, navigera tillbaka till sidan för Snowball-instrumentpanelen och välj "Instanser".
- Klicka på "Starta instans" och ange ditt AMI-namn och önskad instanstyp.
- För offentlig IP-adresstilldelning, välj att skapa en ny (VNI), använd en befintlig eller inte tilldela en alls.
- Angående nyckelparet, välj att inte bifoga ett nyckelpar om du redan har lagt till nödvändiga offentliga nycklar till bilden eller väljer att skapa/använda ett befintligt nyckelpar.
- Klicka på "Starta" för att initiera din EC2-instans.
- När EC2-instansen är igång får du tillgång till den på samma sätt som alla andra EC2-instanser i AWS.
Även om processen att sidlasta anpassade virtuella maskiner till enheter som AWS Snowball Edge kan verka komplex och utmanande, är ansträngningen väl värt det på grund av de många fördelarna den erbjuder. Det är viktigt att notera att även om det är möjligt att sidladda en AMI efter att du har beställt enheten, kommer du att välja enheten med AMI redan laddad förse dig med en förkonfigurerad apparat som är redo att användas.
Att använda anpassade virtuella maskiner för kantdatainsamling ger flera betydande fördelar. Anpassning gör att organisationer kan skräddarsy sina virtuella maskiner för specifika användningsfall, vilket optimerar prestanda och effektivitet. Genom att integrera specialiserade applikationer kan organisationer effektivisera databearbetning och analys direkt vid kanten, vilket minskar latensen och förbättrar beslutsfattandet i realtid.
Den ökade flexibiliteten och anpassningsförmågan som dessa sidoladdade anpassade virtuella maskiner erbjuder kan göra det möjligt för organisationer att snabbt reagera på föränderliga behov eller oväntade förändringar i deras datainsamlingskrav. Genom att sidladda anpassade virtuella maskiner till edge-enheter som AWS Snowball Storage Optimized Edge kan organisationer utnyttja den fulla potentialen av edge computing och effektivt hantera sina datainsamlings- och bearbetningsbehov i olika miljöer.
Implementering av snabb datainsamling vid kanten
Att konfigurera en lagringsoptimerad snöboll för datainsamling innebär att konfigurera enheten för att hantera specifika uppgifter och krav för datainsamling. Genom att utnyttja de robusta funktionerna hos Snowball Edge-enheten kan organisationer samla in och bearbeta stora mängder data i miljöer med intermittent anslutning eller avlägsna platser.
Enhetens blocklagring och Amazon S3-kompatibla objektlagring gör det möjligt för användare att säkert lagra, hantera och överföra enorma mängder data effektivt. Genom att anpassa Snowball Edge efter projektkrav kan organisationer optimera datainsamlingsprocesser för att möta deras unika behov och mål.
Integrering av anpassade virtuella maskiner med verktyg för datainsamling effektiviserar datainsamlingsprocessen ytterligare vid kanten. Genom att integrera specialiserade applikationer eller ramverk kan organisationer bearbeta och analysera data direkt på Snowball Edge-enheten, vilket minskar latensen och förbättrar beslutsfattandet i realtid.
Denna integration möjliggör sömlöst samarbete mellan olika datainsamlingsverktyg och anpassade virtuella maskiner, vilket säkerställer effektiv databearbetning och hantering. Dessutom, optimering av dataöverföring och synkronisering med Amazon S3 gör det möjligt för organisationer att dra nytta av den skalbara och säkra lagringen som tillhandahålls av Amazons molninfrastruktur.
Denna process underlättar sömlös överföring av insamlad data från Snowball Edge-enheten till Amazon S3, vilket säkerställer att data är lättillgänglig för vidare analys eller långtidslagring. Detta främjar i sin tur ett tillförlitligt och effektivt datahanteringsekosystem som stödjer snabb datainsamling och bearbetning vid kanten.
Sneaker-net Advantage
I många scenarier kan Sneaker-net, eller fysisk överföring av data med hjälp av enheter som Storage Optimized Snowball, vara snabbare än att överföra data över internet. Detta gäller särskilt för fjärrinstallationer eller tillfälliga installationer med begränsad bandbredd, hög latens eller opålitlig anslutning.
Exempel inkluderar forskningsstationer på avlägsna platser, tillfälliga evenemangslokaler eller till och med katastrofåterställningsplatser. Genom att använda AWS Snowball för att transportera stora mängder data kan organisationer kringgå begränsningarna med långsamma eller opålitliga internetanslutningar och säkerställa att data överförs snabbt och säkert till Amazon S3 för vidare bearbetning och analys.
Data som lagras i S3 drar nytta av den inneboende skalbarheten och flexibiliteten som AWS-ekosystemet erbjuder. När datavolymerna växer kan organisationer enkelt anpassa sin lagringskapacitet för att möta ändrade krav utan att behöva göra kostsamma infrastrukturinvesteringar.
Dessutom integreras S3 sömlöst med ett brett utbud av AWS-tjänster, såsom Amazon Athena, Amazon Redshift och Amazon SageMaker, vilket gör det möjligt för organisationer att analysera, bearbeta och härleda insikter från sina data med hjälp av kraftfulla analys- och maskininlärningsverktyg. Denna integration ger i slutändan organisationer möjlighet att fatta datadrivna beslut och låsa upp nya möjligheter för tillväxt och innovation.
Utgående Tankar
Amazon AWS Storage Optimized Snowball, i kombination med anpassade virtuella maskiner, erbjuder en kraftfull och kostnadseffektiv lösning för snabb datainsamling vid kanten. Tillfälliga installationer kan nu effektivt samla in och lagra stora datavolymer samtidigt som de drar nytta av säkerheten, skalbarheten och enkla integrationen som S3 erbjuder. Genom att anamma detta innovativa tillvägagångssätt kan organisationer avsevärt minska hårdvarukostnaderna, effektivisera sin datahantering och låsa upp nya insikter från sina data.
Även om vårt förhållningssätt till denna process var lite bakvänt, helst skulle du konfigurera EC2-instanserna vid beställningstillfället för att göra livet enkelt, det är trevligt att veta att AWS tillåter "kreativ flexibilitet" med deras Snowball-apparater. Men om arbetsbelastningen är datorintensiv, erbjuder AWS Snowball Edge Compute Optimized med upp till 104 vCPU: er, 416 GB DRAM och 28 TB flash. Och om du har ett analysbehov erbjuder de till och med Snowballs med GPU:er. För insamling av kantdata erbjuder AWS massor av alternativ och en del av det roliga är att upptäcka vilken Snow-enhet som kan vara rätt för dig.
AWS Snow Podcast med StorageReview och Wayne Duso
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
