Vi avslutade nyligen ett projekt i dataanalysstil som lämnade oss med en 100TB utdatafil. Även om vi har gott om lagringsutrymme i hela vårt labb, har det en unik uppsättning utmaningar att hänga på en 100TB-fil i evighet. Dessutom "behöver" vi egentligen inte filen, men vi föredrar att bevara den om möjligt. Molnet är en uppenbar passform för detta behov, men tiden att överföra så mycket data över tråden är enorm, så vi valde att ge AWS Snowball Edge-enheter ett försök. Målet – att få våra data från labbet i Cincinnati till en S3-hink i AWS us-east-2 region så snabbt som möjligt.
Vi avslutade nyligen ett projekt i dataanalysstil som lämnade oss med en 100TB utdatafil. Även om vi har gott om lagringsutrymme i hela vårt labb, har det en unik uppsättning utmaningar att hänga på en 100TB-fil i evighet. Dessutom "behöver" vi egentligen inte filen, men vi föredrar att bevara den om möjligt. Molnet är en uppenbar passform för detta behov, men tiden att överföra så mycket data över tråden är enorm, så vi valde att ge AWS Snowball Edge-enheter ett försök. Målet – att få våra data från labbet i Cincinnati till en S3-hink i AWS us-east-2 region så snabbt som möjligt.
Vad är AWS Snowball Edge-enheter?
Innan vi går för djupt in i datamigreringsuppgiften, är en kort primer på AWS Snowball Edge-enheter berättigad. AWS Snow Family är en samling specialbyggda tjänster. Dessa tjänster kör datorintensiva arbetsbelastningar samtidigt som data lagras på kantplatser för nekad, störd, intermittent eller begränsad (DDIL) nätverksanslutning och för överföring av stora mängder data från lokala och robusta eller mobila miljöer. AWS Snowball Edge-enheter är robusta, bärbara och säkra och erbjuder antingen lagringsoptimerade eller datoroptimerade funktioner. Dessa enheter är designade för att hjälpa kunder att flytta (till AWS) eller bearbeta stora mängder data säkert och effektivt, även på avlägsna eller frånkopplade platser.
Snowball Edge-enheter finns i två versioner: Snowball Edge Storage Optimized, som vi använder här, och Snowball Edge Compute Optimized. Storage Optimized-versionen är designad för dataöverföring och lagring och kommer med upp till 80 TB lagringskapacitet. Den Compute Optimized-versionen är avsedd för databehandling och beräkningsanvändning och kommer med upp till 104 virtuella processorer och 416 GB RAM. Det finns till och med ett alternativ för ett Compute Optimized-system att inkludera en GPU. För dem med ett mer blygsamt databehov finns det också en liten, ultraportabel Snow Family, kallad AWS Snowcone.
Båda versionerna av Snowball Edge har inbyggda säkerhetsfunktioner, såsom manipuleringssäkra höljen, 256-bitars kryptering och Trusted Platform Module (TPM)-chips för att säkerställa datas integritet och konfidentialitet. Dessutom kan Snowball Edge-enheter konfigureras för att köra AWS Lambda-funktioner, Amazon EC2-instanser och andra AWS-tjänster på kanten, vilket gör det möjligt för kunder att utföra databearbetning och analys på plats innan de överför data till AWS.
För vårt användningsfall erbjuder Snowball Edge-enheter ett snabbt, säkert och flexibelt sätt för kunder att överföra och bearbeta stora mängder data i olika miljöer, inklusive avlägsna eller frånkopplade platser.
AWS Snowball beställningsprocess
För erfarna AWS-proffs är beställningsprocessen för Snowball enkel. Även för nybörjare som jag kunde jag klicka mig igenom stegen med lite hjälpsamma knuffar från våra AWS-vänner som coachade oss genom processen.
Steg 1 är att ge ditt jobb ett namn och välja jobbtyp för din Snow-enhet. Vår uppgift var helt enkelt att överföra data till S3, men Snow-enheter kan även exportera data från S3. De kan också användas som punktlösningar för att erbjuda lokal beräkning, lagring och GPU till en kantplacering.
Steg 2 fortsätter att vara enkelt, med valet av Snow-enheten. I vårt fall valde vi Snowball Edge Storage Optimized-enheten, med 80 TB tillgängligt. Det finns olika prissättningsalternativ för AWS Snowball. Det finns ett prisalternativ för användning per dag, eller så ger AWS Snowball avsevärt rabatt på priset (upp till 62 %) för 1-års användning och 3-års användningsåtaganden. Med dessa långsiktiga erbjudanden betalar du i förskott för att använda Snowball-enheterna till ett rabatterat pris, och du slipper betala några ytterligare serviceavgifter eller avgifter per dag tills din förbetalda period slutar. Du kan registrera dig för fast prissättning i AWS Snow Family-konsolen när du beställer en Snowball-enhet.
Slutligen väljer du de EC2-instanser och S3-hinkar som du behöver för att importera. Detta var ett nytt konto, så vi skapade en ny S3-hink. Vi behövde inte heller någon EC2 för detta men det slutade sidladdning av en EC2-instans senare för lite skoj.
Steg 3 erbjuder några ytterligare funktioner, som en valfri AWS IoT Greengrass for Snow och ett alternativ för fjärrenhetshantering.
Steg 4 täcker säkerhets-, frakt- och meddelandepreferenser. Här använde vi standardkrypteringen och skapade den föreslagna tjänstrollen för att tillåta AWS att hantera data. Därifrån lägger du till din adress och väljer en eller två dagars frakt. Du kan också lägga till e-postmeddelanden här, även om AWS-konsolen visar alla framsteg när jobbet fungerar genom systemet.
Det sista steget är att validera all inmatad information och skicka in. Detta skapar jobbet, och sedan börjar uppfyllandet av AWS. Vi gick igenom processen med AWS ganska långsamt och ville förstå alla alternativ. Även i vår avslappnade takt tog hela processen cirka 10 minuter. En mer aggressiv väg skulle göra beställning av en Snow-enhet 2-3 minuter överst.
Då trodde vi att vi skulle behöva två Snowball Edge-enheter. I efterhand behövde vi bara en. Processen att klona det här jobbet är också mycket enkel, och det är bara ett par klick till för att räkna ihop några snöbollar för större datamängder.
Härifrån är det ett väntande spel eftersom uppfyllelseprocessen fungerar genom systemet. Eftersom det här var ett helt nytt konto, slog vi ut några flaggor när vi beställde två Snowball Edge-enheter direkt. Men för konton med aktivitet bör det inte finnas några sådana verifieringar. Snöbollarna dök upp inom bara några dagar, och vi gav oss i kast med att förbereda våra data för transport.
En sak att tänka på med Snowball är prissättning. Det tillkommer en jobbavgift, som inkluderar tio dagars att ha enheten på plats. Det finns naturligtvis molnavgifter i S3 när data väl kommer dit också. Även om prissättningen för Snowball inte är komplicerad, varierar den beroende på vilket system du väljer, vilken tid du behöver det och vilken region du befinner dig i. I vårt fall var jobbavgiften $300 per Snowball, och även det kan vara sänks dramatiskt med långtidskontrakt. Du kan dock få en känsla för Snowball-priserna; AWS har ett bord som lägger upp allt.
Förberedelse av data
Vi började med en 100TB textfil, men för alla som har erfarenhet av S3 vet du att det är ett problem. S3 har en objektstorleksgräns på 5 TB, vilket betyder att vi behövde göra något åt vår enda icke-kompatibla fil. Vårt svar var att skära upp det och se om vi kunde få någon kompressionsfördel samtidigt. Förhoppningen var att vi skulle kunna komma ner till en enda Snowball-enhet, som toppar på 80 TB användbar. Medan vi väntade på att Snowball Edge skulle komma, började vi förbereda data.
Rekreation av processen
Vi använde vår favorit applikation för att arbeta med stora antal, y-cruncher, som inkluderar ett verktyg för siffervisning, delning och komprimering. På grund av objektstorleksbegränsningen för S3 valde vi att dela upp alla 100 biljoner siffror i Pi i 200 filer. Efter komprimering gav det oss en filstorlek på cirka 191 GB, var och en med 500,000,000,000 500 XNUMX XNUMX (XNUMX miljarder) siffror.
AWS Snowball-konfiguration
Med data förberedd och Snowball-enheten i handen startade vi den första enheten för att få den online. Att installera Snowball är mycket enkelt, vilket ger den kraft och tillgång till nätverket; vi valde 10GbE-porten. Många kommer att välja att använda CLI för att samverka med Snowball, vilket förmodligen är den föredragna metoden. Ändå valde vi AWS OpsHub för Snow Family, för att se bildens skull och för att vilja ha upplevelsen från en icke-AWS-professionell synvinkel.
AWS OpsHub för Snow Family är ett användarvänligt verktyg som hjälper kunder att hantera sina Snow Family-enheter och lokala AWS-tjänster. Användare kan låsa upp och konfigurera enheter, överföra filer, starta och hantera instanser och övervaka enhetsstatistik via ett grafiskt användargränssnitt, som ger en enhetlig bild av AWS-tjänster som körs på enheterna. AWS OpsHub automatiserar operativa uppgifter och är utformad för att rymma användare med olika nivåer av teknisk expertis, vilket gör det lättare att hantera ett stort antal Snow Family-enheter.
Med IP-adressen från LCD-skärmen och upplåsningskoden och manifestfilen från din AWS-konsol kan du låsa upp och komma åt Snowball Edge. Detta kan ta några minuter eftersom AWS validerar referenserna, dekrypterar innehållet och hanterar några andra hushållsuppgifter.
När du väl är inloggad transporteras du till en visuell instrumentpanel med relevant enhetsinformation och tjänsterna aktiverade. Vid det här laget är vi online, anslutna till nätverket och redo att flytta vår data.
Överföra data till AWS Snowball
Med Snowball Edge konfigurerad, på nätverket och OpsHub ansluten, är det dags att flytta över våra 200 200 GB-filer. Medan de flesta skulle använda CLI-gränssnittet för denna process och skulle dra nytta av en mer tidsoptimerad upplevelse, valde vi enkelhet. Med OpsHub i Windows valde vi helt enkelt mappen med vår Pi-data inuti och släppte data. Det tog oss ungefär fyra dagar för filerna att komma över till Snowball.
Efter att dataöverföringen var klar stängde vi av enheten, varvid e-bläckdisplayen ändrades till adressen för intag. I vårt fall betydde det Columbus, Ohio, hemmet för us-east-2. För övrigt, när det väl är i avsändarens händer, försvinner även åtkomstuppgifterna från webbkonsolen, vilket skyddar data under vägen.
AWS spårar snöbollsstatus
När den väl har lämnats med UPS uppdaterar AWS-webbgränssnittet jobbstatusen med spårningsnumret och Snowballs framsteg för transport, sortering, AWS-mottagning och import till S3. Det tog ett par dagar för Snowball att ta sig till Columbus och två dagar för importen att slutföras.
När processen bekräftats slutförd gjorde vi en bild i S3 för att säkerställa att all data såg ut att vara korrekt importerad. För att ge kunderna en mer formell sinnesro tillhandahåller AWS även en revisionsrapport för hela processen, tillsammans med eventuella undantag.
I vår logg kan vi se de 200 filerna färdiga utan fel. AWS loggar också höjdpunkterna när Snowball Edge, och dess data, flyttas genom systemet.
Avslutande tankar
AWS Snowball Edge-enheter är inte nya; AWS var tidigt ute när det gällde att ge sina kunder ett säkert sätt att påskynda förflyttning av offlinedata eller fjärrlagring till molnet. Hade vi bara försökt kopiera våra data till S3 över tråden, hade vi förmodligen fortfarande väntat på att det jobbet skulle slutföras och inte kunnat göra mycket annat produktivt eftersom vårt internetrör var bunden. För oss var Snowball Edge Storage Optimized-enheten precis vad vi behövde för att få vår data till molnet så snabbt som möjligt.
Detta är inte utan kostnad. Även om långsiktiga kunder kan få bättre priser, var vår egenkostnad för Snowballs cirka 700 USD. Det är dock inte dåligt med tanke på att vi beställde en extra av misstag, och vi gick inte så snabbt för att snurra tillbaka enheterna till AWS. Det fanns ingen avgift för att mata in data till S3, och den pågående S3-kostnaden bestäms av din kontraktspris med AWS.
Det bör noteras att vi använde Snowball Edge på de mest grundläggande sätten. Snowball-enheterna med Compute, särskilt de med GPU:er, erbjuder mycket mer potential för mer intensiv användning. De som är intresserade bör lyssna på vår senaste AWS Snow Podcast. I slutändan är Snow-enheterna bara en mer diminutiv version av AWS med en lagrings- och beräkningsgräns. Men som vi såg är de väldigt flexibla, extremt enkla att distribuera och får data på ett tillförlitligt sätt där de behöver vara. För alla som funderar på AWS Snow-enheter rekommenderar vi starkt att prova dem.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Discord | Rssflöde
