Op 8 augustus heeft Amazon Web Services AWS Lake Formation uitgebracht, een data lake-service. Veel klanten gebruikten al Amazon S3 (Simple Storage Services) voor hun data lake, dus Lake Formation kan het beste worden gezien als een set tools om een Amazon data lake goedkoper en gebruiksvriendelijker te maken.
Op 8 augustus heeft Amazon Web Services AWS Lake Formation uitgebracht, een data lake-service. Veel klanten gebruikten al Amazon S3 (Simple Storage Services) voor hun data lake, dus Lake Formation kan het beste worden gezien als een set tools om een Amazon data lake goedkoper en gebruiksvriendelijker te maken.
Amazon somt vijf belangrijke tools op die Amazon Web Services Lake Formation biedt: broncrawlers, ETL en gegevensvoorbereiding, gegevenscatalogus, beveiligingsinstellingen en toegangscontrole. Al deze tools worden beheerd via een centrale Lake Formation Console. Andere AWS-services zoals Athena, Redshift en EMR hebben nog steeds toegang tot gegevens nadat deze zijn verplaatst.
AWS Lake Formation-broncrawlers zijn bedoeld om de overhead te verminderen die gepaard gaat met het ophalen van gegevens, waar ze zich ook bevinden, in uw datameer. Klanten met bestaande S3-instanties hoeven Lake Formation alleen maar te wijzen op de instanties die ze willen binnenhalen. Het proces is iets ingewikkelder voor nieuwe klanten of klanten die nieuwe gegevensbronnen willen toevoegen. AWS Lake Formation kan volledige databases ophalen of incrementele updates uitvoeren op basis van door de gebruiker gedefinieerde tabellen en sleutels.
AWS Lake Formation gebruikt AWS-lijm om extraheren, transformeren, laden (ETL) en gegevensvoorbereiding te bieden. Lake Formation biedt ook een ingebouwde machine learning-service om gegevens te ontdubbelen wanneer deze worden binnengebracht. Dit zou moeten helpen de omvang van het datameer, en dus de kosten, laag te houden.
Een van de moeilijkste hindernissen voor datameren is het bijhouden van wat er allemaal in het meer zit. AWS Lake Formation biedt een datacatalogus die de verschillende datasets beschrijft die beschikbaar zijn, samen met welke groepen gebruikers er toegang toe hebben. Dit moet het proces van het vinden van relevante datasets gebruiksvriendelijker maken.
De laatste twee ingebouwde tools zijn eigenlijk een set tools om beveiliging en toegangscontrole te bieden. De toolset omvat services zoals AWS Identity, Access Management en AWS Key Management Service. Met AWS Lake Formation kunnen klanten data lake-breed beleid instellen via de centrale console. Als meer gedetailleerde controle nodig is, ondersteunt het ook beveiligingsinstellingen per dataset.
Beschikbaarheid
Onmiddellijk
Meld u aan voor de StorageReview-nieuwsbrief