El 8 de agosto, Amazon Web Services lanzó AWS Lake Formation, un servicio de lago de datos. Muchos clientes ya usaban Amazon S3 (Simple Storage Services) para su lago de datos, por lo que Lake Formation podría verse mejor como un conjunto de herramientas para hacer que un lago de datos de Amazon sea menos costoso y más fácil de usar.
El 8 de agosto, Amazon Web Services lanzó AWS Lake Formation, un servicio de lago de datos. Muchos clientes ya usaban Amazon S3 (Simple Storage Services) para su lago de datos, por lo que Lake Formation podría verse mejor como un conjunto de herramientas para hacer que un lago de datos de Amazon sea menos costoso y más fácil de usar.
Amazon enumera cinco herramientas clave que ofrece Amazon Web Services Lake Formation: rastreadores de origen, ETL y preparación de datos, catálogo de datos, configuración de seguridad y control de acceso. Todas estas herramientas se administran a través de una consola central de Lake Formation. Otros servicios de AWS como Athena, Redshift y EMR aún podrán acceder a los datos una vez que se hayan trasladado.
Los rastreadores de origen de AWS Lake Formation tienen como objetivo reducir la sobrecarga que implica simplemente obtener datos de donde sea que se encuentren actualmente, en su lago de datos. Los clientes con instancias S3 existentes solo necesitan apuntar a Lake Formation a las instancias que desean incorporar. El proceso es un poco más complicado para los nuevos clientes o aquellos que buscan agregar nuevas fuentes de datos. AWS Lake Formation puede extraer bases de datos completas o realizar actualizaciones incrementales basadas en tablas y claves definidas por el usuario.
AWS Lake Formation utiliza AWS Glue para proporcionar servicios de extracción, transformación, carga (ETL) y preparación de datos. Lake Formation también proporciona un servicio de aprendizaje automático integrado para deduplicar datos a medida que se ingresan. Esto debería ayudar a mantener bajo el tamaño del lago de datos y, por lo tanto, los costos.
Uno de los obstáculos más difíciles para los lagos de datos es realizar un seguimiento de todo lo que hay en el lago. AWS Lake Formation proporciona un catálogo de datos que describe los diferentes conjuntos de datos que están disponibles junto con los grupos de usuarios que tienen acceso a cada uno. Esto debería hacer que el proceso de búsqueda de conjuntos de datos relevantes sea más fácil de usar.
Las últimas dos herramientas integradas son realmente un conjunto de herramientas para brindar seguridad y control de acceso. El conjunto de herramientas incluye servicios como AWS Identity, Access Management y AWS Key Management Service. AWS Lake Formation permite a los clientes establecer políticas para todo el lago de datos a través de la consola central. Si se necesita un control más granular, también admite la configuración de seguridad por conjunto de datos.
Disponibilidad
Inmediato
Suscríbase al boletín de StorageReview
