Compatibilidad con la inserción, la actualización y la eliminación a nivel de registro en Amazon S3 con Amazon EMR

Compatibilidad con la inserción, la actualización y la eliminación a nivel de registro en Amazon S3 con Amazon EMR

La versión 5.28.0 de Amazon EMR ya admite Apache Hudi (Incubating). Los ingenieros de datos que utilizan Amazon EMR para el desarrollo de la canalización y el procesamiento de datos pueden ahora utilizar Apache Hudi para simplificar la administración de datos incrementales y los casos de uso de privacidad de datos que requieren operaciones de inserción, actualización y eliminación a nivel de registro. Apache Hudi permite a los lagos de datos basados en Amazon S3 cumplir las leyes de privacidad de datos, consumir transmisiones en tiempo real y cambiar los registros de captura de datos, restablecer los datos que llegan tarde, y rastrear el historial de cambios y la restauración. Apache Hudi es de código abierto y admite el almacenamiento de datos en Amazon S3 en formatos de código abierto independientes del proveedor, como Apache Parquet y Apache Avro.

About The Author

No Comments

Leave a Reply