aws analytical dataset generation:此存储库包含用于处理提取的UCFS数据的内容 源码

AWS分析数据集生成 分析数据集生成(ADG)集群将指定HBase表中所有记录的最新版本转换为S3上存储的Parquet文件。 然后,它会生成Hive表,以为下游数据处理和分析任务提供对这些数据的便捷SQL访问。 总览 在定义的时间,CloudWatch事件将触发EMR Launcher Lambda函数 EMR Launcher从Config S3存储桶中读取EMR群集配置文件,然后调用EMR服务的RunJobFlow API,这将导致启动Analytical Dataset Generator ( ADG )EMR群集 ADG Cluster配置为Ingest HBase EMR群集的只