全国职业技能大赛大数据赛项十套赛题shtd

使用Scala编写spark工程代码将MySQL的shtd store库中表user info sku info base province base region order info order detail的数据增量抽取到Hive的ods库中对应表user info sku info base province base region order info order detail中.1抽取shtd store库中user info的增量数据进入Hive的ods库中表user info.根据ods.user info表中operate time或create time作为增量字段即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较只将新增的数据抽入字段名称类型不变同时添加静态分区分区字段类型为String且值为当前比赛日的前一天日期分区字段格式为yyyyMMdd.使用hive cli执行show partitions ods.user info命令将结果截图粘贴至对应报告中