ETL – ETL工具介绍

上篇文章我们介绍了ETL的概念和ETL的整个过程 。那么今天我们给大家介绍一下ETL的常用工具:DataX、Datastage、Informatica、Kettle、DataPipeline。 为什么要使用ETL工具? 实际生产环境中我们的数据源可能是不同的数据库或者文件,这时候需要我们先把文件整理成统一的格式再做处理这样的过程要用代码实现显然有些麻烦。 但数据来自不同的物理机,如果我们用SQL语句去处理的话,就显得特别吃力,开销也会很大。 使用存储过程处理海量数据会占用大量数据库资源,导致数据资源不足,影响数据库性能。 对于这些问题,我们可以通过使用ETL工具去解决。 部分工具支持多