开源ETL工具 PentahoKettle使用入门

kettle是一个开源的数据仓库ETL工具,他拥有很多组件,方便开发,应用灵活。稳定性和性能比较客观。5.HOP:一个HOP代表两个步骤之间的一个或者多个数据流。一个HOP总是代表着个步骤的输出流和个步骤的输入流。6.NOTE:一个YOTE是一个转换附加的文本注释信息。这个转换的意思是:Note1)从一个数据库表中读取信息2)把信息写到文本文件中去个Step表输入文本文件输出AHop;;涔32.任务1. JOB ENTRY:一个 JOB ENTRY是一个任务的一部分,它执行某些内容。2.HOP:一个HOP代表两个步骤之间的个或者多个数据流。一个HOP总是代表着两个 JOB ENTRY之间的连接,并且能够被原始的 JOB ENTRY设置,无条件的执行下一个JOB ENTRY,直到执行成功或者失败3.NOTE:一个NOTE是一个任务附加的文本注释信息第3页共69页个HopStart执行转换个JOb Entry4.第一次使用4.运行 KETTLE设计程序双击SPO0N.BAT可以打开 KETTLE的设计界面。在 LINUX下运行 SPOON.SH。程序进入数据资料库访问的用户名和密码输入窗∏。如图Repository Connectionkettle orahet tle filkettle mys qladm1直LPasswordtCancel第一次运行需要创建资料库。第4页共69页42.设置资料库1)点击右上角的“加号”按钮,进入资料库类型选择创建窗口Select the reposit orf typeFilelect the 1e]0% tory type to createKettle file repository Ihis is repository stored iI a file in a certain folder store ETL me=adatKettle database repos toryepos tory uses a =entral relational database to匚巫匚ancel类型1:使用数据库来保存ETL元数据类型2:使用文件来保存ETL元数据2)我们建议使用薮据厍来保存ETL元数据,方便管理。选择进入资料厍信息输入窗口:S Repository information回elect database contmecti onexpEdit卫 eleteJ ECSELECT DATABASE CONNECTI0N:选择数据库连接下拉框选择可用的数据库连接,如果没有,就点击NEW按钮创建3)设置数据库连接:如图:第5页共69页Dat abnection hamennecti on T-pHcst≌mWS SQL Server ativeDB (SAP DBDatabase HaCracle RDBFA1∧ MOLAPFt江e吃ablespace for IndiceernestPort umberUser ameΦae二工r,Ior[Test slue Lisl Exylu〖cs:因为 KETTLE基于JAⅥA开发,使用JDBC连接薮据库,因此我们可以选择多种数据源作为资料库。我们选择 RACLE作为默认资料库,主要设置以下信息(相当于设置JDBC连接信息):CONNECTI0 N NAME:连接名称HOST NAME:数据库主机名DATABASE NAME:数据库SIDPORT NUMBER:数据库监听端口(默认1521)USER NAME:用户存储资料库的用户(建议建立新用户)PASSWORD:资料库用户密码完成如下:第6页共69页Dat abase ConnectionCoNTSettings13 SQL sHost ham11.10032LY SQLafah净A7 LAF3产vTTablespace for IndicesRemedy Action Request systemPort Numb1521Ter adataUser amediverse detabase已工;Tvx5d可以点击TST按钮,测试数据源是否可用。点击OK,返回到資料库信息设置窗∏1:Q Repository informationmectakettle rReeDit Delete l已了lettle ora第一次使用时需要创建资料库使用所需的表。点击 CREATE OR UPDATE按钮。进入资料库数据表创建窗口。第7页共69页u Siple sQL editorQL statemed brReposi tory creation/upgrade DDLNothing was created nor modified ir. the target repository databaseit the Ok button to execute the generated SoI or Close to reje=t theFL已 dst nuLe LhdL⊥L⊥s上iLle Lu clary,euil Lle yerer'd Leu SQL LeurCREATE TARTE R REPOSTTOPY TOG工DPE30 SI TORY工0s工0 G PRIE矗RrKE置REP WRE工oHTE夏T工CGD盈TED盈 TETILE工 O USER TERT(255OIEHATIOI DESC MEMOCRE盈TET矗B工 E R VERSION工DE工QN工0 NG PRIMARY KE置MAJOR VER工ON工 NTEGERH工 OR VERSION INTEGERPGRADE DATE D矗 TETIEE工 S UPGRADE C豆AR(1点击 EXECUTE执行相关SQL语句,完成后点击 CLOSE返回到资料库信息设置窗口Repository information回区Select Database Connecti on kettle_repN区Eat[aetlettle orgHRemove选择相应的数据库连接,填写I和NAME输入框,点击OK按钮。返冋到资料库登陆窗口第8页共69页Repositor ConnectionRepositoryKettle filett]色myq1User JamedminPassword**aShow this di alog at startupOK Cancel资料库默认用户、密码为: ADMTN/ ADMTN43.设计第一个 TRANSFORMATIO0N431.新建 TRANSFORMAIO0NTRANSFORMATI0N实际上就是ETL中的数据流,用户定义数据从源到日标的转换处理过程登陆資料库后,程序进入主窗∏:第9页共69页点 ction T3 Ls HelpPerspectiveData InterExplorert (o- o file. ///D /tool:/'pdi-ee-4 0.1-staole/ data-intearation/docsh□ TransfaGettiStartedSamplesWhat'sNewolmertCommunityntal点击左上角的NEW按钮或者菜单FILE>NEW,创建新的 TRANSFORMFile edit yiew Action ToolTformati0 Dat abase Cornecti onSlave server主窗口出现一个新的标签页: TRANSFORMATION1W411下,,;1COMLEDⅢ口R%心會民昌在主窗口空白处点击右键,出现菜单,选择 TRANSFORMATI0 N SETTINGS.进入 TRANSFORMATIONSETTINGS窗口。lapboard ctrl-vC1Transformation settings CTFL-T第10页共69页