Kettle ETL工具

WinWin7小編給大家分享的Kettle是一款純Java編寫的工具，可以在Windows、Linux和Unix操作系統(tǒng)上運行。它被廣泛應(yīng)用于數(shù)據(jù)處理和抽取的任務(wù)中，具有高效和穩(wěn)定的特點。Kettle的主要功能是處理和轉(zhuǎn)換大量的數(shù)據(jù)。它可以從各種數(shù)據(jù)源中提取數(shù)據(jù)，并進行清洗、轉(zhuǎn)換和加載到目標(biāo)系統(tǒng)中。Kettle支持多種數(shù)據(jù)格式，包括關(guān)系型數(shù)據(jù)庫、平面文件、XML、JSON等。程序員可以通過簡單的拖放操作來定義數(shù)據(jù)處理的流程，而無需編寫復(fù)雜的代碼。Kettle提供了豐富的數(shù)據(jù)處理功能，包括數(shù)據(jù)過濾、排序、聚合、連接等。

kettle工具干嘛用的

Kettle是國外免費的開源輕量級ETL工具，是基于Java語言開發(fā)的，可以在Windows.Linux,UNIX系統(tǒng)上運行，且綠色不需安裝，可用于各種數(shù)據(jù)庫之間的連接。

Kettle工具主要有四個組件組成，分別是Spoon，Pan，Kitchen以及Carte組件，具體功能如下：      *Spoon為集成開發(fā)軟件，用于構(gòu)建作業(yè)和轉(zhuǎn)換，執(zhí)行或調(diào)試作業(yè)和轉(zhuǎn)換，還可以用于監(jiān)控ETL操作性能。

kettle工具功能

1、集群允許轉(zhuǎn)換以及轉(zhuǎn)換中的步驟在多個服務(wù)器上并發(fā)執(zhí)行；

2、數(shù)據(jù)處理功能也很強大，非常適合于各種數(shù)據(jù)處理功能；

3、可以用來實現(xiàn)數(shù)據(jù)的剖析、清洗、校驗、抽取、轉(zhuǎn)換和加載等各類常見的ETL類工作；

kettle教程

清理數(shù)據(jù)庫連接的方法

1：清理shared.xml中的不用的數(shù)據(jù)庫連接。（他的保存位置一般在用戶主目錄下邊的.kettle目錄中）

2：用文本編輯軟件打開kjb，ktr文件刪除用戶到的connection項，保存。

使用方法

Kettle自己有三個主要組件：Spoon，Kitchen，Pan。其中Spoon是一個圖形化的界面，用于windows的時候，先設(shè)置環(huán)境變量：pentaho_java_home，例如：C:\Program Files\Java\jdk1.7.0_25，其實就是你的java安裝目錄，1.6以上即可。windows下雙擊Spoon.bat就可以了，界面如下：

這里我建立了資源庫，其實可以用文件形式存儲，存儲的結(jié)構(gòu)都是xml，但是我還是覺得建立一個資源庫比較好，以后看job等情況也比較簡單，因為數(shù)據(jù)表的可讀性比xml要好得多。建立資源庫和文件資源庫只需要把右上角的小加號點一下，就會出現(xiàn)如下如的界面：

選擇第一個就是建立數(shù)據(jù)庫版的資源庫，之后：

之后：

測試通過之后點擊OK就回到最開始的界面，這時候選擇test數(shù)據(jù)庫連接，然后出入你的工程（我是這么叫的）ID和name，這里要記住，因為以后kitchen調(diào)度的時候要輸入這個參數(shù)。

在接下來彈出的框中都點“是”，然后會出現(xiàn)這個界面：

這步會在你的用戶下建立很多表，所以最好單獨給資源庫建立一個用戶，當(dāng)然這是在oracle下，mysql下和DB2下最好也采用同樣的方式，把資源庫和其他庫分開。

檢查一下：

SQL> conn wings/wings@prism

已連接。

SQL> select count(1) from r_repository_log;

COUNT(1)

----------

0

SQL>

表已經(jīng)建好了。回到最開始的界面，選擇test，點擊確定，然后就會出現(xiàn)登錄對話框，用戶密碼默認(rèn)都是admin，以后可以自己改。

kettle工具優(yōu)缺點

優(yōu)點： 可視化界面支持圖形化GUI設(shè)計界面，組件多樣性，支持http請求,上手簡單支持拖拽，支持sql , 可以編寫 js ,可以編寫一些 java 代碼，然后以工作流的形式流轉(zhuǎn)。如果沒有沖突可以并行執(zhí)行，并行開發(fā)。在工具內(nèi)可以查看 讀 寫 修改 輸出 更新 拒絕 錯誤 等 一些參數(shù)，快速定位和糾錯。

缺點： 面對特別復(fù)雜的業(yè)務(wù)邏輯，受制于 組件的使用情況。性能提升需要不斷優(yōu)化，線上部署多樣式，但是沒有完美的部署方案，暫定 Jenkins ，線上執(zhí)行  打印日志 只能報 對錯，不太詳細(xì)。

Kettle具有良好的可擴展性和靈活性。用戶可以通過編寫自定義插件來擴展Kettle的功能，以滿足特定的需求。Kettle還支持腳本編寫，可以使用JavaScript或其他腳本語言來實現(xiàn)更復(fù)雜的數(shù)據(jù)處理邏輯。Kettle是一款功能強大、高效穩(wěn)定的數(shù)據(jù)處理工具。它的純Java編寫和跨平臺特性使得它可以在不同的操作系統(tǒng)上運行，而且通過可視化界面和簡單的配置，用戶可以輕松地完成復(fù)雜的數(shù)據(jù)處理和抽取任務(wù)。