Ⅰ 如何用kettle創建job以及如何部署kettle到linux上
與windows相比只有免費一個優勢,系統穩定性兼容性或系統性能均無法與windows相比,更無法與PC上穩定可靠的軟體數量相比,Linux現在連基本的驅動都不全,某些硬體很可能無法驅動,顯卡,網卡有好多是兼容驅動,根本發揮不出來硬體的性能,只是能用的級別,除此之外你需要熟悉linux的操作命令,他的維護方式與win完全不同,需要入門學習一段時間,有些時候出些小毛病是需要用命令維護的,另外沒有見到桌面用這個系統工作或者日常使用的,大部分都是個人愛好裝來體驗玩玩罷了。已經有調查報告出來了,歐洲的一家公司全部換為linux,後來的費用要高出windows好多,因為員工培訓,以及新設備采購,更高的硬體維護費用,免費的桌面版linux不像Android能為谷歌帶來利潤,是無法全面系統的優化和改進的,桌面版大多隻能輕量級辦公,看看網頁視頻什麼的,拿來跑軟體就算了吧
Ⅱ linux 系統怎麼布曙kettle
一直以來伺服器是linux系統,但是感覺linux圖形化不強,於是從接觸kettle以來都是在windows系統操作ETL的設計和處理。現在需要在linux中查看一下kettle資源庫是否連接正常,以及在linux上調度kettle的job,就需要在Linux上配置kettle環境了。
登陸-linux-(切換到kettle部署的用戶下面)
Ⅲ linux上使用crond定時執行kettle的job怎麼解決
linux上使用crond定時執行kettle的job的解決方法:
一、部署kettle
1. 將pdi-ce-4.1.0-stable.zip上傳到Linux伺服器。
2. 使用unzip命令解壓pdi-ce-4.1.0-stable.zip
unzip pdi-ce-4.1.0-stable.zip -d "/mnt/kettle"
3. 賦予解壓目錄下.sh文件的執行權力chmod +x *.sh
4.進入解壓目錄,鍵入「./kitchen.sh」回車,如果有幫助信息則表示kettle環境部署成功。
二、接著,編寫執行kettle任務的shell腳本
創建test.sh,將以下內容復制粘貼到裡面,然後入「chmod+x/mnt/kettle/*.sh」,賦予test.sh執行許可權。
exportjava_HOME=/usr/java/jre1.6.0_23
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
/mnt/kettle/data-integration/kitchen.sh-file=/mnt/kettle/test.kjb>/mnt/kettle/display.txt
說明:
前3行,設置Java環境變數的語句必不可少,因為crond是個守護進程,它不歸屬於任何用戶,雖然之前以root身份配置了java的環境變數,但是crond一樣找不到java命令,所以,當crond執行kettle任務時,需要動態設置java環境變數,crond才能找到java命令。
三、最後,使用crontab命令添加定時任務
1.在終端上,鍵入「crontab -e」,進入定時任務文件。
2.鍵入「a」,對文件進行編輯。
輸入如下內容: 23111002*/mnt/kettle/test.sh
其中 23為分鍾,11為小時,10為日,02為月,*為星期幾,crontab命令的使用這里不再贅述。
3.鍵盤敲擊exc,終端鍵入「:wq」,保存文件。
4.重啟crond服務。
鍵入「cd /etc/init.d」,進入該目錄。
鍵入「./crond restart」,重啟crond服務。
5.等待執行結果。
6.執行成功,oh..nice!
Ⅳ linux下怎樣安裝使用kettle
安裝JDK環境:根據自己的linux系統選擇相應的版本,比如我的centos7是x64的,所以我選擇jdk-8u74-linux-x64.tar.gz下載
下載下來以後,我們將其移到我們創建的一個目錄中,存放tar包的目錄為/usr/local/src/jdk,然後解壓:
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
編輯 vi /etc/profile 文件
在文件後面添加:
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
執行 . /etc/profile
配置成功後,關閉終端,重新進入,輸入java –version 如果出現版本號什麼的,就證明jdk安裝成功
1. 將data-integration文件夾直接拷貝到/usr/local/kettle文件夾下面
cd /usr/local/kettle/data-integration 進入該目錄
為所有.sh文件賦予執行許可權
chmod +x *.sh
然後在終端鍵入./kitchen.sh 如果出現幫助信息,說明kettle安裝成功
./kitchen.sh -----運行job
./span.sh -----運行轉換
1. 在kettle下建立data 文件夾,用來存放轉換和job文件
建立ktllog 文件夾,用來存放日誌文件
建立ktlsh 文件夾,用來存放腳本文件
1. 在ktlsh文件夾中新建執行job的文件,
新建文件命令: touch xxx.sh
並賦予文件執行許可權
chmod +x xxx.sh
編輯xxx.sh文件
Vi xxx.sh
輸入 :
#!/bin/sh
source /etc/profile 配置環境變數(使用crontab時候,由於crontab不識別系統的環境變數,所以需要我們這邊再配置一遍)
ROOT_TOPDIR=/usr/local/kettle
Export ROOT_TOPDIR --設置kettle目錄
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要執行的job的文件(絕對路徑)
保存!
可在ktlsh目錄下直接執行./xxx.sh 文件運行
1. 配置crontab 定期執行作業或者轉換
基本格式 :
*****command
分時日月周命令
第1列表示分鍾1~59 每分鍾用*或者 */1表示 第2列表示小時1~23(0表示0點) 第3列表示日期1~31 第4列表示月份1~12 第5列標識號星期0~6(0表示星期天) 第6列要運行的命令
在crontab中配置自動每天12點30分執行xxx.sh文件
編輯crontab : crontab –e
增加一行
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh
如果要輸出日誌可
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh >> /usr/local/kettle/ktllog/log01
如果ktllog下面不存在log01文件會自動創建
配置完後重啟crontab服務:
Service crond restart
查看crontab服務
Service crond status
查看crontab中的內容
Crontab –1
Ⅳ linux部署kettle方案
Kettle-linux部署方案
安裝 包準備
1、jdk1.8
2、kettle8.1
3、linux可視化圖形插件Window System
4、Xmanager。
安裝 步驟
第一步
安裝jdk1.8,並使用java -version 查看是否正確安裝。
第二步
執行以下命令
yum groupinstall "X Window System"
第三步
data-integration下執行./kitchen.sh ,看是否會報錯,如報錯執行以下命令:
wget http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-5.el7.nux.noarch.rpm
yum install -y epel-release
rpm -ivh nux-dextop-release-0-5.el7.nux.noarch.rpm
yum install webkitgtk
第四步
安裝完成後再次查看./kitchen.sh
第五步
安裝Xmanager,並配置spoon.sh路徑。
到data-integration目錄下執行./spoon.sh,呼出spoon界面完成。
Spoon集成化方案及問題
1、需要將以上yum安裝的包打包並集成部署。
2、問題:./spoon.sh執行後,xmanager即呼出spoon界面。但是界面關閉後,後台進程就停止了。需要將kettle重新包裝,保證進程持續進行。
Ⅵ 部署篇01:搭建開源Pentaho Kettle 8.1團隊開發環境開篇
為什麼要寫?
以前部署了好多次,未來也要部署好多次。工作其實很簡單,這是不想把坑踩過又再踩一次,
本篇幅介紹以Pentaho 8.1 CE(社區版)為例,講述部署過程。
同一個網段下,若乾颱Windows PC機安裝Kettle。ktr和job利用Pentaho Server統一管理和調度(官方的推薦做法),社區版和商業版都一樣,社區版部署過程稍微復雜一點,用法和商業版基本一致。
伺服器:CentOS 7
PC機:Windows 7以上
伺服器:jdk1.8 (.tar.gz)官網下Linux x64版本
PC機:jdk1.8 (.exe)官網下Windows x64版本
伺服器:Pentaho Server 8.1
PC機:Pentaho data-integration(Kettle) 8.1
Ⅶ Kettle在linux環境的部署和使用
上一章講了對Kettle的大致理解,各個組件的含義用處,以及Spoon的使用。這章就開始講下Kettle在linux環境下的安裝部署,和其中遇到的一些坑。
[root@test local]# chmod +x ./data-integration/*.sh
[root@test local]# yum install webkitgtk
上傳你的ktr文件,然後運行pan.sh腳本即可
./data-integration/pan.sh -file=./xxx/test.ktr -level=Detailed
下面具體說明pan.sh的各個命令
首次接觸學習的並不深入,如有錯誤請指出!