导航:首页 > 操作系统 > kettlelinux部署

kettlelinux部署

发布时间:2023-02-11 16:43:10

Ⅰ 如何用kettle创建job以及如何部署kettle到linux

与windows相比只有免费一个优势,系统稳定性兼容性或系统性能均无法与windows相比,更无法与PC上稳定可靠的软件数量相比,Linux现在连基本的驱动都不全,某些硬件很可能无法驱动,显卡,网卡有好多是兼容驱动,根本发挥不出来硬件的性能,只是能用的级别,除此之外你需要熟悉linux的操作命令,他的维护方式与win完全不同,需要入门学习一段时间,有些时候出些小毛病是需要用命令维护的,另外没有见到桌面用这个系统工作或者日常使用的,大部分都是个人爱好装来体验玩玩罢了。已经有调查报告出来了,欧洲的一家公司全部换为linux,后来的费用要高出windows好多,因为员工培训,以及新设备采购,更高的硬件维护费用,免费的桌面版linux不像Android能为谷歌带来利润,是无法全面系统的优化和改进的,桌面版大多只能轻量级办公,看看网页视频什么的,拿来跑软件就算了吧

Ⅱ linux 系统怎么布曙kettle

一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在Linux上配置kettle环境了。
登陆-linux-(切换到kettle部署的用户下面)

Ⅲ linux上使用crond定时执行kettle的job怎么解决

linux上使用crond定时执行kettle的job的解决方法:


一、部署kettle


1. 将pdi-ce-4.1.0-stable.zip上传到Linux服务器。

2. 使用unzip命令解压pdi-ce-4.1.0-stable.zip
unzip pdi-ce-4.1.0-stable.zip -d "/mnt/kettle"

3. 赋予解压目录下.sh文件的执行权力chmod +x *.sh

4.进入解压目录,键入“./kitchen.sh”回车,如果有帮助信息则表示kettle环境部署成功。


二、接着,编写执行kettle任务的shell脚本


创建test.sh,将以下内容复制粘贴到里面,然后入“chmod+x/mnt/kettle/*.sh”,赋予test.sh执行权限。

exportjava_HOME=/usr/java/jre1.6.0_23
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
/mnt/kettle/data-integration/kitchen.sh-file=/mnt/kettle/test.kjb>/mnt/kettle/display.txt

说明:
前3行,设置Java环境变量的语句必不可少,因为crond是个守护进程,它不归属于任何用户,虽然之前以root身份配置了java的环境变量,但是crond一样找不到java命令,所以,当crond执行kettle任务时,需要动态设置java环境变量,crond才能找到java命令。


三、最后,使用crontab命令添加定时任务

1.在终端上,键入“crontab -e”,进入定时任务文件。
2.键入“a”,对文件进行编辑。
输入如下内容: 23111002*/mnt/kettle/test.sh

其中 23为分钟,11为小时,10为日,02为月,*为星期几,crontab命令的使用这里不再赘述。
3.键盘敲击exc,终端键入“:wq”,保存文件。
4.重启crond服务。
键入“cd /etc/init.d”,进入该目录。
键入“./crond restart”,重启crond服务。
5.等待执行结果。

6.执行成功,oh..nice!

Ⅳ linux下怎样安装使用kettle

安装JDK环境:根据自己的linux系统选择相应的版本,比如我的centos7是x64的,所以我选择jdk-8u74-linux-x64.tar.gz下载
下载下来以后,我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压:
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
编辑 vi /etc/profile 文件
在文件后面添加:
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行 . /etc/profile
配置成功后,关闭终端,重新进入,输入java –version 如果出现版本号什么的,就证明jdk安装成功
1. 将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面
cd /usr/local/kettle/data-integration 进入该目录
为所有.sh文件赋予执行权限
chmod +x *.sh
然后在终端键入./kitchen.sh 如果出现帮助信息,说明kettle安装成功
./kitchen.sh -----运行job
./span.sh -----运行转换
1. 在kettle下建立data 文件夹,用来存放转换和job文件
建立ktllog 文件夹,用来存放日志文件
建立ktlsh 文件夹,用来存放脚本文件
1. 在ktlsh文件夹中新建执行job的文件,
新建文件命令: touch xxx.sh
并赋予文件执行权限
chmod +x xxx.sh

编辑xxx.sh文件
Vi xxx.sh
输入 :
#!/bin/sh
source /etc/profile 配置环境变量(使用crontab时候,由于crontab不识别系统的环境变量,所以需要我们这边再配置一遍)

ROOT_TOPDIR=/usr/local/kettle
Export ROOT_TOPDIR --设置kettle目录
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件(绝对路径)

保存!
可在ktlsh目录下直接执行./xxx.sh 文件运行
1. 配置crontab 定期执行作业或者转换
基本格式 :
*****command
分时日月周命令
第1列表示分钟1~59 每分钟用*或者 */1表示 第2列表示小时1~23(0表示0点) 第3列表示日期1~31 第4列表示月份1~12 第5列标识号星期0~6(0表示星期天) 第6列要运行的命令
在crontab中配置自动每天12点30分执行xxx.sh文件
编辑crontab : crontab –e
增加一行
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh

如果要输出日志可
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh >> /usr/local/kettle/ktllog/log01
如果ktllog下面不存在log01文件会自动创建
配置完后重启crontab服务:
Service crond restart
查看crontab服务
Service crond status
查看crontab中的内容
Crontab –1

Ⅳ linux部署kettle方案

Kettle-linux部署方案

安装 包准备

1、jdk1.8

2、kettle8.1

3、linux可视化图形插件Window System

4、Xmanager。

安装 步骤

第一步

安装jdk1.8,并使用java -version 查看是否正确安装。

第二步

执行以下命令

yum groupinstall "X Window System"

第三步

data-integration下执行./kitchen.sh ,看是否会报错,如报错执行以下命令:

wget http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-5.el7.nux.noarch.rpm

yum install -y epel-release

rpm -ivh nux-dextop-release-0-5.el7.nux.noarch.rpm

yum install webkitgtk

第四步

安装完成后再次查看./kitchen.sh

第五步

安装Xmanager,并配置spoon.sh路径。

到data-integration目录下执行./spoon.sh,呼出spoon界面完成。

Spoon集成化方案及问题

1、需要将以上yum安装的包打包并集成部署。

2、问题:./spoon.sh执行后,xmanager即呼出spoon界面。但是界面关闭后,后台进程就停止了。需要将kettle重新包装,保证进程持续进行。

Ⅵ 部署篇01:搭建开源Pentaho Kettle 8.1团队开发环境开篇

为什么要写?
以前部署了好多次,未来也要部署好多次。工作其实很简单,这是不想把坑踩过又再踩一次,
本篇幅介绍以Pentaho 8.1 CE(社区版)为例,讲述部署过程。

同一个网段下,若干台Windows PC机安装Kettle。ktr和job利用Pentaho Server统一管理和调度(官方的推荐做法),社区版和商业版都一样,社区版部署过程稍微复杂一点,用法和商业版基本一致。

服务器:CentOS 7
PC机:Windows 7以上

服务器:jdk1.8 (.tar.gz)官网下Linux x64版本
PC机:jdk1.8 (.exe)官网下Windows x64版本

服务器:Pentaho Server 8.1
PC机:Pentaho data-integration(Kettle) 8.1

Ⅶ Kettle在linux环境的部署和使用

上一章讲了对Kettle的大致理解,各个组件的含义用处,以及Spoon的使用。这章就开始讲下Kettle在linux环境下的安装部署,和其中遇到的一些坑。

[root@test local]# chmod +x ./data-integration/*.sh

[root@test local]# yum install webkitgtk

上传你的ktr文件,然后运行pan.sh脚本即可

./data-integration/pan.sh -file=./xxx/test.ktr -level=Detailed

下面具体说明pan.sh的各个命令

首次接触学习的并不深入,如有错误请指出!

阅读全文

与kettlelinux部署相关的资料

热点内容
编程电缆如何重启 浏览:121
myqq命令行发消息 浏览:365
日产逍客怎么使用app升窗 浏览:503
安卓系统怎么快速删除微信内容 浏览:653
csharppython 浏览:409
程序员脖子按摩仪 浏览:560
小米桌面文件夹乱码怎么回事 浏览:858
点歌台app怎么连接 浏览:318
大学电脑编程学什么好 浏览:348
上哪里取消应用加密 浏览:172
电气控制与可编程控制器pdf 浏览:87
cad图纸不能跨文件夹粘贴 浏览:256
学生云服务器主机 浏览:889
单片机状态周期 浏览:622
lua中的android 浏览:443
加密贵还是植发贵 浏览:664
阳光压缩机继电器 浏览:971
修改阿里云服务器密码 浏览:817
lk4102加密芯片 浏览:588
怎么更改app店面 浏览:489