① DataStage作业的调度一般采用什么工具
目前市面上有不少的ETL调度工具,包括control-m、taskctl、moia、ETL-PLUS、WFT、IBM自带调度工具。这里面性能最强
的是control-m,界面更易操作的是taskctl,当然taskctl,moia,etl-plus也都有各自的特点,符合国内客户使用习惯。
IBM自带的调度工具虽然免费,但不易使用和维护,很少有客户采用。目前从客户的反馈来看,特大型客户更愿意选择control-m,未来国产调度工具要
想性能、效率、稳定性、大作业数、大并发数上得到突破,还需要加强内修,从代码编程上多练功夫。
在我工作中对Datastage作业调度,最开始选用工具 为Moia ,之后有改为Control-M 。简单来说前者配置相对简单,但是对于作业之间依赖关系并没有集成图形化界面。这点Control-M 实现了。
② datastage作业如何在linux窗口内调起
1. 数据源连接能力
2. 完备的开发环境
3. ETL Job 的并行执行能力
4. 开发一个简单的 ETL Job
③ 谁有datastage导出导入作业的参数详解
1、导出
例子如下:
$DSHOME/../../Clients/istools/cli/istool export -dom dpapp01 -u edpusr -p edpusr -ar /home/dsadm/LOD_COBS_SVRHA1.isx -ds '-incexec "dpapp01/BRCB_EDP2/Jobs/FS2/COBS/LOD_COBS_SVRHA.pjb"'
详细说明:
【$DSHOME/../../Clients/istools/cli/istool】:istool命令行程序
【export】:指定istool执行导出动作
【-dom】:连接服务器,可使用hostname或者详细IP,例如dpapp01或者193.168.1.1:9080
【-u】:用户
【-p】:密码
【-ar】:导出文件存放全路径(注意需要有写权限)
【-ds】:导出的内容,详细如下:
【-incexec】:指定导出的作业包括可执行文件
【"dpapp01/BRCB_EDP2/Jobs/FS2/COBS/LOD_COBS_SVRHA.pjb"】里各项说明:
dpapp01为hostname
BRCB_EDP2:实际工程名
Jobs/FS2/COBS/:作业所在路径
LOD_COBS_SVRHA.pjb:作业名加后缀,其中并行作业为pjb,服务器作业未sjb
2、导入:
例子如下:
$DSHOME/../../Clients/istools/cli/istool import -dom dpapp01 -u edpusr -p edpusr -ar /home/dsadm/LOD_COBS_SVRHA.isx -ds '"dpapp01/BRCB_EDP"'
详细说明:
【$DSHOME/../../Clients/istools/cli/istool】:istool命令行程序
【import】:指定istool执行导入动作
【-dom】:连接服务器,可使用hostname或者详细IP,例如dpapp01或者192.168.1.1:9080
【-u】:用户
【-p】:密码
【-ar】:导出文件存放全路径(注意需要有写权限)
【-ds】:导入的内容,填写为 hostname/工程名
【-replace】:若要覆盖已有作业,需带上此参数。执行前需备份已有作业。
④ datastage作业运行失败,应该如何处理
看样子应该是作业的rt_log文件被锁了。
Datastage环境中存在一种锁的概念,是datastage特定进程对特定文件专属访问的权限,这些特定文件一般是“RT_”开头的,被锁的文件或记录,除了专属的进程外,其它进程就无法访问。
Datastage的锁根据专属访问范围,分为组锁和记录锁。
正常情况下,datastage客户端连接服务器就会产生锁,作业在编译或者运行时也产生锁,作业运行时进行数据所处理的数据文件、临时文件也会产生锁,这些锁是用来保证datastage的连接、运行、逻辑处理能正常完成。
如果datastage运行过程发生连接异常中断、运行异常终止、逻辑处理异常停止,以及其它一些不可知的错误,导致datastage进程意外终止,但锁却还是保留在文件或记录里,则下次作业下次运行时,就很可能发生运行出错了,因为无法获得运行所需要的专属访问。
处理的方法是解锁。
使用命令:
LIST.READU EVERY
展示活动记录锁列表,把找到的锁记录行的Inode号和Userno号记录下来,使用命令:
UNLOCK INODE 628354USER 61296 ALL
进行解锁。
这些命令是在uvsh交互环境中执行的。
⑤ DataStage作业执行报错
你看下,DS配置的字段类型和数据库的字段类型是否一致,还有报其他错误或警告?
⑥ datastage或AIX强制删除落地文件的指令
试试rm -dlf 1*,就是删除所有含1名称的文件,f好像是强制的参数
⑦ datastage作业一直处于运行中是什么原因呢,在director里面看一直是running
1、检查该表的数据量
对于数据大表,数据交换通常需要消耗比较长的时间,并且随着数据量的增加,所需要的时间会增加很多。解决方法是分时间段逐步增量完成数据交换或加载。
2、检查datastage服务器系统资源是否不足
使用topas命令查看系统临时空间、内存、CPU等硬件资源是否被占用很高比例,如果是则从操作系统级别上先释放系统资源。
3、检查目标表是否存在死锁。
需检查目标表是否存在死锁,如存在死锁问题杀死锁表进程,再次执行作业。
希望回答能够帮到你解决问题。
⑧ 怎么用命令行导入DataStage的job文件
job是datastage一个可执行进程,主要有server job、parallel job和sequence job三种类型。 server job是运行在datastage服务器的进程,主要用于定义元数据、数据流程、数据结构等,是一种全局定义,不用于处理大数据量的逻辑,一些服务器监控、...
⑨ datastage可以专门运行一个脚本吗需要每天定时运行的。
可以,这需要在序列作业里面实现。
新建一个序列作业,在pallete面板里面找到 Execute Command Stage ,双击该stage,在“执行命令”标签里面,在“命令”框输入要执行的脚本,在“参数”框输入这个脚本的参数。