① etl工程师工作怎么样,是不是很枯燥,很苦逼
程序员的工作确实很枯燥,也很累,不过收入尚可……如果你不是天才级别的程序员,没有什么其他的出路
② etl工程师是做什么的工作内容是什么
etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。
工作内容:
见岗位职责:
1. 海量数据的ETL开发,抽取成各种数据需求。
2. 参与数据仓库架构的设计及开发 。
3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。
4、熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。
4、精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。
5、会数据etl开发工具,如Datastage,Congos,Kettle等。
③ 软件开发是不是就是程序员啊
软件开发有两条路:一条是技术路线,由程序员,经系统分析师、系统设计师、项目经理、产品经理,直到架构设计师为归宿。另一条是领导路线,由程序员,经开发小组负责人、工程负责人,奋斗到项目经理,而程序员只是软件开发行业中的底层
④ ETL工程师是做什么的
ETL工程师又叫数据库工程师。
ETL工程师的主要工作内容有:从事系统编程、数据库编程与设计。
ETL原本是作为构建数据仓库的一个环节,负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。因为以前经常是将业务系统的数据取出来放到数仓中,按照星型或雪花型建模。
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
⑤ 本人对ETL十分感兴趣,但是现在的工作跟这无关,最大的联系也就是SQL了,如果想转行做ETL要学习什么
首先,你会SQL就是学BI和ETL技术的基础,恭喜你!
就这个行业来说,一般分前台开发和后台报表两种(当然比较深入的还有数据挖掘,属于高级应用不适合初学者)。前台开发就是你想学的ETL(抽取,转换,装载)技术,它既可以用写程序的方式如:写SQL程序;也可以用工具如: Kettle(开源的), DataStage ,Informatica 等来实现。其实这些ETL工具本身也是对SQL语句的图形化而已,没什么很深的,不过除了KETTLE是开源的,后两者一般用户很难接触到,毕竟这些工具都是动辄几十万上百万的。前台报表开发如:cognos,biee等等,比较简单,对基础要求相对低点。国内专注这块的有:深圳的 融通学苑,北京的导成科技等。这样说不知能否帮到你!
⑥ java工程师与ETL工程师哪个前景好
两个工程师的发展方向不同,主要是侧重的方向不同:
etl工程师,主要技术发展方向侧重与数据库、或大批量数据处理方向,
今后可以向数据库开发工程师、数据库架构师、数据分析师等方面发展。
java工程师,主要侧重软件开发方向,就是程序编程,也可以逐步发展为高级程序员、系统架构师等。
但是发展不是绝对的,主要看个人的机会和发展环境,不能绝对的说哪个好,哪个不好。
⑦ 大数据这个行业里面的全部岗位都有什么_要全部的
细分的有20多个
大数据在全球范围内的IT就业市场占有越来越重要的影响。根据Gartner公司提供的数据,截至到2015年将有440万的IT工作来支持大数据,仅美国就会有190万的IT工作产生。看看我们列出的排名前20位的大数据职位及其职责列表。
首席数据官Chief DataOfficer
职责:
a. 与行政人员,数据所有者和数据管理员共同为内部和外部的客户创建数据管理策略并且实现数据的准确性和制定工作流程的需求目标。
b. 引导EIM程序,业务数据管理员和数据服务供应商提供数据管理活动。
c. 建立数据政策,标准,组织并且督促EIM概念的组织成立。
b. 监督组织内的数据质量工作的监管,并且为不能被数据治理委员会解决的数据管理问题提供几种治理。
e. 建立数据供应商管理策略,并通过CIO/CTO和IT组织的协调来监督完善EIM项目。
f. 领导创建程序的业务定义,数据管理目标和EIM计划执行的原则。
g. 负责企业的信息/数据管理预算和数据相关的系统活动。
数据分析师Data analyst
职责:
a. 协调客户和员工之间的关系,提供所有的数据分析和支持。
b. 对所有结果进行数据分析,并为客户准备演讲。
c. 对数据进行审核并且为客户解决业务相关的问题。
d. 与工程和产品管理团队进行协调,并确定所有交接的准确性,并准备好总结。
e. 进行数据分析并且传递给终端客户。
f. 监督所有的客户问题,并为经理和主管的协调和交接提供帮助。
g. 监督和管理所有和客户发票并且对所有的支付问题进行及时的评价。
h. 管理客户发票的所有数据,并提供公司的指标。
i. 监督并解决所有客户的发票数据问题,并和各供应商协调和管理所有以前的平衡合作关系。
j. 管理所有的数据消耗异常状态,确定数据的漏洞后准备相应的决议。
k. 监督流程管理工具,并确保遵守所有周期的指导方针。
l. 维护和管理发票文档库,并解决所有问题。
m. 执行内部设计和准备所有的发票,并确定更进流程的质量。
大数据观察员Big DataVisualizer
职责:
a. 通过可视化软件给商务提供价值增值分析来指导分析和借鉴分析带来的影响,综合成清晰的沟通。
b. 理解数据如何在不同的系统中运作来提供有关要求来确定正确的数据输入组织报告/分析。
c. 与数据质量团队之间紧密合作,以确保数据的完整性。
d. 发展业务需求为报告流程去推动功能规范化。
e. 在业务和跨职能团队的合作下,完整地记录报告流程和系统。
f. 收购,管理和文档的数据(包括地理空间数据)。
g. 与客户/客户服务团一起进行工作计划,并进行数据分析。
h. 参与提案撰写,客户交付成果和研究论文。
i. 对数据、GIS数据分析创建可视化从而列入建议书,报告,论文和多媒体项目数据。
大数据解决方案架构师Big DataSolutions Architect
职责:
a. 对Hadoop解决方案的整个生命周期进行引导,包括需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署。
b. 在一个团队中,设计并卡发开创性大规模集群的数据处理系统提供了技术和管理的领导。
c. 帮助Xtremeinsights客户指定战略,最大限度地发挥数据的价值。
d. 帮助Xtremeinsights在大数据空间通过促进白皮书,技术评论对社区建立思想领导。
大数据工程师Big DataEngineer
职责:
a. 收集和处理大规模的原始数据(包括脚本编写,网页获取,调用APIs,编写SQL查询等)。
b. 和我们的工程团队密切合作,并以惊人的创新和算法与我们的生产系统相结合。
c. 将非结构化数据处理成适合分析的一种形式,然后进行分析。
d. 根据所需要的和专案分析商业决策。
大数据研究员Big DataResearcher
职责:
a. 从多种关系数据库中提取数据,操作,使用定量,统计和可视化工具研究数据。
b. 告知适当的建模技术的选择,以确保使用严格的统计过程的测试模型进行开发。
c. 建立和维持有效的流程来验证并更新预测模型。
d. 分析,建模,预测卫生服务的利用模式/趋势和创造能力来为医疗保健服务模式模拟假设的情景。
e. 与内部业务,分析和数据战略合作伙伴共同合作,从而提高效率,为核心的软件产品增加预测模型的适用性
f. 帮助管理分析的创新性,形成的见解,主张整合新概念到现有的客户端工具中,帮助翻译即席分析到可扩展的软件解决方案。
数据仓库管理员Data warehousemanager
职责:
a. 指定并实施信息管理策略。
b. 协调和管理的信息管理解决方案
c. 多个项目的范围,计划和优先顺序安排
d. 管理仓库的各个方面,比如数据外包,移动,质量,设计和实施。
数据架构师Data architect
职责:
a. 通过采用最佳实践和工具,包括SOL,SSIS,SSRS和OLAP来设计数据库,数据模型,ETL过程,数据仓库应用和商业智能(BI)报告。
b. 根据现有的标准和准则来提供高品质(DA)的相关结果,包括ETL过程,数据仓库设计和数据系统的改进。
c. 通过提供对数据仓库的方法和途径的建议解决程序(DA)的相关问题与业务分析师和技术团队。
d. 分析(DA),相关业务需要,可与项目工作人员对(DA)的发展未来做出决定和建议。
数据库管理员Database manager
职责:
a. 提高数据库工具和服务的有效性。
b. 确保所有的数据符合法律规定。
c. 确保信息得到保护和备份。
d. 与工作团队做定期报告。
e. 监控数据库性能。
f. 改善使用的技术。
g. 建立新的数据库。
h. 检测数据录入程序。
i. 故障排除。
商业智能分析员Businessintelligence analyst
职责:
a. 就工具,报告或者元数据增强来进行传播信息。
b. 进行或协调测试,以确保情报的定义与需求相一致。
c. 使用商业智能工具来识别或监测现有和潜在的客户。
d. 综合目前的商业只能和趋势数据,来支持采取行动的建议。
e. 维护或更新的商业智能工具,数据库,仪表板,系统或方法。
f. 及时的管理用户流量的商业情报。
数据仓库分析员Data warehouseanalyst
职责:
a. 了解企业用户的需求信息,并将其传送到数据仓库团队的其他成员。
b. 指导并实施面试任务。
c. 指导并收集采访资料。
d. 协助DW数据分析师分析现有的报告并确定整合指标。
e. 指导数据库需求文件的准备。
f. 协助数据分析师测绘任务。
g. 分析现有的报告。
h. 引导业务指标的鉴定和文献。
i. 在合适的资源系统专家的指导下确定系统的记录。
j. 帮助识别潜在的数据来源,数据库。
k. 负责数据采集过程的试验和实施。
l. 担任ETL和前端程序员的顾问。
数据建模师Data modeler
职责:
a. 为标准命名约定和编码实践指定最佳的训练方案,以确保数据模型的一致性。
b. 推荐在新环境中的数据模型的重复使用机会。
c. 对数据库和SQL脚本执行的物理数据模型进行逆向工程。
d. 评估数据模型和物理数据库的差异和矛盾。
e. 验证业务数据对象的准确性和完整性。
f. 分析数据相关的系统的挑战,并提出相应的解决方案。
g. 根据公司标准制定标准的数据模型。
h. 对系统分析员,工程师,程序员和其他人在项目的限制和能力,性能要求和接口进行指导。
i. 审查修改现有软件,以提高效率和性能。
数据库开发员Databasedeveloper
职责:
a. 设计,开发和实施基于客户需求的数据库系统。
b. 优化数据库系统的性能效率。
c. 准备设计规范和功能单证的分配数据库的项目。
d. 对数据库系统进行空间管理和容量规划。
e. 建立数据库表和字典。
f. 参与数据库设计和架构,以支持应用程序开发项目。
g. 执行数据备份和档案上定期。
h. 测试数据库,并进行错误修正。
i. 及时解决数据库相关的问题。
j. 制定安全程序,以保护数据库免受未经授权的使用。
k. 评估现有的数据库,并提出改进建议的执行效率。
l. 开发用于数据库设计和开发活动的最佳实践。
门户网站管理员Portaladministrator
职责:
a. 制定所有门户网站的布局和维护网站的所有功能。
b. 监督所有页面内容,并提供给所有工作人员和外部组织的帮助。
c. 整合新的技术体系为门户和网络管理员的协调工作。
d. 维持对所有门户项目的现状,并协助解决新的和现有渠道的所有问题和自动化的所有进程。
e. 在所有配置进行测试和升级过程中,实现所有的目标,并保持对所有门户环境的新技术维护。
f. 确定网站的所有长期目标,并根据指引,建议改进所有内容。
g. 保持高效的门户网站的文档系统,并协助安装所有Web中心互动系统。
h. 分析所有系统的升级和应用程序,并确保遵守所有计划要求,设计了新的门户网站所有的解决方案,并协助解决所有的生产问题。
i. 监测和分析所有门户网站的系统指标,并保持最佳性能。
j. 与管理人员和社区成员协调落实各项业务活动,并确定所有的web服务器配置。
k. 管理和配置所有的门户应用程序。
l. 保留所有门户网站的市场和不断变化的行业知识。
m. 对全业务运营提供支持,并确保所有的利润优化。
数据库管理员Databaseadministrator
职责:
a. 选择合适的软件和硬件
b. 管理数据安全和隐私
c. 管理数据完整性
d. 数据备份
e. 数据库恢复
f. 优化数据库性能
g. 提高查询处理性能
首席数据分析师Chief DataAnalyst
职责:
a. 为一部分的基础整体研究程序员开发新的分析项目
b. 团队的其他成员来提供技术投入研究项目的发展。
c. 为分析员提供大型调查的收集,编制和分析。
d. 在适当的时候使用Excel,SPSS或者STATA和先进的技术进行统计分析。
e. 对政策专家,相关的投资方和学者进行基础的增长。
业务系统分析员Business SystemAnalyst
职责:
a. 确定通过研究业务职能业务目;收集信息;评估输出要求和格式。
b. 设计通过分析要求的新的计算机程序;构建工作流程图和示意图;研究系统的能力;书写规范。
c. 提高通过研究当下实践系统进行设计修改。
d. 通过识别问题来对控制提出建议,提高写作流程。
e. 通过定义项目里程碑,阶段和要素来形成项目团队,建立项目预算。
数据挖掘分析师Data mininganalyst
职责:
a. 对优先考虑的账户进行统计分析,从而最大限度的成功化。
b. 与主管或客户端沟通行动计划,并找出需要改进的地方。
c. 执行战略数据分析和研究,以支持业务需求。
d. 找准机会从而通过复杂的统计建模提高生产率。
e. 浏览数据来认准机会并提高业务成效。
f. 指定业务流程,目标和战略的理解,以提供分析和解释。
g. 通过内部讨论的理解,在适当情况下获得业务需求和必要的分析。
数据策略师Data strategist
职责:
a. 定义大数据战略,包括设计多阶段实施路线图。
b. 独立工作,或作为一个团队的一部分,设计和开发的大数据解决方案。
c. 异构数据的数据错误,探索和发现新的见解。
d. 知道分析,架构,设计以及数据仓库和商业只能解决方案的发展。
c. 指导年轻的团队成员。
f. 协助业务开发团队提供售前活动和招标书。
g. 帮助评估和计划项目。
业务数据分析师Business DataAnalyst
职责:
a. 与关键投资者的业务分析师和高级管理人员紧密合作,了解他们的经营策略和问题,确定研究需求,帮助设计实验,并根据结果提出建议。
b. 通过客户细分,从多个来源的定量和定性派生的发展和应用进行影响的决定。
c. 调整利益相关者和分析师对如何使用研究和分析的想法,以支持业务计划和战略的优先试图(分析路线图)。
d. 传动复杂的分析项目,需要分析或利益相关者从开始到结束之间的多团队协作。
e. 有效地管理多个在建设的项目,确保目标和时间获得满足。确定在短期和长期间的权衡和平衡所有投资者的需求。
f. 领导和参与业务讨论,提供意见,需要的时候进行一些变革。
g. 关键指标与解释器的讨论,推测并提出行动。
h. 与业务伙伴的投资者在制定和优先的业务问题上考虑短期和长期的潜在影响,解释结果,量化的机遇,并提出了一个观点合作数据的专家来执行分析操作。
i. 在企业领导的重视下积极主动地带来新的商机。
j. 知道分析师和股东对事物的知识和流程上,确保它们是可重复的,可持续的和可扩展的。
k. 在所有阶段上与多个项目组合作。
⑧ bi工程师,数据仓库工程师,etl工程师有什么区别
BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员,三种的主要区别如下:
一、工作内容不同
1、BI工程师:主要是报表开发,负责开发工作。
2、数据库工程师:主要负责业务数据库从设计、测试到部署交付的全生命周期管理。
3、ETL工程师:从事系统编程、数据库编程与设计。
二、要求不同
1、BI工程师:要有一定的数据库经验,掌握SQL查询优化方法,精通Oracle、SQLServer、MySQL等主流数据库的应用设计、性能调优及存储过程的开发。
2、数据库工程师:理解数据备份/恢复与灾难恢复;工具集的使用。
3、ETL工程师:要掌握各百种常用的编程语言。
三、特点不同
1、BI工程师:熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。
2、数据库工程师:凡是关系到数据库质量、效率、成本、安全等方面的工作,及涉及到的技术、组件,都在数据库工程师的技术范畴里。
3、ETL工程师:海量数据的ETL开发,抽取成各种数据需求。
⑨ ETL工程师是做什么的
ETL工程师又叫数据库工程师。
ETL工程师的主要工作内容有:从事系统编程、数据库编程与设计。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。
所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
职业前景
从业务角度讲,随着数据应用的日益丰富,不同平台、系统的相互大批量数据交互成常态,仅仅满足于采集数据已经不适应业务需要,还需要能够为数据的目的端落地提供支撑,ETL工程师需要一个端到端的更适应业务需要的数据交换系统。
从技术角度讲,ETL做一定的扩展可以升级为兼具交换能力,两者有传承,可以实现平滑过渡,但交换却要考虑用另一个工具实现,同时未来大数据平台组件将异常丰富,相互之间的数据交换将是常态,必要要有更高级别的交换工具满足这些需求。