pythonetl程序

A. python怎么做数据分析

无论是自学还是怎么的，记住自己学习Python的目标——从事数据科学，而非Python软件开发。所以，Python入门的方向，应该是掌握Python所有的相关概念、基础知识，为后续Python库的学习打基础。

需要掌握的数据分析基本库有

Numpy

Numpy是Python科学计算的基础包。

Pandas

它提供了复杂精细的索引功能，能更加便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作。因为数据操作、准备、清洗是数据分析最重要的技能，所以Pandas也是学习的重点。

Matplotlib

Matplotlib是最流行的用于绘制图表和其它二维数据可视化的Python库，它非常适合创建出版物上用的图表。

Scikit-learn

Scikit-learn是Python的通用机器学习工具包。它的子模块包括分类、回归、聚类、降维、选型、预处理，对于Python成为高效数据科学编程语言起到了关键作用。

只需要学习Python入门的知识以及4个数据分析相关的库，就能上手使用Python进行数据分析了。另外如果需要获取外部网站数据的话，还需要学习爬虫。

B. 数据分析员用python做数据分析是怎么回事，需要用到python中的那些内容，具体是怎么操作的

大数据！大数据！其实是离不开数据二字，但是总体来讲，自己之前对数据的认知是不太够的，更多是在关注技术的提升上。换句话讲，自己是在做技术，这些技术处理的是数据，而不能算是自己是在做数据的。大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。

与数据分析相关的Python库很多，比如Numpy、pandas、matplotlib、scipy等，数据分析的操作包括数据的导入和导出、数据筛选、数据描述、数据处理、统计分析、可视化等等。接下来我们看一下如何利用Python完成数据的分析。
生成数据表
常见的生成方法有两种，第一种是导入外部数据，第二种是直接写入数据，Python支持从多种类型的数据导入。在开始使用Python进行数据导入前需要先导入pandas库，为了方便起见，我们也同时导入Numpy库。代码是最简模式，里面有很多可选参数设置，例如列名称、索引列、数据格式等等。
检查数据表
Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用info函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Isnull是Python中检验空值的函数，你可以对整个数据表进行检查，也可以单独对某一列进行空值检查，返回的结果是逻辑值，包含空值返回True，不包含则返回False。使用unique函数查看唯一值，使用Values函数用来查看数据表中的数值。
数据表清洗
Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_plicates函数删除重复值，replace函数实现数据替换。
数据预处理
数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。
数据提取
主要是使用三个函数：loc、iloc和ix，其中loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提起数据以外，还可以按具体的条件进行数据，比如使用loc和isin两个函数配合使用，按指定条件对数据进行提取。
数据筛选汇总
Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和 count函数还能实现excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。groupby是进行分类汇总的函数，使用方法很简单，制定要分组的列名称就可以，也可以同时制定多个列名称，groupby 按列名称出现的顺序进行分组。

C. 有用Python写ETL的吗

1.目前没见过吧，但应该有，可以在github上搜一下
2.目前见过最多的etl是java的，如果提供接口的，也可以用python封装调用

D. 为什么要用etl工具自己手动写脚本然后运行不是也可以么

成品ETL工具与手工写脚本之比较：
一、灵活性来讲：ETL工具比较灵活，需要在此平台上设置规则定义，前期是需要工具先前必须已有支持功能，如果需要扩展，要ETL工具源厂商开发。而自己写脚本只需先前好好调研需求，自己写能实现的功能即可。俗话说得好“求人不如求己”哈哈哈！

二、难易度：ETL工具相对上手比较容易，工程师只需具备两个必要条件：1 、对数据库熟悉 2、对客户的业务逻辑了解。手动写脚本呢？不仅要具备操作ETL工具的条件，还要必须有一定技术水平。

三、后期管理与维护：ETL工具非常容易，这点上是用工具的最给力的优势。可能也是ETL工具诞生的缘由吧！原因：人力少不说，如有新的需求，只需稍加改动，图形配置定义即可。而手工编码呢？较难。需要重又开发写程序，随着数据信息的日积月累，每日数据的递增，更新。开发的速度赶不上需求的更新，严重到先前开发架构不合理甚至于有可能推倒重来的风险。如果取中间，既有图形配置有兼具脚本开发功能，有款中国的Beeload/ BeeDI

四、性能和效率：这方面取决于多方面如：1、硬件：服务器 CPU 内存 2、数据库类型 数据类型 3、网络状况 4 、ETL 工具的配置 设计。。。。。整体来说 工具属于较高范畴，各家成熟ETL 不一致、各有千秋。手工写脚本就要看编程者的水平啦！因人而异，如果直接在数据库上写存储过兴许比任何一家成品工具高得多。在性能上，工具当属老美的informatica IBM 的DS

五、开发周期：工具只需操作上源厂商负责培训，再把客户目前需求了解透彻，周期很短，上线见效快。手工编码不仅需要把客户（当前）需求了解透彻，未来需求也要有所预测，再进行开发。这样周期就不得而知了。

六、工作量：从上述些显然保守点得出：ETL工具属中等，手工编码属较重。写好程序还需大量测试工具，不断修正BUG 与完善。成熟工具已把这些工具先前做过了，即使有，也是可以容忍个别，源厂商可以分担修正。

七、投入成本价格：ETL工具前期成本投入较多,钞票先付。后期维护成本相对低。编写脚本，先期投入人力（工程师的工薪）中期大量测试人力，后期维护人力（工程师的工薪）看似相对较低。貌似不要票子的开源滴ETL工具 Kettle，后期才付费（服务费与培训费）

总之不管是用工具还是自己写脚本，要全盘考虑，根据各自项目大小，成本，愿意付出哪部分，适合的才是最佳滴！

E. 利用python实现数据分析

链接：

炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。

课程目录：

Python基础

Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符

了解Python流程控制——条件、循环语句与其他语句

常用函数——函数的定义与使用方法、主要内置函数的介绍

.....

F. python数据分析需要学习哪些内容

1.统计基础
理工科的学生在本科阶段学习过概率论与数理统计，单从做数据分析的角度已经够用。其他方面，可以根据需要查看相关书籍，随时进行查漏补缺即可。个人推荐《深入浅出统计学》，可以让统计理论的学习有趣又自然。
2.数据库知识
关系型数据库很重要。在学习数据分析的初期甚至很长一段时间，你接触到的数据都存储在关系型数据库中，需要学习SQL语言进行数据查询。关于SQL语言，强力推荐《SQL必知必会》，整本书通俗易懂，是学习SQL语言的不二之选。
学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通，比如：SQL中对data进行group by的操作，这个在Excel里类似于透视表，在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程，你会接触到分布式数据库和所对应的no-SQL语句。
3.编程能力
Excel。 透视表(Pivot Table)是做数据分析的必备技能。透视表可以帮你迅速汇总数据，看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶，Excel自带的函数、各种插件，以及VBA也是很好的工具。

G. python可以做数据分析，好处是什么呢怎么学习

链接：https://pan..com/s/1FJZAznKSbwv-X52AM7uSfg

炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。

课程目录：

Python基础

Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符

了解Python流程控制——条件、循环语句与其他语句

常用函数——函数的定义与使用方法、主要内置函数的介绍

.....

H. Python 数据分析与数据挖掘是啥

python数据挖掘（data mining，简称DM），是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。数据分析通常是直接从数据库取出已有信息，进行一些统计、可视化、文字结论等，最后可能生成一份研究报告性质的东西，以此来辅助决策。数据挖掘不是简单的认为推测就可以，它往往需要针对大量数据，进行大规模运算，才能得到一些统计学规律。

这里可以使用CDA一站式数据分析平台，融合了数据源适配、ETL数据处理、数据建模、数据分析、数据填报、工作流、门户、移动应用等核心功能。其中数据分析模块支持报表分析、敏捷看板、即席报告、幻灯片、酷屏、数据填报、数据挖掘等多种分析手段对数据进行分析、展现、应用。帮助企业发现潜在的信息，挖掘数据的潜在价值。

如果你对于Python学数据挖掘感兴趣的话，推荐CDA数据分析师的课程。课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。真正理解商业思维，项目思维，能够遇到问题解决问题；要求学生在使用算法解决微观根因分析、预测分析的问题上，根据业务场景来综合判断，洞察数据规律，使用正确的数据清洗与特征工程方法，综合使用统计分析方法、统计模型、运筹学、机器学习、文本挖掘算法，而非单一的机器学习算法。点击预约免费试听课。

I. 用Python做数据分析有哪些好的教材或者教程

链接：https://pan..com/s/1FJZAznKSbwv-X52AM7uSfg

炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。

课程目录：

Python基础

Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符

了解Python流程控制——条件、循环语句与其他语句

常用函数——函数的定义与使用方法、主要内置函数的介绍

.....

J. 大数据用什么语言开发

目前全世界的开发人员，编码人员和软件工程师都使用许多编程语言。根据一项调查，计算机语言的总数总计达9000种。但是，如今，其中只有50种编程语言是首选。

编程语言会根据大数据和AI等行业而有所不同。科技市场由大数据主导，因此，如果作为大数据专业人士，必须学习最重要的编程语言。

大数据中最喜欢的编程语言：

Python

Python在全球拥有500万用户，目前被其视为开发人员最常用的编程语言之一。让我们感受到Python是未来流行编程的是，世界上一些成功的公司选择Python编程语言进行产品开发，比如：NASA，Google，Instagram，Spotify，Uber，Netflix，Dropbox，Reddit和Pinterest，而且初学者和专业人员都认为Python是一种功能强大的语言。

Python由Guido van Rossum于1991年开发，Python成为程序员第一个学习入门级编程语言。

Python最适合针对大数据职业的技术专业人员，将在数据分析，Web应用程序或统计代码与生产数据库集成一起时，Python成为了最佳选择。此外，它还具有强大的库软件包作为后盾，可帮助满足大数据和分析需求，使其成为大数据爱好者的首选。Pandas，NumPy，SciPy，Matplotlib，Theano，SymPy，Scikit学习是大数据中最常用的一些库。

R

R编程语言为数据表示提供了多种图形功能，例如条形图，饼图，时间序列，点图，3D表面，图像图，地图，散点图等。借助R语言，可以轻松地自定义图形并开发新鲜个性的图形。

R语言由Ross Ihaka和Robert Gentleman编写；但是，它现在是由R开发核心团队开发的。它是一种可编程语言，有助于有效地存储和处理数据。R不是数据库，而是一种可以轻松连接到数据库管理系统（DBMS）的语言。R可以轻松连接到excel和MS Office，但它本身不提供任何电子表格数据视图。编程语言是数据分析的理想选择，它有助于访问分析结果的所有领域，并与分析方法结合使用，从而得出对公司重要的肯定结论。

Scala

Scala是金融行业主要使用的一种开源高级编程语言。Scala特点是可确保其在大数据可用性方面的重要性。

Apache Spark是用于大数据应用程序的集群计算框架，是用Scala编写的。大数据专业人员需要在Scala中具有深入的知识和动手经验。

Java

Java进入技术行业已有一段时间了，自Java诞生以来，它就以其在数据科学技术中的多功能性而闻名。值得注意的是，用于处理和存储大数据应用程序的开源框架Hadoop HDFS已完全用Java编写。Java被广泛用于构建各种ETL应用程序，例如Apache，Apache Kafka和Apache Camel等，这些应用程序用于运行数据提取，数据转换以及在大数据环境中的加载。

收入最高的编程语言

根据Stack Overflow的调查，Scala，Go和Objective-C是目前丰厚报酬的编程语言。

• Scala– 150,000美元

• java– 120,000美元

• Python– 120,000

• R – 109,000美元

Twitter，Airbnb，Verizon和Apple等公司都使用Scala。因此，使其成为收入最高的编程语言是完全有符合现实的。

今天有超过250种编程语言，尽管有多种语言可供选择，但多数开发者认为Python仍然是赢家，拥有70,000多个库和820万用户。除了Python，你还需要不断提高自己的技能并学习新的编程语言，以保持与行业的联系。