python大数据可以用吗

⑴ python可以做大数据吗

Python是数据科学家十分喜爱的编程语言，其内置了很多由C语言编写的库，操作起来更加方便，Python在网络爬虫的传统应用领域，在大数据的抓取方面具有先天优势，目前，最流行的爬虫框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能够独当一面的Python类库。

相关推荐：《Python基础教程》

Python十分适合数据抓取工作，对于大数据的处理，具有一定的局限性：

Python在大数据处理方面的优势：

1. 异常快捷的开发速度，代码量少；

2. 丰富的数据处理包，使用十分方便；

3. 内部类型使用成本低；

4. 百万级别数据可以采用Python处理。

Python在大数据处理方面的劣势：

1. python线程有gil，多线程的时候只能在一个核上跑，浪费了多核服务器；

2. python执行效率不高，在处理大数据的时候，效率不高；

3. 10亿级别以上的数据Python效率低。

Python适合大数据的抓取、载入和分发，相比于其他语言更加简单、高效；求一些常用的统计量和求一些基本算法的结果，Python也有现成的高效的库，但是针对大数据处理，Python具有一定的局限于，因此，涉及大数据处理时，可以用Python做整个流程的框架，核心CPU密集操作可以采用C语言等编程语言！

⑵ 大数据专业需要学习python吗

不管是什么专业，学习一门编程语言并不是件坏事，正所谓技多不压身，而且Python语言是现在的热门面向对象语言，搞大数据，以数据为核心，进行数据推理分析，如果你懂编程，通过设计数据获取、分析等简单软件，还能解决以后未来你工作中的问题，甚至还有可能在未来，因为你开发的软件提升了工作效率获得了领导的青睐，你有了升职加薪的机会，你觉得不香吗？
Python语言现在是各大语言排行榜上排名第一名的语言，可以说和Java是并驾齐驱的，具有简单易学，容易上手等特点。学会接受并挑战它，当你会而别人不会时，那你的优势就非常明显了。

⑶ 学大数据必须要会python吗

应当要的
大数据分两个方向，一个是开发，一个是分析
开发主要就是大数据组件的二次开发，主要使用Java，这类岗位以开发为主，但也会需要使用一点分析手段
分析岗位则以SQL和Python为主，SQL应用在hive上，可能需要写自定义计算逻辑，这时候可能就用到Python。 另外一个是纯数据分析 也是Python为主，因为Python的科学计算生态非常强大，
如果不会Python，那么你的分析手段会受限，Python不难学，建议学起来，而且用途越来越广，还是应该早点入门

⑷ Python 适合大数据量的处理吗

需要澄清两点之后才可以比较全面的看这个问题：
1. 百万行级不算大数据量，以目前的互联网应用来看，大数据量的起点是10亿条以上。
2. 处理的具体含义，如果是数据载入和分发，用python是很高效的；如果是求一些常用的统计量和求一些基本算法的结果，python也有现成的高效的库，C实现的和并行化的；如果是纯粹自己写的算法，没有任何其他可借鉴的，什么库也用不上，用纯python写是自讨苦吃。
python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。

⑸ Python适合大数据量的处理吗

python可以处理大数据，但是python处理大数据不一定是最优的选择

公司中，很大量的数据处理工作工作是不需要面对非常大的数据的

⑹ PYTHON是大数据吗

不是，Python不是大数据，Python是一门计算机编程语言，可用于数据分析、数据处理等领域。