手工收集可以用python吗

1. python学了有用吗

普通人学Python有用吗？学Python有没有用因人而异，有些人纯粹是兴趣爱好想了解一下，另一些在工作中涉及到数据分析统计，学会Python可以大大提高工作效率，剩下的就是程序员了，靠技术吃饭的人，多掌握一门编程语言对于日后的升值加薪有大的增益。

普通人学Python有用吗

都说学一门编程语言对工作学习帮助都很大，但是非IT行业人员有必要学习Python吗？这门语言在人工智能领域比较火，有些人也是前沿技术比较感兴趣，但是就是不知道学习了Python可以做什么？有什么帮助？有些人学习使用的话可以开发哪些软件或者学这个转行IT领域怎么样？有没有这个必要？基于对人工智能、编程感兴趣，所以提出了一系列的问题。

Python是一种很高效的工具，通过它能自己编程，完成数据收集，还可以批量化自动操作简单任务，代替枯燥的手工操作，另外还能通过学习它，了解计算机的编程思维。

非码农有没有必要学习一门编程语言？如果前者的答案是有必要那么是否要选Python？对于第一个问题，有人认为有一定必要，非码农学习一门编程语言的投产比不算太低。盘点一下收益的话，最起码可以对自己思维的重新梳理，编程对逻辑思维和抽象思维的要求比较高，想学好编程需要一定程度上让自己具备这两种思维习惯，当然学习数学也可以锻炼，但是私以为数学更难掌握一门手艺。

技不压身一定程度上提升现有工作的效率，有不少行业里面有些地方是可以靠写代码自动化解决一些小问题的，收益还不错，比如一些枯燥的重复的Excel表格处理，如果选择学习一门编程语言，Python即使不是最优选择也是Top3之内了。无论语言的入门难度、应用场景还是未来发展，Python都还算不错。

如果不选Python，还有一个选择就是javascript+nodejs了。非科班出身学习一门编程语言，不要有太高的直接变现的预期，因为以互联网为代表的IT行业从业人员已经趋于饱和，当然高端市场还是紧缺的，如果有信心自学进入高端市场也可以，只是难度很大。至于人工智能，这个还是科学前沿，真想学的话建议先把编程入门再考虑。

其实Python已经融入到我们的生活和学习中来了，Python将纳入浙江省高考！从 2018 年起浙江省信息技术教材编程语言将会更换为 Python；Python纳入山东省的小学教材课程，小学生都开始接触 Python 语言

2. python爬虫可以做什么

1、收集数据
Python爬虫程序可用于收集数据，这是最直接和最常用的方法。由于爬虫程序是一个程序，程序运行得非常快，不会因为重复的事情而感到疲倦，因此使用爬虫程序获取大量数据变得非常简单、快速。
2、数据储存
Python爬虫可以将从各个网站收集的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。注意：搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到访问权限很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。
3、网页预处理
Python爬虫可以将爬虫抓取回来的页面，进行各种步骤的预处理。比如提取文字、中文分词、消除噪音、索引处理、特殊文字处理等。
4、提供检索服务、网站排名
Python爬虫在对信息进行组织和处理之后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。同时可以根据页面的PageRank
值来进行网站排名，这样Rank值高的网站在搜索结果中会排名较前，当然也可以直接使用Money购买搜索引擎网站排名。
5、科学研究
在线人类行为、在线社群演化、人类动力学研究、计量社会学、复杂网络、数据挖掘等领域的实证研究都需要大量数据，Python爬虫是收集相关数据的利器。

3. python可以用来处理图像吗

可以的，
PythonWare公司提供了免费的Python图像处理工具包PIL(Python Image Library),该软件包提供了基本的图像处理功能，如：

改变图像大小，旋转图像，图像格式转换，色场空间转换，图像增强，直方图处理，插值和滤波等等。虽然在这个软件包上要实现类似MATLAB中的复杂的图像处理算法并不太适合，但是Python的快速开发能力以及面向对象等等诸多特点使得它非常适合用来进行原型开发。

在PIL中，任何一副图像都是用一个Image对象表示，而这个类由和它同名的模块导出，因此，最简单的形式是这样的：

import Image img = Image.open(“dip.jpg”)
注意：第一行的Image是模块名；第二行的img是一个Image对象；
Image类是在Image模块中定义的。关于Image模块和Image类，切记不要混淆了。现在，我们就可以对img进行各种操作了，所有对img的
操作最终都会反映到到dip.img图像上。

PIL提供了丰富的功能模块：Image,ImageDraw,ImageEnhance,ImageFile等等。最常用到的模块是
Image,ImageDraw,ImageEnhance这三个模块。下面我对此分别做一介绍。关于其它模块的使用请参见说明文档.有关PIL软件包和
相关的说明文档可在PythonWare的站点www.Pythonware.com上获得。

Image模块：

Image模块是PIL最基本的模块，其中导出了Image类，一个Image类实例对象就对应了一副图像。同时，Image模块还提供了很多有用的函数。

（1）打开一文件：
import Image img = Image.open(“dip.jpg”)

这将返回一个Image类实例对象，后面的所有的操作都是在img上完成的。

（2）调整文件大小:

import Image img = Image.open("img.jpg") new_img = img.resize
((128,128),Image.BILINEAR) new_img.save("new_img.jpg")

原来的图像大小是256x256,现在，保存的new_img.jpg的大小是128x128。

就是这么简单，需要说明的是Image.BILINEAR指定采用双线性法对像素点插值。

在批处理或者简单的Python图像处理任务中，采用Python和PIL（Python Image Library）的组合来完成图像处理任务是一个很不错的选择。设想有一个需要对某个文件夹下的所有图像将对比度提高2倍的任务。用Python来做将是十分简单的。当然，我也不得不承认Python在图像处理方面的功能还比较弱，显然还不适合用来进行滤波、特征提取等等一些更为复杂的应用。我个人的观点是，当你要实现这些“高级”的算法的时候，好吧，把它交给MATLAB去完成。但是，如果你面对的只是一个通常的不要求很复杂算法的图像处理任务，那么，Python图像处理应该才是你的最佳搭档。

4. 怎么批量下载数据，如图。能批量下载一页的数据10个，如果手工操作要50次。用Python可以快速实现吗

用按键精灵吧，按键精灵简单

5. 哪些情况下使用Python编程

不需要说“我想做一个回归分析”，和坐下来花半个小时搞清楚什么地方开始SQL查询，Python库可以运行分析，查看结果。在Python中，灵感和行动之间没有太大的滞后。

例如，如果我真的知道需要显示数据集的分位数，我就会编写上面的查询。因为整个事情可以通过下面的一行Python代码来完成，所以我会在分析过程中更早地完成这项工作，并且可能会发现一些我并不想要的结果。

考虑Python和SQL之间区别的另一种方法是，Python允许你从一个大表开始，从这个大表开始，可以在不同的分支上进行不同的分析。一条灵感之路可以把你带到另一条路，分析的速度和灵活性使得许多探索路径变得容易。

关于哪些情况下使用Python，青藤小编就和您分享到这里了。如果您对python编程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于python编程的技巧及素材等内容，可以点击本站的其他文章进行学习。

6. 如何用Python做数据准备

这篇的内容是一系列针对在Python中从零开始运用机器学习能力工作流的辅导第一部分，覆盖了从小组开始的算法编程和其他相关工具。最终会成为一套手工制成的机器语言工作包。这次的内容会首先从数据准备开始。

—— 来自Matthew Mayo, KDnuggets

似乎大家对机器学习能力的认知总是简单到把一系列论据传送到越来越多的数据库和应用程序界面中，接着就期待能有一些神奇的结果出现。可能你对在这些数据库里究竟发生了什么有自己很好的理解—— 从数据准备到建模到结果演示呈现等等，但不得不说你依然需要依赖于这些纷繁的工具去完成自己的工作。

我们的代码正在按我们希望的方式工作，让我们做一些简单的房屋清理工作。一旦开始滚动，我们将为我们的编码提供一个更全面的组织结构，但是现在我们需要把所有这些功能加到一个单独的文件中，并保存成为dataset.py的格式。这会让我们以后的使用更方便，下次我们会学到。

未来计划

之后我们会学习简单的分类算法，k最近邻算法。我们会学习如何在简单的工作流中构建分类和聚类模型。毫无疑问，这需要编写一些限额外的工具来帮助我们完成项目，并且我确定我们还将对已经做完的部分进行修改。

练习机器学习就是理解机器学习的最好方法。运用我们的工作流中需要的算法和支持工具最终会被证明是有用的。

7. python可以用来干嘛

·Web应用开发
Python常被用于Web开发，随着Python的Web开发框架逐渐成熟，如Django、flask等等，开发者们可以更轻松地开发和管理复杂的Web程序。通过mod_wsgi模块，Apache可以运行Python编写的Web程序，举个最直观的例子，全球最大的搜索引擎
Google，在其网络搜索系统中就广泛使用 Python 语言。另外，我们经常访问的集电影、读书、音乐于一体的豆瓣网(如图 1 所示)，也是使用 Python
实现的。不仅如此，全球最大的视频网站 Youtube 以及 Dropbox(一款网络文件同步工具)也都是用 Python 开发的。
·自动化运维
Python 是标准的系统组件，可以在终端下直接运行 Python。有一些 Linux 发行版的安装器使用 Python 语言编写，例如 Ubuntu 的
Ubiquity 安装器、Red Hat Linux 和 Fedora 的 Anaconda 安装器等等。另外，Python
标准库中包含了多个可用来调用操作系统功能的库。例如，通过 pywin32 这个软件包，我们能访问 Windows 的 COM 服务以及其他 Windows
API;使用 IronPython，我们能够直接调用 .Net Framework。
·人工智能领域
人工智能是现如今非常火的一个方向， Python
在人工智能领域内的机器学习、神经网络、深度学习等方面，都是主流的编程语言。可以这么说，基于大数据分析和深度学习发展而来的人工智能，其本质上已经无法离开
Python 的支持了。
·网络爬虫
Python语言很早就用来编写网络爬虫。Google 等搜索引擎公司大量地使用 Python 语言编写网络爬虫。从技术层面上将，Python
提供有很多服务于编写网络爬虫的工具，例如 urllib、Selenium 和 BeautifulSoup 等，还提供了一个网络爬虫框架 Scrapy。
·游戏开发
很多游戏都是使用C++编写图形显示等高性能的模块，使用Python或Lua编写游戏的逻辑，相比Python，Lua的功能更简单，体积也更小，但Python支持更多的特性和数据类型。除此之外，Python
可以直接调用 Open GL 实现 3D 绘制，这是高性能游戏引擎的技术基础。事实上，有很多 Python 语言实现的游戏引擎，例如 Pygame、Pyglet
以及 Cocos 2d 等。

8. python网络数据采集 用python写网络爬虫 哪个好

写python爬虫2年多了，主要用的scrapy。关于python3，还没有开始学；在这方面，我算是传统的。一直在思考什么时候转python3。我主要关注的是我常用的python库是否支持，一旦支持，就立刻转python3.从最早的django、MySQLdb、PIL（Pillow）不支持，但现在这三者都支持了。所以在做web项目的时候是可以直接用python3了。所以现在的计划是今年下半年转python3。

说回爬虫。scrapy确实使用者众，可惜还不支持python3。所以现在的爬虫项目还是用python2.7。现在用着非常顺手。我的思路是，用django开发业务逻辑，根据业务逻辑建立的model，用scrapy抓取。是的，我的项目将django和scrapy代码放在一个repo了。也可以分开。另外，scrapy的调度使用的是celery，所有爬虫的调度时间和频率都是用celery控制的。django、scrapy、celery是我做开发的三大法器。

如果你不想使用scrapy等框架，像上面的回答一样，用一些请求库和解析库也能搭建出来。但我倾向于用django、celery、scrapy搭建通用的抓取系统。简单说，用django建立模型，scrapy做一些常用爬虫，规则定义模块；celery制定调度策略，可以非常快地建立一套系统。

9. 为什么人工智能用Python

这属于一种误解，人工智能的核心算法是完全依赖于C/C++的，因为是计算密集型，需要非常精细的优化，还需要GPU、专用硬件之类的接口，这些都只有C/C++能做到。所以某种意义上其实C/C++才是人工智能领域最重要的语言。
Python是这些库的API binding，使用Python是因为CPython的胶水语言特性，要开发一个其他语言到C/C++的跨语言接口，Python是最容易的，比其他语言的ffi门槛要低不少，尤其是使用Cython的时候。其他语言的ffi许多都只能导入C的函数入口点，复杂的数据结构大多只能手工用byte数组拼起来，如果还需要回调函数输入那就无计可施了。而CPython的C API是双向融合的，可以直接对外暴露封装过的Python对象，还可以允许用户通过继承这些自定义对象来引入新特性，甚至可以从C代码当中再调用Python的函数（当然，也有一定的条件限制）。不过这也是PyPy这样的JIT解释器的一个障碍。
而且Python历史上也一直都是科学计算和数据分析的重要工具，有numpy这样的底子，因为行业近似所以选择API binding语言的时候会首选Python，同时复用numpy这样的基础库既减少了开发工作量，也方便从业人员上手。

10. Python可以应用在哪些领域

Python语言通俗易懂、简单易学、容易上手，而且具有丰富的第三方库，是非常不错的选择，应用领域也是非常广泛的，比如说：
1、人工智能：Python是人工智能的首选语言，选择人工智能作为就业方向是理所当然的。
2、大数据：Python在大数据上比java更加具有效率，大数据虽然难学，但是Python可以更好的和大数据进行对接，尤其是大数据分析这个方向。
3、网络爬虫：爬虫是进行数据采集的利器，利用Python可以更快的提升对数据抓取的精准程度和速度。
4、全栈工程师：全栈工程师是指掌握多种技能，并能利用多种技能独立完成产品的人，也叫全端工程师
5、自动化运维：运维工作者对Python的需求也很大;
6、自动化测试：Python十分高效，目前做自动化测试的大部分的工作者都需要学习Python帮助提高测试效率。用Python测试也可以说是测试人员必备的工具了。