kdtreepython

Ⅰ python如何在众多的点中找到与特定点最近的点的算法

首先目测一下查询大概不止一次所以前面那些统统乘个Q就大爆炸吧。
平民的做法写个kdtree基本sqrt n复杂度对付10w的数据量应该轻松愉快，动态的话套个替罪羊。
泥垢无聊的话动态v图欢迎入坑 传闻是logn的我没写过不知道会不会比上面的慢。
啊找到了我记得这个大轮子应该可以很简单（不如手写）的解决你的问题
PCL - Point Cloud Library (PCL)
-

单纯的替罪羊套kdt放到这种场合可能不大合适……毕竟修改一次可能锁死整个子树……（当然可以不用替罪羊，缓存sqrt n个修改，然后每sqrt n个修改暴力重构整个树，重构完成之前就先用原来的，然后再加上各种奇怪的优化……。）
然后再YY一下，我个人觉得他们可能是这样干的，首先把地图切成一块一块的每块足够小。然后随便YY一下按照每个地方人数的多少，取一个合适的am^2范围内最多有x人，然后只要这个x够小，查询的时候只查询当前用户所在的区块和周围的几个区块就好了，然后你就可以用轮子哥那样的sql查询啦～
如果还是有问题要么加服务器，或者最不济还可以对这个区块再维护kdtree。而且这样修改起来还方便。
至于用户周围都没有人，最近的有人区块在几十公里外…

Ⅱ python有必要学吗

python是一门语法优美的编程语言，不仅可以作为小工具使用提升我们日常工作效率，也可以单独作为一项高新就业技能！

• 软件开发，用python做软件是很多人正在从事的工作，不管是B/S软件，还是C/S软件，都能做。并且需求量还是挺大的；

• 数据挖掘，python可以制作出色的爬虫工具来进行数据挖掘，而在很多的网络公司中数据挖掘的岗位也不少；

• 游戏开发，python扩展性很好，拥有游戏开发的库，而且游戏开发绝对是暴力职业；

• 大数据分析，如今是大数据的时代，用python做大数据也是可以的，大数据分析工程师也是炙手可热的职位；

• 全栈工程师，如今程序员都在向着全栈的方向发展，而学习python更具备这方面的优势；

• 系统运维，python在很多linux中都支持，而且语法特点很向shell脚本，学完python做个系统运维也是很不错的。

你可以考察对比一下南京课工场、北大青鸟、中博软件学院等开设python语言的学校。祝你学有所成，望采纳。

北大青鸟中博软件学院python课堂实拍

Ⅲ 如何正确学习数据科学中的 python

作者 | skura

来源 | AI开发者

大多数有抱负的数据科学家是通过学习为开发人员开设的编程课程开始认识 python 的，他们也开始解决类似 leetcode 网站上的 python 编程难题。他们认为在开始使用 python 分析数据之前，必须熟悉编程概念。

资深数据分析师 Manu Jeevan 认为，这是一个巨大的错误，因为数据科学家使用 python 来对数据进行检索、清洗、可视化和构建模型，而不是开发软件应用程序。实际上，为了完成这些任务，你必须将大部分时间集中在学习 python 中的模块和库上。他认为，学习数据科学的正确姿势应该如下文，AI 开发者进行了编译整理。

请按照下面这个步骤来学习数据科学的 python。

配置编程环境

Jupyter Notebook 是开发和展示数据科学项目的强大编程环境。

在电脑上安装 Jupyter Notebook 最简单的方法是通过 Anaconda 进行安装。Anaconda 是数据科学中使用最广泛的 python 工具，它预装了所有最流行的库。

你可以浏览标题为“A Beginner’s Guide to Installing Jupyter Notebook Using Anaconda Distribution”的博客文章（https://medium.com/better-programming/beginners-quick-guide-for-handling-issues-launching-jupyter-notebook-for-python-using-anaconda-8be3d57a209b），了解如何安装 Anaconda。安装 Anaconda 时，请选择最新的 python 3 版本。

安装完 Anaconda 后，请阅读 Code Academy 的这篇文章（https://www.codecademy.com/articles/how-to-use-jupyter-notebooks），了解如何使用 Jupyter Notebook。

只学习 python 的基础知识

Code Academy 有一门关于 python 的优秀课程，大约需要 20 个小时才能完成。你不必升级到 pro 版本，因为你的目标只是熟悉 python 编程语言的基础知识。课程地址：https://www.codecademy.com/learn/learn-python-3

NumPy 和 Pandas，学习的绝佳资源

在处理计算量大的算法和大量数据时，python 速度较慢。你可能会问，既然如此那为什么 python 是数据科学最流行的编程语言？

答案是，在 python 中，很容易以 C 或 Fortran 扩展的形式将数字处理任务转移到底层。这正是 NumPy 和 Pandas 所做的事情。

首先，你应该学会 NumPy。它是用 python 进行科学计算的最基本的模块。NumPy 支持高度优化的多维数组，这是大多数机器学习算法最基本的数据结构。

接下来，你应该学习 Pandas。数据科学家花费大部分时间清洗数据，这也被称为数据整。

Pandas 是操作数据最流行的 python 库。Pandas 是 NumPy 的延伸。Pandas 的底层代码广泛使用 NumPy 库。Pandas 的主要数据结构称为数据帧。

Pandas 的创造者 Wes McKinney 写了一本很棒的书，叫做《Python for Data Analysis》（https://www.amazon.com/Python-Data-Analysis-Wrangling-IPython-ebook/dp/B075X4LT6K）。在书中的第 4、5、7、8 和 10 章可以学习 Pandas 和 NumPy。这些章节涵盖了最常用的 NumPy 和 Pandas 特性来处理数据。

学习使用 Matplotlib 可视化数据

Matplotlib 是用于创建基本可视化图形的基本 python 包。你必须学习如何使用 Matplotlib 创建一些最常见的图表，如折线图、条形图、散点图、柱状图和方框图。

另一个建立在 Matplotlib 之上并与 Pandas 紧密结合的好的绘图库是 Seaborn。在这个阶段，我建议你快速学习如何在 Matplotlib 中创建基本图表，而不是专注于 Seaborn。

我写了一个关于如何使用 Matplotlib 开发基本图的教程，该教程由四个部分组成。

你可以通过这些教程来掌握 Matplotlib 的基本知识。

简而言之，你不必花太多时间学习 Matplotlib，因为现在公司已经开始采用 Tableau 和 Qlik 等工具来创建交互式可视化。

如何使用 SQL 和 python

数据有组织地驻留在数据库中。因此，你需要知道如何使用 SQL 检索数据，并使用 python 在 Jupyter Notebook 中执行分析。

数据科学家使用 SQL 和 Pandas 来操纵数据。有一些数据操作任务使用 SQL 就可以很容易地执行，并且有一些任务可以使用 Pandas 高效地完成。我个人喜欢使用 SQL 来检索数据并在 Pandas 中进行操作。

如今，公司使用 Mode Analytics 和 Databricks 等分析平台来轻松地使用 python 和 SQL。

所以，你应该知道如何一起有效地使用 SQL 和 python。要了解这一点，你可以在计算机上安装 SQLite 数据库，并在其中存储一个 CSV 文件，然后使用 python 和 SQL 对其进行分析。

这里有一篇精彩的博客文章，向你展示了如何做到这一点：Programming with Databases in Python using SQLite（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。

在浏览上述博客文章之前，你应该了解 SQL 的基础知识。Mode Analytics 上有一个很好的关于 SQL 的教程：Introction to SQL（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。通过他们的基本 SQL 部分，了解 SQL 的基本知识，每个数据科学家都应该知道如何使用 SQL 有效地检索数据。

学习和 python 相关的基本统计学知识

多数有抱负的数据科学家在不学习统计学的基础知识的情况下，就直接跳到机器学习知识的学习中。

不要犯这个错误，因为统计学是数据科学的支柱。而且，很多数据科学家学习统计学只是学习理论概念，而不是学习实践概念。

我的意思是，通过实践概念，你应该知道什么样的问题可以用统计学来解决，了解使用统计数据可以解决哪些挑战。

以下是你应该了解的一些基本统计概念：

抽样、频率分布、平均值、中位数、模式、变异性度量、概率基础、显着性检验、标准差、z 评分、置信区间和假设检验（包括 A/B 检验）

要学习这些知识，有一本很好的书可以看看：《Practical Statistics for Data Scientists: 50 Essential Concepts》（https://www.amazon.com/Practical-Statistics-Data-Scientists-Essential/dp/9352135652）。不幸的是，本书中的代码示例是用 R 编写的，但是很多人包括我自己在内使用的是 Python。

我建议你阅读本书的前四章。阅读本书的前 4 章，了解我前面提到的基本统计概念，你可以忽略代码示例，只了解这些概念。本书的其余章节主要集中在机器学习上。我将在下一部分讨论如何学习机器学习。

大多数人建议使用 Think Stats （https://www.amazon.com/Think-Stats-Allen-B-Downey/dp/1449307116）来学习 python 的统计知识，但这本书的作者教授了自己的自定义函数，而不是使用标准的 python 库来进行统计知识讲解。因此，我不推荐这本书。

接下来，你的目标是实现在 Python 中学习的基本概念。StatsModels 是一个流行的 python 库，用于在 python 中构建统计模型。StatsModels 网站提供了关于如何使用 Python 实现统计概念的优秀教程。

或者，你也可以观看 Ga?l Varoquaux 的视频。他向你展示了如何使用 Pandas 和统计模型进行推理和探索性统计。

使用 Scikit-Learn 进行机器学习

Scikit-Learn 是 Python 中最流行的机器学习库之一。你的目标是学习如何使用 Scikit Learn 实现一些最常见的机器学习算法。

你应该像下面这样做。

首先，观看 Andrew Ng 在 Coursera 上的机器学习课程（https://www.coursera.org/learn/machine-learning）的第 1、2、 3、6,、7 和第 8 周视频。我跳过了关于神经网络的部分，因为作为初学者，你必须关注最通用的机器学习技术。

完成后，阅读“Hands-On Machine Learning with Scikit-Learn and TensorFlow”一书（https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1491962291）。你只需浏览这本书的第一部分（大约 300 页），它是最实用的机器学习书籍之一。

通过完成本书中的编码练习，你将学习如何使用 python 实现你在 Andrew Ng 课程中学习到的理论概念。

结论

最后一步是做一个涵盖上述所有步骤的数据科学项目。你可以找到你喜欢的数据集，然后提出有趣的业务问题，再通过分析来回答这些问题。但是，请不要选择像泰坦尼克号这样的通用数据集。你可以阅读“19 places to find free data sets for your data science project”来查找合适的数据集（https://www.dataquest.io/blog/free-datasets-for-projects/）。

另一种方法是将数据科学应用到你感兴趣的领域。例如，如果你想预测股票市场价格，那么你可以从 Yahoo Finance （https://www.scrapehero.com/scrape-yahoo-finance-stock-market-data/）中获取实时数据，并将其存储在 SQL 数据库中，然后使用机器学习来预测股票价格。

如果你希望从其它行业转行到数据科学，我建议你完成一个利用你的领域专业知识的项目。关于这些，我在以前的博客文章"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 1"（https://www.kdnuggets.com/2019/05/guide-transitioning-career-data-science-part-1.html） 和"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 2"（https://www.kdnuggets.com/2019/06/guide-transitioning-career-data-science-part-2.html）中有提到过。

Ⅳ 面试必会八大排序算法（Python）

一、插入排序

介绍

插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而得到一个新的、个数加一的有序数据。

算法适用于少量数据的排序，时间复杂度为O(n^2)。

插入排算法是稳定的排序方法。

步骤

①从第一个元素开始，该元素可以认为已经被排序

②取出下一个元素，在已经排序的元素序列中从后向前扫描

③如果该元素（已排序）大于新元素，将该元素移到下一位置

④重复步骤3，直到找到已排序的元素小于或者等于新元素的位置

⑤将新元素插入到该位置中

⑥重复步骤2

排序演示

算法实现

二、冒泡排序

介绍

冒泡排序（Bubble Sort）是一种简单的排序算法，时间复杂度为O(n^2)。

它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。

这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。

原理

循环遍历列表，每次循环找出循环最大的元素排在后面；

需要使用嵌套循环实现：外层循环控制总循环次数，内层循环负责每轮的循环比较。

步骤

①比较相邻的元素。如果第一个比第二个大，就交换他们两个。

②对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。

③针对所有的元素重复以上的步骤，除了最后一个。

④持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。

算法实现：

三、快速排序

介绍

快速排序（Quicksort）是对冒泡排序的一种改进，借用了分治的思想，由C. A. R. Hoare在1962年提出。

基本思想

快速排序的基本思想是：挖坑填数 + 分治法。

首先选出一个轴值(pivot，也有叫基准的)，通过一趟排序将待排记录分隔成独立的两部分，其中一部分记录的关键字均比另一部分的关键字小，则可分别对这两部分记录继续进行排序，以达到整个序列有序。

实现步骤

①从数列中挑出一个元素，称为 “基准”（pivot）；

②重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面（相同的数可以到任一边）；

③对所有两个小数列重复第二步，直至各区间只有一个数。

排序演示

算法实现

四、希尔排序

介绍

希尔排序（Shell Sort）是插入排序的一种，也是缩小增量排序，是直接插入排序算法的一种更高效的改进版本。希尔排序是非稳定排序算法，时间复杂度为：O(1.3n)。

希尔排序是基于插入排序的以下两点性质而提出改进方法的：

·插入排序在对几乎已经排好序的数据操作时， 效率高， 即可以达到线性排序的效率；

·但插入排序一般来说是低效的， 因为插入排序每次只能将数据移动一位。

基本思想

①希尔排序是把记录按下标的一定量分组，对每组使用直接插入算法排序；

②随着增量逐渐减少，每组包1含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法被终止。

排序演示

算法实现

五、选择排序

介绍

选择排序(Selection sort)是一种简单直观的排序算法，时间复杂度为Ο(n2)。

基本思想

选择排序的基本思想：比较 + 交换。

第一趟，在待排序记录r1 ~ r[n]中选出最小的记录，将它与r1交换；

第二趟，在待排序记录r2 ~ r[n]中选出最小的记录，将它与r2交换；

以此类推，第 i 趟，在待排序记录ri ~ r[n]中选出最小的记录，将它与r[i]交换,使有序序列不断增长直到全部排序完毕。

排序演示

选择排序的示例动画。红色表示当前最小值，黄色表示已排序序列，蓝色表示当前位置。

算法实现

六、堆排序

介绍

堆排序（Heapsort）是指利用堆积树（堆）这种数据结构所设计的一种排序算法，它是选择排序的一种。

利用数组的特点快速指定索引的元素。

基本思想

堆分为大根堆和小根堆，是完全二叉树。

大根堆的要求是每个节点的值不大于其父节点的值，即A[PARENT[i]] >=A[i]。

在数组的非降序排序中，需要使用的就是大根堆，因为根据大根堆的要求可知，最大的值一定在堆顶。

排序演示

算法实现

七、归并排序

介绍

归并排序（Merge sort）是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。

基本思想

归并排序算法是将两个（或两个以上）有序表合并成一个新的有序表，即把待排序序列分为若干个子序列，每个子序列是有序的。然后再把有序子序列合并为整体有序序列。

算法思想

自上而下递归法（假如序列共有n个元素）

① 将序列每相邻两个数字进行归并操作，形成 floor(n/2)个序列，排序后每个序列包含两个元素；

② 将上述序列再次归并，形成 floor(n/4)个序列，每个序列包含四个元素；

③ 重复步骤②，直到所有元素排序完毕。

自下而上迭代法

① 申请空间，使其大小为两个已经排序序列之和，该空间用来存放合并后的序列；

② 设定两个指针，最初位置分别为两个已经排序序列的起始位置；

③ 比较两个指针所指向的元素，选择相对小的元素放入到合并空间，并移动指针到下一位置；

④ 重复步骤③直到某一指针达到序列尾；

⑤ 将另一序列剩下的所有元素直接复制到合并序列尾。

排序演示

算法实现

八、基数排序

介绍

基数排序（Radix Sort）属于“分配式排序”，又称为“桶子法”。

基数排序法是属于稳定性的排序，其时间复杂度为O (nlog(r)m) ，其中 r 为采取的基数，而m为堆数。

在某些时候，基数排序法的效率高于其他的稳定性排序法。

基本思想

将所有待比较数值（正整数）统一为同样的数位长度，数位较短的数前面补零。然后，从最低位开始，依次进行一次排序。这样从最低位排序一直到最高位排序完成以后，数列就变成一个有序序列。

基数排序按照优先从高位或低位来排序有两种实现方案：

MSD（Most significant digital） 从最左侧高位开始进行排序。先按k1排序分组, 同一组中记录, 关键码k1相等,再对各组按k2排序分成子组, 之后, 对后面的关键码继续这样的排序分组, 直到按最次位关键码kd对各子组排序后. 再将各组连接起来,便得到一个有序序列。MSD方式适用于位数多的序列。

LSD （Least significant digital）从最右侧低位开始进行排序。先从kd开始排序，再对kd-1进行排序，依次重复，直到对k1排序后便得到一个有序序列。LSD方式适用于位数少的序列。

排序效果

算法实现

九、总结

各种排序的稳定性、时间复杂度、空间复杂度的总结：

平方阶O(n²)排序：各类简单排序：直接插入、直接选择和冒泡排序；

从时间复杂度来说：

线性对数阶O(nlog₂n)排序：快速排序、堆排序和归并排序；

O(n1+§))排序，§是介于0和1之间的常数：希尔排序 ；

线性阶O(n)排序：基数排序，此外还有桶、箱排序。

Ⅳ python爬虫数据怎么排列好后存储到本地excel

第一步：分析网站的请求过程
我们在查看拉勾网上的招聘信息的时候，搜索Python，或者是PHP等等的岗位信息，其实是向服务器发出相应请求，由服务器动态的响应请求，将我们所需要的内容通过浏览器解析，呈现在我们的面前。

可以看到我们发出的请求当中，FormData中的kd参数，就代表着向服务器请求关键词为Python的招聘信息。
分析比较复杂的页面请求与响应信息，推荐使用Fiddler，对于分析网站来说绝对是一大杀器。不过比较简单的响应请求用浏览器自带的开发者工具就可以，比如像火狐的FireBug等等，只要轻轻一按F12，所有的请求的信息都会事无巨细的展现在你面前。
经由分析网站的请求与响应过程可知，拉勾网的招聘信息都是由XHR动态传递的。

我们发现，以POST方式发出的请求有两个，分别是companyAjax.json和positionAjax.json，它们分别控制当前显示的页面和页面中包含的招聘信息。

可以看到，我们所需要的信息包含在positionAjax.json的Content->result当中，其中还包含了一些其他参数信息，包括总页面数（totalPageCount），总招聘登记数（totalCount）等相关信息。
第二步：发送请求，获取页面
知道我们所要抓取的信息在哪里是最为首要的，知道信息位置之后，接下来我们就要考虑如何通过Python来模拟浏览器，获取这些我们所需要的信息。

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

def read_page(url, page_num, keyword): # 模仿浏览器post需求信息，并读取返回后的页面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通过页面分析，发现浏览器提交的FormData包括以下参数
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page

其中比较关键的步骤在于如何仿照浏览器的Post方式，来包装我们自己的请求。
request包含的参数包括所要抓取的网页url，以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)
包装完毕之后，就可以像浏览器一样访问拉勾网，并获得页面数据了。
第三步：各取所需，获取数据
获得页面信息之后，我们就可以开始爬虫数据中最主要的步骤：抓取数据。
抓取数据的方式有很多，像正则表达式re，lxml的etree，json，以及bs4的BeautifulSoup都是python3抓取数据的适用方法。大家可以根据实际情况，使用其中一个，又或多个结合使用。
?

1
2
3
4
5
6
7
8
9
10
11

def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result']
# 通过分析获取的json信息可知，招聘信息包含在返回的result当中，其中包含了许多其他参数
page_result = [num for num in range(15)] # 构造一个容量为15的占位list，用以构造接下来的二维数组
for i in range(15):
page_result[i] = [] # 构造二维数组
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，将它们放置在同一个list当中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回当前页的招聘信息

第四步：将所抓取的信息存储到excel中
获得原始数据之后，为了进一步的整理与分析，我们有结构有组织的将抓取到的数据存储到excel中，方便进行数据的可视化处理。
这里我用了两个不同的框架，分别是老牌的xlwt.Workbook、以及xlsxwriter。

?

1
2
3
4
5
6
7
8
9
10
11
12

def save_excel(fin_result, tag_name, file_name):
book = Workbook(encoding='utf-8')
tmp = book.add_sheet('sheet')
times = len(fin_result)+1
for i in range(times): # i代表的是行,i+1代表的是行首信息
if i == 0:
for tag_name_i in tag_name:
tmp.write(i, tag_name.index(tag_name_i), tag_name_i)
else:
for tag_list in range(len(tag_name)):
tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))
book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

首先是xlwt，不知道为什么，xlwt存储到100多条数据之后，会存储不全，而且excel文件也会出现“部分内容有问题，需要进行修复”我检查了很多次，一开始以为是数据抓取的不完全，导致的存储问题。后来断点检查，发现数据是完整的。后来换了本地的数据进行处理，也没有出现问题。我当时的心情是这样的：

到现在我也没弄明白，有知道的大神希望能告诉我ლ(╹ε╹ლ)

?

1
2
3
4
5
6
7
8
9
10
11
12
13

def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因为被表格的表头所占
tmp.write_row(con_pos, content)
book.close()

这是使用xlsxwriter存储的数据，没有问题，可以正常使用。
到从为止，一个抓取拉勾网招聘信息的小爬虫就诞生了。
附上源码
?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91

#! -*-coding:utf-8 -*-

from urllib import request, parse
from bs4 import BeautifulSoup as BS
import json
import datetime
import xlsxwriter

starttime = datetime.datetime.now()

url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'
# 拉钩网的招聘信息都是动态获取的，所以需要通过post来递交json信息，默认城市为北京

tag = ['companyName', 'companyShortName', 'positionName', 'ecation', 'salary', 'financeStage', 'companySize',
'instryField', 'companyLabelList'] # 这是需要抓取的标签信息，包括公司名称，学历要求，薪资等等

tag_name = ['公司名称', '公司简称', '职位名称', '所需学历', '工资', '公司资质', '公司规模', '所属类别', '公司介绍']

def read_page(url, page_num, keyword): # 模仿浏览器post需求信息，并读取返回后的页面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通过页面分析，发现浏览器提交的FormData包括以下参数
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page

def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result'] # 通过分析获取的json信息可知，招聘信息包含在返回的result当中，其中包含了许多其他参数
page_result = [num for num in range(15)] # 构造一个容量为15的list占位，用以构造接下来的二维数组
for i in range(15):
page_result[i] = [] # 构造二维数组
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，将它们放置在同一个list当中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回当前页的招聘信息

def read_max_page(page): # 获取当前招聘关键词的最大页数，大于30的将会被覆盖，所以最多只能抓取30页的招聘信息
page_json = json.loads(page)
max_page_num = page_json['content']['totalPageCount']
if max_page_num > 30:
max_page_num = 30
return max_page_num

def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因为被表格的表头所占
tmp.write_row(con_pos, content)
book.close()

if __name__ == '__main__':
print('**********************************即将进行抓取**********************************')
keyword = input('请输入您要搜索的语言类型：')
fin_result = [] # 将每页的招聘信息汇总成一个最终的招聘信息
max_page_num = read_max_page(read_page(url, 1, keyword))
for page_num in range(1, max_page_num):
print('******************************正在下载第%s页内容*********************************' % page_num)
page = read_page(url, page_num, keyword)
page_result = read_tag(page, tag)
fin_result.extend(page_result)
file_name = input('抓取完成，输入文件名保存：')
save_excel(fin_result, tag_name, file_name)
endtime = datetime.datetime.now()
time = (endtime - starttime).seconds
print('总共用时：%s s' % time)