kdtreepython

Ⅰ python如何在眾多的點中找到與特定點最近的點的演算法

首先目測一下查詢大概不止一次所以前面那些統統乘個Q就大爆炸吧。
平民的做法寫個kdtree基本sqrt n復雜度對付10w的數據量應該輕松愉快，動態的話套個替罪羊。
泥垢無聊的話動態v圖歡迎入坑 傳聞是logn的我沒寫過不知道會不會比上面的慢。
啊找到了我記得這個大輪子應該可以很簡單（不如手寫）的解決你的問題
PCL - Point Cloud Library (PCL)
-

單純的替罪羊套kdt放到這種場合可能不大合適……畢竟修改一次可能鎖死整個子樹……（當然可以不用替罪羊，緩存sqrt n個修改，然後每sqrt n個修改暴力重構整個樹，重構完成之前就先用原來的，然後再加上各種奇怪的優化……。）
然後再YY一下，我個人覺得他們可能是這樣乾的，首先把地圖切成一塊一塊的每塊足夠小。然後隨便YY一下按照每個地方人數的多少，取一個合適的am^2范圍內最多有x人，然後只要這個x夠小，查詢的時候只查詢當前用戶所在的區塊和周圍的幾個區塊就好了，然後你就可以用輪子哥那樣的sql查詢啦～
如果還是有問題要麼加伺服器，或者最不濟還可以對這個區塊再維護kdtree。而且這樣修改起來還方便。
至於用戶周圍都沒有人，最近的有人區塊在幾十公里外…

Ⅱ python有必要學嗎

python是一門語法優美的編程語言，不僅可以作為小工具使用提升我們日常工作效率，也可以單獨作為一項高新就業技能！

• 軟體開發，用python做軟體是很多人正在從事的工作，不管是B/S軟體，還是C/S軟體，都能做。並且需求量還是挺大的；

• 數據挖掘，python可以製作出色的爬蟲工具來進行數據挖掘，而在很多的網路公司中數據挖掘的崗位也不少；

• 游戲開發，python擴展性很好，擁有游戲開發的庫，而且游戲開發絕對是暴力職業；

• 大數據分析，如今是大數據的時代，用python做大數據也是可以的，大數據分析工程師也是炙手可熱的職位；

• 全棧工程師，如今程序員都在向著全棧的方向發展，而學習python更具備這方面的優勢；

• 系統運維，python在很多linux中都支持，而且語法特點很向shell腳本，學完python做個系統運維也是很不錯的。

你可以考察對比一下南京課工場、北大青鳥、中博軟體學院等開設python語言的學校。祝你學有所成，望採納。

北大青鳥中博軟體學院python課堂實拍

Ⅲ 如何正確學習數據科學中的 python

作者 | skura

來源 | AI開發者

大多數有抱負的數據科學家是通過學習為開發人員開設的編程課程開始認識 python 的，他們也開始解決類似 leetcode 網站上的 python 編程難題。他們認為在開始使用 python 分析數據之前，必須熟悉編程概念。

資深數據分析師 Manu Jeevan 認為，這是一個巨大的錯誤，因為數據科學家使用 python 來對數據進行檢索、清洗、可視化和構建模型，而不是開發軟體應用程序。實際上，為了完成這些任務，你必須將大部分時間集中在學習 python 中的模塊和庫上。他認為，學習數據科學的正確姿勢應該如下文，AI 開發者進行了編譯整理。

請按照下面這個步驟來學習數據科學的 python。

配置編程環境

Jupyter Notebook 是開發和展示數據科學項目的強大編程環境。

在電腦上安裝 Jupyter Notebook 最簡單的方法是通過 Anaconda 進行安裝。Anaconda 是數據科學中使用最廣泛的 python 工具，它預裝了所有最流行的庫。

你可以瀏覽標題為「A Beginner』s Guide to Installing Jupyter Notebook Using Anaconda Distribution」的博客文章（https://medium.com/better-programming/beginners-quick-guide-for-handling-issues-launching-jupyter-notebook-for-python-using-anaconda-8be3d57a209b），了解如何安裝 Anaconda。安裝 Anaconda 時，請選擇最新的 python 3 版本。

安裝完 Anaconda 後，請閱讀 Code Academy 的這篇文章（https://www.codecademy.com/articles/how-to-use-jupyter-notebooks），了解如何使用 Jupyter Notebook。

只學習 python 的基礎知識

Code Academy 有一門關於 python 的優秀課程，大約需要 20 個小時才能完成。你不必升級到 pro 版本，因為你的目標只是熟悉 python 編程語言的基礎知識。課程地址：https://www.codecademy.com/learn/learn-python-3

NumPy 和 Pandas，學習的絕佳資源

在處理計算量大的演算法和大量數據時，python 速度較慢。你可能會問，既然如此那為什麼 python 是數據科學最流行的編程語言？

答案是，在 python 中，很容易以 C 或 Fortran 擴展的形式將數字處理任務轉移到底層。這正是 NumPy 和 Pandas 所做的事情。

首先，你應該學會 NumPy。它是用 python 進行科學計算的最基本的模塊。NumPy 支持高度優化的多維數組，這是大多數機器學習演算法最基本的數據結構。

接下來，你應該學習 Pandas。數據科學家花費大部分時間清洗數據，這也被稱為數據整。

Pandas 是操作數據最流行的 python 庫。Pandas 是 NumPy 的延伸。Pandas 的底層代碼廣泛使用 NumPy 庫。Pandas 的主要數據結構稱為數據幀。

Pandas 的創造者 Wes McKinney 寫了一本很棒的書，叫做《Python for Data Analysis》（https://www.amazon.com/Python-Data-Analysis-Wrangling-IPython-ebook/dp/B075X4LT6K）。在書中的第 4、5、7、8 和 10 章可以學習 Pandas 和 NumPy。這些章節涵蓋了最常用的 NumPy 和 Pandas 特性來處理數據。

學習使用 Matplotlib 可視化數據

Matplotlib 是用於創建基本可視化圖形的基本 python 包。你必須學習如何使用 Matplotlib 創建一些最常見的圖表，如折線圖、條形圖、散點圖、柱狀圖和方框圖。

另一個建立在 Matplotlib 之上並與 Pandas 緊密結合的好的繪圖庫是 Seaborn。在這個階段，我建議你快速學習如何在 Matplotlib 中創建基本圖表，而不是專注於 Seaborn。

我寫了一個關於如何使用 Matplotlib 開發基本圖的教程，該教程由四個部分組成。

你可以通過這些教程來掌握 Matplotlib 的基本知識。

簡而言之，你不必花太多時間學習 Matplotlib，因為現在公司已經開始採用 Tableau 和 Qlik 等工具來創建互動式可視化。

如何使用 SQL 和 python

數據有組織地駐留在資料庫中。因此，你需要知道如何使用 SQL 檢索數據，並使用 python 在 Jupyter Notebook 中執行分析。

數據科學家使用 SQL 和 Pandas 來操縱數據。有一些數據操作任務使用 SQL 就可以很容易地執行，並且有一些任務可以使用 Pandas 高效地完成。我個人喜歡使用 SQL 來檢索數據並在 Pandas 中進行操作。

如今，公司使用 Mode Analytics 和 Databricks 等分析平台來輕松地使用 python 和 SQL。

所以，你應該知道如何一起有效地使用 SQL 和 python。要了解這一點，你可以在計算機上安裝 SQLite 資料庫，並在其中存儲一個 CSV 文件，然後使用 python 和 SQL 對其進行分析。

這里有一篇精彩的博客文章，向你展示了如何做到這一點：Programming with Databases in Python using SQLite（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。

在瀏覽上述博客文章之前，你應該了解 SQL 的基礎知識。Mode Analytics 上有一個很好的關於 SQL 的教程：Introction to SQL（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。通過他們的基本 SQL 部分，了解 SQL 的基本知識，每個數據科學家都應該知道如何使用 SQL 有效地檢索數據。

學習和 python 相關的基本統計學知識

多數有抱負的數據科學家在不學習統計學的基礎知識的情況下，就直接跳到機器學習知識的學習中。

不要犯這個錯誤，因為統計學是數據科學的支柱。而且，很多數據科學家學習統計學只是學習理論概念，而不是學習實踐概念。

我的意思是，通過實踐概念，你應該知道什麼樣的問題可以用統計學來解決，了解使用統計數據可以解決哪些挑戰。

以下是你應該了解的一些基本統計概念：

抽樣、頻率分布、平均值、中位數、模式、變異性度量、概率基礎、顯著性檢驗、標准差、z 評分、置信區間和假設檢驗（包括 A/B 檢驗）

要學習這些知識，有一本很好的書可以看看：《Practical Statistics for Data Scientists: 50 Essential Concepts》（https://www.amazon.com/Practical-Statistics-Data-Scientists-Essential/dp/9352135652）。不幸的是，本書中的代碼示例是用 R 編寫的，但是很多人包括我自己在內使用的是 Python。

我建議你閱讀本書的前四章。閱讀本書的前 4 章，了解我前面提到的基本統計概念，你可以忽略代碼示例，只了解這些概念。本書的其餘章節主要集中在機器學習上。我將在下一部分討論如何學習機器學習。

大多數人建議使用 Think Stats （https://www.amazon.com/Think-Stats-Allen-B-Downey/dp/1449307116）來學習 python 的統計知識，但這本書的作者教授了自己的自定義函數，而不是使用標準的 python 庫來進行統計知識講解。因此，我不推薦這本書。

接下來，你的目標是實現在 Python 中學習的基本概念。StatsModels 是一個流行的 python 庫，用於在 python 中構建統計模型。StatsModels 網站提供了關於如何使用 Python 實現統計概念的優秀教程。

或者，你也可以觀看 Ga?l Varoquaux 的視頻。他向你展示了如何使用 Pandas 和統計模型進行推理和探索性統計。

使用 Scikit-Learn 進行機器學習

Scikit-Learn 是 Python 中最流行的機器學習庫之一。你的目標是學習如何使用 Scikit Learn 實現一些最常見的機器學習演算法。

你應該像下面這樣做。

首先，觀看 Andrew Ng 在 Coursera 上的機器學習課程（https://www.coursera.org/learn/machine-learning）的第 1、2、 3、6,、7 和第 8 周視頻。我跳過了關於神經網路的部分，因為作為初學者，你必須關注最通用的機器學習技術。

完成後，閱讀「Hands-On Machine Learning with Scikit-Learn and TensorFlow」一書（https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1491962291）。你只需瀏覽這本書的第一部分（大約 300 頁），它是最實用的機器學習書籍之一。

通過完成本書中的編碼練習，你將學習如何使用 python 實現你在 Andrew Ng 課程中學習到的理論概念。

結論

最後一步是做一個涵蓋上述所有步驟的數據科學項目。你可以找到你喜歡的數據集，然後提出有趣的業務問題，再通過分析來回答這些問題。但是，請不要選擇像泰坦尼克號這樣的通用數據集。你可以閱讀「19 places to find free data sets for your data science project」來查找合適的數據集（https://www.dataquest.io/blog/free-datasets-for-projects/）。

另一種方法是將數據科學應用到你感興趣的領域。例如，如果你想預測股票市場價格，那麼你可以從 Yahoo Finance （https://www.scrapehero.com/scrape-yahoo-finance-stock-market-data/）中獲取實時數據，並將其存儲在 SQL 資料庫中，然後使用機器學習來預測股票價格。

如果你希望從其它行業轉行到數據科學，我建議你完成一個利用你的領域專業知識的項目。關於這些，我在以前的博客文章"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 1"（https://www.kdnuggets.com/2019/05/guide-transitioning-career-data-science-part-1.html） 和"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 2"（https://www.kdnuggets.com/2019/06/guide-transitioning-career-data-science-part-2.html）中有提到過。

Ⅳ 面試必會八大排序演算法（Python）

一、插入排序

介紹

插入排序的基本操作就是將一個數據插入到已經排好序的有序數據中，從而得到一個新的、個數加一的有序數據。

演算法適用於少量數據的排序，時間復雜度為O(n^2)。

插入排演算法是穩定的排序方法。

步驟

①從第一個元素開始，該元素可以認為已經被排序

②取出下一個元素，在已經排序的元素序列中從後向前掃描

③如果該元素（已排序）大於新元素，將該元素移到下一位置

④重復步驟3，直到找到已排序的元素小於或者等於新元素的位置

⑤將新元素插入到該位置中

⑥重復步驟2

排序演示

演算法實現

二、冒泡排序

介紹

冒泡排序（Bubble Sort）是一種簡單的排序演算法，時間復雜度為O(n^2)。

它重復地走訪過要排序的數列，一次比較兩個元素，如果他們的順序錯誤就把他們交換過來。走訪數列的工作是重復地進行直到沒有再需要交換，也就是說該數列已經排序完成。

這個演算法的名字由來是因為越小的元素會經由交換慢慢「浮」到數列的頂端。

原理

循環遍歷列表，每次循環找出循環最大的元素排在後面；

需要使用嵌套循環實現：外層循環控制總循環次數，內層循環負責每輪的循環比較。

步驟

①比較相鄰的元素。如果第一個比第二個大，就交換他們兩個。

②對每一對相鄰元素作同樣的工作，從開始第一對到結尾的最後一對。在這一點，最後的元素應該會是最大的數。

③針對所有的元素重復以上的步驟，除了最後一個。

④持續每次對越來越少的元素重復上面的步驟，直到沒有任何一對數字需要比較。

演算法實現：

三、快速排序

介紹

快速排序（Quicksort）是對冒泡排序的一種改進，借用了分治的思想，由C. A. R. Hoare在1962年提出。

基本思想

快速排序的基本思想是：挖坑填數 + 分治法。

首先選出一個軸值(pivot，也有叫基準的)，通過一趟排序將待排記錄分隔成獨立的兩部分，其中一部分記錄的關鍵字均比另一部分的關鍵字小，則可分別對這兩部分記錄繼續進行排序，以達到整個序列有序。

實現步驟

①從數列中挑出一個元素，稱為 「基準」（pivot）；

②重新排序數列，所有元素比基準值小的擺放在基準前面，所有元素比基準值大的擺在基準的後面（相同的數可以到任一邊）；

③對所有兩個小數列重復第二步，直至各區間只有一個數。

排序演示

演算法實現

四、希爾排序

介紹

希爾排序（Shell Sort）是插入排序的一種，也是縮小增量排序，是直接插入排序演算法的一種更高效的改進版本。希爾排序是非穩定排序演算法，時間復雜度為：O(1.3n)。

希爾排序是基於插入排序的以下兩點性質而提出改進方法的：

·插入排序在對幾乎已經排好序的數據操作時， 效率高， 即可以達到線性排序的效率；

·但插入排序一般來說是低效的， 因為插入排序每次只能將數據移動一位。

基本思想

①希爾排序是把記錄按下標的一定量分組，對每組使用直接插入演算法排序；

②隨著增量逐漸減少，每組包1含的關鍵詞越來越多，當增量減至1時，整個文件恰被分成一組，演算法被終止。

排序演示

演算法實現

五、選擇排序

介紹

選擇排序(Selection sort)是一種簡單直觀的排序演算法，時間復雜度為Ο(n2)。

基本思想

選擇排序的基本思想：比較 + 交換。

第一趟，在待排序記錄r1 ~ r[n]中選出最小的記錄，將它與r1交換；

第二趟，在待排序記錄r2 ~ r[n]中選出最小的記錄，將它與r2交換；

以此類推，第 i 趟，在待排序記錄ri ~ r[n]中選出最小的記錄，將它與r[i]交換,使有序序列不斷增長直到全部排序完畢。

排序演示

選擇排序的示例動畫。紅色表示當前最小值，黃色表示已排序序列，藍色表示當前位置。

演算法實現

六、堆排序

介紹

堆排序（Heapsort）是指利用堆積樹（堆）這種數據結構所設計的一種排序演算法，它是選擇排序的一種。

利用數組的特點快速指定索引的元素。

基本思想

堆分為大根堆和小根堆，是完全二叉樹。

大根堆的要求是每個節點的值不大於其父節點的值，即A[PARENT[i]] >=A[i]。

在數組的非降序排序中，需要使用的就是大根堆，因為根據大根堆的要求可知，最大的值一定在堆頂。

排序演示

演算法實現

七、歸並排序

介紹

歸並排序（Merge sort）是建立在歸並操作上的一種有效的排序演算法。該演算法是採用分治法（Divide and Conquer）的一個非常典型的應用。

基本思想

歸並排序演算法是將兩個（或兩個以上）有序表合並成一個新的有序表，即把待排序序列分為若干個子序列，每個子序列是有序的。然後再把有序子序列合並為整體有序序列。

演算法思想

自上而下遞歸法（假如序列共有n個元素）

① 將序列每相鄰兩個數字進行歸並操作，形成 floor(n/2)個序列，排序後每個序列包含兩個元素；

② 將上述序列再次歸並，形成 floor(n/4)個序列，每個序列包含四個元素；

③ 重復步驟②，直到所有元素排序完畢。

自下而上迭代法

① 申請空間，使其大小為兩個已經排序序列之和，該空間用來存放合並後的序列；

② 設定兩個指針，最初位置分別為兩個已經排序序列的起始位置；

③ 比較兩個指針所指向的元素，選擇相對小的元素放入到合並空間，並移動指針到下一位置；

④ 重復步驟③直到某一指針達到序列尾；

⑤ 將另一序列剩下的所有元素直接復制到合並序列尾。

排序演示

演算法實現

八、基數排序

介紹

基數排序（Radix Sort）屬於「分配式排序」，又稱為「桶子法」。

基數排序法是屬於穩定性的排序，其時間復雜度為O (nlog(r)m) ，其中 r 為採取的基數，而m為堆數。

在某些時候，基數排序法的效率高於其他的穩定性排序法。

基本思想

將所有待比較數值（正整數）統一為同樣的數位長度，數位較短的數前面補零。然後，從最低位開始，依次進行一次排序。這樣從最低位排序一直到最高位排序完成以後，數列就變成一個有序序列。

基數排序按照優先從高位或低位來排序有兩種實現方案：

MSD（Most significant digital） 從最左側高位開始進行排序。先按k1排序分組, 同一組中記錄, 關鍵碼k1相等,再對各組按k2排序分成子組, 之後, 對後面的關鍵碼繼續這樣的排序分組, 直到按最次位關鍵碼kd對各子組排序後. 再將各組連接起來,便得到一個有序序列。MSD方式適用於位數多的序列。

LSD （Least significant digital）從最右側低位開始進行排序。先從kd開始排序，再對kd-1進行排序，依次重復，直到對k1排序後便得到一個有序序列。LSD方式適用於位數少的序列。

排序效果

演算法實現

九、總結

各種排序的穩定性、時間復雜度、空間復雜度的總結：

平方階O(n²)排序：各類簡單排序：直接插入、直接選擇和冒泡排序；

從時間復雜度來說：

線性對數階O(nlog₂n)排序：快速排序、堆排序和歸並排序；

O(n1+§))排序，§是介於0和1之間的常數：希爾排序 ；

線性階O(n)排序：基數排序，此外還有桶、箱排序。

Ⅳ python爬蟲數據怎麼排列好後存儲到本地excel

第一步：分析網站的請求過程
我們在查看拉勾網上的招聘信息的時候，搜索Python，或者是PHP等等的崗位信息，其實是向伺服器發出相應請求，由伺服器動態的響應請求，將我們所需要的內容通過瀏覽器解析，呈現在我們的面前。

可以看到我們發出的請求當中，FormData中的kd參數，就代表著向伺服器請求關鍵詞為Python的招聘信息。
分析比較復雜的頁面請求與響應信息，推薦使用Fiddler，對於分析網站來說絕對是一大殺器。不過比較簡單的響應請求用瀏覽器自帶的開發者工具就可以，比如像火狐的FireBug等等，只要輕輕一按F12，所有的請求的信息都會事無巨細的展現在你面前。
經由分析網站的請求與響應過程可知，拉勾網的招聘信息都是由XHR動態傳遞的。

我們發現，以POST方式發出的請求有兩個，分別是companyAjax.json和positionAjax.json，它們分別控制當前顯示的頁面和頁面中包含的招聘信息。

可以看到，我們所需要的信息包含在positionAjax.json的Content->result當中，其中還包含了一些其他參數信息，包括總頁面數（totalPageCount），總招聘登記數（totalCount）等相關信息。
第二步：發送請求，獲取頁面
知道我們所要抓取的信息在哪裡是最為首要的，知道信息位置之後，接下來我們就要考慮如何通過Python來模擬瀏覽器，獲取這些我們所需要的信息。

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

def read_page(url, page_num, keyword): # 模仿瀏覽器post需求信息，並讀取返回後的頁面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通過頁面分析，發現瀏覽器提交的FormData包括以下參數
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page

其中比較關鍵的步驟在於如何仿照瀏覽器的Post方式，來包裝我們自己的請求。
request包含的參數包括所要抓取的網頁url，以及用於偽裝的headers。urlopen中的data參數包括FormData的三個參數(first、pn、kd)
包裝完畢之後，就可以像瀏覽器一樣訪問拉勾網，並獲得頁面數據了。
第三步：各取所需，獲取數據
獲得頁面信息之後，我們就可以開始爬蟲數據中最主要的步驟：抓取數據。
抓取數據的方式有很多，像正則表達式re，lxml的etree，json，以及bs4的BeautifulSoup都是python3抓取數據的適用方法。大家可以根據實際情況，使用其中一個，又或多個結合使用。
?

1
2
3
4
5
6
7
8
9
10
11

def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result']
# 通過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其他參數
page_result = [num for num in range(15)] # 構造一個容量為15的佔位list，用以構造接下來的二維數組
for i in range(15):
page_result[i] = [] # 構造二維數組
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍歷參數，將它們放置在同一個list當中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回當前頁的招聘信息

第四步：將所抓取的信息存儲到excel中
獲得原始數據之後，為了進一步的整理與分析，我們有結構有組織的將抓取到的數據存儲到excel中，方便進行數據的可視化處理。
這里我用了兩個不同的框架，分別是老牌的xlwt.Workbook、以及xlsxwriter。

?

1
2
3
4
5
6
7
8
9
10
11
12

def save_excel(fin_result, tag_name, file_name):
book = Workbook(encoding='utf-8')
tmp = book.add_sheet('sheet')
times = len(fin_result)+1
for i in range(times): # i代表的是行,i+1代表的是行首信息
if i == 0:
for tag_name_i in tag_name:
tmp.write(i, tag_name.index(tag_name_i), tag_name_i)
else:
for tag_list in range(len(tag_name)):
tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))
book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

首先是xlwt，不知道為什麼，xlwt存儲到100多條數據之後，會存儲不全，而且excel文件也會出現「部分內容有問題，需要進行修復」我檢查了很多次，一開始以為是數據抓取的不完全，導致的存儲問題。後來斷點檢查，發現數據是完整的。後來換了本地的數據進行處理，也沒有出現問題。我當時的心情是這樣的：

到現在我也沒弄明白，有知道的大神希望能告訴我ლ(╹ε╹ლ)

?

1
2
3
4
5
6
7
8
9
10
11
12
13

def save_excel(fin_result, tag_name, file_name): # 將抓取到的招聘信息存儲到excel當中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默認存儲在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因為被表格的表頭所佔
tmp.write_row(con_pos, content)
book.close()

這是使用xlsxwriter存儲的數據，沒有問題，可以正常使用。
到從為止，一個抓取拉勾網招聘信息的小爬蟲就誕生了。
附上源碼
?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91

#! -*-coding:utf-8 -*-

from urllib import request, parse
from bs4 import BeautifulSoup as BS
import json
import datetime
import xlsxwriter

starttime = datetime.datetime.now()

url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'
# 拉鉤網的招聘信息都是動態獲取的，所以需要通過post來遞交json信息，默認城市為北京

tag = ['companyName', 'companyShortName', 'positionName', 'ecation', 'salary', 'financeStage', 'companySize',
'instryField', 'companyLabelList'] # 這是需要抓取的標簽信息，包括公司名稱，學歷要求，薪資等等

tag_name = ['公司名稱', '公司簡稱', '職位名稱', '所需學歷', '工資', '公司資質', '公司規模', '所屬類別', '公司介紹']

def read_page(url, page_num, keyword): # 模仿瀏覽器post需求信息，並讀取返回後的頁面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通過頁面分析，發現瀏覽器提交的FormData包括以下參數
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page

def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result'] # 通過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其他參數
page_result = [num for num in range(15)] # 構造一個容量為15的list佔位，用以構造接下來的二維數組
for i in range(15):
page_result[i] = [] # 構造二維數組
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍歷參數，將它們放置在同一個list當中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回當前頁的招聘信息

def read_max_page(page): # 獲取當前招聘關鍵詞的最大頁數，大於30的將會被覆蓋，所以最多隻能抓取30頁的招聘信息
page_json = json.loads(page)
max_page_num = page_json['content']['totalPageCount']
if max_page_num > 30:
max_page_num = 30
return max_page_num

def save_excel(fin_result, tag_name, file_name): # 將抓取到的招聘信息存儲到excel當中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默認存儲在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因為被表格的表頭所佔
tmp.write_row(con_pos, content)
book.close()

if __name__ == '__main__':
print('**********************************即將進行抓取**********************************')
keyword = input('請輸入您要搜索的語言類型：')
fin_result = [] # 將每頁的招聘信息匯總成一個最終的招聘信息
max_page_num = read_max_page(read_page(url, 1, keyword))
for page_num in range(1, max_page_num):
print('******************************正在下載第%s頁內容*********************************' % page_num)
page = read_page(url, page_num, keyword)
page_result = read_tag(page, tag)
fin_result.extend(page_result)
file_name = input('抓取完成，輸入文件名保存：')
save_excel(fin_result, tag_name, file_name)
endtime = datetime.datetime.now()
time = (endtime - starttime).seconds
print('總共用時：%s s' % time)