python爬蟲保存文件

A. python爬蟲做好了怎麼用pandas保存為excle文件

B. python爬蟲數據怎麼排列好後存儲到本地excel

第一步：分析網站的請求過程
我們在查看拉勾網上的招聘信息的時候，搜索Python，或者是PHP等等的崗位信息，其實是向伺服器發出相應請求，由伺服器動態的響應請求，將我們所需要的內容通過瀏覽器解析，呈現在我們的面前。

可以看到我們發出的請求當中，FormData中的kd參數，就代表著向伺服器請求關鍵詞為Python的招聘信息。
分析比較復雜的頁面請求與響應信息，推薦使用Fiddler，對於分析網站來說絕對是一大殺器。不過比較簡單的響應請求用瀏覽器自帶的開發者工具就可以，比如像火狐的FireBug等等，只要輕輕一按F12，所有的請求的信息都會事無巨細的展現在你面前。
經由分析網站的請求與響應過程可知，拉勾網的招聘信息都是由XHR動態傳遞的。

我們發現，以POST方式發出的請求有兩個，分別是companyAjax.json和positionAjax.json，它們分別控制當前顯示的頁面和頁面中包含的招聘信息。

可以看到，我們所需要的信息包含在positionAjax.json的Content->result當中，其中還包含了一些其他參數信息，包括總頁面數（totalPageCount），總招聘登記數（totalCount）等相關信息。
第二步：發送請求，獲取頁面
知道我們所要抓取的信息在哪裡是最為首要的，知道信息位置之後，接下來我們就要考慮如何通過Python來模擬瀏覽器，獲取這些我們所需要的信息。

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

def read_page(url, page_num, keyword): # 模仿瀏覽器post需求信息，並讀取返回後的頁面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通過頁面分析，發現瀏覽器提交的FormData包括以下參數
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page

其中比較關鍵的步驟在於如何仿照瀏覽器的Post方式，來包裝我們自己的請求。
request包含的參數包括所要抓取的網頁url，以及用於偽裝的headers。urlopen中的data參數包括FormData的三個參數(first、pn、kd)
包裝完畢之後，就可以像瀏覽器一樣訪問拉勾網，並獲得頁面數據了。
第三步：各取所需，獲取數據
獲得頁面信息之後，我們就可以開始爬蟲數據中最主要的步驟：抓取數據。
抓取數據的方式有很多，像正則表達式re，lxml的etree，json，以及bs4的BeautifulSoup都是python3抓取數據的適用方法。大家可以根據實際情況，使用其中一個，又或多個結合使用。
?

1
2
3
4
5
6
7
8
9
10
11

def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result']
# 通過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其他參數
page_result = [num for num in range(15)] # 構造一個容量為15的佔位list，用以構造接下來的二維數組
for i in range(15):
page_result[i] = [] # 構造二維數組
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍歷參數，將它們放置在同一個list當中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回當前頁的招聘信息

第四步：將所抓取的信息存儲到excel中
獲得原始數據之後，為了進一步的整理與分析，我們有結構有組織的將抓取到的數據存儲到excel中，方便進行數據的可視化處理。
這里我用了兩個不同的框架，分別是老牌的xlwt.Workbook、以及xlsxwriter。

?

1
2
3
4
5
6
7
8
9
10
11
12

def save_excel(fin_result, tag_name, file_name):
book = Workbook(encoding='utf-8')
tmp = book.add_sheet('sheet')
times = len(fin_result)+1
for i in range(times): # i代表的是行,i+1代表的是行首信息
if i == 0:
for tag_name_i in tag_name:
tmp.write(i, tag_name.index(tag_name_i), tag_name_i)
else:
for tag_list in range(len(tag_name)):
tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))
book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

首先是xlwt，不知道為什麼，xlwt存儲到100多條數據之後，會存儲不全，而且excel文件也會出現「部分內容有問題，需要進行修復」我檢查了很多次，一開始以為是數據抓取的不完全，導致的存儲問題。後來斷點檢查，發現數據是完整的。後來換了本地的數據進行處理，也沒有出現問題。我當時的心情是這樣的：

到現在我也沒弄明白，有知道的大神希望能告訴我ლ(╹ε╹ლ)

?

1
2
3
4
5
6
7
8
9
10
11
12
13

def save_excel(fin_result, tag_name, file_name): # 將抓取到的招聘信息存儲到excel當中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默認存儲在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因為被表格的表頭所佔
tmp.write_row(con_pos, content)
book.close()

這是使用xlsxwriter存儲的數據，沒有問題，可以正常使用。
到從為止，一個抓取拉勾網招聘信息的小爬蟲就誕生了。
附上源碼
?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91

#! -*-coding:utf-8 -*-

from urllib import request, parse
from bs4 import BeautifulSoup as BS
import json
import datetime
import xlsxwriter

starttime = datetime.datetime.now()

url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'
# 拉鉤網的招聘信息都是動態獲取的，所以需要通過post來遞交json信息，默認城市為北京

tag = ['companyName', 'companyShortName', 'positionName', 'ecation', 'salary', 'financeStage', 'companySize',
'instryField', 'companyLabelList'] # 這是需要抓取的標簽信息，包括公司名稱，學歷要求，薪資等等

tag_name = ['公司名稱', '公司簡稱', '職位名稱', '所需學歷', '工資', '公司資質', '公司規模', '所屬類別', '公司介紹']

def read_page(url, page_num, keyword): # 模仿瀏覽器post需求信息，並讀取返回後的頁面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通過頁面分析，發現瀏覽器提交的FormData包括以下參數
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page

def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result'] # 通過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其他參數
page_result = [num for num in range(15)] # 構造一個容量為15的list佔位，用以構造接下來的二維數組
for i in range(15):
page_result[i] = [] # 構造二維數組
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍歷參數，將它們放置在同一個list當中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回當前頁的招聘信息

def read_max_page(page): # 獲取當前招聘關鍵詞的最大頁數，大於30的將會被覆蓋，所以最多隻能抓取30頁的招聘信息
page_json = json.loads(page)
max_page_num = page_json['content']['totalPageCount']
if max_page_num > 30:
max_page_num = 30
return max_page_num

def save_excel(fin_result, tag_name, file_name): # 將抓取到的招聘信息存儲到excel當中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默認存儲在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因為被表格的表頭所佔
tmp.write_row(con_pos, content)
book.close()

if __name__ == '__main__':
print('**********************************即將進行抓取**********************************')
keyword = input('請輸入您要搜索的語言類型：')
fin_result = [] # 將每頁的招聘信息匯總成一個最終的招聘信息
max_page_num = read_max_page(read_page(url, 1, keyword))
for page_num in range(1, max_page_num):
print('******************************正在下載第%s頁內容*********************************' % page_num)
page = read_page(url, page_num, keyword)
page_result = read_tag(page, tag)
fin_result.extend(page_result)
file_name = input('抓取完成，輸入文件名保存：')
save_excel(fin_result, tag_name, file_name)
endtime = datetime.datetime.now()
time = (endtime - starttime).seconds
print('總共用時：%s s' % time)

C. python 網路爬蟲，怎麼自動保存圖片

defdownload_poster_image(movie):#定義一個下載圖片函數
src=movie#取出它的url
r=requests.get(src)#去獲取這個url
fname=url.split('/')[-1]#從url裡面獲取這個文件名
withopen(fname,'wb')asf:#應答的內容寫進去並且使用二進制
f.write(s.content)
movie['poster-path']=fname

res=requests.get(url)
img_url=res.xpath('//img[@class="q-img-item"]/@src')

movie=img_url
download_poster_image(movie)#執行函數

D. python爬蟲是幹嘛的

爬蟲技術是一種自動化程序。

爬蟲就是一種可以從網頁上抓取數據信息並保存的自動化程序，它的原理就是模擬瀏覽器發送網路請求，接受請求響應，然後按照一定的規則自動抓取互聯網數據。

搜索引擎通過這些爬蟲從一個網站爬到另一個網站，跟蹤網頁中的鏈接，訪問更多的網頁，這個過程稱為爬行，這些新的網址會被存入資料庫等待搜索。簡而言之，爬蟲就是通過不間斷地訪問互聯網，然後從中獲取你指定的信息並返回給你。而我們的互聯網上，隨時都有無數的爬蟲在爬取數據，並返回給使用者。

爬蟲技術的功能

1、獲取網頁

獲取網頁可以簡單理解為向網頁的伺服器發送網路請求，然後伺服器返回給我們網頁的源代碼，其中通信的底層原理較為復雜，而Python給我們封裝好了urllib庫和requests庫等，這些庫可以讓我們非常簡單的發送各種形式的請求。

2、提取信息

獲取到的網頁源碼內包含了很多信息，想要進提取到我們需要的信息，則需要對源碼還要做進一步篩選。可以選用python中的re庫即通過正則匹配的形式去提取信息，也可以採用BeautifulSoup庫（bs4）等解析源代碼，除了有自動編碼的優勢之外，bs4庫還可以結構化輸出源代碼信息，更易於理解與使用。

3、保存數據

提取到我們需要的有用信息後，需要在Python中把它們保存下來。可以使用通過內置函數open保存為文本數據，也可以用第三方庫保存為其它形式的數據，例如可以通過pandas庫保存為常見的xlsx數據，如果有圖片等非結構化數據還可以通過pymongo庫保存至非結構化資料庫中。

E. python爬蟲下來的數據怎麼存

如果是存到mysql中，可以設置為欄位類型為text。
mysql中text 最大長度為65,535(2的16次方–1)字元的TEXT列。
如果你覺得text長度不夠，可以選擇
MEDIUMTEXT最大長度為16,777,215。
LONGTEXT最大長度為4,294,967,295
Text主要是用來存放非二進制的文本，如論壇帖子,題目，或者網路知道的問題和回答之類。
需要弄清楚的是text 和 char varchar blob這幾種類型的區別

如果真的特別大，就用python在某一路徑下建一個文件，把內容write到文件中就可以了

F. 4.python爬蟲之新建 scrapy 爬蟲項目(抓取和保存)

1.win10 下 win + r 打開cmd 切換新項目的目錄
2.新建scrapy項目的命令:

可以利用pycharm 打開項目文件夾編輯項目
3.items.py
聲明爬取的欄位

4.新建scrapy 爬蟲

用命令 scrapy genspider doubanmovie "movie.douban.com" 創建爬蟲。

5.運行爬蟲

5.1 創建運行腳本
(一)、在 scrapy.cfg 同級目錄下創建 pycharm 調試腳本 run.py，避免每次運行爬蟲輸入密碼,內容如下：

6.修改robottxt協議
修改 settings 中的 ROBOTSTXT_OBEY = True 參數為 False,因為默認為 True，就是要遵守 robots.txt 的規則， robots.txt 是遵循 Robot協議 的一個文件，它保存在網站的伺服器中，它的作用是，告訴搜索引擎爬蟲，本網站哪些目錄下的網頁不希望你進行爬取收錄。在 Scrapy 啟動後，會在第一時間訪問網站的 robots.txt 文件，然後決定該網站的爬取范圍。查看 robots.txt 可以直接網址後接 robots.txt 即可。

一般構建爬蟲系統，建議自己編寫Item Pipeline,就可以在open(path)選擇自己的保存路徑
參考: # scrapy爬蟲事件以及數據保存為txt,json,mysql

7.1保存為json格式時出現亂碼的解決方式:
scrapy抓取豆瓣書籍保存json文件亂碼問題
中文默認是Unicode,如:

\u5317\u4eac\u5927\u5b66
在setting文件settings.py中設置：

就可以解決了
第二種解決辦法
或在cmd中傳入 -s FEED_EXPORT_ENCODING='utf-8'

參考: https://www.cnblogs.com/tinghai8/p/9700300.html

G. python爬蟲做好了怎麼用pandas保存為excle文件

命令行下安裝：pip install openpyxl