python爬蟲抓取json

㈠ python爬蟲需要會什麼

python爬蟲要學什麼？讓我們一起了解一下吧！
1、學習計算機網路協議基礎，了解一個完整的網路請求過程，大致了解網路協議（http協議，tcp-ip協議），了解socket編程，為後期學習爬蟲打下扎實的基礎。
2、學習前端基礎，你需要掌握html、css和JavaScript之間的關系，瀏覽器的載入過程，ajax、json和xml，GET、POST方法。
3、學習python爬蟲相關知識，比如最常使用的爬蟲庫requests，要知道如何用requests發送請求獲取數據。網頁定位和選取，比如beautifulsoup、xpath、css選擇器，數據處理用正則表達式。
4、學習數據存儲知識，比如用python將抓取的數據自動導出Excel或者資料庫中。
拓展：爬蟲python能做什麼
1、收集數據
python爬蟲程序可用於收集數據。這也是最直接和最常用的方法。由於爬蟲程序是一個程序，程序運行得非常快，不會因為重復的事情而感到疲倦，因此使用爬蟲程序獲取大量數據變得非常簡單和快速。
2、調研
比如要調研一家電商公司，想知道他們的商品銷售情況。這家公司聲稱每月銷售額達數億元。如果你使用爬蟲來抓取公司網站上所有產品的銷售情況，那麼你就可以計算出公司的實際總銷售額。
3、刷流量和秒殺
刷流量是python爬蟲的自帶的功能。當一個爬蟲訪問一個網站時，如果爬蟲隱藏得很好，網站無法識別訪問來自爬蟲，那麼它將被視為正常訪問。
除了刷流量外，還可以參與各種秒殺活動，包括但不限於在各種電商網站上搶商品，優惠券，搶機票和火車票。
今天的分享就是這些，希望能幫助到大家！

㈡ python爬蟲怎麼抓取ajax返回的json

網頁提交的數據吧？ 網頁或者外界提交過來的數據都是字元串格式的。需要用json.loads()轉成json格式 你試試： import jsonprint json.loads(request.body)

㈢ 4.python爬蟲之新建 scrapy 爬蟲項目(抓取和保存)

1.win10 下 win + r 打開cmd 切換新項目的目錄
2.新建scrapy項目的命令:

可以利用pycharm 打開項目文件夾編輯項目
3.items.py
聲明爬取的欄位

4.新建scrapy 爬蟲

用命令 scrapy genspider doubanmovie "movie.douban.com" 創建爬蟲。

5.運行爬蟲

5.1 創建運行腳本
(一)、在 scrapy.cfg 同級目錄下創建 pycharm 調試腳本 run.py，避免每次運行爬蟲輸入密碼,內容如下：

6.修改robottxt協議
修改 settings 中的 ROBOTSTXT_OBEY = True 參數為 False,因為默認為 True，就是要遵守 robots.txt 的規則， robots.txt 是遵循 Robot協議 的一個文件，它保存在網站的伺服器中，它的作用是，告訴搜索引擎爬蟲，本網站哪些目錄下的網頁不希望你進行爬取收錄。在 Scrapy 啟動後，會在第一時間訪問網站的 robots.txt 文件，然後決定該網站的爬取范圍。查看 robots.txt 可以直接網址後接 robots.txt 即可。

一般構建爬蟲系統，建議自己編寫Item Pipeline,就可以在open(path)選擇自己的保存路徑
參考: # scrapy爬蟲事件以及數據保存為txt,json,mysql

7.1保存為json格式時出現亂碼的解決方式:
scrapy抓取豆瓣書籍保存json文件亂碼問題
中文默認是Unicode,如:

\u5317\u4eac\u5927\u5b66
在setting文件settings.py中設置：

就可以解決了
第二種解決辦法
或在cmd中傳入 -s FEED_EXPORT_ENCODING='utf-8'

參考: https://www.cnblogs.com/tinghai8/p/9700300.html

㈣ Python 爬蟲爬坑路（二）——B站圖片，咸魚的正確 GET 姿勢

昨天在寫完 入門級爬蟲之後 ，馬上就迫不及待的著手開始寫 B站的圖片爬蟲了，真的很喜歡這個破站呢 (〜￣△￣)〜

這里不涉及到 Python 爬蟲的高級技巧，沒有使用框架，沒有考慮反爬機制，沒有使用非同步IO技術，因為這些，我都不會！

我們選定 B站的 動畫區 進行測試，打開後我們發現有好多好多圖....

但當我們使用 F12 查看這些圖片的時候，發現並沒有圖片的地址...

這就是目前大多網站使用的 Ajax 技術動態載入數據的鍋，可遇到這種情況這么辦呢？別急別急，我們知道這些圖片的地址一定是需要載入的，而目前常見WEB傳輸數據的基本就是方式 XML 和 Json (其實是我就知道這兩種...)，那好我們去看看請求的 XML 和 Json 文件。

以下省略查找過程....

我們發現 B站的圖片地址是保存在 Json 裡面的，ok，我們保存好這個 json 地址:
https://api.bilibili.com/x/web-interface/dynamic/region?callback=jQuery172071087417824369_1505783866149&jsonp=jsonp&ps=15&rid=24&_=1505783866453

這個是 MAD·AMV 最新動態的 Json 文件，利用上面相同的方法，我們找到 3D區、短片·配音區、綜合區 以及 右邊排行部分 的相應 json 地址。

好在 Chrome 瀏覽器提供了一個 Preview 功能，自動幫我們整理好 數據，如下

這樣就很清晰啦，我們只需要一層層解析拿到 pic 即可。於是我們這樣寫：

我們利用 requests 內置的 json 解碼器，很不幸，報錯：

json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

它提示說：解碼 Json 數據的時候出了問題，可能是在 第一行 第一列，咦？好奇怪，剛才不是用瀏覽器看過結構了嗎，沒毛病啊，怎麼還在報錯：Σ( ￣□￣||)

別急別急，我們先看看原始的 Json 數據長啥樣？用 瀏覽器打開上面的 json 鏈接就可以了。

（/TДT)/ 前面的那些字母是幹嘛的呀，為什麼還有括弧啊！

所以我們知道了 Json 解析錯誤 的原因啦：後面在處理的時候把前面的這部分刪掉就好啦，另外我們也發現了 archives 這個關鍵字，我們在上一張圖看見過的哦，有印象嗎？啊，你說沒有呀，沒關系，這里你只需要記著它是一個 List 的數據類型就好了呀！

為了防止被當作是 惡意訪問 從而被封 IP，這里我們選擇犧牲時間，取巧使用 sleep(x) ，讓其等待一段時間之後再發出請求。

你可能會問我，呀，你這個，根本沒有代理、沒有混淆IP防止反爬、也沒有模擬 Ajax 請求動態抓取雲雲~

那我可以很負責的告訴你，你！走錯地方了！你要找的技術貼出門右拐！（￣へ￣）

我們恰巧使用的是 B站的 Ajax 技術，只要哪個視頻有了最新評論(或者是一下其它的條件)，就會使用 Ajax 將最新的數據取出來。就像下面這樣：

所以可能在訪問人數多的時候，更新越快，越有可能獲得更多不同的圖片啦！

之後你就可以在吃飯的時候，把它掛起，然後吃飯回來就會發現有好多好多的圖片！(=・ω・=)

之後會陸續的更新自己爬蟲的爬坑過程，希望能夠找到小夥伴一起學習呀！

㈤ python中json處理

python中json文件處理涉及的四個函數json.loads()、json.mps()、json.load()、json.mp()。

1）json.mps()

    將一個Python數據類型dict進行json格式的編碼（字典->字元串）

    eg：

    age_dict = {'age1':'12', 'age2':'15'}

    json_info = json.mps(age_dict)

    print("json_info = {}".format(json_info))

    print("json_info type = {}".format(type(json_info)))

2）json.loads()

    將json格式數據轉換為dict（字元串->字典）

    json_age ='{"age1": "12", "age2": "15"}'

    dict_age = json.loads(json_info)

    print("json_age = {}".format(json_age))

    print("dict_age type = {}".format(str(type(dict_age))))

3）json.load()

    讀取文件，將里json格式字元串轉化為dict

    with open(test.json, 'r') as file:

        contents = json.load(file)

    print(contents)

4）json.mp()

    將dict類型轉換為json格式字元串,存入文件

    number = [1, 2, 3, 5]

    file = 'number.json'

    with open(file , 'w') as file:

        json.mp(number, file)

㈥ Python爬蟲（七）數據處理方法之JSON

JSON 指的是 JavaScript 對象表示法（JavaScript Object Notation），是輕量級的文本數據交換格式，且具有自我描述性，更易理解。
JSON看起來像python類型（列表，字典）的字元串。

在之前的文章中，我們說到了怎麼用response的方法，獲取到網頁正確解碼後的字元串。如果還有不懂的，可以先閱讀 Python爬蟲（三）Requests庫 。接下來以有道翻譯為例子，說說怎麼通過網頁解碼後的字元串，提取到翻譯結果。

再結合上述有道翻譯的例子，得到字典類型的返回結果，並提取出來翻譯結果。

將上述例子的dict_json換成str字元串，再寫入文本中。

執行完上述的程序，會得到一個fanyi.txt的文件，其結果如下：{"type": "ZH_CN2EN", "errorCode": 0, "elapsedTime": 1, "translateResult": [[{"src": "\u4eba\u751f\u82e6\u77ed\uff0c\u6211\u7528python", "tgt": "Life is too short, I use python"}]]}。這樣子的一份文檔，中文部分顯示的是二進制，且格式非常不利於閱讀，這並不是我們想要的結果。好在json.mps()為我們提供的兩個方法，以幫助我們更好閱讀文檔。
1.ensure_ascii，能夠讓中文顯示成中文；
2.indent，能夠讓下一行在第一行的基礎上空格。
其用法如下：

㈦ python爬取快手視頻json數據和瀏覽器抓包工具獲取的不一樣怎麼辦

再給你看看這個

在這個位置可以直接看到視頻的，無意中瞄到了。。。醉了