『壹』 怎麼樣python爬蟲進行此網站爬取
是加密的,解密方法在JS裡面可以弄出來。
首先要AES解密,可以【Python:import Crypto.Cipher.AES】包,解密mode是CFB,seed是"userId:"+uid+":seed"的SHA256值,解密的key是seed[0:24],iv是seed[len(seed)-16:]。
如果沒有登錄,uid就是用的"anyone",這時候的seed是"",也就是key為"61581AF471B166682A37EFE6",iv為"C8F203FCA312AAAB"。
解密後文件是壓縮過的,解壓即可得到一個JSON。這部分解壓我沒仔細看他的演算法,好像是gzip,直接用【Python:import gzip】解壓有點出錯,可能沒用對或者不是這個演算法,你在研究一下。第二種投機的方法就是,可以通過【Python:import execjs】直接調用他的pako.js文件的JS的inflate()函數來解壓這塊。JS代碼混淆後看起來是非常難懂的,使用這種做法可以不用太看懂加密的演算法,效率當然寫Python實現這個解密演算法低1點咯。
最後的JSON再用【Python:import demjson】解析,text的value就是文檔。
『貳』 vue 基於pako.js實現gzip的壓縮和解壓功能
後台返回的數據是gzip 加密過的,需要解壓數據,如下圖所示:
我們需要上圖標出來的加密數據進行解密出來
1 安裝 :
2 使用