① 爬蟲可以爬加密數據嗎
可謹塌悄以。爬蟲可以爬加密數祥渣據。大部分數據都是可以爬的，不過有些網站對數據的加密做的非常好，在解析的衫困過程中要消耗很長的時間。
② 爬蟲 遇到瓶頸，response返回的是加密數據，該怎麼辦
據統計，2013年機器人占互聯網訪問的比例就已經超過了60%（很遺憾我並沒有查到更近時間的數據，但只會多不會少），也就是大部分的互聯網流量並不是由人類產生的。這60%孜孜不倦晝夜不息樂此不疲的機器人，我們就稱之為爬蟲。
爬蟲分善良的爬蟲和惡意的爬蟲。善良的就像搜索引擎蜘蛛，它們掃描整個網路的內容，協助人類索引、保存、組織、排序信息，讓人人都成了現代的諸葛亮，足不出戶就可以窺探自然宇宙、知道天下興替。如果你不希望信息被索引，也只需大咧咧寫個robot.txt聲明，就跟國際法一樣神聖不被侵犯。更別說對做數據分析和數據挖掘的，爬蟲簡直是一門必須學精的手藝。公開的數據、新聞、微博，抓下來輸入模型演算一遍，什麼趨勢、什麼分布、什麼畫像，都盡入掌握，站在大數據之前，你會覺得自己就是這個時代的魔法師，能知前，能知後，能無中生有。
正邪相生。惡意的爬蟲遠不只偷你的數據那麼簡單，他們像蝗蟲一樣盯著用戶聚集的地方，忙碌著在你的數據中注入水分，破壞正常用戶的體驗，損害你服務的處理能力。刷了你的排行榜，讓沒有價值的信息排到前面去了；打開大廳，游戲玩家看到的滿屏都是爬蟲留下的廣告，或者有害的色情信息；好不容易真金白銀做個廣告，一群薅羊毛的機器人一擁而上，熱心的用戶趕了個晚集，反而連渣都沒剩下，運營觸達的效果大打折扣；競爭對手眼紅了，來一波DDOS，利用大量的主機和硬體對你進行流量攻擊，網站癱瘓了，正常用戶都服務不了。
所以這註定是一場沒有硝煙的戰爭。不管是操縱善良的爬蟲攻擊，還是阻止惡意的爬蟲入侵，都必須要把攻防當成戰爭看待，一點都大意不得。以下就給一些爬蟲
③ 爬蟲可以爬取加密狗軟體嗎
可以。
加密狗是目前流行的一種軟體加密工具。它是插在計算機介面上的軟硬體結合的軟體加密產品。，般有USB口和並口兩種，又稱USB加密狗和並口加密狗。
爬牆是通過外網進行的遠程操作，硬體克隆復制針對的是國產晶元的加密狗，因為國產加密狗公司一般沒有核心加密晶元的製造能力，因此有些使用了市場上通用的晶元，破解者分析出晶元電路 以及晶元里寫的內容後，就可以立刻復制或克隆一個完全相同的加密狗。
④ java爬蟲遇到參數加密該怎麼辦
今天有空研究了下大家都在喊的AES加密！還以為是什麼深奧的東西呢！終於了解了，心中釋然了！跟大家一起分享下吧！DES其實就是：數據加密標准英文的縮寫！就是個加密的標注而已，AES就是高級加密標准英文的縮寫咯，大家都叫縮寫叫慣了，搞得我們這些沒接觸的人一頭霧水！心裡還真憋屈的慌呢！這是在搜集資料的時候拿了個例子練手，不過有個問題就是，把這代碼放到文本里用CMD運行的時候出現了亂碼情況！所幸的是注釋，不影響效果！但是，程序要真遇到這樣的情況的話，就得轉碼了，因為文本的編碼是GBK的，而我所要粘貼的代碼的編碼是UTF-8[html]viewplainimportjava.util.*;importjava.io.*;publicclassTest{privateStringencodeResult;//編碼後字串privateStringdecodeResult;//解碼後字串publicTest(){}//編碼設置publicvoidsetEncodeResult(StringencodeResult){char[]src=encodeResult.toCharArray();//將待編碼字串拆分成字元數組StringBuildersb=newStringBuilder();//保存編碼後字元//將待編碼字串拆分成字元數組for(inti=0;i1)sb.append(temp[i].length()-1);elsesb.append(temp[i]);}this.decodeResult=newString(sb);}//獲得解碼後結果publicStringgetDecodeResult(){returndecodeResult;}publicstaticvoidmain(String[]args){System.out.println("請輸入待編碼字元串（以回車鍵結束）：");//此處存在一個亂碼問題，在文本文檔中的編碼是GBK而它的編碼是UTF-8，cmd不識別！Stringsource="";try{BufferedReaderbr=newBufferedReader(newInputStreamReader(System.in));source=br.readLine();}catch(IOExceptione){e.printStackTrace();}Teste=newTest();e.setEncodeResult(source);System.out.println("編碼後結果："+e.getEncodeResult());e.setDecodeResult(e.getEncodeResult());System.out.println("解碼後結果："+e.getDecodeResult());}}[html]viewplain請輸入待編碼字元串（以回車鍵結束）：abcdc123編碼後結果：a_b_c_d_c_22_333_3解碼後結果：abcdc123【最簡單的加密】1.簡單的概念明文：加密前的信息密文：機密後的信息演算法：加密或解密的演算法密鑰：演算法使用的鑰匙例子：將123456每位數字都加1後得到234567，其中123456就是明文，234567就是密文，加密密鑰就是1，加密演算法是每位加[html]viewplainimportjava.security.SecureRandom;importjavax.crypto.Cipher;importjavax.crypto.KeyGenerator;importjavax.crypto.spec.SecretKeySpec;importsun.misc.BASE64Decoder;importsun.misc.BASE64Encoder;/***編碼工具類*1.將byte[]轉為各種進制的字元串*2.base64encode*3.base64decode*4.獲取byte[]的md5值*5.獲取字元串md5值*6.結合base64實現md5加密*7.AES加密*8.AES加密為base64code*9.AES解密*10.將base64codeAES解密*@authoruikoo9*@version0.0.7.20140601*/publicclassTest{publicstaticvoidmain(String[]args)throwsException{Stringcontent="我愛你,祖國";System.out.println("加密前："+content);Stringkey="123456";System.out.println("加密密鑰和解密密鑰："+key);Stringencrypt=aesEncrypt(content,key);System.out.println("加密後："+encrypt);Stringdecrypt=aesDecrypt(encrypt,key);System.out.println("解密後："+decrypt);}/***AES加密為base64code*@paramcontent待加密的內容*@paramencryptKey加密密鑰*@return加密後的base64code*@throwsException*/publicstaticStringaesEncrypt(Stringcontent,StringencryptKey)throwsException{returnbase64Encode(aesEncryptToBytes(content,encryptKey));}/***AES加密*@paramcontent待加密的內容*@paramencryptKey加密密鑰*@return加密後的byte[]*@throwsException*/publicstaticbyte[]aesEncryptToBytes(Stringcontent,StringencryptKey)throwsException{KeyGeneratorkgen=KeyGenerator.getInstance("AES");kgen.init(128,newSecureRandom(encryptKey.getBytes()));Ciphercipher=Cipher.getInstance("AES");cipher.init(Cipher.ENCRYPT_MODE,newSecretKeySpec(kgen.generateKey().getEncoded(),"AES"));returncipher.doFinal(content.getBytes("utf-8"));}/***base64encode*@parambytes待編碼的byte[]*@return編碼後的base64code*/(byte[]bytes){returnnewBASE64Encoder().encode(bytes);}/***將base64codeAES解密*@paramencryptStr待解密的base64code*@paramdecryptKey解密密鑰*@return解密後的string*@throwsException*/publicstaticStringaesDecrypt(StringencryptStr,StringdecryptKey)throwsException{returnaesDecryptByBytes(base64Decode(encryptStr),decryptKey);}/***AES解密*@paramencryptBytes待解密的byte[]*@paramdecryptKey解密密鑰*@return解密後的String*@throwsException*/(byte[]encryptBytes,StringdecryptKey)throwsException{KeyGeneratorkgen=KeyGenerator.getInstance("AES");kgen.init(128,newSecureRandom(decryptKey.getBytes()));Ciphercipher=Cipher.getInstance("AES");cipher.init(Cipher.DECRYPT_MODE,newSecretKeySpec(kgen.generateKey().getEncoded(),"AES"));byte[]decryptBytes=cipher.doFinal(encryptBytes);returnnewString(decryptBytes);}/***base64decode*@parambase64Code待解碼的base64code*@return解碼後的byte[]*@throwsException*/publicstaticbyte[]base64Decode(Stringbase64Code)throwsException{returnnewBASE64Decoder().decodeBuffer(base64Code);}}
⑤ 如何使用python解決網站的反爬蟲
1、從用戶請求的Headers反爬蟲是最常見的反爬蟲策略。
偽裝header。很多網站都會對Headers的User-Agent進行檢測，還有一部分網站會對Referer進行檢測（一些資源網站的防盜鏈就是檢測Referer）。如果遇到了這類反爬蟲機制，可以直接在爬蟲中添加Headers，將瀏覽器的User-Agent復制到爬蟲的Headers中；或者將Referer值修改為目標網站域名[評論：往往容易被忽略，通過對請求的抓包分析，確定referer，在程序中模擬訪問請求頭中添加]。對於檢測Headers的反爬蟲，在爬蟲中修改或者添加Headers就能很好的繞過。
2、基於用戶行為反爬蟲
還有一部分網站是通過檢測用戶行為，例如同一IP短時間內多次訪問同一頁面，或者同一賬戶短時間內多次進行相同操作。[這種防爬，需要有足夠多的ip來應對]
（1）、大多數網站都是前一種情況，對於這種情況，使用IP代理就可以解決。可以專門寫一個爬蟲，爬取網上公開的代理ip，檢測後全部保存起來。有了大量代理ip後可以每請求幾次更換一個ip，這在requests或者urllib中很容易做到，這樣就能很容易的繞過第一種反爬蟲。
編寫爬蟲代理：
步驟：
1.參數是一個字典{'類型'：'代理ip：埠號'}
proxy_support=urllib.request.ProxyHandler({})
2.定製、創建一個opener
opener=urllib.request.build_opener(proxy_support)
3a.安裝opener
urllib.request.install_opener(opener)
3b.調用opener
opener.open(url)
用大量代理隨機請求目標網站，應對反爬蟲