① 爬虫可以爬加密数据吗
可谨塌悄以。爬虫可以爬加密数祥渣据。大部分数据都是可以爬的，不过有些网站对数据的加密做的非常好，在解析的衫困过程中要消耗很长的时间。
② 爬虫 遇到瓶颈，response返回的是加密数据，该怎么办
据统计，2013年机器人占互联网访问的比例就已经超过了60%（很遗憾我并没有查到更近时间的数据，但只会多不会少），也就是大部分的互联网流量并不是由人类产生的。这60%孜孜不倦昼夜不息乐此不疲的机器人，我们就称之为爬虫。
爬虫分善良的爬虫和恶意的爬虫。善良的就像搜索引擎蜘蛛，它们扫描整个网络的内容，协助人类索引、保存、组织、排序信息，让人人都成了现代的诸葛亮，足不出户就可以窥探自然宇宙、知道天下兴替。如果你不希望信息被索引，也只需大咧咧写个robot.txt声明，就跟国际法一样神圣不被侵犯。更别说对做数据分析和数据挖掘的，爬虫简直是一门必须学精的手艺。公开的数据、新闻、微博，抓下来输入模型演算一遍，什么趋势、什么分布、什么画像，都尽入掌握，站在大数据之前，你会觉得自己就是这个时代的魔法师，能知前，能知后，能无中生有。
正邪相生。恶意的爬虫远不只偷你的数据那么简单，他们像蝗虫一样盯着用户聚集的地方，忙碌着在你的数据中注入水分，破坏正常用户的体验，损害你服务的处理能力。刷了你的排行榜，让没有价值的信息排到前面去了；打开大厅，游戏玩家看到的满屏都是爬虫留下的广告，或者有害的色情信息；好不容易真金白银做个广告，一群薅羊毛的机器人一拥而上，热心的用户赶了个晚集，反而连渣都没剩下，运营触达的效果大打折扣；竞争对手眼红了，来一波DDOS，利用大量的主机和硬件对你进行流量攻击，网站瘫痪了，正常用户都服务不了。
所以这注定是一场没有硝烟的战争。不管是操纵善良的爬虫攻击，还是阻止恶意的爬虫入侵，都必须要把攻防当成战争看待，一点都大意不得。以下就给一些爬虫
③ 爬虫可以爬取加密狗软件吗
可以。
加密狗是目前流行的一种软件加密工具。它是插在计算机接口上的软硬件结合的软件加密产品。，般有USB口和并口两种，又称USB加密狗和并口加密狗。
爬墙是通过外网进行的远程操作，硬件克隆复制针对的是国产芯片的加密狗，因为国产加密狗公司一般没有核心加密芯片的制造能力，因此有些使用了市场上通用的芯片，破解者分析出芯片电路 以及芯片里写的内容后，就可以立刻复制或克隆一个完全相同的加密狗。
④ java爬虫遇到参数加密该怎么办
今天有空研究了下大家都在喊的AES加密！还以为是什么深奥的东西呢！终于了解了，心中释然了！跟大家一起分享下吧！DES其实就是：数据加密标准英文的缩写！就是个加密的标注而已，AES就是高级加密标准英文的缩写咯，大家都叫缩写叫惯了，搞得我们这些没接触的人一头雾水！心里还真憋屈的慌呢！这是在搜集资料的时候拿了个例子练手，不过有个问题就是，把这代码放到文本里用CMD运行的时候出现了乱码情况！所幸的是注释，不影响效果！但是，程序要真遇到这样的情况的话，就得转码了，因为文本的编码是GBK的，而我所要粘贴的代码的编码是UTF-8[html]viewplainimportjava.util.*;importjava.io.*;publicclassTest{privateStringencodeResult;//编码后字串privateStringdecodeResult;//解码后字串publicTest(){}//编码设置publicvoidsetEncodeResult(StringencodeResult){char[]src=encodeResult.toCharArray();//将待编码字串拆分成字符数组StringBuildersb=newStringBuilder();//保存编码后字符//将待编码字串拆分成字符数组for(inti=0;i1)sb.append(temp[i].length()-1);elsesb.append(temp[i]);}this.decodeResult=newString(sb);}//获得解码后结果publicStringgetDecodeResult(){returndecodeResult;}publicstaticvoidmain(String[]args){System.out.println("请输入待编码字符串（以回车键结束）：");//此处存在一个乱码问题，在文本文档中的编码是GBK而它的编码是UTF-8，cmd不识别！Stringsource="";try{BufferedReaderbr=newBufferedReader(newInputStreamReader(System.in));source=br.readLine();}catch(IOExceptione){e.printStackTrace();}Teste=newTest();e.setEncodeResult(source);System.out.println("编码后结果："+e.getEncodeResult());e.setDecodeResult(e.getEncodeResult());System.out.println("解码后结果："+e.getDecodeResult());}}[html]viewplain请输入待编码字符串（以回车键结束）：abcdc123编码后结果：a_b_c_d_c_22_333_3解码后结果：abcdc123【最简单的加密】1.简单的概念明文：加密前的信息密文：机密后的信息算法：加密或解密的算法密钥：算法使用的钥匙例子：将123456每位数字都加1后得到234567，其中123456就是明文，234567就是密文，加密密钥就是1，加密算法是每位加[html]viewplainimportjava.security.SecureRandom;importjavax.crypto.Cipher;importjavax.crypto.KeyGenerator;importjavax.crypto.spec.SecretKeySpec;importsun.misc.BASE64Decoder;importsun.misc.BASE64Encoder;/***编码工具类*1.将byte[]转为各种进制的字符串*2.base64encode*3.base64decode*4.获取byte[]的md5值*5.获取字符串md5值*6.结合base64实现md5加密*7.AES加密*8.AES加密为base64code*9.AES解密*10.将base64codeAES解密*@authoruikoo9*@version0.0.7.20140601*/publicclassTest{publicstaticvoidmain(String[]args)throwsException{Stringcontent="我爱你,祖国";System.out.println("加密前："+content);Stringkey="123456";System.out.println("加密密钥和解密密钥："+key);Stringencrypt=aesEncrypt(content,key);System.out.println("加密后："+encrypt);Stringdecrypt=aesDecrypt(encrypt,key);System.out.println("解密后："+decrypt);}/***AES加密为base64code*@paramcontent待加密的内容*@paramencryptKey加密密钥*@return加密后的base64code*@throwsException*/publicstaticStringaesEncrypt(Stringcontent,StringencryptKey)throwsException{returnbase64Encode(aesEncryptToBytes(content,encryptKey));}/***AES加密*@paramcontent待加密的内容*@paramencryptKey加密密钥*@return加密后的byte[]*@throwsException*/publicstaticbyte[]aesEncryptToBytes(Stringcontent,StringencryptKey)throwsException{KeyGeneratorkgen=KeyGenerator.getInstance("AES");kgen.init(128,newSecureRandom(encryptKey.getBytes()));Ciphercipher=Cipher.getInstance("AES");cipher.init(Cipher.ENCRYPT_MODE,newSecretKeySpec(kgen.generateKey().getEncoded(),"AES"));returncipher.doFinal(content.getBytes("utf-8"));}/***base64encode*@parambytes待编码的byte[]*@return编码后的base64code*/(byte[]bytes){returnnewBASE64Encoder().encode(bytes);}/***将base64codeAES解密*@paramencryptStr待解密的base64code*@paramdecryptKey解密密钥*@return解密后的string*@throwsException*/publicstaticStringaesDecrypt(StringencryptStr,StringdecryptKey)throwsException{returnaesDecryptByBytes(base64Decode(encryptStr),decryptKey);}/***AES解密*@paramencryptBytes待解密的byte[]*@paramdecryptKey解密密钥*@return解密后的String*@throwsException*/(byte[]encryptBytes,StringdecryptKey)throwsException{KeyGeneratorkgen=KeyGenerator.getInstance("AES");kgen.init(128,newSecureRandom(decryptKey.getBytes()));Ciphercipher=Cipher.getInstance("AES");cipher.init(Cipher.DECRYPT_MODE,newSecretKeySpec(kgen.generateKey().getEncoded(),"AES"));byte[]decryptBytes=cipher.doFinal(encryptBytes);returnnewString(decryptBytes);}/***base64decode*@parambase64Code待解码的base64code*@return解码后的byte[]*@throwsException*/publicstaticbyte[]base64Decode(Stringbase64Code)throwsException{returnnewBASE64Decoder().decodeBuffer(base64Code);}}
⑤ 如何使用python解决网站的反爬虫
1、从用户请求的Headers反爬虫是最常见的反爬虫策略。
伪装header。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名[评论：往往容易被忽略，通过对请求的抓包分析，确定referer，在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。
2、基于用户行为反爬虫
还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。[这种防爬，需要有足够多的ip来应对]
（1）、大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib中很容易做到，这样就能很容易的绕过第一种反爬虫。
编写爬虫代理：
步骤：
1.参数是一个字典{'类型'：'代理ip：端口号'}
proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener
opener=urllib.request.build_opener(proxy_support)
3a.安装opener
urllib.request.install_opener(opener)
3b.调用opener
opener.open(url)
用大量代理随机请求目标网站，应对反爬虫