① 如何用爬虫爬网络代理服务器地址
网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。
1.利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。
2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。
3.把有效的ip写入ip代理池的配置文件，重新加载配置文件。
4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。
② 如何使用Fiddler抓取移动端https协议包
第一步，客户端发起明文请求：将自己支持的一套加密规则、以及一个随机数（Random_C）发送给服务器。
第二步，服务器初步响应：服务器根据自己支持的加密规则，从客户端发来的请求中选出一组加密算法与HASH算法，生成随机数，并将自己的身份信息以证书（CA）的形式发回给浏览器。CA证书里面包含了服务器地址，加密公钥，以及证书的颁发机构等信息。这时服务器给客户端的包括选择使用的加密规则、CA证书、一个随机数（Random_S）。
第三步，客户端接到服务器的初步响应后做四件事情：
（1）证书校验： 验证证书的合法性（颁发证书的机构是否合法，证书中包含的网站地址是否与正在访问的地址一致等）。
（2）生成密码：浏览器会生成一串随机数的密码（Pre_master），并用CA证书里的公钥加密(enc_pre_master)，用于传给服务器。
（3）计算协商密钥：此时客户端已经获取全部的计算协商密钥需要的信息：两个明文随机数 Random_C 和 Random_S 与自己计算产生的 Pre-master，计算得到协商密钥enc_key。
enc_key=Fuc(random_C, random_S, Pre-Master)
（4）生成握手信息：使用约定好的HASH计算握手消息，并使用协商密钥enc_key及约定好的算法对消息进行加密。
第四步，客户端将第三步产生的数据发给服务器：
这里要发送的数据有三条：
（1）用公钥加密过的服务器随机数密码enc_pre_master
（2）客户端发给服务器的通知，”以后我们都要用约定好的算法和协商密钥进行通信的哦”。
（3）客户端加密生成的握手信息。
③ 我是网络方面的新手，希望请教各位一个问题：如何抓取机内的数据包 就是说我的数据库服务器在自己的机器
一般来说抓包都是用软件，抓包软件是抓去进，出设备的数据包。所以如果数据没有流动那就抓不到。不知道你想要查看些什么内容，如果你想看数据服务器与其他设备都传递些什么数据包那就得把数据服务器和另一个设备连在一起，让他们处于信息交互的状态，这样才能抓包。
比较有名的抓包工具有sniffer，etherpeak，wireshake（可能拼写有误，网络会为你纠正^_^)
而个人pc抓包一般都是抓取网卡上的数据,一般抓包软件会让你选择抓哪个网卡的数据，那就选你连接服务器和另一设备的那张网卡就行了。
抓取的包是所有通过网卡的数据，所以准确的筛选就要看你自己的知识够不够了。
④ 如何绕开网站防护抓取数据
控制下载频率大规模集中访问对服务器的影响较大，爬虫可以短时间增大服务器负载。这里需要注意的是：设定下载等待时间的范围控制，等待时间过长，不能满足短时间大规模抓取的要求，等待时间过短则很有可能被拒绝访问。在之前“从url获取HTML”的方法里，对于httpGet的配置设置了socket超时和连接connect超时，其实这里的时长不是绝对的，主要取决于目标网站对爬虫的控制。
另外，在scrapy爬虫框架里，专有参数可以设置下载等待时间download_delay，这个参数可以设置在setting.py里，也可以设置在spider里。
IP的访问频率被限制，一些平台为了防止多次访问网站，会在某个同一个IP在单元时间内超过一定的次数的时候，将禁止这个IP继续访问。对于这个限制IP访问效率，可以使用代理IP的方法来解决问题比如使用IPIDEA。
采用分布式爬取分布式爬取的也有很多Githubrepo。原理主要是维护一个所有集群机器能够有效分享的分布式队列。使用分布式爬取还有另外一个目的：大规模抓取，单台机器的负荷很大，况且速度很慢，多台机器可以设置一个master管理多台slave去同时爬取。
修改User-Agent最常见的就是伪装浏览器，修改User-Agent(用户代理)。User-Agent是指包含浏览器信息、操作系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。在request.headers里可以查看user-agent，关于怎么分析数据包、查看其User-Agent等信息，这个在前面的文章里提到过。
具体方法可以把User-Agent的值改为浏览器的方式，甚至可以设置一个User-Agent池(list，数组，字典都可以)，存放多个“浏览器”，每次爬取的时候随机取一个来设置request的User-Agent，这样User-Agent会一直在变化，防止被墙。
综上所述，爬虫怎么突破反爬虫的方法比较多，上文从更换IP、控制下载频率、分布式爬取、修改User-Agent这四个方面介绍了突破反爬虫机制的方法，从而实现数据的爬取。
⑤ 如何进行抓取局域网中的所有包
可以使用两个方法：
1、找到那个服务器的交换机端口，做一个端口镜像。
2、那个服务器前面串一个HUB，老式的广播HUB，然后你的wireshark和服务器一起接到HUB上。
工具：Wireshark、Ethereal、Sniffer等。
如果你下面那个可以使用个，你就都加上代理就是了，应该是有的网站限制了爬虫的头部数据。 虽然你可以通过urlopen返回的数据判断，但是不建议做，增加成本。 如果解决了您的问题请采纳！ 如果未解决请继续追问
⑦ 如何在linux下编程实现抓取DHCP服务器与客服端通信的报文
到网上下载网抓包工具就行了。
⑧ fiddler怎么抓取路由器上的数据
第一步：去网络搜索Fiddler
第二步：去到Download找到图中的软件安装
第三步：打开软件，在工具栏，找到Tools-》 Fiddler Options
第四步：在HTTs选项卡中选中decrypt https traffic和ignore server certificate errors两项
第五步：在connections选项卡中，选择选中allow remote computers to connect，默认监听端口为8888，记住默认端口如果被占用就要改一个。还有设置好了记住，一定要重启软件
第六步：查阅自己电脑的IP地址，在命令行中输入：ipconfig，然后要记住自己的IP地址。
第七步：打开手机找到手机wifi网络，并修改该wifi网络详情(长按wifi选择->修改网络)->显示高级选项
第八步：代替选择手动，用前面在电脑记下来的ip地址输进去，和那个端口地址8888
第九步：手机访问网页，手机打开网络
第十步：在电脑端可以看到访问数据，右边是数据包申请GET的地址。就到这里了啦，
⑨ 如何在远程服务器上抓包
你的意思是说在windows上运行sniffer程序抓linux服务器上的包？ 这个功能不是wireshark这类sniffer能做到的，首先要保证你linux服务器上的包能同时发到windows的机器上，可以通过在交换机上设置来实现。如果对实时性要求不是那么高的话，也可以在linux上用tcpmp将流量保存到本地文件，再拿到windows上分析。
⑩ 如何抓取指定网站后台服务器数据
先打开wireshark监听指定的网卡就是上网的那一张网卡，开始抓包，然后使用浏览器访问你想要的网站，当浏览器显示网站数据传输完毕，停止抓包，将所抓的数据保存下来即可