㈠ 使用爬虫采集网站时，怎么样解决被封ip的问题
1.IP必须需要，，ADSL。如果有条件，其实可以跟机房多申请外网IP。
2.在有外网IP的机器上，部署代理服务器。
3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。
好处：
1.程序逻辑变化小，只需要代理功能。
2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。
3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。
方法2.
有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for（貌似这么拼。。。）即可绕过。
大部分网站么，如果要频繁抓取，一般还是要多IP。我比较喜欢的解决方案是国外VPS再配多IP，通过默认网关切换来实现IP切换，比HTTP代理高效得多，估计也比多数情况下的ADSL切换更高效。
方法3.
ADSL + 脚本，监测是否被封，然后不断切换 ip
设置查询频率限制
正统的做法是调用该网站提供的服务接口。
方法4.
8年多爬虫经验的人告诉你，国内ADSL是王道，多申请些线路，分布在多个不同的电信区局，能跨省跨市更好，自己写好断线重拨组件，自己写动态IP追踪服务，远程硬件重置（主要针对ADSL猫，防止其宕机），其余的任务分配，数据回收，都不是大问题。我的已经稳定运行了好几年了，妥妥的！
方法5.
1 user agent 伪装和轮换
2 使用代理 ip 和轮换
3 cookies 的处理，有的网站对登陆用户政策宽松些
友情提示：考虑爬虫给人家网站带来的负担，be a responsible crawler
方法6.
尽可能的模拟用户行为：
1、UserAgent经常换一换；
2、访问时间间隔设长一点，访问时间设置为随机数；
3、访问页面的顺序也可以随机着来
方法8.
网站封的依据一般是单位时间内特定IP的访问次数.
我是将采集的任务按 目标站点的IP进行分组 通过控制每个IP 在单位时间内发出任务的个数,来避免被封.当然,这个前题是你采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.
方法9.
1. 对爬虫抓取进行压力控制；
2. 可以考虑使用代理的方式访问目标站点。
-降低抓取频率，时间设置长一些，访问时间采用随机数
-频繁切换UserAgent（模拟浏览器访问）
-多页面数据，随机访问然后抓取数据
-更换用户IP
㈡ 阿里云服务器CPU 跑满怎么办
应该是你网站被攻击了，如DDOS/CC攻击这些都是消耗你服务器资源的。解决办法是购买阿里云高防IP，防火墙。不过阿里云的价格贵死。推荐你用网络云加速的吧。
网络云加速是网络旗下为网站提供一站式加速、安全防护和搜索引擎优化的产品。网络云加速是市场占有率最高的云加速产品之一，正为数十万用户的近百万网站提供CDN、网络安全和SEO服务。每天处理十亿级的PV流量及数百亿TB的数据流量，并提供市场顶尖水平的稳定性和抗攻击能力。
网络云加速以部署于骨干网的数据中心为支撑，结合网络深度学习技术，为您的网站提供性能和流量优化，致力与广大开发者一起于打造开放、安全的云服务生态系统。 我们希望更多的网站合作伙伴以及中小企业能受益于网络云加速带来的价值及红利，从而使得云生态能够更加良性的发展。
网络云加速为用户提下以下三大类功能：
1、网站加速
网络云加速节点遍布全中国，通过智能DNS解析等技术，将访问网站的用户引导至最快的节点，通过动静态加速及页面优化技术，极大的提高网站的访问速度和用户体验。此外，还可以大量节省网站自身的服务计算和带宽资源。
2、安全防护
网络云加速可以同时防护包括SQL注入、XSS、Web服务器漏洞、应用程序漏洞以及文件访问控制等问题在内的十多种黑客渗透攻击和SYN Flood、UDP Flood、ICMP Flood、TCP Flood以及CC在内的多种DDoS攻击。
3、SEO
网络云加速的网络蜘蛛DNS同步功能，可以做到和网络蜘蛛实时同步DNS信息，保证网络蜘蛛的正常抓取，保证搜索引擎权重的稳定性；通过死链自动提交、sitemap自动提交，及时收录网站信息，提高网站索引量。
㈢ 服务器带宽跑满了怎么办
造成服务器带宽跑满的原因有很多，大致可以归结为以下几类：
病毒
Windows 系统服务器中病毒或站点挂马，导致服务器内部有对外发包的文件。
建议在服务器上安装杀毒软件，进行杀毒。可以通过任务管理器中查看是否异常进程。当前阿里云暂时没有提供杀毒软件，您可以登陆服务器根据自己的日常使用的杀毒软件进行安装即可。
网络攻击
服务器或站点遭受 DDOS 攻击或 CC 攻击等，短期内产生大量的访问需求。
可以登陆阿里云管理控制台，查看云盾中的防护 DDOS 攻击是否调整好阈值，并核实是否开启CC防护。
目前CC防护有自己默认的阈值，由于安全问题此阈值暂时不对外公开。如果攻击没有触发到阈值，云盾没有清洗，可以提交工单到售后请手工协助开起清洗，后期该调整阈值的功能会对外放。
存在耗资源进程
服务器内部有耗资源进程。
Windows Server 2003 系统无法直接查看到，但可以借助第三方软件查看;
Windows Server 2008 系统可以启动 任务管理器>性能>资源监控器>网络>查看 发送(字节/秒) 占用较多的进程。如果不是常用进程，说明可能是病毒或异常文件;如果是常用进程，说明该进程当前有异常，需要针对该进程对应的服务进行一下分析。
根据以往经验，曾发现过因搜狗拼音的更新，以及疑似上传本地词库导致的出网带宽跑高。
爬虫
正常网站所消耗的带宽较多，此类情况建议通过访问的日志来分析，如果日志中过多的 spider 或 googlebot 。说明网页被爬虫抓取，大量来自搜索引擎的链接也容易跑高带宽，例如:
windows-cmd 下找到 iis的日志，可以使用命令 type *.log | find “ “ 等。
Linux 的 Apache 和 nginx 可以检查 cat access.log | grep 等。
同时检查站点是否存有 MP3，flv，swf 等大文件被频繁访问下载，如果此类文件较多，建议减少这些文件，可搭配使用 OSS、CDN 服务。
网站规模大
网站规模较大(比如门户网站、商城等)，即网站本身访问量需求大，查看网站的 Page View 值、Hits 值、日流量都很高，建议升级带宽 。
造成流量大的原因主要有：
网站页面设计不合理；
页面中包含大图片或音频、视频文件等文件，导致网站页面太大；
网站提供.mp3,.rar,.zip.exe等文件的下载，或网站提供视频、音频文件的播放；
如果网站规模较大，网站的点击率很高，建议减少音频、视频文件。如果还不能满足要求，可以升级带宽。
㈣ 新功能：阿里云反爬虫管理利器！
背景
爬虫形势
Web安全角势一直不容乐观, 根据 Globaldots的2018年机器人报告 , 爬虫占据Web流量的42%左右.
为什么要反爬
防资源过度消耗
大量的机器人访问网站, 设想你的网站有42%的流量都不是真的人访问的. 相当一部分还会大量占用后台的网络带宽, 服务器计算, 存储资源.
防黄牛党
航空公司占座: 黄牛党利用恶意爬虫遍历航空公司的低价票，同时批量发起机器请求进行占座，导致航班座位资源被持续占用产生浪费，最终引发航班空座率高对航空公司造成业务损失，并且损害正常用户的利益。
防薅羊毛党
黄牛党在电商活动时针对有限的高价值商品的限时秒杀、优惠活动等可牟利场景，批量发起机器请求来模拟正常的交易，再将商品、资源进行倒卖从中赚取差价，导致电商企业的营销资源无法触达正常用户，而被黄牛牟取暴利。
防黑客
核心接口被刷: 登录、注册、短信等业务环节作为业务中的关键节点，相关接口往往会被黑客利用，为后续的欺诈行为作准备。
私信菜鸟007即可获取数十套PDF！
为什么需要日志分析
找出隐藏更深的机器人
爬虫与反爬虫是一个攻与防的过程, 根据前述报告, 高级机器人占据了74%的比例(剩余是比较简单的机器人), 而根据 FileEye M-Trends 2018报告 ，企业组织的攻击从发生到被发现，一般经过了多达101天，其中亚太地区问题更为严重，一般网络攻击被发现是在近498（超过16个月）之后。有了日志才能更好的找出隐藏很深的坏机器人.
了解机器人并区分对待
爬虫也分好与坏, 搜索引擎来查询, 才可以达到SEO效果并带来更多有价值的访问. 通过日志可以帮助管理员更好的区分哪些是好的机器人, 并依据做出更加适合自己的反爬配置.
保留报案证据
发现非法攻击的机器人, 可以保留攻击者信息与路径, 作为报警的重要证据.
增强运维效率
基于日志可以发现异常, 并能快速报警并采取行动.
更多附加功能
依托日志服务的其他功能, 可以发挥日志的更大价值.
阿里云反爬管理 - 实时日志分析概述
阿里云反爬管理
云盾Anti-Bot Service是一款网络应用安全防护产品，专业检测高级爬虫，降低爬虫、自动化工具对网站的业务影响。 产品提供从Web、App到API接口的一整套全面的恶意Bot防护解决方案，避免某一环节防护薄弱导致的安全短板。
阿里云日志服务
阿里云的日志服务（log service）是针对日志类数据的一站式服务，无需开发就能快捷完成海量日志数据的采集、消费、投递以及查询分析等功能，提升运维、运营效率。日志服务主要包括 实时采集与消费、数据投递、查询与实时分析 等功能，适用于从实时监控到数据仓库的各种开发、运维、运营与安全场景：
目前，阿里云WAF与日志服务打通，对外开发Web访问与攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
发布地域
适用客户
功能优势
反爬日志实时查询分析服务具有以下功能优势：
开通前提
限制说明
反爬管理所存储的日志库属于专属的日志库，有如下限制：
使用场景
1.追踪机器人爬取与封禁日志，溯源安全威胁：
查看Top 100的爬取机器人列表:
2. 实时正常可信Web请求活动，洞察状态与趋势：
查看PV/UV访问趋势的SQL:
3. 快速了解安全运营效率，即时反馈处理：
查看有效请求与拦截率趋势的SQL:
4. 输出安全网络日志到自建数据与计算中心
进一步参考
我们会陆续发布WAF安全日志分析的最佳时间, 这里可以进一步参考相关用户手册：
㈤ 揭秘大量阿里云IP访问网站的真实原因
进行网站流量数据分析时，发现大量IP地址来自阿里云，引发关注。起初，认为这些IP可能用于爬虫抓取网站信息，考虑屏蔽。但为避免误伤正常IP，咨询了阿里云官方工程师。官方解释显示，这些IP实为阿里云云盾安全系统的节点。根据国家政策要求，阿里云需对用户网站内容进行合法性检测。因此，建议不进行系统IP屏蔽，避免影响正常访问。这些IP访问周期性，占用资源较少，但若对业务访问造成影响，可尝试使用特定方法屏蔽，详情请访问 help.aliyun.com/knowled...
分析表明，阿里云IP访问网站的真实原因在于政府政策要求下的内容合法性检测。即使对于非阿里云服务器，也需进行此类排查。面对大量访问量，分析时需将这些数据屏蔽，以免影响结果。因此，理解并考虑阿里云IP访问的背景，对于准确分析网站流量至关重要。