㈠ 使用爬蟲採集網站時，怎麼樣解決被封ip的問題
1.IP必須需要，，ADSL。如果有條件，其實可以跟機房多申請外網IP。
2.在有外網IP的機器上，部署代理伺服器。
3.你的程序，使用輪訓替換代理伺服器來訪問想要採集的網站。
好處：
1.程序邏輯變化小，只需要代理功能。
2.根據對方網站屏蔽規則不同，你只需要添加更多的代理就行了。
3.就算具體IP被屏蔽了，你可以直接把代理伺服器下線就OK，程序邏輯不需要變化。
方法2.
有小部分網站的防範措施比較弱，可以偽裝下IP，修改X-Forwarded-for（貌似這么拼。。。）即可繞過。
大部分網站么，如果要頻繁抓取，一般還是要多IP。我比較喜歡的解決方案是國外VPS再配多IP，通過默認網關切換來實現IP切換，比HTTP代理高效得多，估計也比多數情況下的ADSL切換更高效。
方法3.
ADSL + 腳本，監測是否被封，然後不斷切換 ip
設置查詢頻率限制
正統的做法是調用該網站提供的服務介面。
方法4.
8年多爬蟲經驗的人告訴你，國內ADSL是王道，多申請些線路，分布在多個不同的電信區局，能跨省跨市更好，自己寫好斷線重撥組件，自己寫動態IP追蹤服務，遠程硬體重置（主要針對ADSL貓，防止其宕機），其餘的任務分配，數據回收，都不是大問題。我的已經穩定運行了好幾年了，妥妥的！
方法5.
1 user agent 偽裝和輪換
2 使用代理 ip 和輪換
3 cookies 的處理，有的網站對登陸用戶政策寬鬆些
友情提示：考慮爬蟲給人家網站帶來的負擔，be a responsible crawler
方法6.
盡可能的模擬用戶行為：
1、UserAgent經常換一換；
2、訪問時間間隔設長一點，訪問時間設置為隨機數；
3、訪問頁面的順序也可以隨機著來
方法8.
網站封的依據一般是單位時間內特定IP的訪問次數.
我是將採集的任務按 目標站點的IP進行分組 通過控制每個IP 在單位時間內發出任務的個數,來避免被封.當然,這個前題是你採集很多網站.如果只是採集一個網站,那麼只能通過多外部IP的方式來實現了.
方法9.
1. 對爬蟲抓取進行壓力控制；
2. 可以考慮使用代理的方式訪問目標站點。
-降低抓取頻率，時間設置長一些，訪問時間採用隨機數
-頻繁切換UserAgent（模擬瀏覽器訪問）
-多頁面數據，隨機訪問然後抓取數據
-更換用戶IP
㈡ 阿里雲伺服器CPU 跑滿怎麼辦
應該是你網站被攻擊了，如DDOS/CC攻擊這些都是消耗你伺服器資源的。解決辦法是購買阿里雲高防IP，防火牆。不過阿里雲的價格貴死。推薦你用網路雲加速的吧。
網路雲加速是網路旗下為網站提供一站式加速、安全防護和搜索引擎優化的產品。網路雲加速是市場佔有率最高的雲加速產品之一，正為數十萬用戶的近百萬網站提供CDN、網路安全和SEO服務。每天處理十億級的PV流量及數百億TB的數據流量，並提供市場頂尖水平的穩定性和抗攻擊能力。
網路雲加速以部署於骨幹網的數據中心為支撐，結合網路深度學習技術，為您的網站提供性能和流量優化，致力與廣大開發者一起於打造開放、安全的雲服務生態系統。 我們希望更多的網站合作夥伴以及中小企業能受益於網路雲加速帶來的價值及紅利，從而使得雲生態能夠更加良性的發展。
網路雲加速為用戶提下以下三大類功能：
1、網站加速
網路雲加速節點遍布全中國，通過智能DNS解析等技術，將訪問網站的用戶引導至最快的節點，通過動靜態加速及頁面優化技術，極大的提高網站的訪問速度和用戶體驗。此外，還可以大量節省網站自身的服務計算和帶寬資源。
2、安全防護
網路雲加速可以同時防護包括SQL注入、XSS、Web伺服器漏洞、應用程序漏洞以及文件訪問控制等問題在內的十多種黑客滲透攻擊和SYN Flood、UDP Flood、ICMP Flood、TCP Flood以及CC在內的多種DDoS攻擊。
3、SEO
網路雲加速的網路蜘蛛DNS同步功能，可以做到和網路蜘蛛實時同步DNS信息，保證網路蜘蛛的正常抓取，保證搜索引擎權重的穩定性；通過死鏈自動提交、sitemap自動提交，及時收錄網站信息，提高網站索引量。
㈢ 伺服器帶寬跑滿了怎麼辦
造成伺服器帶寬跑滿的原因有很多，大致可以歸結為以下幾類：
病毒
Windows 系統伺服器中病毒或站點掛馬，導致伺服器內部有對外發包的文件。
建議在伺服器上安裝殺毒軟體，進行殺毒。可以通過任務管理器中查看是否異常進程。當前阿里雲暫時沒有提供殺毒軟體，您可以登陸伺服器根據自己的日常使用的殺毒軟體進行安裝即可。
網路攻擊
伺服器或站點遭受 DDOS 攻擊或 CC 攻擊等，短期內產生大量的訪問需求。
可以登陸阿里雲管理控制台，查看雲盾中的防護 DDOS 攻擊是否調整好閾值，並核實是否開啟CC防護。
目前CC防護有自己默認的閾值，由於安全問題此閾值暫時不對外公開。如果攻擊沒有觸發到閾值，雲盾沒有清洗，可以提交工單到售後請手工協助開起清洗，後期該調整閾值的功能會對外放。
存在耗資源進程
伺服器內部有耗資源進程。
Windows Server 2003 系統無法直接查看到，但可以藉助第三方軟體查看;
Windows Server 2008 系統可以啟動 任務管理器>性能>資源監控器>網路>查看 發送(位元組/秒) 佔用較多的進程。如果不是常用進程，說明可能是病毒或異常文件;如果是常用進程，說明該進程當前有異常，需要針對該進程對應的服務進行一下分析。
根據以往經驗，曾發現過因搜狗拼音的更新，以及疑似上傳本地詞庫導致的出網帶寬跑高。
爬蟲
正常網站所消耗的帶寬較多，此類情況建議通過訪問的日誌來分析，如果日誌中過多的 spider 或 googlebot 。說明網頁被爬蟲抓取，大量來自搜索引擎的鏈接也容易跑高帶寬，例如:
windows-cmd 下找到 iis的日誌，可以使用命令 type *.log | find 「 「 等。
Linux 的 Apache 和 nginx 可以檢查 cat access.log | grep 等。
同時檢查站點是否存有 MP3，flv，swf 等大文件被頻繁訪問下載，如果此類文件較多，建議減少這些文件，可搭配使用 OSS、CDN 服務。
網站規模大
網站規模較大(比如門戶網站、商城等)，即網站本身訪問量需求大，查看網站的 Page View 值、Hits 值、日流量都很高，建議升級帶寬 。
造成流量大的原因主要有：
網站頁面設計不合理；
頁面中包含大圖片或音頻、視頻文件等文件，導致網站頁面太大；
網站提供.mp3,.rar,.zip.exe等文件的下載，或網站提供視頻、音頻文件的播放；
如果網站規模較大，網站的點擊率很高，建議減少音頻、視頻文件。如果還不能滿足要求，可以升級帶寬。
㈣ 新功能：阿里雲反爬蟲管理利器！
背景
爬蟲形勢
Web安全形勢一直不容樂觀, 根據 Globaldots的2018年機器人報告 , 爬蟲占據Web流量的42%左右.
為什麼要反爬
防資源過度消耗
大量的機器人訪問網站, 設想你的網站有42%的流量都不是真的人訪問的. 相當一部分還會大量佔用後台的網路帶寬, 伺服器計算, 存儲資源.
防黃牛黨
航空公司佔座: 黃牛黨利用惡意爬蟲遍歷航空公司的低價票，同時批量發起機器請求進行佔座，導致航班座位資源被持續佔用產生浪費，最終引發航班空座率高對航空公司造成業務損失，並且損害正常用戶的利益。
防薅羊毛黨
黃牛黨在電商活動時針對有限的高價值商品的限時秒殺、優惠活動等可牟利場景，批量發起機器請求來模擬正常的交易，再將商品、資源進行倒賣從中賺取差價，導致電商企業的營銷資源無法觸達正常用戶，而被黃牛牟取暴利。
防黑客
核心介面被刷: 登錄、注冊、簡訊等業務環節作為業務中的關鍵節點，相關介面往往會被黑客利用，為後續的欺詐行為作準備。
私信菜鳥007即可獲取數十套PDF！
為什麼需要日誌分析
找出隱藏更深的機器人
爬蟲與反爬蟲是一個攻與防的過程, 根據前述報告, 高級機器人占據了74%的比例(剩餘是比較簡單的機器人), 而根據 FileEye M-Trends 2018報告 ，企業組織的攻擊從發生到被發現，一般經過了多達101天，其中亞太地區問題更為嚴重，一般網路攻擊被發現是在近498（超過16個月）之後。有了日誌才能更好的找出隱藏很深的壞機器人.
了解機器人並區分對待
爬蟲也分好與壞, 搜索引擎來查詢, 才可以達到SEO效果並帶來更多有價值的訪問. 通過日誌可以幫助管理員更好的區分哪些是好的機器人, 並依據做出更加適合自己的反爬配置.
保留報案證據
發現非法攻擊的機器人, 可以保留攻擊者信息與路徑, 作為報警的重要證據.
增強運維效率
基於日誌可以發現異常, 並能快速報警並採取行動.
更多附加功能
依託日誌服務的其他功能, 可以發揮日誌的更大價值.
阿里雲反爬管理 - 實時日誌分析概述
阿里雲反爬管理
雲盾Anti-Bot Service是一款網路應用安全防護產品，專業檢測高級爬蟲，降低爬蟲、自動化工具對網站的業務影響。 產品提供從Web、App到API介面的一整套全面的惡意Bot防護解決方案，避免某一環節防護薄弱導致的安全短板。
阿里雲日誌服務
阿里雲的日誌服務（log service）是針對日誌類數據的一站式服務，無需開發就能快捷完成海量日誌數據的採集、消費、投遞以及查詢分析等功能，提升運維、運營效率。日誌服務主要包括 實時採集與消費、數據投遞、查詢與實時分析 等功能，適用於從實時監控到數據倉庫的各種開發、運維、運營與安全場景：
目前，阿里雲WAF與日誌服務打通，對外開發Web訪問與攻擊日誌。提供近實時的網站具體的日誌自動採集存儲、並提供基於日誌服務的查詢分析、報表報警、下游計算對接與投遞的能力。
發布地域
適用客戶
功能優勢
反爬日誌實時查詢分析服務具有以下功能優勢：
開通前提
限制說明
反爬管理所存儲的日誌庫屬於專屬的日誌庫，有如下限制：
使用場景
1.追蹤機器人爬取與封禁日誌，溯源安全威脅：
查看Top 100的爬取機器人列表:
2. 實時正常可信Web請求活動，洞察狀態與趨勢：
查看PV/UV訪問趨勢的SQL:
3. 快速了解安全運營效率，即時反饋處理：
查看有效請求與攔截率趨勢的SQL:
4. 輸出安全網路日誌到自建數據與計算中心
進一步參考
我們會陸續發布WAF安全日誌分析的最佳時間, 這里可以進一步參考相關用戶手冊：
㈤ 揭秘大量阿里雲IP訪問網站的真實原因
進行網站流量數據分析時，發現大量IP地址來自阿里雲，引發關注。起初，認為這些IP可能用於爬蟲抓取網站信息，考慮屏蔽。但為避免誤傷正常IP，咨詢了阿里雲官方工程師。官方解釋顯示，這些IP實為阿里雲雲盾安全系統的節點。根據國家政策要求，阿里雲需對用戶網站內容進行合法性檢測。因此，建議不進行系統IP屏蔽，避免影響正常訪問。這些IP訪問周期性，佔用資源較少，但若對業務訪問造成影響，可嘗試使用特定方法屏蔽，詳情請訪問 help.aliyun.com/knowled...
分析表明，阿里雲IP訪問網站的真實原因在於政府政策要求下的內容合法性檢測。即使對於非阿里雲伺服器，也需進行此類排查。面對大量訪問量，分析時需將這些數據屏蔽，以免影響結果。因此，理解並考慮阿里雲IP訪問的背景，對於准確分析網站流量至關重要。