圖片爬蟲源碼共享

『壹』 如何用python做爬蟲

在我們日常上網瀏覽網頁的時候，經常會看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設計的素材。

我們最常規的做法就是通過滑鼠右鍵，選擇另存為。但有些圖片滑鼠右鍵的時候並沒有另存為選項，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧其實你很厲害的，右鍵查看頁面源代碼。

我們可以通過python來實現這樣一個簡單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實現這樣一個功能。

『貳』 爬蟲開發是什麼意思

爬蟲開發的意思就是：開發一種程序，主要用於搜索引擎，它做談將一個網站的所有內容與鏈接進行閱讀，並建立相關的全文索引到資料庫中，然後跳到另一個網站，樣子好像一隻大蜘蛛。

爬蟲的基本流程：

發起請求：通過url向伺服器發起request請求，請求可以包含額外的header信息。

獲取響應內容：如果伺服器正常響應，那我們將會收到一世做個response，response即為我們所請求的網頁內容，或許包含HTML，Json字元串或者二進制的數據（視頻、圖片）等。

解析內容：如果是HTML代碼，則可以使用網頁解析器進行解析，如果是Json數據，則可以轉換純返碰成Json對象進行解析，如果是二進制的數據，則可以保存到文件進行進一步處理。

保存數據：可以保存到本地文件，也可以保存到資料庫（MySQL，Redis，Mongodb等）。

網路爬蟲為搜索引擎從萬維網下載網頁。一般分為傳統爬蟲和聚焦爬蟲。

傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。通俗的講，也就是通過源碼解析來獲得想要的內容。

聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的連接並將其放入等待抓取的URL隊列。

然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。

另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

『叄』 如何入門 Python 爬蟲

入門的話，我的經歷：
1.先用python寫一個爬取網頁源代碼的爬蟲（最先是爬取個人博客，會遇到亂碼問題當時困擾了很久）

2.後來寫了爬取網路圖片的程序，自動下載小說（我愛看小說-_-）（接觸正則表達式）
3.然後網路圖片他那種分頁模式，一般一頁只有20張左右的圖片，分析源代碼，完善爬取程序，不受到限制，一次可以下幾千張（圖片有的是原圖，有的是縮略圖）
4.後來發現程序卡頓，就添加了多線程。
5.然後模擬登陸一些不用驗證碼的網頁（我學校的oj），cookie登陸B站（本來想寫一個搶樓的腳本的，後來發現搶樓的被封號了-_-，就放棄了）

對於使用的庫，python2 與 python3 有點不同，我學的是python3
先用的是urllib.request，後來用requests（第三方庫），在後來接觸Scrapy(也是第三方庫)
現在因為事情多了，就把python放下了，准備寒假寫一些腳本，畢竟python不會有期末考試...

我的個人經歷，希望可以幫到你。