導航:首頁 > 編程語言 > python爬蟲圖片

python爬蟲圖片

發布時間:2022-02-09 05:22:50

python爬取圖片時候url地址是下載圖片時報錯了

你的參數可能不對,你可以加個teace來看看,在報錯的第二十二行前,看一下參數是什麼,type看一下類型再說。
希望懂的回答能幫到你

❷ 寫python爬蟲時,想抓圖片的原圖

點圖片之前開啟firebug,切換到網路標簽,看看你點圖片的時候發生了什麼。
然後模仿那個http請求。
重新看了一下圖,好像沒那麼麻煩。
下面那個img標簽里的 data-src 不就是原圖地址?

❸ python圖片爬蟲怎麼運行不出來,大嬸們幫著看看

你畫個圖別人也不知道你的tree的數據結構,你要寫出這個tree在python中是如果表達的,才能寫對應的遍歷代碼埃 如果解決了您的問題請採納! 如果未解決請繼續追問

❹ Python如何爬取百度圖片

幾乎所有的網站都會有反爬機制,這就需要在爬取網頁時攜帶一些特殊參數,比如:user-agent、Cookie等等,可以在寫代碼的時候用工具將所有參數都帶上。

❺ python爬蟲圖片 在目錄中存在圖片1 跳過該圖片1,繼續寫入圖片2的代碼

給你一個代碼借鑒下:

#!/usr/bin/python3
#-*-coding:utf-8-*-

importrequests
importre
importos

Header={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/38.0.2125.104Safari/537.36"}

defpicture_get(picture_url):
try:
root="E:/pic/"
path=root+url.split('/')[-1]
ifnotos.path.exists(root):#目錄不存在創建目錄
os.mkdir(root)
ifnotos.path.exists(path):#文件不存在則下載
r=requests.get(picture_url,headers=Header)
f=open(path,"wb")
f.write(r.content)
f.close()
print("文件下載成功")
else:
print("文件已經存在")
except:
print("獲取失敗")

❻ Python爬蟲爬取圖片這個報錯怎麼處理

你好!你的錯誤原因在於html頁面獲取到的img標簽src屬性中的鏈接,可能是因為src中的url格式是這樣的:

<imgsrc="//hao123.com/xxx/xxx/xxx/"></img>

這樣獲取到的鏈接都沒有帶上協議:http或者https。而導致程序拋出ValueError的錯誤異常。

因為正常的url格式應該類似這樣的:https://www..com/

即 協議://用戶名:密碼@子域名.域名.頂級域名:埠號/目錄/文件名.文件後綴?參數=值#標志

參考網頁鏈接

可將代碼中第一個for循環中download_links.append修改為:

forpic_taginsoup.find_all('img'):
pic_link=pic_tag.get('src')
download_links.append('http:'+pic_link)

linux下python怎麼寫爬蟲獲取圖片

跟linux有什麼關系,python是跨平台的,爬取圖片的代碼如下:

import urllib.requestimport osimport randomdef url_open(url):
req=urllib.request.Request(url) #為請求設置user-agent,使得程序看起來更像一個人類
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0') #代理IP,使用戶能以不同IP訪問,從而防止被伺服器發現
'''iplist=['1.193.162.123:8000','1.193.162.91:8000','1.193.163.32:8000']
proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')]

urllib.request.install_opener(opener)'''

response=urllib.request.urlopen(req)
html=response.read() return htmldef get_page(url):

html=url_open(url).decode('utf-8')
a=html.find('current-comment-page')+23
b=html.find(']',a) #print(html[a:b])
return html[a:b]def find_imgs(url):
html=url_open(url).decode('utf-8')
img_addrs=[]

a=html.find('img src=') while a!=-1:
b=html.find('.jpg',a,a+140) if b!=-1: if html[a+9]!='h':
img_addrs.append('http:'+html[a+9:b+4]) else:
img_addrs.append(html[a+9:b+4]) else:
b=a+9

a=html.find('img src=',b) for each in img_addrs:
print(each+'我的列印') return img_addrsdef save_imgs(folder,img_addrs):
for each in img_addrs: #print('one was saved')
filename=each.split('/')[-1] with open(filename,'wb') as f:
img=url_open(each)
f.write(img)def download_mm(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)

url=""
page_num=int(get_page(url)) for i in range(pages):
page_num=page_num-1
page_url=url+'page-'+str(page_num)+'#comments'
img_addrs=find_imgs(page_url)
save_imgs(folder,img_addrs)if __name__=='__main__':
download_mm()

完成

運行結果

❽ 使用Python爬蟲下載圖片,得到的圖片不顯示

你需要檢查一下你的結果,看看是否請求成功了。可能伺服器返回的並不是一個圖片,但是你強制給他寫入到圖片格式文件中了,所以沒辦法顯示。
你可以通過輸出response或者使用抓包軟體來檢查。

❾ 用Python爬蟲爬取的圖片怎麼知道圖片有沒有水印

看啊 眼睛是能判斷的

❿ python爬蟲,抓取一個頁面中所有鏈接內的文字和圖片並保存在本地怎麼

並不是所有的網站結構都是一樣的,你說的功能大體可以用Python實現,但並沒有寫好的通用代碼,還需要根據不同的網頁去做調試。

閱讀全文

與python爬蟲圖片相關的資料

熱點內容
易語言獲取寬頻密碼源碼 瀏覽:561
伺服器租用有什麼用 瀏覽:348
日本的程序員有多少人 瀏覽:255
rar批量壓縮助手 瀏覽:919
ntp伺服器怎麼配置 瀏覽:101
android按鈕樣式修改 瀏覽:144
win復制命令 瀏覽:61
封開縣命令 瀏覽:778
張家港金田路車管所能解壓 瀏覽:945
lce的伺服器什麼時候人最少 瀏覽:338
pdf檔如何編輯 瀏覽:890
我的世界灰燼骷髏大戰起源碼 瀏覽:900
xcb源碼下載 瀏覽:261
特殊命令 瀏覽:840
winrar命令行zip 瀏覽:632
linux文件是否存在命令 瀏覽:829
同花順積突指標公式源碼 瀏覽:767
自帶文件夾的手機軟體 瀏覽:394
車牌下什麼app 瀏覽:766
上海電腦編程八佰伴 瀏覽:380