python抓取网易图片

❶ python3 新手一枚，运用Python3.4.1爬网页，网易的机器学习网页，报Unicodedecodeerror，该网页是utf-8.

童鞋，网页不是utf-8编码的。

至此，完全显示正确。

❷ python 怎么把爬到的图片保存下来

#建立单级目录
filename=r'E:\NASDownload\视频\一行代码爬视频\爬取图片以此
for i in range(0,len(imageinfo)):
path="{}{}{}{}".format(filename,'\\',i,'.jpg')
res=requests.get(url=imageinfo[i]).content
time.sleep(5)
with open(path,'wb') as f:
f.write(res)
f.close()

❸ 用python的scrapy框架写的爬取网易新闻的爬虫，有些正则表达式不知道怎么写的大家帮帮忙~

start_urls是一个API链接，一般是通过抓包获取的。评论链接的正则是根据json的结构编写的，需要学习正则。

❹ Python如何爬取百度图片

几乎所有的网站都会有反爬机制，这就需要在爬取网页时携带一些特殊参数，比如：user-agent、Cookie等等，可以在写代码的时候用工具将所有参数都带上。

❺ 使用python爬取网页，获取不到图片地址

这个大图片是在点击之后用 JS 控制加载的。

你可以看看 js/js.js 这个文件，253 行：

functionchangeImg(){
		jQuery("#bitImg").attr('src','p/p'+pictID+'/'+indexNum+'.'+jpgPng);	
	}

其实大图的规律很好找， 下面缩略图列表的 src 可以用 #variContent > li > img 取到，可以在源码中的 107 行找到：

view-source:http://pictogram2.com/?p=2315

缩略图列表地址长这样：

/p/p0997/tn/1.jpg

/p/p0997/tn/2.jpg

/p/p0997/tn/3.jpg

...

如果要获取大图，只要去掉“tn”这一段就可以：

/p/p0997/1.jpg

/p/p0997/2.jpg

/p/p0997/3.jpg

...

然后拼接域名在前面，GET 下来就是大图，比如第一个大图链接：

第一个大图地址

不过，你如果仅仅只是想要抓那个站的全部素材，穷举“p0997”这一段的序号（比如改成“p0098”，这个应该是图集的 ID），并且遍历最后一段的图片序号，扩展名可能是 jpg 也可能是 png，从 1 开始（“1.jpg”，“2.jpg”...）直到返回 404 停止。

思路大概是这么个思路，不过话说回来，你这么爬人家素材真的道德吗？

❻ python抓取网页上图片

正则表达式匹配的url有错误

for x in add:
print x # 这里可以看到报错的时候是 url 错误

dirpath = os.path.join('C:\\Users\\lilinan\\Desktop\\新建文件夹','%s.jpg' % t)
urllib.request.urlretrieve(x,dirpath)
t+=1

❼ 想用python爬取网页上的图片，但无法用select()方法定位图片的源地址

是的可以撒入爬去获得。

❽ python爬图片报错 [Errno 13] Permission denied: 'D:\\python\\test2'

python爬图片报错 [Errno 13] Permission denied: 'D:\python\test2'，是代码输入错误造成的，解决方法如下：

1、首先在网页上抓取图片时open函数有时会报错，如图。

❾ python如何利用requests和bs4爬取图片

目标网站网址呢？网址发出来我看一下

每个网站的HTML结构不一样，解析代码就不一样，要针对不同的网站编写不同的代码

编写爬虫代码前还要评估目标网站是否需要登录，数据是否有加密等诸多问题

❿ 如何使用python爬取到高清原图

#-*-coding:utf8-*-
#2013.12.3619:41wnlo-c209
#抓取dbmei.com的图片。

frombs4importBeautifulSoup
importos,sys,urllib2

#创建文件夹，昨天刚学会
path=os.getcwd()				#获取此脚本所在目录
new_path=os.path.join(path,u'豆瓣妹子')
ifnotos.path.isdir(new_path):
	os.mkdir(new_path)


defpage_loop(page=0):
	url='http://www.dbmeizi.com/?p=%s'%page
	content=urllib2.urlopen(url)

	soup=BeautifulSoup(content)

	my_girl=soup.find_all('img')

#加入结束检测，写的不好....
	ifmy_girl==[]:
		printu'已经全部抓取完毕'
		sys.exit(0)

	printu'开始抓取'
	forgirlinmy_girl:
		link=girl.get('src')
		flink='http://www.dbmeizi.com/'+link
		
		printflink
		content2=urllib2.urlopen(flink).read()
		withopen(u'豆瓣妹子'+'/'+flink[-11:],'wb')ascode:#在OSC上现学的
			code.write(content2)
	page=int(page)+1
	printu'开始抓取下一页'
	print'the%spage'%page
	page_loop(page)
	
page_loop()
print"~~~~~~~~~~~~~~~~~~~~~~~~~~END~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
#为了避免双击的时候直接一闪退出，在最后面加了这么一句
raw_input("Press<Enter>ToQuit!")