Ⅰ python 怎么网页下载文件.
这个需要你分析网页,提取其中的链接,然后下载链接
python自带的urllib2, urllib可以用来处理网页,不过比较麻烦,需要自记写很多代码
或者用beautiful soap之类的库,处理html就比较轻松了;可以自己看Beautiful Soap的文档,有中文版本的,链接我就不贴了,网络老会发神经屏蔽;按文档写几个例子,就能处理你自己的事情了,很容易的
Ⅱ python 怎么下载网站文件夹下的所有文件
第一步:
必须知道有哪些文件。
第二步:
知道路径就可以使用urlretrieve函数保存了。
但是第一步你不说背景很难啊。
是网页的话,可能那个需要简单解析一下网页就行了,有list dir权限更方便,直接ls就行,穷举是估计不行的,谁知道文件路径长度?
Ⅲ python爬虫 将在线html网页中的图片链接替换成本地链接并将html文件下载到本地
import os,re
def check_flag(flag):
regex = re.compile(r'images\/')
result = True if regex.match(flag) else False
return result
#soup = BeautifulSoup(open('index.html'))
from bs4 import BeautifulSoup
html_content = '''
<a href="https://xxx.com">测试01</a>
<a href="https://yyy.com/123">测试02</a>
<a href="https://xxx.com">测试01</a>
<a href="https://xxx.com">测试01</a>
'''
file = open(r'favour-en.html','r',encoding="UTF-8")
soup = BeautifulSoup(file, 'html.parser')
for element in soup.find_all('img'):
if 'src' in element.attrs:
print(element.attrs['src'])
if check_flag(element.attrs['src']):
#if element.attrs['src'].find("png"):
element.attrs['src'] = "michenxxxxxxxxxxxx" +'/'+ element.attrs['src']
print("##################################")
with open('index.html', 'w',encoding="UTF-8") as fp:
fp.write(soup.prettify()) # prettify()的作⽤是将sp美化⼀下,有可读性