linux网络爬虫

❶ linux下python怎么写爬虫获取图片

跟linux有什么关系，python是跨平台的，爬取图片的代码如下：

import urllib.requestimport osimport randomdef url_open(url):
req=urllib.request.Request(url) #为请求设置user-agent,使得程序看起来更像一个人类
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0') #代理IP，使用户能以不同IP访问，从而防止被服务器发现
'''iplist=['1.193.162.123:8000','1.193.162.91:8000','1.193.163.32:8000']
proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')]

urllib.request.install_opener(opener)'''

response=urllib.request.urlopen(req)
html=response.read() return htmldef get_page(url):

html=url_open(url).decode('utf-8')
a=html.find('current-comment-page')+23
b=html.find(']',a) #print(html[a:b])
return html[a:b]def find_imgs(url):
html=url_open(url).decode('utf-8')
img_addrs=[]

a=html.find('img src=') while a!=-1:
b=html.find('.jpg',a,a+140) if b!=-1: if html[a+9]!='h':
img_addrs.append('http:'+html[a+9:b+4]) else:
img_addrs.append(html[a+9:b+4]) else:
b=a+9

a=html.find('img src=',b) for each in img_addrs:
print(each+'我的打印') return img_addrsdef save_imgs(folder,img_addrs):
for each in img_addrs: #print('one was saved')
filename=each.split('/')[-1] with open(filename,'wb') as f:
img=url_open(each)
f.write(img)def download_mm(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)

url=""
page_num=int(get_page(url)) for i in range(pages):
page_num=page_num-1
page_url=url+'page-'+str(page_num)+'#comments'
img_addrs=find_imgs(page_url)
save_imgs(folder,img_addrs)if __name__=='__main__':
download_mm()

完成

运行结果

❷ Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为

Linux shell命令
1. 网络蜘蛛爬行的次数
cat access.log | grep Baispider | wc
最左面的数值显示的就是爬行次数。
2. 网络蜘蛛的详细记录(Ctrl C可以终止)
cat access.log | grep Baispider
也可以用下面的命令：
cat access.log | grep Baispider | tail -n 10
cat access.log | grep Baispider | head -n 10
只看最后10条或最前10条，这用就能知道这个日志文件的开始记录的时间和日期。
3. 网络蜘蛛抓取首页的详细记录
cat access.log | grep Baispider | grep “GET / HTTP”
网络蜘蛛好像对首页非常热爱每个钟头都来光顾，而谷歌和雅虎蜘蛛更喜欢内页。
4. 网络蜘蛛派性记录时间点分布
cat access.log | grep “Baispider ” | awk ‘{print $4}'
5. 网络蜘蛛爬行页面按次数降序列表
cat access.log | grep “Baispider ” | awk ‘{print $7}' | sort | uniq -c | sort -r
文中的Baispider 改成Googlebot都可以查看谷歌的数据，鉴于大陆的特殊性，大家应该对网络的log更为关注。
附：(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log | grep Mediapartners
Mediapartners-Google是什么呢?Google adsense广告之所以能与内容相关，因为每个包含着adsense的广告被访问后，很快就有个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了，真厉害啊！
ps：linux下nginx如何启用网站日志，查看蜘蛛爬虫
默认的路径是你安装时候指定的
如果用的LNMP之类的安装包
你可以在SHELL下
whereisnginx
找到相应的路径之后
在NGINX下的CONF文件夹里看配置文件，日志文件如果记录了话
在配置文件里有路径的～

❸ linux python爬虫怎么写

mac用来写python爬虫可以Linux下运行Python程序，一般说来有以下两种形式，其实和Windows下基本一样。
一、在IDLE中运行
在终端窗口输入$
python进入交互式运行环境，然后就可以边输入边执行代码了：
>>>
print
'Hello
Python'
Hello
Python>>>退出使用Ctrl-D。
二、以脚本方式运行
在py脚本所在目录下输入