‘壹’ 如何用python爬虫模拟点击后,获取发送出的http请求
我的第一想法是找到点击事件之后访问的url
然后分析参数,自己构建请求,获取返回值,从返回值中分析出需要的url
‘贰’ 如何利用python2.7实现网页的抓包拦包改包功能有没有范例
登陆其实就是将账号密码之类的POST到那个网站的服务器。你可以通过抓包看到你点击登陆时发的POST包。那么你用python也模拟发一个一样的包给服务器,就实现了模拟登陆呗。
‘叁’ python模块scapy的发包效率有什么办法提升
mp 时如果指定了 protocol 为 True,压缩过后的文件的大小只有原来的文件的 30% ,同时无论在 mp 时还是 load 时所耗费的时间都比原来少。
因此,一般来说,可以建议把这个值设为 True 。
‘肆’ 可以用Python模拟操作吗
用selenium可以模拟浏览器的操作
当然更牛逼点,你能获得某些网站的接口,直接模拟发包更好了
‘伍’ python模块scapy的发包效率有什么办法提升
简要说一下自己的思路 1,有两个代理可用,所以爬的时候随机选取一个 2,复制了一些User-agnet,随机选一个 3,爬一次随机睡眠3~6s 这样大概爬200次左右,就不能再 爬了
‘陆’ python发送数据包获取返回数据(其他的语言能实现也可以)
使用网络翻译的一个例子,可以翻译你输入的文字,发送需要的内容,获取返回的数据
import urllib.request
import urllib.parse
import json
import time
while True:
url = 'http://fanyi..com/v2transapi'
words = input("输入你想翻译的内容:")
data = {}
data['from'] = 'auto'
data['to'] = 'auto'
data['query'] = words
data['transtype'] = 'translang'
data['simple_means_flag'] = '3'
data = urllib.parse.urlencode(data).encode('utf-8')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'
}
req = urllib.request.Request(url, data, headers)
req.add_header('Referer', 'http://fanyi..com/')
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')
js = json.loads(html)
# print(html)
# print(js)
print(js['trans_result']['data'][0]['dst'])
time.sleep(1)