⑴ 利用python的selenium模拟浏览器和看的视频教程结果不一样,求助!
先悄搭掘确认元素启核的定位没枝枝有问题;
可能是driver的支持问题,换个chromedriver试试。
⑵ [求助] python 如何爬取 网页上调用JS函数打开的视频链接
selenium + phantomjs 模拟点击按钮,或者另写代码实现js函数openVideo();
顺着第一步再去解析新页面,看看能否找到视频的原始地址;
假设视频的原始地址第二步找到了,在通过视频的原始地址下载视频就OK啦。
⑶ 如何利用Python来爬取网页视频呢
前几天写了个爬虫,用path、re、BeautifulSoup爬取的B站python视频,但是这个爬虫有有个缺陷,没能获取视频的图片信息,如果你去尝试你会发现它根本就不在返回的结果里面。今天就用分析Ajax的方法获取到。
分析页面
点一下搜索,这个url才会出现数烂神,或者点一下下一页
然后就构造这历知个请求就可以了。需要注意的是最后一个参数不能添加。
代码实战
代码里面有些解释已经很清楚了,在这里再次复习一下
re.sub()
这个函数传入五个参数,前三个是必须传入的pattern,、repl、string
第一个是表示的是正则表达式中模式字符串
第二个是要被替换的字符串
第三个是文本字符串剩下两个可选参数,一个是count一个是薯亏flag。
时间戳转换成标准格式的时间第一种方法
第二种方法
综上就是这次的全部内容,多加练习继续加油!
⑷ 如何使用python进行浏览器行为模拟
你可以使用python的webbrowser库来模拟浏览器:
url=''
#OpenURLinanewtab,ifabrowserwindowisalreadyopen.
webbrowser.open_new_tab(url+'doc/')
#OpenURLinnewwindow,raisingthewindowifpossible.
webbrowser.open_new(url)
或者使用python的第三方库, selenium
fromseleniumimportwebdriver
fromselenium.webdriver.common.keysimportKeys
browser=webdriver.Firefox()
browser.get('
)
assert'Yahoo!'inbrowser.title
elem=browser.find_element_by_name('p')#Findthesearchbox
elem.send_keys('seleniumhq'+Keys.RETURN)
browser.quit()
如果解决了您的问题请采纳!
如果未解决请继续追问!
⑸ python爬取快手视频json数据和浏览器抓包工具获取的不一样怎么办
再给你看看这个
在这个位置可以直接看到视频的,无意中瞄到了。。。醉了
⑹ python调用浏览器打开网页
可以使用selenium模块实现这个功能。希望可以帮到你~
⑺ Python 爬虫爬坑路(二)——B站图片,咸鱼的正确 GET 姿势
昨天在写完 入门级爬虫之后 ,马上就迫不及待的着手开始写 B站的图片爬虫了,真的很喜欢这个破站呢 (〜 ̄△ ̄)〜
这里不涉及到 Python 爬虫的高级技巧,没有使用框架,没有考虑反爬机制,没有使用异步IO技术,因为这些,我都不会!
我们选定 B站的 动画区 进行测试,打开后我们发现有好多好多图....
但当我们使用 F12 查看这些图片的时候,发现并没有图片的地址...
这就是目前大多网站使用的 Ajax 技术动态加载数据的锅,可遇到这种情况这么办呢?别急别急,我们知道这些图片的地址一定是需要加载的,而目前常见WEB传输数据的基本就是方式 XML 和 Json (其实是我就知道这两种...),那好我们去看看请求的 XML 和 Json 文件。
以下省略查找过程....
我们发现 B站的图片地址是保存在 Json 里面的,ok,我们保存好这个 json 地址:
https://api.bilibili.com/x/web-interface/dynamic/region?callback=jQuery172071087417824369_1505783866149&jsonp=jsonp&ps=15&rid=24&_=1505783866453
这个是 MAD·AMV 最新动态的 Json 文件,利用上面相同的方法,我们找到 3D区、短片·配音区、综合区 以及 右边排行部分 的相应 json 地址。
好在 Chrome 浏览器提供了一个 Preview 功能,自动帮我们整理好 数据,如下
这样就很清晰啦,我们只需要一层层解析拿到 pic 即可。于是我们这样写:
我们利用 requests 内置的 json 解码器,很不幸,报错:
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
它提示说:解码 Json 数据的时候出了问题,可能是在 第一行 第一列,咦?好奇怪,刚才不是用浏览器看过结构了吗,没毛病啊,怎么还在报错:Σ(  ̄□ ̄||)
别急别急,我们先看看原始的 Json 数据长啥样?用 浏览器打开上面的 json 链接就可以了。
(/TДT)/ 前面的那些字母是干嘛的呀,为什么还有括号啊!
所以我们知道了 Json 解析错误 的原因啦:后面在处理的时候把前面的这部分删掉就好啦,另外我们也发现了 archives 这个关键字,我们在上一张图看见过的哦,有印象吗?啊,你说没有呀,没关系,这里你只需要记着它是一个 List 的数据类型就好了呀!
为了防止被当作是 恶意访问 从而被封 IP,这里我们选择牺牲时间,取巧使用 sleep(x) ,让其等待一段时间之后再发出请求。
你可能会问我,呀,你这个,根本没有代理、没有混淆IP防止反爬、也没有模拟 Ajax 请求动态抓取云云~
那我可以很负责的告诉你,你!走错地方了!你要找的技术贴出门右拐!( ̄へ ̄)
我们恰巧使用的是 B站的 Ajax 技术,只要哪个视频有了最新评论(或者是一下其它的条件),就会使用 Ajax 将最新的数据取出来。就像下面这样:
所以可能在访问人数多的时候,更新越快,越有可能获得更多不同的图片啦!
之后你就可以在吃饭的时候,把它挂起,然后吃饭回来就会发现有好多好多的图片!(=・ω・=)
之后会陆续的更新自己爬虫的爬坑过程,希望能够找到小伙伴一起学习呀!