python爬取淘宝mm

Ⅰ 怎样用python抓取淘宝评论

#coding=utf-8

importurllib2
importsys
importjson
importre

#设置系统默认编码为utf-8
reload(sys)
sys.setdefaultencoding("utf-8")

#Onlyforpython2
'''
只是简单的示例，没有检查无评论的情况，其它异常也可能没有检查，
你可以根据自己的需要再对代码修改
'''

#解析网页数据
defparseData(html_data,reg_str):
pattern=re.compile(reg_str)
result=re.search(pattern,html_data)
ifresult:
returnresult.groups()


#commodity_url为商品详情页面
commodity_url="http://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-9140345655.2.y3LCj0&id=44454286657"

html_data=urllib2.urlopen(commodity_url).read()
#获取用户ID和商品ID
auction_msg=parseData(html_data,r'userNumId=(.*?)&auctionNumId=(.*?)&')
ifnotauction_msg:
print"Getreviewsfailed!"#获取失败，退出
sys.exit()

reviews_url="http://rate.taobao.com/feedRateList.htm?callback=jsonp_reviews_list&currentPageNum=1&rateType=&orderType=sort_weight&userNumId=%s&auctionNumId=%s"%auction_msg

response=urllib2.urlopen(reviews_url)
reviews_data=response.read().decode("gbk")

#获取评论数据
json_str=parseData(reviews_data,r'((.*))')[0]
ifnotjson_str:
print"Getreviewsfailed!"#获取失败，退出
sys.exit()

jdata=json.loads(json_str)

#下面只打印了第一条评论，如需要打印所有，则遍历jdata["comments"]即可
printjdata["comments"][0]["content"]

Ⅱ 用python第三方库requests抓取淘宝搜索结果页面，response并不是html结构。。

您好，首先，sys.setdefaultencoding is evil。
其次，不会用 Requests 就去看文档，不要乱来。
如果 Requests 检测不到正确的编码，那么你告诉它正确的是什么：
response.encoding = 'gbk'
print response.text
原始内容在 response.content 里，bytes，自己想怎么处理就怎么处理。

单个请求完全没必要用 Session。直接 requests.get(xxx) 就可以了。
最后，弄不明白怎么处理编码错误的字符串就仔细想想，或者用 Python 3.x，不要散弹枪编程。
以下是 Python 3。Python 2 在那个字符串前加个 u 告诉它是 unicode 也一样。

Ⅲ 淘宝12亿条客户信息遭爬取，黑客非法获利34万，客户信息是如何泄露的

近些日子，一则“淘宝12亿条客户信息遭爬取，黑客非法获利34万”的问题，引发了广大网友们的热议，在网上闹的沸沸扬扬。那么，客户的信息是如何泄漏的呢？这个黑客使用了python的爬虫技术，爬出了淘宝的信息。然后这个黑客把这些拿到的信息，都拿去售卖给了其他需要这些信息的公司，各有所需。这些信息泄漏之后，轻则让我们收到更多的垃圾信息和骚扰电话，重则被骗取钱财。那么具体的情况是什么呢？我来给大家分享一下我的看法。

这些黑客是通过python这个语言，利用了爬虫的功能，爬取了淘宝的12亿条客户的信息。不得不说，这个黑客的技术也是确实很硬，能够把淘宝这样的大公司的信息给爬取出来。

以上就是我对于这个问题所发表的看法，纯属个人观点，仅供参考。大家有什么不同的看法都可以在评论区留言，大家一起讨论一下。大家看完，记得点赞，加关注哦。

Ⅳ 如何爬虫天猫店铺数据python

本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫，爬虫运行只需要输入相应店铺的域名名称即可，信息将以csv表格的形式保存，可以单店爬取也可以增加一个循环进行同时爬取。

源码展示

首先还是完整代码展示，后面会分解每个函数的意义。

# -*- coding: utf-8 -*-
import requests
import json
import csv
import random
import re
from datetime import datetime
import time

class TM_procs(object):
def __init__(self,storename):
self.storename = storename
self.url = ''.format(storename)
self.headers = {
"user-agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 "
"(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"
}
datenum = datetime.now().strftime('%Y%m%d%H%M')
self.filename = '{}_{}.csv'.format(self.storename, datenum)
self.get_file()

def get_file(self):
'''创建一个含有标题的表格'''
title = ['item_id','price','quantity','sold','title','totalSoldQuantity','url','img']
with open(self.filename,'w',newline='') as f:
writer = csv.DictWriter(f,fieldnames=title)
writer.writeheader()
return

def get_totalpage(self):
'''提取总页码数'''
num = random.randint(83739921,87739530)
enrl = '/shop/shop_auction_search.do?sort=s&p=1&page_size=12&from=h5&ajson=1&_tm_source=tmallsearch&callback=jsonp_{}'
url = self.url + enrl.format(num)
html = requests.get(url,headers=self.headers).text
infos = re.findall('(({.*}))',html)[0]
infos = json.loads(infos)
totalpage = infos.get('total_page')
return int(totalpage)

def get_procts(self,page):
'''提取单页商品列表'''
num = random.randint(83739921, 87739530)
enrl = '/shop/shop_auction_search.do?sort=s&p={}&page_size=12&from=h5&ajson=1&_tm_source=tmallsearch&callback=jsonp_{}'
url = self.url + enrl.format(page,num)
html = requests.get(url, headers=self.headers).text
infos = re.findall('(({.*}))', html)[0]
infos = json.loads(infos)
procts = infos.get('items')
title = ['item_id', 'price', 'quantity', 'sold', 'title', 'totalSoldQuantity', 'url', 'img']
with open(self.filename, 'a', newline='') as f:
writer = csv.DictWriter(f, fieldnames=title)
writer.writerows(procts)

def main(self):
'''循环爬取所有页面宝贝'''
total_page = self.get_totalpage()
for i in range(1,total_page+1):
self.get_procts(i)
print('总计{}页商品，已经提取第{}页'.format(total_page,i))
time.sleep(1+random.random())

if __name__ == '__main__':
storename = 'uniqlo'
tm = TM_procs(storename)
tm.main()

上面代码是选择了优衣库作为测试店铺，直接输入优衣库店铺的域名中关键词即可，最终表格会按照店铺名称和时间名词。

代码解读

导入库说明

• requests库不用多数，爬取网页的主要库

• json库是用来解析 json 格式的数据的，也就是 Python 中的字典格式

• csv库是用来创建 csv 表格和保存信息的

• random库是用来生成一个随机数的，这个代码中用到了两次，第一次是生成一个随机数据去获取最新的网页信息而不是缓存信息，第二次是随机一个时间，来减缓爬虫速度

• re库是正则，主要用来提取信息

• datetime和time都是时间库，前者一般用来生成当前时间字符串，后者本爬虫使用设置延迟时间

爬虫思路

• 首先通过分析手机端天猫店铺所有商品的网页，可以发现每次下滑一页都有一个 js 被加载，这个 js 的规律可以总结一下；

• 通过分析可以发现每次请求 js 都可以得到一个关键信息，那就是 total_page 这个参数，这也一想就能猜到，就是当前店铺的总页码数，所以可以先取得这个数字，然后使用循环爬取全店商品；

• 每一页有24个商品，而请求得到的是一个类似于 json 格式的网页信息，但是并非是直接的 json,所以可以用正则表达式提取符合 json 格式的部分留用；

• 将每一页的信息保存到 csv 表格中，可以直接使用 csv 库的字典存储方式，非常方便；

• 得到了单页的信息，也得到了总页码数，只需要一个循环就可以爬取全店的商品了。

构造爬虫类

• def __init__(self,storename):


• self.storename = storename


• self.url = '.format(storename)


• self.headers = {


• "user-agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 "


• "(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"


• }


• datenum = datetime.now().strftime('%Y%m%d%H%M')


• self.filename = '{}_{}.csv'.format(self.storename, datenum)


• self.get_file()



上面代码依次完成以下操作：

• 首先整个爬虫是写成了一个类，在初始化类的时候需要传递一个参数，这个参数就是店铺的名称。

• 然后构造出店铺的所有商品页面的前半部分，这部分都是不会变的

• 接着设置一个请求头

• 按照当前时间生成一个以时间为依据的字符串，用来给文件命名，然后赋值给文件名称，确定保存文件的名称

• 最后一句是在类生成的时候就运行这个函数，及生成一个带有标题的表格，后面会说道这个函数的具体含义

Ⅳ 如何用python写一个爬虫统计淘宝某件商品的销量

如何写？用python爬虫！

源码附上:

爬取淘宝销量统计数据

Ⅵ python爬虫怎么获取动态的网页源码

一个月前实习导师布置任务说通过网络爬虫获取深圳市气象局发布的降雨数据，网页如下：

心想，爬虫不太难的，当年跟zjb爬煎蛋网无（mei）聊（zi）图的时候，多么清高。由于接受任务后的一个月考试加作业一大堆，导师也不催，自己也不急。

但是，导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的，数据动态获取，所以无法通过下载源代码然后解析获得。

从某不良少年写的抓取淘宝mm的例子中收到启发，对于这样的情况，一般可以同构自己搭建浏览器实现。phantomJs，CasperJS都是不错的选择。

导师的要求是获取过去一年内深圳每个区每个站点每小时的降雨量，执行该操作需要通过如上图中的历史查询实现，即通过一个时间来查询，而这个时间存放在一个hidden类型的input标签里，当然可以通过js语句将其改为text类型，然后执行send_keys之类的操作。然而，我失败了。时间可以修改设置，可是结果如下图。

为此，仅抓取实时数据。选取python的selenium，模拟搭建浏览器，模拟人为的点击等操作实现数据生成和获取。selenium的一大优点就是能获取网页渲染后的源代码，即执行操作后的源代码。普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互。selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好用的就是find_element_by_xpath("xxx")，通过该方式查找到元素后可执行点击、输入等事件，进而向服务器发出请求，获取所需的数据。

[python]view plain

• #coding=utf-8

• fromtestStringimport*

• fromseleniumimportwebdriver

• importstring

• importos

• fromselenium.webdriver.common.keysimportKeys

• importtime

• importsys

• default_encoding='utf-8'

• ifsys.getdefaultencoding()!=default_encoding:

• reload(sys)

• sys.setdefaultencoding(default_encoding)

• district_navs=['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']

• district_names=['福田区','罗湖区','南山区','盐田区','宝安区','龙岗区','光明新区','坪山新区','龙华新区','大鹏新区']

• flag=1

• while(flag>0):

• driver=webdriver.Chrome()

• driver.get("hianCe/")

• #选择降雨量

• driver.find_element_by_xpath("//span[@id='fenqu_H24R']").click()

• filename=time.strftime("%Y%m%d%H%M",time.localtime(time.time()))+'.txt'

• #创建文件

• output_file=open(filename,'w')

• #选择行政区

• foriinrange(len(district_navs)):

• driver.find_element_by_xpath("//div[@id='"+district_navs[i]+"']").click()

• #printdriver.page_source

• timeElem=driver.find_element_by_id("time_shikuang")

• #输出时间和站点名

• output_file.write(timeElem.text+',')

• output_file.write(district_names[i]+',')

• elems=driver.find_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")

• #输出每个站点的数据，格式为：站点名，一小时降雨量，当日累积降雨量

• foreleminelems:

• output_file.write(AMonitorRecord(elem.get_attribute("title"))+',')

• output_file.write(' ')

• output_file.close()

• driver.close()

• time.sleep(3600)

• 文件中引用的文件testString只是修改输出格式，提取有效数据。

[python]view plain

• #Encoding=utf-8

• defOnlyCharNum(s,oth=''):

• s2=s.lower()

• fomart=',.'

• forcins2:

• ifnotcinfomart:

• s=s.replace(c,'')

• returns

• defAMonitorRecord(str):

• str=str.split(":")

• returnstr[0]+","+OnlyCharNum(str[1])



• 一小时抓取一次数据，结果如下：

Ⅶ 如何用python抓取淘宝京东网页所有审查元素，不是源代码

审查元素显示的其实就是格式化之后的源代码，你可以用对比一下。

下面是一个Python3使用urllib库读取源代码的例子，如果要处理成审查元素那样的格式，需要对html标签逐个处理下

importhttp.cookiejar
importurllib.request
ckjar=http.cookiejar.MozillaCookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(ckjar))
res=opener.open("http://jd.com")
htm=res.read().decode('gbk')
print(htm)

Ⅷ Python爬虫——淘宝商品信息定向爬虫

步骤

Ⅸ python爬虫求一个只用requests库和beautifulsoup库抓取淘宝目录页面内容的框架。。自己抓不出来。绝望。

淘宝的话有防采集，你要采集的话第一步要先模拟登录，然后可以通过开发者工具获取请求接口。

Ⅹ 怎么使用python获取淘宝数据

两种方法：

1. 网络爬虫。使用urllib2和BeautifulSoup（或者正则表达式）去抓取网页数据，大部分的网站都要这么做。
   

2. 淘宝开放平台SDK。申请一个sdk用户，然后调用API。支持python2.7以上版本。