pythonrequest库

⑴ python的 request 库，请求头是什么

就是headers，照抄浏览器F12里那一堆就行，如下图，请求标头下面所有内容都是。

⑵ 全方面的掌握Requests库的使用【python爬虫入门进阶】（02）

上一篇文章简单的介绍了 爬虫相关的基础知识点，介绍了一个标准爬虫程序的三个步骤 。这篇文章就让我们接着来学习。
本文重点介绍requests库的使用以及爬虫协议。之前也写了一篇 Requests库使用的博客 ，有兴趣的小伙伴可以去看看。

前面介绍了Requests库是用来抓取网页源码，请求接口的利器，整体上是要比urllib库的request更加好用的库。官网上将其称之为唯一一个非转基因的Python HTTP库，人类可以安全享用。
Requests库有7个主要方法。

不过我们平常最常用的方法还是GET方法和POST方法。

get请求方法是爬虫中最常用到的方法，因为爬虫主要就是爬取网页的信息。最基础的使用是

这里需要通过 res.encoding='utf-8' 设置响应结果的编码格式是utf-8。不然可能会出现中文乱码
如果响应结果是二进制数据的话则需要通过 res.content 方法来提取响应结果。
设置编码的方式也可以是 res.content.decode('utf-8') 。
即

有时候get请求也需要传入参数，这里可以直接将参数拼接到URL上或者通过params参数传入一个字典。

运行结果是：

get请求只能传入简单的参数，如果参数比较复杂或者传入的参数比较多的话则GET请求就不再适用了，这时候就需要适用post请求方法了。
Post请求的请求类型有三种：

以表单的方式提交数据是POST请求的默认的请求格式，只需要将参数放在一个字典中进行传入即可。

这里将请求头的数据放在一个名为header的字典中，然后在请求时通过headers参数传入。在请求中设置了内容类型是 application/json ,编码格式是 charset=utf-8
传入的是一个json字符串，通过data参数进行传入。json字符串可以直接写也可以通过 json.mps(dict) 方法将一个字典序列化,就像下面这样。

文件上传与本节爬虫的内容无关，在此就不过多介绍了。有兴趣的小伙伴可以看看 Python中如何编写接口，以及如何请求外部接口 这篇文章。

在网络请求中，我们常常会遇到状态码是3开头的重定向问题，在Requests中是默认开启允许重定向的，即遇到重定向时，会自动继续访问。通过将allow_redirects 属性设置为False不允许重定向。

通过timeout属性可以设置超时时间，单位是秒。get方法和post方法均可设置。

通过status_code属性可以获取接口的响应码。

有时候我们使用了抓包工具，这时候由于抓包证书提供的证书并不是受信任的数字证书颁发机构颁发的，所以证书的验证会失败，所以我们就需要关闭证书验证。在请求的时候把verify参数设置为False就可以关闭证书验证了。

爬虫协议也叫做robots协议，告诉网络蜘蛛哪些页面可以爬取，哪些页面不能爬取
爬虫文件的规范是：

允许所有的机器人

本文详细介绍了Request库的使用

⑶ python request/读写/上传文件

python 读写文件：

data_json = json.mps(result_r)  #json字符串  

f =open('E://XXX.txt',"a+")  #打开文件，追加+读写

f.write(data_json) # data_json 写入XXX.txt'文件

f.seek(0)  # 光标移动到文件开头

lines = f.read() # 逐行读入

f.close() #关闭文件

mode 打开的方式（r,w,a,x,b,t,r+,w+,a+,U）

r 以只读方式打开文件。文件的指针会放在文件的开头。

w 以写入方式打开文件。文件存在覆盖文件，文件不存在创建一个新文件。

a 以追加方式打开文件。如果文件已存在，文件指针放在文件末尾。如果文件不存在，创建新文件并可写入。

r+ 打开一个文件用于读写,文件指针会放在文件的开头

w+ 打开一个文件用于读写,文件存在覆盖文件，文件不存在创建一个新文件。

a+ 打开一个文件用于读写,如果文件已存在，文件指针放在文件末尾。如果文件不存在，创建新文件并可写入。

记忆方法：记住r读，w写，a追加，每个模式后加入+号就变成可读写。

f =open('E://xxx.txt',"a+")    /    f=open(r'E://xxx.txt',mode='a+',encoding='UTF-8')

踩坑1>  

没有加encoding='UTF-8'，可能会报如下错：

import requests  # 使用 request函数需导入 request 库

import json   #使用 JSON 函数需要导入 json 库： import json 。

param ={} #请求body

url ='http://域名/api' 

header = {'content-type':'application/json'}

r = requests.post(url,json=param,headers=header)    #发送post请求

result_r = r.json() #请求返回的json传入对象result_r

data_json = json.mps(result_r)  #将 Python-result_r对象转为字符串 json.mps()

文件上传请求(csv文件)

file_path = "xxx.csv"   文件路径

uploaddata = {"file":open(file_path, "rb")}  

file_upload_result = requests.post(api_URL, files=uploaddata, cookies=cookie)

⑷ python3.5和python3.6对request库的支持

requests库是一个常用的用于http请求的模块，它使用python语言编写，可以方便的对网页进行爬取，是学习python爬虫的较好的http请求模块。

_ip命令安装

_indows系统下只需要在命令行输入命令 pip install requests 即可安装

_? linux 系统下，只需要输入命令 sudo pip install requests ，即可安装。

⑸ Request库——Python实现的简单易用的HTTP库

Python的标准库中自带一个urllib模块，可以实现爬取网页的功能，但是体验不好，而Requests库继承了urllib的所有特性，并且使用起来更方便，所以目标导向的话，Requests为不二之选。

⑹ Python3中的requests模块怎样用

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3

开始要导入 Requests 模块：

1
import requests
然后，尝试获取某个网页。本例子中，我们来获取 Github 的公共时间线：

1
r = requests.get('https://api.github.com')

可参考网址：www.cnblogs.com/wangyinghao/p/10712328.html