‘壹’ python爬虫如何获取网页Network中某个文件的response
网页信息在requests.get(xxxx).text里。好好看requests的文档。get返回的是一个response对象，里面有各种变量，你需要的是其中叫text的那一个。你直接print这个response对象的结果完全取决于开发者对__repr__或者__str__的重写情况。
‘贰’ Python什么是 Response对象
response是返回值的意思岩厅
在python爬虫中，发送数据请求和迟后，返回的数据，不是网页的源代码，唤枣李
‘叁’ Python编程基础之（五）Scrapy爬虫框架
经过前面四章的学习，我们已经可以使用Requests库、Beautiful Soup库和Re库，编写基本的Python爬虫程序了。那么这一章就来学习一个专业的网络爬虫框架--Scrapy。没错，是框架，而不是像前面介绍的函数功能库。
Scrapy是一个快速、功能强大的网络爬虫框架。
可能大家还不太了解什么是框架，爬虫框架其实是实现爬虫功能的一个软件结构和功能组件的集合。
简而言之， Scrapy就是一个爬虫程序的半成品，可以帮助用户实现专业的网络爬虫。
使用Scrapy框架，不需要你编写大量的代码，Scrapy已经把大部分工作都做好了，允许你调用几句代码便自动生成爬虫程序，可以节省大量的时间。
当然，框架所生成的代码基本是一致的，如果遇到一些特定的爬虫任务时，就不如自己使用Requests库搭建来的方便了。
PyCharm安装
测试安装：
出现框架版本说明安装成功。
掌握Scrapy爬虫框架的结构是使用好Scrapy的重中之重！
先上图：
整个结构可以简单地概括为： “5+2”结构和3条数据流
5个主要模块（及功能）：
（1）控制所有模块之间的数据流。
（2）可以根据条件触发事件。
（1）根据请求下载网页。
（1）对所有爬取请求进行调度管理。
（1）解析DOWNLOADER返回的响应--response。
（2）产生爬取项--scraped item。
（3）产生额外的爬取请求--request。
（1）以流水线方式处理SPIDER产生的爬取项。
（2）由一组操作顺序组成，类似流水线，每个操作是一个ITEM PIPELINES类型。
（3）清理、检查和查重爬取项中的HTML数据并将数据存储到数据库中。
2个中间键：
（1）对Engine、Scheler、Downloader之间进行用户可配置的控制。
（2）修改、丢弃、新增请求或响应。
（1）对请求和爬取项进行再处理。
（2）修改、丢弃、新增请求或爬取项。
3条数据流：
（1）：图中数字 1-2
1：Engine从Spider处获得爬取请求--request。
2：Engine将爬取请求转发给Scheler，用于调度。
（2）：图中数字 3-4-5-6
3：Engine从Scheler处获得下一个要爬取的请求。
4：Engine将爬取请求通过中间件发送给Downloader。
5：爬取网页后，Downloader形成响应--response，通过中间件发送给Engine。
6：Engine将收到的响应通过中间件发送给Spider处理。
（3）：图中数字 7-8-9
7：Spider处理响应后产生爬取项--scraped item。
8：Engine将爬取项发送给Item Pipelines。
9：Engine将爬取请求发送给Scheler。
任务处理流程：从Spider的初始爬取请求开始爬取，Engine控制各模块数据流，不间断从Scheler处获得爬取请求，直至请求为空，最后到Item Pipelines存储数据结束。
作为用户，只需配置好Scrapy框架的Spider和Item Pipelines，也就是数据流的入口与出口，便可完成一个爬虫程序的搭建。Scrapy提供了简单的爬虫命令语句，帮助用户一键配置剩余文件，那我们便来看看有哪些好用的命令吧。
Scrapy采用命令行创建和运行爬虫
PyCharm打开Terminal，启动Scrapy：
Scrapy基本命令行格式：
具体常用命令如下：
下面用一个例子来学习一下命令的使用：
1.建立一个Scrapy爬虫工程，在已启动的Scrapy中继续输入：
执行该命令，系统会在PyCharm的工程文件中自动创建一个工程，命名为pythonDemo。
2.产生一个Scrapy爬虫，以教育部网站为例http://www.moe.gov.cn：
命令生成了一个名为demo的spider，并在Spiders目录下生成文件demo.py。
命令仅用于生成demo.py文件，该文件也可以手动生成。
观察一下demo.py文件：
3.配置产生的spider爬虫，也就是demo.py文件：
4.运行爬虫，爬取网页：
如果爬取成功，会发现在pythonDemo下多了一个t20210816_551472.html的文件，我们所爬取的网页内容都已经写入该文件了。
以上就是Scrapy框架的简单使用了。
Request对象表示一个HTTP请求，由Spider生成，由Downloader执行。
Response对象表示一个HTTP响应，由Downloader生成，有Spider处理。
Item对象表示一个从HTML页面中提取的信息内容，由Spider生成，由Item Pipelines处理。Item类似于字典类型，可以按照字典类型来操作。
‘肆’ python httplib response 对象怎么转成json
json包的mps方法可以将python中的对象转换为json格脊瞎式 import jsonx = ['a',{'卖唤c':'d'},1]json.mps(x)其中indent参数可以设樱配空置缩进值 json.mps(x, indent=4)
‘伍’ python用 request 抓取网页，得到 response 对象中的哪个成员代表网页的原始字节流
是response.content
‘陆’ Python爬虫笔记（二）requests模块get，post，代理
import requests
base_url = 'https://www..com'
response = requests.get(base_url)
url=请求url，
headers =请求头字典，
params = 请求参数字典。
timeout = 超时时长，
)---->response对象
服务器响应包含：状态行（协议，状态码）、响应头，空行，响应正文
字符串格式：response.text
bytes类型：response.content
response.headers['cookie']
response.text获取到的字符串类型的响应正文，
其实是通过下面的步骤获取的：
response.text = response.content.decode(response.encoding)
产生的原因：编码和解码的编码格式不一致造成的。
str.encode('编码')---将字符串按指定编码解码成bytes类型
bytes.decode('编码')---将bytes类型按指定编码编码成字符串。
a、response.content.decode('页面正确的编码格式')
<meta http-equiv="content-type" content="text/html;charset=utf-8">
b、找到正确的编码，设置到response.encoding中
response.encoding = 正确的编码
response.text--->正确的页面内容。
a、没有请求参数的情况下，只需要确定url和headers字典。
b、get请求是有请求参数。
在chrome浏览器中，下面找query_string_params,
将里面的参数封装到params字典中。
c、分页主要是查看每页中，请求参数页码字段的变化，
找到变化规律，用for循环就可以做到分页。
requests.post(
url=请求url，
headers = 请求头字典，
data=请求数据字典
timeout=超时时长
)---response对象
post请求一般返回数据都是json数据。
（1）response.json()--->json字符串所对应的python的list或者dict
（2）用 json 模块。
json.loads(json_str)---->json_data(python的list或者dict)
json.mps(json_data)--->json_str
post请求能否成功，关键看**请求参数**。
如何查找是哪个请求参数在影响数据获取？
--->通过对比，找到变化的参数。
变化参数如何找到参数的生成方式，就是解决这个ajax请求数据获取的途径。
**寻找的办法**有以下几种：
（1）写死在页面。
（2）写在js中。
（3）请求参数是在之前的一条ajax请求的数据里面提前获取好的。
代理形象的说，他是网络信息中转站。
实际上就是在本机和服务器之间架了一座桥。
a、突破自身ip访问现实，可以访问一些平时访问不到网站。
b、访问一些单位或者团体的资源。
c、提高访问速度。代理的服务器主要作用就是中转，
所以一般代理服务里面都是用内存来进行数据存储的。
d、隐藏ip。
FTP代理服务器---21,2121
HTTP代理服务器---80,8080
SSL/TLS代理：主要用访问加密网站。端口：443
telnet代理 ：主要用telnet远程控制，端口一般为23
高度匿名代理：数据包会原封不动转化，在服务段看来，就好像一个普通用户在访问，做到完全隐藏ip。
普通匿名代理：数据包会做一些改动，服务器有可能找到原ip。
透明代理：不但改动数据，还会告诉服务，是谁访问的。
间谍代理：指组织或者个人用于记录用户传输数据，然后进行研究，监控等目的的代理。
proxies = {
'代理服务器的类型':'代理ip'
}
response = requests.get(proxies = proxies)
代理服务器的类型:http,https,ftp
代理ip:http://ip:port
‘柒’ Python中-x.response是什么意思
没有程序上下谈销文，单看这个没有办法确定它的意思的。
从词面意思看，x应该是一个网络请求返回的对象。
response是这个对象的含桥游一个属消咐性
‘捌’ python的reponses.text是什么类型
requests.get返回的 r 是Response对象，r.content 就轮悔是返回内容的字节流，r.text就是对content解码后的结果。
所以Python3得到的是str类型的，禅桐谨Python2得到的是unicode类型。
一般Python会根据相应中指定的类型来贺基解码，你也可以通过指定 r.encoding 来指定编码方式。
‘玖’ python2.7 中 response.read()返回的是一个httpresponse对象还是一个html对象
返回的是html字符串类型。
‘拾’ Python后端 - HttpRespones对象
coding=utf-8
from django.http import HttpResponse
属性:
方法:
在应用的urls.py中增加一个url对象
请求地址栏如图：
请求结果的地址栏如图：
推荐使用 反向解析：
JsonResponse的默认Content-Type为application/json
简写函数
得到对象或返回404
get_object_or_404(klass, args, *kwargs)
通过模型管理器或悔喊查世前磨询集调用get()方法，如果没找到对象，不引发搜斗模型的DoesNotExist异常，而是引发Http404异常
klass：获取对象的模型类、Manager对象或QuerySet对象
**kwargs：查询的参数，格式应该可以被get()和filter()接受
如果找到多个对象将引发MultipleObjectsReturned异常
将settings.py中的DEBUG改为False
将请求地址输入2和100查看效果
得到列表或返回404
get_list_or_404(klass, args, *kwargs)
klass：获取列表的一个Model、Manager或QuerySet实例
**kwargs：查寻的参数，格式应该可以被get()和filter()接受