python数据库的存储

‘壹’ python爬取数据后储存数据到mysql数据库后如何覆盖旧

python爬取数据后储存数据到mysql数据库后添加新数缺基卜据覆盖旧。
1、先根据PRIMARY_KEY或UNIQUE字段查询库里是否存在数据（select）。
2、如果存在数据锋蚂，则更改许要更改的字段（update）。
3、如果不粗在数据，则进行添伏穗加新数据（insert）。

‘贰’ 怎么将python爬取的数据存如数据库中

使用mongodb很简单。
首先安装pymongo：

1

pip install pymongo

代码实现：用urllib2读取数据，打包成JSON格式插入到mongodb中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

from pymongo import MongoClient
try:
from urllib2 importurlopen, Request, HTTPError, URLError
except ImportError:
from urllib.request import urlopen, Request, HTTPError, URLError
result = []
try:
f = urlopen('http://www.dynamsoft.com', timeout=3)
while 1:
tmp = f.read(10240)
if len(tmp) == 0:
break

‘叁’ Python的文件存储用哪个标准模块

Python的模块文件放在以下地方：默认的在安装文件的Libsite-packages路径下面；如果想自己控制这些模块的话，可以放在任何地方，然后把这个路径设置为环境变量即可。

小数据存储

我们在编写代码的时候，经常会涉及到数据存储的情况，如果是爬虫得到的大数据，我们会选择使用数据库，或者excel存储。但如果只是一些小数据，或者说关联性较强且存在存储后复用的数据，我们该如何存储呢？

使用open保存文本

最简单、粗暴+无脑的存储方式就是保存成一个文本文档了。
使用open函数，将结果一行行的保存成文本,这里涉及的知识点只有简单的几条：

• 文件读写模式，r 、w、a、b、+ ,掌握这几种即可。

• 使用单独的open打开文件时，需要注意结尾时的调用close()函数关闭文档

• 推荐使用上下文管理器的with open操作

csv文件

之所以将csv与excel分开说，首先需要扫盲下，csv属于特定格式的文本文件(使用逗号分隔)，而excel是二进制文件。
csv可以直接使用文本编辑器打开，excel不行…
其实csv文件，完全可以使用open函数进行保存，只要你将每行数据都使用,分隔开即可。
另外，python自带csv库，可以很方便的操作与保存该数据

xml文件

xml文件的方式，已经逐渐被淘汰了，为什么这么说？因为它繁琐的树形结构，导致了在传输过程中，占用了更多的内存。所以，除非必要，真的不推荐以xml的形式存储你的数据…

‘肆’ Python存200w数据到数据库需要多久

Python存200w数据到数据库需要474秒，因为正常的三万八千条数据仅需要9秒，以此类推出200万需要的时间。
【python存数据库速度】
1、需要从文本中读取三万条数据写入mysql数据库，文件中为用@分割的sql语句，但是在读取的过程中发现速度过慢，三万八千条数据需要220秒，
2、经测试发现，影响速度的主要原因是commit(),因为没过几秒提交一次即可，但是因为提交的字符长度有限制，所以要设置一个合理的时间读取。
3、更改后，写入三万八千条数据仅需要9秒

‘伍’ python 村数据库是一条一条存快还是都存list再一次存进库里快

逐条操作数据库的时候都会经历下面一个流程：
创建数据库连接、打开、执行SQL、关闭连接。
创建和打开数据库连接是很慢的，所以你逐条插入的时候觉得慢，就是慢在这个地方。
而批量插入的时候，只创建一次数据库连接，因此会快的多。

‘陆’ python 如何把图片存入数据库

作者：小风寒呐
链接：https://zhuanlan.hu.com/p/30212013
来源：知乎
着作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
首先我们读取图库中所有图片的名称，保存在fileNames中。然后读取Data.csv中所有数据。
提取出Data.csv的最后一列（一共10002列，第10001列说明该数字是什么数字，第10002列是图片的名称），也就是数据库中存储的所有图片的名称，存储在item中。
将新加入图库的图片名称保存在newFileNames中。如果Data.csv为空，那么就直接令newFileNames
=
fileNames。也就是说如果数据库中什么也没有，那么图库中所有图片都是新加入的。
如果Data.csv不为空，那么就将item里面的内容与fileNames的内容比较，如果出现了fileNames里面有的名称item中没有，那么就将这些名称放进newFileNames中。如果item里有的名称fileNames中没有，那就不管。
也就是说，我令我们的数据库只进不出。
现在我们得到了新加入图库的图片的名称newFileNames。
将newFileNames中的名称的图片带入上一文中函数GetTrainPicture进行处理，得到了一个nx10001的矩阵，每一行代表一个新加入的图片，前10000列是图片向量，第10001列是该图片的数字，保存在pic中。

‘柒’ 从数据库里python获取数据存到本地数据库

python项目中从接口获取数据并存入本地数据库
首先用postman测试接口
根据请求方式将数据存入数据库中
首先用postman测试接口
通过url，选择相应的请求方式，头部，数据格式，点击send看能否获取数据
根据请求方式将数据存入数据库中

下面是post请求方式def get() URL = '' HEADERS = {'Content-Type': 'application/json'} JSON = {} response = request.post(URL,headers=HEADERS,json=JSON) #json.loads()用于将str类型的数据转成dict jsondata = json.load(response.txt) for i in jsondata: date1 = i[data] type1 = i[type] ... #拼接sql语句 sql="" conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable") cursor=conn.cursor() ursor.execute(sql)