㈠ python存200w数据到数据库需要多久
Python存200w数据到数据库需要474秒，因为正常的三万八千条数据仅需要9秒，以此类推出200万需要的时间。
【python存数据库速度】
1、需要从文本中读取三万条数据写入mysql数据库，文件中为用@分割的sql语句，但是在读取的过程中发现速度过慢，三万八千条数据需要220秒，
2、经测试发现，影响速度的主要原因是commit(),因为没过几秒提交一次即可，但是因为提交的字符长度有限制，所以要设置一个合理的时间读取。
3、更改后，写入三万八千条数据仅需要9秒
㈡ 通过python接口获取的数据怎么存放到oracle数据库里
selecta.owner所属用户,
a.table_name表名,
a.column_name字段名,
a.data_type字段类型,
a.字段长度,
a.字段精度,
a.是否为空,
a.创建日期,
a.最后修改日期,
casewhena.owner=d.owneranda.table_name=d.table_nameanda.column_name=d.column_namethen液仔樱'主键'else''end是否主键
from
(selecta.owner,a.table_name,b.column_name,b.data_type,casewhenb.data_precisionisnullthenb.data_lengthelsedata_precisionend字段长度,data_scale字段精度,
decode(nullable,'Y','√','N','×')闹丛是否为空,c.created创建日期,c.last_ddl_time最后修改日期
fromall_tablesa,all_tab_columnsb,all_objectsc
wherea.table_name=b.table_nameanda.owner=b.owner
anda.owner=c.owner
anda.table_name=c.object_name
anda.owner='SCOTT'--这戚袜个是查某个用户，你到时候把用户名换一下就好，一定大写
andc.object_type='TABLE')a
leftjoin
(selecta.owner,a.table_name,a.column_name,a.constraint_namefromuser_cons_columnsa,user_constraintsb
wherea.constraint_name=b.constraint_nameandb.constraint_type='P')d
ona.owner=d.owneranda.table_name=d.table_nameanda.column_name=d.column_name
orderbya.owner,a.table_name;
㈢ python 如何把图片存入数据库
作者：小风寒呐
链接：https://zhuanlan.hu.com/p/30212013
来源：知乎
着作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
首先我们读取图库中所有图片的名称，保存在fileNames中。然后读取Data.csv中所有数据。
提取出Data.csv的最后一列（一共10002列，第10001列说明该数字是什么数字，第10002列是图片的名称），也就是数据库中存储的所有图片的名称，存储在item中。
将新加入图库的图片名称保存在newFileNames中。如果Data.csv为空，那么就直接令newFileNames
=
fileNames。也就是说如果数据库中什么也没有，那么图库中所有图片都是新加入的。
如果Data.csv不为空，那么就将item里面的内容与fileNames的内容比较，如果出现了fileNames里面有的名称item中没有，那么就将这些名称放进newFileNames中。如果item里有的名称fileNames中没有，那就不管。
也就是说，我令我们的数据库只进不出。
现在我们得到了新加入图库的图片的名称newFileNames。
将newFileNames中的名称的图片带入上一文中函数GetTrainPicture进行处理，得到了一个nx10001的矩阵，每一行代表一个新加入的图片，前10000列是图片向量，第10001列是该图片的数字，保存在pic中。
㈣ python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)
MySQL
是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(，关系数据库管理系统)应用软件。
MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。
相关推荐：《Python基础教程》
应用环境
与其他的大型数据孝中源库例如Oracle、DB2、SQLServer等相比，MySQL自有它的不足之处，但是这丝毫也没有减少它受欢迎的程度。对于一般的个人使用者和中小型企业来说，MySQL提供的功能已经绰绰有余，而且由于MySQL是开放源码软件，因此可以大大降低总体拥有成本。
MongoDB
是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富培携，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。
特点
它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：
*面向集合存储，易存储对象类型的数据。
mongodb集群参考
*模式自由。
*支持动态查询。
*支持完全索引，包含内部对象。
*支持查询。
*支持复制和故障恢复。
*使用高效的二进制数据存巧态储，包括大型对象（如视频等）。
*自动处理碎片，以支持云计算层次的扩展性。
*支持RUBY，PYTHON，JAVA，C，PHP，C#等多种语言。
*文件存储格式为BSON（一种JSON的扩展）。
*可通过网络访问。
㈤ python怎样将数据存入mysql数据库
下载mysql.connector库
然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的
import mysql.connector
conn = mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])
print('************** %s %s 数据保存成功 **************'%(user_rank,user_name))
conn.commit()
cursor.close()
㈥ 如何将python爬虫数据直接存到数据库
直接使用sqlite 这个是python自带的
用起来也很简单网络一下教程就行 ，很容易就把数据写到数据库里了
㈦ 如何将python中的数据写到mysql数据库中
利用mysql插件 pymysql；写insert语句直接插入到数据库
安装：pip install pymysql。
代码：excute_sql方法是执行更新，插入操作。get_datasset方法是查询。
#coding:utf-8
importpymysql.cursors
defexecute_sql(sql):
conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='db',charset="utf8")
try:
withconn.cursor()ascursor:
cursor.execute(sql)
conn.commit()
finally:
conn.close()
defget_dataset(sql):
conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='db',charset="utf8")
try:
withconn.cursor()ascursor:
cursor.execute(sql)
returncursor.fetchall()
finally:
conn.close()
㈧ python列表套列表的数据结构怎么存入数据库
下载mysql.connector库
然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的
import mysql.connector
conn = mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])
print('************** %s %s 数据保存成功 **************'%(user_rank,user_name))
conn.commit()
cursor.close()
㈨ 怎么把python 用urllib2爬取的内容 存到数据库中
使用mongodb很简单。
首先安装pymongo：局侍
pipinstallpymongo
代码实现：用urllib2读取数据，打包成JSON格式插入到mongodb中。
frompymongoimportMongoClient
try:
fromurllib2importurlopen,Request,HTTPError,URLError
exceptImportError:
fromurllib.requestimporturlopen,Request,HTTPError,URLError
result=[]
try:
f=urlopen('http://www.dynamsoft.com',timeout=3)
while1:
tmp=f.read(10240)
iflen(tmp)==0:
break
else:
result.append(tmp)
或腊乎f.close()
exceptHTTPError,URLError:
printURLError.code
content=''.join(result)
post={"author":"yushulx",
"content":content
}
client衫悉=MongoClient()
db=client.test_database
posts=db.posts
posts.insert(post)
printposts.find_one({"author":"yushulx"})
㈩ python爬取数据后储存数据到mysql数据库后如何覆盖旧
python爬取数据后储存数据到mysql数据库后添加新数缺基卜据覆盖旧。
1、先根据PRIMARY_KEY或UNIQUE字段查询库里是否存在数据（select）。
2、如果存在数据锋蚂，则更改许要更改的字段（update）。
3、如果不粗在数据，则进行添伏穗加新数据（insert）。