㈠ python存200w數據到資料庫需要多久
Python存200w數據到資料庫需要474秒，因為正常的三萬八千條數據僅需要9秒，以此類推出200萬需要的時間。
【python存資料庫速度】
1、需要從文本中讀取三萬條數據寫入mysql資料庫，文件中為用@分割的sql語句，但是在讀取的過程中發現速度過慢，三萬八千條數據需要220秒，
2、經測試發現，影響速度的主要原因是commit(),因為沒過幾秒提交一次即可，但是因為提交的字元長度有限制，所以要設置一個合理的時間讀取。
3、更改後，寫入三萬八千條數據僅需要9秒
㈡ 通過python介面獲取的數據怎麼存放到oracle資料庫里
selecta.owner所屬用戶,
a.table_name表名,
a.column_name欄位名,
a.data_type欄位類型,
a.欄位長度,
a.欄位精度,
a.是否為空,
a.創建日期,
a.最後修改日期,
casewhena.owner=d.owneranda.table_name=d.table_nameanda.column_name=d.column_namethen液仔櫻'主鍵'else''end是否主鍵
from
(selecta.owner,a.table_name,b.column_name,b.data_type,casewhenb.data_precisionisnullthenb.data_lengthelsedata_precisionend欄位長度,data_scale欄位精度,
decode(nullable,'Y','√','N','×')鬧叢是否為空,c.created創建日期,c.last_ddl_time最後修改日期
fromall_tablesa,all_tab_columnsb,all_objectsc
wherea.table_name=b.table_nameanda.owner=b.owner
anda.owner=c.owner
anda.table_name=c.object_name
anda.owner='SCOTT'--這戚襪個是查某個用戶，你到時候把用戶名換一下就好，一定大寫
andc.object_type='TABLE')a
leftjoin
(selecta.owner,a.table_name,a.column_name,a.constraint_namefromuser_cons_columnsa,user_constraintsb
wherea.constraint_name=b.constraint_nameandb.constraint_type='P')d
ona.owner=d.owneranda.table_name=d.table_nameanda.column_name=d.column_name
orderbya.owner,a.table_name;
㈢ python 如何把圖片存入資料庫
作者：小風寒吶
鏈接：https://zhuanlan.hu.com/p/30212013
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
首先我們讀取圖庫中所有圖片的名稱，保存在fileNames中。然後讀取Data.csv中所有數據。
提取出Data.csv的最後一列（一共10002列，第10001列說明該數字是什麼數字，第10002列是圖片的名稱），也就是資料庫中存儲的所有圖片的名稱，存儲在item中。
將新加入圖庫的圖片名稱保存在newFileNames中。如果Data.csv為空，那麼就直接令newFileNames
=
fileNames。也就是說如果資料庫中什麼也沒有，那麼圖庫中所有圖片都是新加入的。
如果Data.csv不為空，那麼就將item裡面的內容與fileNames的內容比較，如果出現了fileNames裡面有的名稱item中沒有，那麼就將這些名稱放進newFileNames中。如果item里有的名稱fileNames中沒有，那就不管。
也就是說，我令我們的資料庫只進不出。
現在我們得到了新加入圖庫的圖片的名稱newFileNames。
將newFileNames中的名稱的圖片帶入上一文中函數GetTrainPicture進行處理，得到了一個nx10001的矩陣，每一行代表一個新加入的圖片，前10000列是圖片向量，第10001列是該圖片的數字，保存在pic中。
㈣ python把爬到的數據放到資料庫(python爬蟲怎麼把爬的數據寫進文件里)
MySQL
是一個關系型資料庫管理系統，由瑞典MySQLAB公司開發，目前屬於Oracle旗下產品。MySQL是最流行的關系型資料庫管理系統之一，在WEB應用方面，MySQL是最好的RDBMS(，關系資料庫管理系統)應用軟體。
MySQL是一種關系資料庫管理系統，關系資料庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度並提高了靈活性。
MySQL所使用的SQL語言是用於訪問資料庫的最常用標准化語言。MySQL軟體採用了雙授權政策，分為社區版和商業版，由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網站的開發都選擇MySQL作為網站資料庫。
相關推薦：《Python基礎教程》
應用環境
與其他的大型數據孝中源庫例如Oracle、DB2、SQLServer等相比，MySQL自有它的不足之處，但是這絲毫也沒有減少它受歡迎的程度。對於一般的個人使用者和中小型企業來說，MySQL提供的功能已經綽綽有餘，而且由於MySQL是開放源碼軟體，因此可以大大降低總體擁有成本。
MongoDB
是一個基於分布式文件存儲的資料庫。由C語言編寫。旨在為WEB應用提供可擴展的高性能數據存儲解決方案。
MongoDB是一個介於關系資料庫和非關系資料庫之間的產品，是非關系資料庫當中功能最豐富培攜，最像關系資料庫的。它支持的數據結構非常鬆散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是它支持的查詢語言非常強大，其語法有點類似於面向對象的查詢語言，幾乎可以實現類似關系資料庫單表查詢的絕大部分功能，而且還支持對數據建立索引。
特點
它的特點是高性能、易部署、易使用，存儲數據非常方便。主要功能特性有：
*面向集合存儲，易存儲對象類型的數據。
mongodb集群參考
*模式自由。
*支持動態查詢。
*支持完全索引，包含內部對象。
*支持查詢。
*支持復制和故障恢復。
*使用高效的二進制數據存巧態儲，包括大型對象（如視頻等）。
*自動處理碎片，以支持雲計算層次的擴展性。
*支持RUBY，PYTHON，JAVA，C，PHP，C#等多種語言。
*文件存儲格式為BSON（一種JSON的擴展）。
*可通過網路訪問。
㈤ python怎樣將數據存入mysql資料庫
下載mysql.connector庫
然後把爬蟲爬到的數據通過mysql裡面的insert語句查到資料庫，當然也可以建表，一般我沒用python建表 是先建好再寫數據的
import mysql.connector
conn = mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])
print('************** %s %s 數據保存成功 **************'%(user_rank,user_name))
conn.commit()
cursor.close()
㈥ 如何將python爬蟲數據直接存到資料庫
直接使用sqlite 這個是python自帶的
用起來也很簡單網路一下教程就行 ，很容易就把數據寫到資料庫里了
㈦ 如何將python中的數據寫到mysql資料庫中
利用mysql插件 pymysql；寫insert語句直接插入到資料庫
安裝：pip install pymysql。
代碼：excute_sql方法是執行更新，插入操作。get_datasset方法是查詢。
#coding:utf-8
importpymysql.cursors
defexecute_sql(sql):
conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='db',charset="utf8")
try:
withconn.cursor()ascursor:
cursor.execute(sql)
conn.commit()
finally:
conn.close()
defget_dataset(sql):
conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='db',charset="utf8")
try:
withconn.cursor()ascursor:
cursor.execute(sql)
returncursor.fetchall()
finally:
conn.close()
㈧ python列表套列表的數據結構怎麼存入資料庫
下載mysql.connector庫
然後把爬蟲爬到的數據通過mysql裡面的insert語句查到資料庫，當然也可以建表，一般我沒用python建表 是先建好再寫數據的
import mysql.connector
conn = mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])
print('************** %s %s 數據保存成功 **************'%(user_rank,user_name))
conn.commit()
cursor.close()
㈨ 怎麼把python 用urllib2爬取的內容 存到資料庫中
使用mongodb很簡單。
首先安裝pymongo：局侍
pipinstallpymongo
代碼實現：用urllib2讀取數據，打包成JSON格式插入到mongodb中。
frompymongoimportMongoClient
try:
fromurllib2importurlopen,Request,HTTPError,URLError
exceptImportError:
fromurllib.requestimporturlopen,Request,HTTPError,URLError
result=[]
try:
f=urlopen('http://www.dynamsoft.com',timeout=3)
while1:
tmp=f.read(10240)
iflen(tmp)==0:
break
else:
result.append(tmp)
或臘乎f.close()
exceptHTTPError,URLError:
printURLError.code
content=''.join(result)
post={"author":"yushulx",
"content":content
}
client衫悉=MongoClient()
db=client.test_database
posts=db.posts
posts.insert(post)
printposts.find_one({"author":"yushulx"})
㈩ python爬取數據後儲存數據到mysql資料庫後如何覆蓋舊
python爬取數據後儲存數據到mysql資料庫後添加新數缺基卜據覆蓋舊。
1、先根據PRIMARY_KEY或UNIQUE欄位查詢庫里是否存在數據（select）。
2、如果存在數據鋒螞，則更改許要更改的欄位（update）。
3、如果不粗在數據，則進行添伏穗加新數據（insert）。