python將數據存入資料庫

⑴ 從資料庫里python獲取數據存到本地資料庫

python項目中從介面獲取數據並存入本地資料庫
首先用postman測試介面
根據請求方式將數據存入資料庫中
首先用postman測試介面
通過url，選擇相應的請求方式，頭部，數據格式，點擊send看能否獲取數據
根據請求方式將數據存入資料庫中

下面是post請求方式def get() URL = '' HEADERS = {'Content-Type': 'application/json'} JSON = {} response = request.post(URL,headers=HEADERS,json=JSON) #json.loads()用於將str類型的數據轉成dict jsondata = json.load(response.txt) for i in jsondata: date1 = i[data] type1 = i[type] ... #拼接sql語句 sql="" conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable") cursor=conn.cursor() ursor.execute(sql)

⑵ 如何用python批量插入數據到mysql資料庫，用list

MySQL 的 Binlog 記錄著 MySQL 資料庫的所有變更信息，了解 Binlog 的結構可以幫助我們解析Binlog，甚至對 Binlog 進行一些修改，或者說是「篡改」，例如實現類似於 Oracle 的 flashback 的功能，恢復誤刪除的記錄，把 update 的記錄再還原回去等。本文將帶您探討一下這些神奇功能的實現，您會發現比您想像地要簡單得多。本文指的 Binlog 是 ROW 模式的 Binlog，這也是 MySQL 8 里的默認模式，STATEMENT 模式因為使用中有很多限制，現在用得越來越少了。
Binlog 由事件（event）組成，請注意是事件（event）不是事務（transaction），一個事務可以包含多個事件。事件描述對資料庫的修改內容。
現在我們已經了解了 Binlog 的結構，我們可以試著修改 Binlog 里的數據。例如前面舉例的 Binlog 刪除了一條記錄，我們可以試著把這條記錄恢復，Binlog 裡面有個刪除行（DELETE_ROWS_EVENT）的事件，就是這個事件刪除了記錄，這個事件和寫行（WRITE_ROWS_EVENT）的事件的數據結構是完全一樣的，只是刪除行事件的類型是 32，寫行事件的類型是 30，我們把對應的 Binlog 位置的 32 改成 30 即可把已經刪除的記錄再插入回去。從前面的 「show binlog events」 裡面可看到這個 DELETE_ROWS_EVENT 是從位置 378 開始的，這里的位置就是 Binlog 文件的實際位置（以位元組為單位）。從事件（event）的結構裡面可以看到 type_code 是在 event 的第 5 個位元組，我們寫個 Python 小程序把把第383（378+5=383）位元組改成 30 即可。當然您也可以用二進制編輯工具來改。
找出 Binlog 中的大事務
由於 ROW 模式的 Binlog 是每一個變更都記錄一條日誌，因此一個簡單的 SQL，在 Binlog 里可能會產生一個巨無霸的事務，例如一個不帶 where 的 update 或 delete 語句，修改了全表裡面的所有記錄，每條記錄都在 Binlog 裡面記錄一次，結果是一個巨大的事務記錄。這樣的大事務經常是產生麻煩的根源。我的一個客戶有一次向我抱怨，一個 Binlog 前滾，滾了兩天也沒有動靜，我把那個 Binlog 解析了一下，發現裡面有個事務產生了 1.4G 的記錄，修改了 66 萬條記錄！下面是一個簡單的找出 Binlog 中大事務的 Python 小程序，我們知道用 mysqlbinlog 解析的 Binlog，每個事務都是以 BEGIN 開頭，以 COMMIT 結束。我們找出 BENGIN 前面的 「# at」 的位置，檢查 COMMIT 後面的 「# at」 位置，這兩個位置相減即可計算出這個事務的大小，下面是這個 Python 程序的例子。
切割 Binlog 中的大事務
對於大的事務，MySQL 會把它分解成多個事件（注意一個是事務 TRANSACTION，另一個是事件 EVENT），事件的大小由參數 binlog-row-event-max-size 決定，這個參數默認是 8K。因此我們可以把若干個事件切割成一個單獨的略小的事務
ROW 模式下，即使我們只更新了一條記錄的其中某個欄位，也會記錄每個欄位變更前後的值，這個行為是 binlog_row_image 參數控制的，這個參數有 3 個值，默認為 FULL，也就是記錄列的所有修改，即使欄位沒有發生變更也會記錄。這樣我們就可以實現類似 Oracle 的 flashback 的功能，我個人估計 MySQL 未來的版本從可能會基於 Binlog 推出這樣的功能。
了解了 Binlog 的結構，再加上 Python 這把瑞士軍刀，我們還可以實現很多功能，例如我們可以統計哪個表被修改地最多？我們還可以把 Binlog 切割成一段一段的，然後再重組，可以靈活地進行 MySQL 資料庫的修改和遷移等工作。

⑶ python 把list元素插入資料庫

有錯最好貼一下報錯內容
看一下story[0]的類型，print type(story[0])
%s，代表是字元串，如果不是str類型的話，轉換一下.
sql = "INSERT INTO qsbk(pagenum) VALUES ('%s')" %(str(story[0]))

⑷ python中如何將列表插入資料庫求大佬指教 （簡單一點的）

簡單的方法是：
variable_1 = "HELLO"
variable_2 = "WORLD"
varlist = [variable_1, variable_2]
print "INSERT INTO table VALUES %r;" % (tuple(varlist),)

關鍵是把list轉換成tuple

⑸ mac如何通過python將大批excel數據導入mysql

通過python將大批excel數據導入mysql：

利用Python從EXCEL中讀取兩列數據存儲在LIST中然後連接資料庫利用insert語句和LIST 內容結合，導入資料庫；然後再從資料庫讀取表的欄位和內容，存放到EXCEL新表中即可。

以下的導入的核心代碼：

#按照說明安裝即可
import win32com.client as win32
import MySQLdb
app='Excel'
#啟動EXCEL程序
xl=win32.gencache.EnsureDispatch('%s.Application' % app)
#打開相應的EXCEL文件
xlbook=win32.Dispatch('Excel.Application').Workbooks.Open('D:\pyd\opsdata.xls')
#讀取EXCEL工具表，打開要導入數據的表
sh=xlbook.Worksheets('sheet2')
#建立一個空LIST和兩個循環參數
dfun=[]
jcount=2
ncount=1
#從第一列開始向下循環，找到為空的那一行返回行數，即為第ncount行為空
for ncount in range(1,65566):
if sh.Cells(ncount,1).Value==None:
break
else:
continue
#print ncount，測試代碼，測試ncount值
#EXCEL的數據安排為第一行是欄位，第二行開始是數據，故從第2行開始循環，將兩列數據合並到一個LIST中
#LIST結構為[('a','b'),('c','d')]
for jcount in range(2,ncount):
dfun.append((sh.Cells(jcount,1).Value,sh.Cells(jcount,2).Value))
#關閉EXCEL程序
#xl.Application.Quit()
#print dfun，測試代碼測試dfun的數據
#建立一個空LIST fo用來存放欄位，讀取EXCEL中第一行的欄位存儲到fo中
fo=[]
icount=1
for icount in range(1,2):
fo.append((sh.Cells(1,icount).Value,sh.Cells(1,icount+1).Value))
#測試代碼，print fo
#打開MYSQL鏈接
conn=MySQLdb.connect(host='localhost',user='root',passwd='0.789asd',db='python')
#獲取游標操作
cursor=conn.cursor()
#建立一個空表
cursor.execute("create table test("+fo[0][0]+" varchar(100),"+fo[0][1]+" varchar(100));")
#利用executemany命令，將LIST，dfun中的數據通過insert語句寫入資料庫
cursor.executemany("""insert into test values(%s,%s);""" ,dfun)
#確認數據操作，注意如果沒有conn.commit()這個命令，數據無法被插入到資料庫中
conn.commit()


#執行查詢檢查結果
count = cursor.execute('select * from test')
print 'has %s record' % count
#重置游標位置
cursor.scroll(0,mode='absolute')
#搜取所有結果
results = cursor.fetchall()
#測試代碼，print results
#獲取MYSQL里的數據欄位
fields = cursor.description
#將欄位寫入到EXCEL新表的第一行
sh2=xlbook.Worksheets('sheet3')
#清空sheet3
sh2.Cells.Clear
for ifs in range(1,len(fields)+1):
sh2.Cells(1,ifs).Value=fields[ifs-1][0]
#將讀取的數據填入到相應的行列中
ics=2
jcs=1
for ics in range(2,len(results)+2):
for jcs in range(1,len(fields)+1):
sh2.Cells(ics,jcs).Value=results[ics-2][jcs-1]

#關閉EXCEL程序
xl.Application.Quit()
#關閉游標和查詢鏈接
cursor.close()
conn.close()

⑹ Python存200w數據到資料庫需要多久

Python存200w數據到資料庫需要474秒，因為正常的三萬八千條數據僅需要9秒，以此類推出200萬需要的時間。
【python存資料庫速度】
1、需要從文本中讀取三萬條數據寫入mysql資料庫，文件中為用@分割的sql語句，但是在讀取的過程中發現速度過慢，三萬八千條數據需要220秒，
2、經測試發現，影響速度的主要原因是commit(),因為沒過幾秒提交一次即可，但是因為提交的字元長度有限制，所以要設置一個合理的時間讀取。
3、更改後，寫入三萬八千條數據僅需要9秒