python數據存放到mysql中

1. python爬蟲爬下來的數據怎麼導入到MySQL

下載mysql.connector庫

然後把爬蟲爬到的數據通過mysql裡面的insert語句查到資料庫，當然也可以建表，一般我沒用python建表 是先建好再寫數據的

importmysql.connector
conn=mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)

cursor=conn.cursor()

cursor.execute("INSERTINTOtest_user(`uuid`,`user_name`,`user_level`)VALUES(%s,%s,%s)",[id,user_name,user_level])
cursor.execute("INSERTINTOtieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`)VALUES(%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex,tieba_age,tieba_note,user_favorites,user_fans])

print('**************%s%s數據保存成功**************'%(user_rank,user_name))
conn.commit()
cursor.close()

插進入就這樣的

2. Python存200w數據到資料庫需要多久

Python存200w數據到資料庫需要474秒，因為正常的三萬八千條數據僅需要9秒，以此類推出200萬需要的時間。
【python存資料庫速度】
1、需要從文本中讀取三萬條數據寫入mysql資料庫，文件中為用@分割的sql語句，但是在讀取的過程中發現速度過慢，三萬八千條數據需要220秒，
2、經測試發現，影響速度的主要原因是commit(),因為沒過幾秒提交一次即可，但是因為提交的字元長度有限制，所以要設置一個合理的時間讀取。
3、更改後，寫入三萬八千條數據僅需要9秒

3. python鏈哄櫒瀛︿範璁緇冪殑鏁版嵁瀛樺湪mysql鍙浠ュ悧

褰撶劧鍙浠ヤ簡, mysql鏄涓縐嶈疆鍩瑰緢甯哥敤鐨勬暟鍞妗愮珫鎹瀛樺偍鐨勫伐鍏, 褰撲綘闇瑕佷嬌鐢ㄨ繖浜涜緇冩暟鎹鏃, 鍙闇瑕侀氳繃python鐨刴ysql鐨勫寘榪炴帴鍒版暟鎹搴, 鎵ц屾煡璇sql,灝嗘暟鎹瀵煎叆鍒皃ython鐨勫彉閲忓氨鍙浠ユ嬁鏉ョ敤, 鍗佸垎鏂逛究.濡傛灉涓嶇煡閬撴庝箞鐢╬ython璇誨啓mysql鏁版嵁搴, 璇瘋拷鎸囧ぇ闂.

4. Python讀URL數據寫入MySQL資料庫

importmysql.connection
importrequests
importtime
conn=mysql.connector.connect(user='root',password='password',database='test')
cursor=conn.cursor()
cursor.execute('createtablejson(idvarchar(20)primarykey,textvarchar(20))')
conn.commit()
url='http://f.apiplus.net/cqssc.json'
n=0
whileTure:
n=n+1
req=requests.get(url).json()
cursor.execute('insertintouser(id,text)values(%s,%s)',[n,req])
conn.commit()
time.sleep(60)

5. python向mysql中插入數據提示錯誤

答：資料庫本身是不支持字典類型的（已知的絕大多）
方法有兩種：
1、把字典或者json格式數據作為字元串（string）直接插入、讀取的時候再轉為字典。
2、為了避免某些字元、引號等轉義問題發生、可以使用base64編碼後導入資料庫、讀取時候再用base64解碼。
也可以試試這個：
sql="insertintoaccount·userdata（user、passwd）values（%s、%s）"cursor.execute（sql、（name、passwd-md5））試試這個，
或者：sql="insertintoaccunt.userdata（user.passwd）values（%s%s）"%（name、passwd-md5）
oursor.execute（sql）。

6. 如何用python批量插入數據到mysql資料庫，用list

MySQL 的 Binlog 記錄著 MySQL 資料庫的所有變更信息，了解 Binlog 的結構可以幫助我們解析Binlog，甚至對 Binlog 進行一些修改，或者說是「篡改」，例如實現類似於 Oracle 的 flashback 的功能，恢復誤刪除的記錄，把 update 的記錄再還原回去等。本文將帶您探討一下這些神奇功能的實現，您會發現比您想像地要簡單得多。本文指的 Binlog 是 ROW 模式的 Binlog，這也是 MySQL 8 里的默認模式，STATEMENT 模式因為使用中有很多限制，現在用得越來越少了。
Binlog 由事件（event）組成，請注意是事件（event）不是事務（transaction），一個事務可以包含多個事件。事件描述對資料庫的修改內容。
現在我們已經了解了 Binlog 的結構，我們可以試著修改 Binlog 里的數據。例如前面舉例的 Binlog 刪除了一條記錄，我們可以試著把這條記錄恢復，Binlog 裡面有個刪除行（DELETE_ROWS_EVENT）的事件，就是這個事件刪除了記錄，這個事件和寫行（WRITE_ROWS_EVENT）的事件的數據結構是完全一樣的，只是刪除行事件的類型是 32，寫行事件的類型是 30，我們把對應的 Binlog 位置的 32 改成 30 即可把已經刪除的記錄再插入回去。從前面的 「show binlog events」 裡面可看到這個 DELETE_ROWS_EVENT 是從位置 378 開始的，這里的位置就是 Binlog 文件的實際位置（以位元組為單位）。從事件（event）的結構裡面可以看到 type_code 是在 event 的第 5 個位元組，我們寫個 Python 小程序把把第383（378+5=383）位元組改成 30 即可。當然您也可以用二進制編輯工具來改。
找出 Binlog 中的大事務
由於 ROW 模式的 Binlog 是每一個變更都記錄一條日誌，因此一個簡單的 SQL，在 Binlog 里可能會產生一個巨無霸的事務，例如一個不帶 where 的 update 或 delete 語句，修改了全表裡面的所有記錄，每條記錄都在 Binlog 裡面記錄一次，結果是一個巨大的事務記錄。這樣的大事務經常是產生麻煩的根源。我的一個客戶有一次向我抱怨，一個 Binlog 前滾，滾了兩天也沒有動靜，我把那個 Binlog 解析了一下，發現裡面有個事務產生了 1.4G 的記錄，修改了 66 萬條記錄！下面是一個簡單的找出 Binlog 中大事務的 Python 小程序，我們知道用 mysqlbinlog 解析的 Binlog，每個事務都是以 BEGIN 開頭，以 COMMIT 結束。我們找出 BENGIN 前面的 「# at」 的位置，檢查 COMMIT 後面的 「# at」 位置，這兩個位置相減即可計算出這個事務的大小，下面是這個 Python 程序的例子。
切割 Binlog 中的大事務
對於大的事務，MySQL 會把它分解成多個事件（注意一個是事務 TRANSACTION，另一個是事件 EVENT），事件的大小由參數 binlog-row-event-max-size 決定，這個參數默認是 8K。因此我們可以把若干個事件切割成一個單獨的略小的事務
ROW 模式下，即使我們只更新了一條記錄的其中某個欄位，也會記錄每個欄位變更前後的值，這個行為是 binlog_row_image 參數控制的，這個參數有 3 個值，默認為 FULL，也就是記錄列的所有修改，即使欄位沒有發生變更也會記錄。這樣我們就可以實現類似 Oracle 的 flashback 的功能，我個人估計 MySQL 未來的版本從可能會基於 Binlog 推出這樣的功能。
了解了 Binlog 的結構，再加上 Python 這把瑞士軍刀，我們還可以實現很多功能，例如我們可以統計哪個表被修改地最多？我們還可以把 Binlog 切割成一段一段的，然後再重組，可以靈活地進行 MySQL 資料庫的修改和遷移等工作。

7. 如何將python中的數據寫到mysql資料庫中

利用mysql插件 pymysql；寫insert語句直接插入到資料庫

安裝：pip install pymysql。

代碼：excute_sql方法是執行更新，插入操作。get_datasset方法是查詢。

#coding:utf-8
importpymysql.cursors

defexecute_sql(sql):
conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='db',charset="utf8")
try:
withconn.cursor()ascursor:
cursor.execute(sql)
conn.commit()
finally:
conn.close()
defget_dataset(sql):
conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='db',charset="utf8")
try:
withconn.cursor()ascursor:
cursor.execute(sql)
returncursor.fetchall()
finally:
conn.close()

8. python爬取數據後儲存數據到mysql資料庫後如何覆蓋舊

python爬取數據後儲存數據到mysql資料庫後添加新數缺基卜據覆蓋舊。
1、先根據PRIMARY_KEY或UNIQUE欄位查詢庫里是否存在數據（select）。
2、如果存在數據鋒螞，則更改許要更改的欄位（update）。
3、如果不粗在數據，則進行添伏穗加新數據（insert）。