1. python讀取mysql數據寫入ES總結
准備工作： mysql庫的安裝。
python中mysql庫用的是mysql-connector，安裝執行如下命令：
第一步： 連接mysql，讀取數據。
通過執行sql語句，讀取mysql數據。
至此渣陸，獲得mysql的原始數據raw_data 。接下來對數據進行預處理，按日期進行埋梁銷分組聚合，然後重命名行和列名，得到dataFrame格式的數據。
第二步： 連接ES。
這步沒有太多的可解釋的地方，就是配置信息。
第三步： ES主鍵加密。
這步的目的是為了保持主鍵唯一性，防止重復寫入。用的方法是md5加密。
第四步： 寫入ES
至此，一切的准備工作都做好彎遊了，數據也有了，主鍵加密也做了，就開始寫入了。
用main方法執行以上方法：
最後查看一下ES寫的是否成功，用查詢方法
如果返回以下信息，說明ES里成功插入了數據。
另外，ES刪除索引的操作：
2. 怎麼做才能使mysql和python連接起來
什麼是 PyMySQL？
PyMySQL 是在 Python3.x 版本中用於連接 MySQL 伺服器的一個庫，Python2中則使用mysqldb。
PyMySQL 遵循 Python 資料庫 API v2.0 規范，並包含了 pure-Python MySQL 客戶端庫。
PyMySQL 安裝
在使用 PyMySQL 之前，我們需要確保 PyMySQL 已安裝。
PyMySQL 下載地址：https://github.com/PyMySQL/PyMySQL。
如果還未安裝，我們可以使用以下命令安裝最新版的 PyMySQL：
$ pip3 install PyMySQL
如果你的系統不支持 pip 命令，可以使用以下方式安裝：
1、使用 git 命令下載安裝包安裝(你也可以手動下載)：
$ git clone https://github.com/PyMySQL/PyMySQL$ cd PyMySQL/$ python3 setup.py install
2、如果需要制定版本號，可以使用 curl 命令來安裝：
$ # X.X 為 PyMySQL 的版本號$ curl -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz$ cd PyMySQL*$ python3 setup.py install
$ # 現在你可以刪除 PyMySQL* 目錄
注意：請確保您有root許可權來安裝上述模塊。
安裝的過程中可能會出現"ImportError: No mole named setuptools"的錯誤提示，意思是你沒有安裝setuptools，你可以訪問https://pypi.python.org/pypi/setuptools找到各個系統的安裝方法。
Linux 系統安裝實例：
$ wget https://bootstrap.pypa.io/ez_setup.py$ python3 ez_setup.py
資料庫連接
連接資料庫前，請先確認以下事項：
您已經創建了資料庫 TESTDB.
在TESTDB資料庫中您已經創建了表 EMPLOYEE
EMPLOYEE表欄位為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
連接資料庫TESTDB使用的用戶名為 "testuser" ，密碼為 "test123",你可以可以自己設定或者直接使用root用戶名及其密碼，Mysql資料庫用戶授權請使用Grant命令。
在你的機子上已經安裝了 Python MySQLdb 模塊。
如果您對sql語句不熟悉，可以訪問我們的SQL基礎教程
實例：
以下實例鏈接 Mysql 的 TESTDB 資料庫：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()
# 使用 execute() 方法執行 SQL 查詢 cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法獲取單條數據.data = cursor.fetchone()
print ("Database version : %s " % data)
# 關閉資料庫連接db.close()
執行以上腳本輸出結果如下：
創建資料庫表
如果資料庫連接存在我們可以使用execute()方法來為資料庫創建表，如下所示創建表EMPLOYEE：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()
# 使用 execute() 方法執行 SQL，如果表存在則刪除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
# 使用預處理語句創建表sql = """CREATE TABLE EMPLOYEE (
FIRST_NAME CHAR(20) NOT NULL,
LAST_NAME CHAR(20),
AGE INT,
SEX CHAR(1),
INCOME FLOAT )"""
cursor.execute(sql)
# 關閉資料庫連接db.close()
資料庫插入操作
以下實例使用執行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 插入語句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: # 執行sql語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()except: # 如果發生錯誤則回滾
db.rollback()
# 關閉資料庫連接db.close()
以上例子也可以寫成如下形式：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 插入語句sql = "INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('%s', '%s', %s, '%s', %s)" % ('Mac', 'Mohan', 20, 'M', 2000)try: # 執行sql語句
cursor.execute(sql)
# 執行sql語句
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接db.close()
以下代碼使用變數向SQL語句中傳遞參數:
資料庫查詢操作
Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。
fetchone():該方法獲取下一個查詢結果集。結果集是一個對象
fetchall():接收全部的返回結果行.
rowcount:這是一個只讀屬性，並返回執行execute()方法後影響的行數。
實例：
查詢EMPLOYEE表中salary（工資）欄位大於1000的所有數據：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 查詢語句sql = "SELECT * FROM EMPLOYEE
WHERE INCOME > %s" % (1000)try: # 執行SQL語句
cursor.execute(sql)
# 獲取所有記錄列表
results = cursor.fetchall()
for row in results: fname = row[0]
lname = row[1]
age = row[2]
sex = row[3]
income = row[4]
# 列印結果
print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % (fname, lname, age, sex, income ))except: print ("Error: unable to fetch data")
# 關閉資料庫連接db.close()
以上腳本執行結果如下：
資料庫更新操作
更新操作用於更新數據表的的數據，以下實例將 TESTDB 表中 SEX 為 'M' 的 AGE 欄位遞增 1：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 更新語句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: # 執行SQL語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接db.close()
刪除操作
刪除操作用於刪除數據表中的數據，以下實例演示了刪除數據表 EMPLOYEE 中 AGE 大於 20 的所有數據：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 刪除語句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 執行SQL語句
cursor.execute(sql)
# 提交修改
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉連接db.close()
執行事務
事務機制可以確保數據一致性。
事務應該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。
原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要麼都做，要麼都不做。
一致性（consistency）。事務必須是使資料庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。
隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對並發的其他事務是隔離的，並發執行的各個事務之間不能互相干擾。
持久性（rability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對資料庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。
Python DB API 2.0 的事務提供了兩個方法 commit 或 rollback。
實例
實例(Python 3.0+)
# SQL刪除記錄語句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 執行SQL語句
cursor.execute(sql)
# 向資料庫提交
db.commit()except: # 發生錯誤時回滾
db.rollback()
對於支持事務的資料庫， 在Python資料庫編程中，當游標建立之時，就自動開始了一個隱形的資料庫事務。
commit()方法游標的所有更新操作，rollback（）方法回滾當前游標的所有操作。每一個方法都開始了一個新的事務。
錯誤處理
DB API中定義了一些資料庫操作的錯誤及異常，下表列出了這些錯誤和異常:
異常
描述
Warning 當有嚴重警告時觸發，例如插入數據是被截斷等等。必須是 StandardError 的子類。
Error 警告以外所有其他錯誤類。必須是 StandardError 的子類。
InterfaceError 當有資料庫介面模塊本身的錯誤（而不是資料庫的錯誤）發生時觸發。 必須是Error的子類。
DatabaseError 和資料庫有關的錯誤發生時觸發。 必須是Error的子類。
DataError 當有數據處理時的錯誤發生時觸發，例如：除零錯誤，數據超范圍等等。 必須是DatabaseError的子類。
OperationalError 指非用戶控制的，而是操作資料庫時發生的錯誤。例如：連接意外斷開、 資料庫名未找到、事務處理失敗、內存分配錯誤等等操作資料庫是發生的錯誤。 必須是DatabaseError的子類。
IntegrityError 完整性相關的錯誤，例如外鍵檢查失敗等。必須是DatabaseError子類。
InternalError 資料庫的內部錯誤，例如游標（cursor）失效了、事務同步失敗等等。 必須是DatabaseError子類。
ProgrammingError 程序錯誤，例如數據表（table）沒找到或已存在、SQL語句語法錯誤、 參數數量錯誤等等。必須是DatabaseError的子類。
NotSupportedError 不支持錯誤，指使用了資料庫不支持的函數或API等。例如在連接對象上 使用.rollback()函數，然而資料庫並不支持事務或者事務已關閉。 必須是DatabaseError的子類。
3. 如何使用Python連接MySQL資料庫mysqlconnet
如何使用Python連接MySQL資料庫？
MySQL是一種免費的關系型資料庫，被廣泛應用於各種應用程序中。Python作為一種流行的編程語言，也具備了與MySQL資料庫交互的能力。本文將探討如何使用Python連接MySQL資料庫及執行一些基本的資料庫操作。
我們需要安裝MySQL的Python Connector才能在Python中使用MySQL資料庫。可以在終端命令行中使用以下命令進行安裝：
pip install mysql-connector-python
一，使用Python連接MySQL資料庫
為了開始連接MySQL資料庫，我們首先需要具備操作MySQL的credential（憑據）。在MySQL Connector中，這些憑據指的是主機名、用戶名、密碼等信息。以下是連接MySQL資料庫的示例代碼：
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”
)
如果連接成功，我們就可以得到代表連接的對象mydb。
二，Python與MySQL的基本交互方式
2.1 創建資料庫
接下來，我們要學習如何在Python中創建一個MySQL資料庫。使用以下代碼可以創建一個名為mydatabase的資料庫：
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”
)
mycursor = mydb.cursor()
mycursor.execute(“CREATE DATABASE mydatabase”)
2.2 創建表格
為了創建一個表格，在Python中需要使用CREATE TABLE語句。以下是一個示例代碼：
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”,
database=”mydatabase”
)
mycursor = mydb.cursor()
mycursor.execute(“CREATE TABLE customers (name VARCHAR(255), address VARCHAR(255))”)
這個代碼段創建了名為customers的表格，並且包含兩個列：name和address。
2.3 插入數據
對於建立好的表格，我們需要使用INSERT INTO語句來向其中添加數據。以下是一個示例代碼：
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”,
database=”mydatabase”
)
mycursor = mydb.cursor()
sql = “INSERT INTO customers (name, address) VALUES (%s, %s)”
val = (“John”, “Highway 21”)
mycursor.execute(sql, val)
mydb.commit()
print(mycursor.rowcount, “record inserted.”)
在這個示例中，我們添加了一個名為John的用戶，地址為Highway 21。
2.4 查詢資料庫
查詢資料庫使用SELECT語句。以下代碼段為我們展示如何使用Python查詢MySQL資料庫。
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”,
database=”mydatabase”
)
mycursor = mydb.cursor()
mycursor.execute(“SELECT * FROM customers”)
myresult = mycursor.fetchall()
for x in myresult:
print(x)
這段代碼查詢了customers表格，然後列印出所有數據。
2.5 刪除數據
可以使用DELETE語句從MySQL表格中刪除數據。以下是一個示例代碼：
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”,
database=”mydatabase”
)
mycursor = mydb.cursor()
sql = “DELETE FROM customers WHERE address = ‘Mountn 21′”
mycursor.execute(sql)
mydb.commit()
print(mycursor.rowcount, “record(s) deleted”)
這個示例代碼刪除了地址為Mountn 21的客戶的行。
三，Python與MySQL高級交互方式
3.1 資料庫批量操作
在實際生產環境中，通常需要一次性對MySQL資料庫中的多行進行操作。MySQL Connector提供了executemany()函數實現批量操作。以下是一個示例代碼：
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”,
database=”mydatabase”
)
mycursor = mydb.cursor()
sql = “INSERT INTO customers (name, address) VALUES (%s, %s)”
val = [
(‘Peter’, ‘Lowstreet 4’),
(‘Amy’, ‘Apple st 652’),
(‘Hannah’, ‘Mountn 21’),
(‘Michael’, ‘Valley 345’),
(‘Sandy’, ‘Ocean blvd 2’),
(‘Betty’, ‘Green Grass 1’),
(‘Richard’, ‘Sky st 331’),
(‘Susan’, ‘One way 98’),
(‘Vicky’, ‘Yellow Garden 2’),
(‘Ben’, ‘Park Lane 38’),
(‘William’, ‘Central st 954’),
(‘Chuck’, ‘Mn Road 989’),
(‘Viola’, ‘Sideway 1633’)
]
mycursor.executemany(sql, val)
mydb.commit()
print(mycursor.rowcount, “was inserted.”)
使用executemany()函數可以一起向MySQL資料庫中添加多行，大大減少了代碼行數。
3.2 資料庫事務處理
在Python與MySQL的交互中，可能由於程序崩潰或其他原因導致MySQL操作失敗。在這種情況下，可以通過MySQL事務處理從而避免數據丟失或者邏輯錯誤。以下是在Python中使用MySQL事務處理的示例代碼：
import mysql.connector
mydb = mysql.connector.connect(
host=”localhost”,
user=”yourusername”,
password=”yourpassword”,
database=”mydatabase”
)
mycursor = mydb.cursor()
mydb.start_transaction()
try:
mycursor.execute(“INSERT INTO customers (name, address) VALUES (‘John’, ‘Highway 21’)”)
mycursor.execute(“INSERT INTO customers (name, address) VALUES (‘Peter’, ‘Lowstreet 4’)”)
mydb.commit()
print(“Customer table updated!”)
except:
mydb.rollback()
print(“Rollbacked!”)
在上述代碼中，使用MySQL的start_transaction()函數開啟一個MySQL事務。如果MySQL操作失敗，使用rollback()函數來回滾之前的操作。
使用Python連接MySQL資料庫可以讓我們在Python中輕松使用MySQL資料庫，本文介紹了Python中MySQL資料庫的基本和高級用法。