1. 多進程環境python logging列印日誌混亂問題
解決辦法如下：
多麼痛的領悟，滑腔困擾了這么久的問題其實就是一個參數配置錯了。
fileMode：表示日誌山讓侍文件的打開方式。w-直接寫，使用這個配置當系統重啟的時候日誌會清空，一個進程打開後其他進程是無法使用的；a-尾部逗吵追加，大家都可以打開往文件結尾進行追加寫入。
本人主語言是java，轉到python後日誌這塊踩了幾個坑。再說說另外一個坑，就是異常堆棧的列印問題，在java中logger是可以使用error直接列印出來的。在python中error跟其他日誌記錄方法沒太大差別，是無法列印異常堆棧的，列印堆棧請使用 logger.exception("異常說明", e) 。
2. python之多線程原理
並發：邏輯上具備同時處理多個任務的能力。
並行：物理上在同一時刻執行多個並發任務。
舉例：開個QQ，開了一個進程，開了微信，開了一個進程。在QQ這個進程裡面，傳輸文字開一個線程、傳輸語音開了一個線程、彈出對話框又開了一個線程。
總結：開一個軟體，相當於開了一個進程。在這個軟體運行的過程里，多個工作同時運轉，完成了QQ的運行，那麼這個多個工作分別有多個線程。
線程和進程之間的區別：
進程在python中的使用，對模塊threading進行操作，調用的這個三方庫。可以通過 help(threading) 了解其中的方法、變數使用情況。也可以使用 dir(threading) 查看目錄結構。
current_thread_num = threading.active_count() # 返回正在運行的線程數量
run_thread_len = len(threading.enumerate()) # 返回正在運行的線程數量
run_thread_list = threading.enumerate() # 返回當前運行線程的列表
t1=threading.Thread(target=dance) #創建兩個子線程，參數傳遞為函數名
t1.setDaemon(True) # 設置守護進程，守護進程：主線程結束時自動退出子線程。
t1.start() # 啟動子線程
t1.join() # 等待進程結束 exit()`# 主線程退出，t1子線程設置了守護進程，會自動退出。其他子線程會繼續執行。
3. python如何使用多線程抓取多個log
由於python是一種解釋性腳本語言，python的多線程在運行過程中始終存在全局線程鎖。簡單的來說就是在實際的運行過程中，python只能利用一個線程，因此python的多線程並不達到C語言多線程的性能。可以使用多進程來代替多線程，但需要注意的是多進程最好不要涉及到例如文件操作的頻繁操作IO的功能。
4. 日誌文件太大，python怎麼分割文件，多線程操作
python的多線程為偽多線程，多線程並不能提高文件IO的速度，在讀取文件時使用直接讀取 for line in open('文件名', 'r') 效率最高，因為此方式為直接讀取，不像其它方式要把文件全部載入到內存再讀取，所以效率最高。分割時文件時，提前計算好行數，把讀取的每固定數量的行數存入新文件，直接讀取完成，最後刪除舊文件，即可實現文件分割。
示意代碼：
line_count=0
index=0
fw=open('part'+str(index)+'.log','w')
forlineinopen('filename.log','r'):
fw.write(line)
line_count+=1
#假設每10000行寫一個文件
ifline_count>10000:
fw.close()
index+=1
fw=open('part'+str(index)+'.log','w')
fw.close()
5. python - 日誌記錄模塊(logging)的二次封裝
上篇文章 對logging做了基本介紹，我們可以使用logging來做日誌的簡單記錄。但實際項目應用時，我們一般會根據自身需要對其做二次封裝(loggingV2)，然後在其他python文件中, 先import申明後直接調用。
廢話不多說，下面給幾個二次封裝的簡單示例：
示例一：
loggingV2.py - 封裝
logMain.py - 應用
示例二：
對上述示例進行 模塊化封裝 ，如下log.py
則任何聲明了log模塊的python文件都可以調用logging日誌系統，如下logMain.py
示例三：
對上述示例進行 定製化封裝 ，如下myLog.py
需求：
1）同時實現終端顯示與日誌文件保存
2）日誌文件名除日期外，增加顯示時間，精確到秒
3）日誌輸出級別可配置
4）日誌保存路徑與文件名可配置
5）日誌跨天(或者小時/分鍾)，另生成新文件保存
改寫logMain.py，如下：
示例四：
對上述示例進行 非同步線程封裝 ，如下myThreadLog.py
需求：
1）獨立線程處理日誌，不影響主程序性能
2）使用隊列非同步處理日誌記錄
繼續改寫logMain.py，如下：
注意 - 線程相關操作函數(如下)：
1.threading.Thread() — 創建線程並初始化線程，可以為線程傳遞參數
2.threading.enumerate() — 返回一個包含正在運行的線程的list
3.threading.activeCount(): 返回正在運行的線程數量，與len(threading.enumerate())有相同的結果
4.Thread.start() — 啟動線程
5.Thread.join() — 阻塞函數，一直等到線程結束
6.Thread.isAlive() — 返回線程活動狀態
7.Thread.setName() — 設置線程名
8.Thread.getName() — 獲取線程名
9.Thread.setDaemon() — 設置為後台線程，這里默認是False，設置為True之後則主線程不會再等待子線程結束才結束，而是主線程結束意味程序退出，子線程也立即結束，注意調用時必須設置在start()之前；
10.除了以上常用函數，線程還經常與互斥鎖Lock/事件Event/信號量Condition/隊列Queue等函數配合使用
6. python 多線程logger問題
因為logging是threadsafe的，但不是process-safe（應該沒有這個詞兒，只是為了便於理解）的。這段代碼就是多個進程共同操作一個日誌文件。這種情況下，logging的行為就很難說了。
我測試了一下，日誌中大概幾百行。而且，可以看到一些順序錯亂現象：
Fri, 08 Aug 2014 01:19:38 logging_in_multithread.py[line:40] theadWorking ERROR 2
FFri, 08 Aug 2014 01:19:36 logging_in_multithread.py[line:40] theadWorking ERROR 11（注意這里的FFri）
把代碼這樣改：
fornuminrange(processNum):
p=Process(target=processWorking,args=('2',))
processs.append(p)
p.start()
p.join()
還有其他方法，比如：為logging實現一個FileHandler，以使logging在multiple process的環境下也能正常工作。這是我從網上了解到的做法，自己還沒實踐過。
Python Manual中logging Cookbook中有這么一段話：
Logging to a single file from multiple processes
Although logging is thread-safe, and logging to a single file from multiple threads in a single process is supported, logging to a single file from multiple processes is not supported, because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)
這段話中也提出了另外一種解決方案。
7. python中更優雅的記錄日誌
在以往我們使用日誌，更多的是使用 python 自帶的 logging 模塊態大迅，它可以設置錯誤等級、輸出方式等。
但使用方式相對比較復雜，想要更好的使用需要如 log4net 一樣單獨配置，這在 python 中感覺不是很優雅。
下面介紹一個 python 庫： loguru 。 guru 是印度語中大師的意思， loguru 直譯就是「日誌大師」。
如圖 logging 一樣， loguru 也有定義日誌等級。不同的日誌等級，輸出效果也不一樣（默認的等級由低到高是 DEBUG 、 INFO 、 WARNING 、 ERROR 、 CRITICAL ，也可以自己使用 level 函數定義）。
類似 logging 中的 logger.addHandler ，loguru統一使用 add 函數來管理格式、文件輸出、過濾等操作，它提供了許多參數來實現 logger.addHandler 中的配置更加簡單方便。
其中 sink 是最重要的參數，可以傳入不同的數據類型。傳入文件路徑、文件句柄、 sys.stderr 、甚至 logging 模塊的 Handler 如 FileHandler 、 StreamHandler 等，這樣就可以快速實現自定義的 Handler 配置。
通過給 remove 方法傳遞 add 方法返回的對象， 可以帆此刪除 add 方仿槐法添加的 sink ，這里的 remove 並不是刪除 test2.log 文件，而是停止向該文件輸出日誌，需要需要繼續記錄日誌則需要重新 add 日誌文件。
用 rotation 、 retention 、 compression 進行日誌窗口、更新、壓縮管理。
支持控制台輸出添加顏色， 除了基礎色， loguru 甚至允許16進制、RGB格式的顏色值和加粗、下劃線等樣式。
使用裝飾器 @logger.catch 可以和 logging 一樣使用 logger.exception 函數來記錄異常信息。
使用 exception 方法輸出的異常信息包含堆棧信息和當前變數的值，方便問題定位。
使用 serialize 可以將日誌轉換為 JSON 格式， enqueue 可以保證多線程、多進程安全。
修改時間格式。
8. python 多線程中 日誌按天分割
python 的 logging 模塊， 在多線程應用中， logging.hanlders.TimedRotatingFileHandler 不能清洞前正常按日顫手期分割。
解決辦法為：重寫FileHandler類，用於多線程中日誌按天分割。
之後，Logger定義日誌的各種參數（格式等）：
實例化答清日誌：
9. python之多線程
進程的概念：以一個整體的形式暴露給操作系統管理，裡麵包含各種資源的調用。 對各種資源管理的集合就可以稱為進程。
線程的概念：是操作系統能夠進行運算調度的最小單位。本質上就是一串指令的集合。
進程和線程的區別：
1、線程共享內存空間，進程有獨立的內存空間。
2、線程啟動速度快，進程啟動速度慢。注意：二者的運行速度是無法比較的。
3、線程是執行的指令集，進程是資源的集合
4、兩個子進程之間數據不共享，完全獨立。同一個進程下的線程共享同一份數據。
5、創建新的線程很簡單，創建新的進程需要對他的父進程進行一次克隆。
6、一個線程可以操作（控制）同一進程里的其他線程，但是進程只能操作子進程
7、同一個進程的線程可以直接交流，兩個進程想要通信，必須通過一個中間代理來實現。
8、對於線程的修改，可能會影響到其他線程的行為。但是對於父進程的修改不會影響到子進程。
第一個程序，使用循環來創建線程，但是這個程序中一共有51個線程，我們創建了50個線程，但是還有一個程序本身的線程，是主線程。這51個線程是並行的。注意：這個程序中是主線程啟動了子線程。
相比上個程序，這個程序多了一步計算時間，但是我們觀察結果會發現，程序顯示的執行時間只有0.007秒，這是因為最後一個print函數它存在於主線程，而整個程序主線程和所有子線程是並行的，那麼可想而知，在子線程還沒有執行完畢的時候print函數就已經執行了，總的來說，這個時間只是執行了一個線程也就是主線程所用的時間。
接下來這個程序，吸取了上面這個程序的缺點，創建了一個列表，把所有的線程實例都存進去，然後使用一個for循環依次對線程實例調用join方法，這樣就可以使得主線程等待所創建的所有子線程執行完畢才能往下走。 注意實驗結果：和兩個線程的結果都是兩秒多一點
注意觀察實驗結果，並沒有執行列印task has done，並且程序執行時間極其短。
這是因為在主線程啟動子線程前把子線程設置為守護線程。
只要主線程執行完畢，不管子線程是否執行完畢，就結束。但是會等待非守護線程執行完畢
主線程退出，守護線程全部強制退出。皇帝死了，僕人也跟著殉葬
應用的場景 ： socket-server
注意：gil只是為了減低程序開發復雜度。但是在2.幾的版本上，需要加用戶態的鎖（gil的缺陷）而在3點幾的版本上，加鎖不加鎖都一樣。
下面這個程序是一個典型的生產者消費者模型。
生產者消費者模型是經典的在開發架構中使用的模型
運維中的集群就是生產者消費者模型，生活中很多都是
那麼，多線程的使用場景是什麼？
python中的多線程實質上是對上下文的不斷切換，可以說是假的多線程。而我們知道，io操作不佔用cpu，計算佔用cpu，那麼python的多線程適合io操作密集的任務，比如socket-server，那麼cpu密集型的任務，python怎麼處理？python可以折中的利用計算機的多核：啟動八個進程，每個進程有一個線程。這樣就可以利用多進程解決多核問題。