python日誌分析庫

① python編寫一個程序 可以讀取郵件日誌（mbox.txt)，統計每個郵件發出的郵件數量，並輸出結果。

由於工作需要在一大堆日誌裡面提取相應的一些固定字元，如果單純靠手工取提取，數據量大，勞心勞力，於是自然而然想到了用Python做一個對應的提取工具，代替手工提取的繁雜，涉及中文字元，正則表達式不好匹配，但不是不可以實現，這個以後優化時再說。

需求描述：

一個父目錄中存在多個子文件夾，子文件夾下有多個txt形式化的Log日誌，要求從所有地方Log日誌中找出CardType=9, CardNo=0時的CardID的值，並將其統計存儲到一個文本文件中，要求CardID不能夠重復。

需求解析：

首先獲取所有的Log日誌的全路徑，根據路徑分別載入到將各個Log日誌載入到內存中進行提取分析，並將結果存儲到給定的文本文件中。

解決方案：

為了盡可能的簡潔通用，這里使用配置文件作為輸入變數的依據。不多說，上代碼：

配置文件如下：

心得體會：

1、利用Python去處理一些日常的小任務，可以很方便的完成，相比較C/C++來說，這方面生產力高了不少。

2、本文設計對中文字元的處理，所以使用正則表達式不太怎麼方便，但不少不可以，後續版本中會添加對正則的支持！

3、由於初學中，所以代碼寫的不夠精煉簡潔，後續進行再優化！

② Python日誌—Python日誌模塊logging介紹

從事與軟體相關工作的人，應該都聽過「日誌」一詞。

日誌就是跟蹤軟體運行時事件的方法，為了能夠在程序運行過程中記錄錯誤。

通過日誌記錄程序的運行，方便我們查詢信息，以便追蹤問題、進行維護和調試、還是數據分析。

並且各編程語言都形成了各自的日誌體系和相應的框架。

日誌的作用總結：

首先我們要樹立一個觀點，那就是「不是為了記錄日誌而記錄日誌，日誌也不是隨意記的」。要實現能夠只通過日誌文件還原整個程序執行的過程，達到能透明地看到程序里執行情況，每個線程每個過程到底執行結果的目的。日誌就像飛機的黑匣子一樣，應當能夠復原異常的整個現場乃至細節。

在項目中，日誌這個功能非常重要，我們要重視起來。

在Python中，使用logging模塊來進行日誌的處理。

logging是Python的內置模塊，主要用於將日誌信息進行格式化內容輸出，可將格式化內容輸出到文件，也可輸出到屏幕。

我們在開發過程中，常用print()函數來進行調試，但是在實際應用的部署時，我們要將日誌信息輸出到文件中，方便後續查找以及備份。

在我們使用日誌管理時，我們也可以將日誌格式化成Json對象轉存到ELK中方便圖形化查看及管理。

logging模塊將日誌系統從高向低依次定義了四個類，分別是logger（日誌器）、handler（處理器）、filter(過濾器)和formatter(格式器)。其中由日誌器生成的實例將接管原本日誌記錄函數logging.log的功能。

說明：

我們先來思考下下面的兩個問題：

在軟體開發階段或部署開發環境時，為了盡可能詳細的查看應用程序的運行狀態來保證上線後的穩定性，我們可能需要把該應用程序所有的運行日誌全部記錄下來進行分析，這是非常耗費機器性能的。

當應用程序正式發布或在生產環境部署應用程序時，我們通常只需要記錄應用程序的異常信息、錯誤信息等，這樣既可以減小伺服器的I/O壓力，也可以避免我們在排查故障時被淹沒在日誌的海洋里。

那麼怎樣才能在不改動應用程序代碼的情況下，根據事件的重要性或者稱之為等級，實現在不同的環境中，記錄不同詳細程度的日誌呢？

這就是日誌等級的作用了，我們通過配置文件指定我們需要的日誌等級就可以了。

說明：

總結：

開發應用程序時或部署開發環境時，可以使用DEBUG或INFO級別的日誌獲取盡可能詳細的日誌信息，可以方便進行開發或部署調試。 應用上線或部署生產環境時，應用使用WARNING或ERROR或CRITICAL級別的日誌，來降低機器的I/O壓力和提高獲取錯誤日誌信息的效率。 日誌級別的指定通常都是在應用程序的配置文件中進行指定的。 不同的應用程序所定義的日誌等級會有所差別，根據實際需求來決定。

③ python常用的資料庫有哪些

主流的關系型資料庫：

1. MySQL：目前使用最廣泛的開源、多平台的關系型資料庫，支持事務、符合ACID、支持多數SQL規范。

2. SQL Server：支持事務、符合ACID、支持多數SQL規范，屬於商業軟體，需要注意版權和licence授權費用。

3. Oracle：支持事務，符合關系型資料庫原理，符合ACID，支持多數SQL規范，功能最強大、最復雜、市場佔比最高的商業資料庫。

4. Postgresql：開源、多平台、關系型資料庫，功能最強大的開源資料庫，需要Python環境，基於postgresql的time
scaleDB，是目前比較火的時序資料庫之一。

非關系型資料庫

Redis：開源、Linux平台、key-value鍵值型nosql資料庫，簡單穩定，非常主流的、全數據in-momory，定位於快的鍵值型nosql資料庫。

Memcaced：一個開源的、高性能的、具有分布式內存對象的緩存系統，通過它可以減輕資料庫負載，加速動態的web應用。

面向文檔資料庫以文檔的形式存儲，每個文檔是一系列數據項的集合，每個數據項有名稱與對應的值，主要產品有：

MongoDB：開源、多平台、文檔型nosql資料庫，最像關系型資料庫，定位於靈活的nosql資料庫。適用於網站後台資料庫、小文件系統、日誌分析系統。

④ 在 python 項目中如何記錄日誌

寫本文的目的是我在寫 python 項目的時候需要記錄日誌，我忘記怎麼處理了，每次碼逗豎都需要去網上查一遍， 好記性不如爛筆頭 ， 這里把查閱的內容記錄下來，方便以後查找。

python 項目中記錄日誌，可以使用 logging 模塊，logging 模塊定義的函數和類為應用程序和指歲庫的開發實現了一個靈活的事件日誌系統。logging 模塊是Python的一個標准庫模塊，由標准庫模塊提供日誌記錄API的關鍵好處是所有Python模塊都可以使用這個日誌記錄功能。所以，你的應用日誌可以將你自己的日誌信息與來自第三方模塊遲大的信息整合起來。

在 __init__.py 文件中做如下配置：

控制台輸出日誌如下：

參考文檔
https://www.cnblogs.com/yyds/p/6901864.html

⑤ Python 常用的標准庫以及第三方庫有哪些

標准庫
Python擁有一個強大的標准庫。Python語言的核心只包含數字、字元串、列表、字典、文件等常見類型和函數，而由Python標准庫提供了系統管理、網路通信、文本處理、資料庫介面、圖形系統、XML處理等額外的功能。
Python標准庫的主要功能有：
1.文本處理，包含文本格式化、正則表達式匹配、文本差異計算與合並、Unicode支持，二進制數據處理等功能
2.文件處理，包含文件操作、創建臨時文件、文件壓縮與歸檔、操作配置文件等功能
3.操作系統功能，包含線程與進程支持、IO復用、日期與時間處理、調用系統函數、日誌（logging）等功能
4.網路通信，包含網路套接字，SSL加密通信、非同步網路通信等功能
5.網路協議，支持HTTP，FTP，SMTP，POP，IMAP，NNTP，XMLRPC等多種網路協議，並提供了編寫網路伺服器的框架
6.W3C格式支持，包含HTML，SGML，XML的處理。
7.其它功能，包括國際化支持、數學運算、HASH、Tkinter等

Python社區提供了大量的第三方模塊，使用方式與標准庫類似。它們的功能覆蓋科學計算、Web開發、資料庫介面、圖形系統多個領域。第三方模塊可以使用Python或者C語言編寫。SWIG,SIP常用於將C語言編寫的程序庫轉化為Python模塊。Boost C++ Libraries包含了一組函式庫，Boost.Python，使得以Python或C++編寫的程式能互相調用。Python常被用做其他語言與工具之間的「膠水」語言。
著名第三方庫
1.Web框架
Django： 開源Web開發框架，它鼓勵快速開發,並遵循MVC設計，開發周期短。
ActiveGrid： 企業級的Web2.0解決方案。
Karrigell： 簡單的Web框架，自身包含了Web服務，py腳本引擎和純python的資料庫PyDBLite。
Tornado： 一個輕量級的Web框架，內置非阻塞式伺服器，而且速度相當快
webpy： 一個小巧靈活的Web框架，雖然簡單但是功能強大。
CherryPy： 基於Python的Web應用程序開發框架。
Pylons： 基於Python的一個極其高效和可靠的Web開發框架。
Zope： 開源的Web應用伺服器。
TurboGears： 基於Python的MVC風格的Web應用程序框架。
Twisted： 流行的網路編程庫，大型Web框架。
Quixote： Web開發框架。