非負矩陣分解python

⑴ 非負矩陣分解（NMF）及一個小實例

在最近的一項挑戰中，我們面臨著一個獨特的問題——利用非負矩陣分解（NMF）技術，將二維空間中的數字逐一拆分，彷彿在尋找一幅圖像的組成密碼。讓我們先來了解一下NMF的魔法：它就像一個魔術師，將非負矩陣V分解為兩個非負夥伴——W和H，通過巧妙的加權組合，重現出原始數據的精髓。

想像一下，NMF的基本理念就像是這樣：每個數字在二維圖中，就像一個獨特的粒子，通過非負矩陣W和H的調和作用，它們組合成了一幅完整的畫面。W矩陣就像一個調色板，H矩陣則是一組基礎元素的權重，共同構建起數字的視覺拼圖。與PCA和VQ分解不同，NMF聚焦於提取個體特徵，如眼睛、鼻子、嘴巴，然後通過權重分配，生成出完整的個體形象。

深入探索NMF的細節，你會發現它背後是一個迭代優化的過程。原始論文Algorithms for Non-negative Matrix Factorization中，作者們提出了一種乘法更新的演算法，將矩陣分解轉化為尋找最小歐氏距離的解。在我們的問題中，每兩個數字構成一個64x64像素的子圖，轉化為一個4096維的向量V，目標是分解為8個主特徵，即W矩陣為4096x8，H矩陣為8x64。

步驟如下：首先，隨機初始化W和H矩陣，設定迭代次數和誤差閾值，然後採用乘法更新規則，逐步逼近最優化解。在每個循環中，W矩陣的每一列對應一個數字特徵，經過矩陣變換和可視化，我們能看到8個清晰的數字輪廓，就像從一幅復雜的數字拼圖中分離出來一樣。在1000輪迭代後，大約9秒的時間，我們就能獲得令人滿意的答案，NMF的威力可見一斑。

想要親身體驗NMF的魅力？請訪問代碼倉庫FLYYZJ/machine_learning_algorithms，那裡有處理過的data.csv文件，以及使用python3的示例代碼。藉助pandas、numpy和matplotlib這些工具，你也可以嘗試自己的數據，看看NMF如何為你的數字世界帶來新的解讀。

⑵ python常用到哪些庫

Python作為一個設計優秀的程序語言，現在已廣泛應用於各種領域，依靠其強大的第三方類庫，Python在各個領域都能發揮巨大的作用。
下面我們就來看一下python中常用到的庫：
數值計算庫：
1. NumPy
支持多維數組與矩陣運算，也針對數組運算提供大量的數學函數庫。通常與SciPy和Matplotlib一起使用，支持比Python更多種類的數值類型，其中定義的最重要的對象是稱為ndarray的n維數組類型，用於描述相同類型的元素集合，可以使用基於0的索引訪問集合中元素。
2. SciPy
在NumPy庫的基礎上增加了眾多的數學、科學及工程計算中常用的庫函數，如線性代數、常微分方程數值求解、信號處理、圖像處理、稀疏矩陣等，可進行插值處理、信號濾波，以及使用C語言加速計算。
3. Pandas
基於NumPy的一種工具，為解決數據分析任務而生。納入大量庫和一些標準的數據模型，提供高效地操作大型數據集所需的工具及大量的能快速便捷處理數據的函數和方法，為時間序列分析提供很好的支持，提供多種數據結構，如Series、Time-Series、DataFrame和Panel。
數據可視化庫：
4. Matplotlib
第一個Python可視化庫，有許多別的程序庫都是建立在其基礎上或者直接調用該庫，可以很方便地得到數據的大致信息，功能非常強大，但也非常復雜。
5. Seaborn
利用了Matplotlib，用簡潔的代碼來製作好看的圖表。與Matplotlib最大的區別為默認繪圖風格和色彩搭配都具有現代美感。
6. ggplot
基於R的一個作圖庫ggplot2，同時利用了源於《圖像語法》（The Grammar of Graphics）中的概念，允許疊加不同的圖層來完成一幅圖，並不適用於製作非常個性化的圖像，為操作的簡潔度而犧牲了圖像的復雜度。
7. Bokeh
跟ggplot一樣，Bokeh也基於《圖形語法》的概念。與ggplot不同之處為它完全基於Python而不是從R處引用。長處在於能用於製作可交互、可直接用於網路的圖表。圖表可以輸出為JSON對象、HTML文檔或者可交互的網路應用。
8. Plotly
可以通過Python notebook使用，與Bokeh一樣致力於交互圖表的製作，但提供在別的庫中幾乎沒有的幾種圖表類型，如等值線圖、樹形圖和三維圖表。
9. pygal
與Bokeh和Plotly一樣，提供可直接嵌入網路瀏覽器的可交互圖像。與其他兩者的主要區別在於可將圖表輸出為SVG格式，所有的圖表都被封裝成方法，且默認的風格也很漂亮，用幾行代碼就可以很容易地製作出漂亮的圖表。
10. geoplotlib
用於製作地圖和地理相關數據的工具箱。可用來製作多種地圖，比如等值區域圖、熱度圖、點密度圖。必須安裝Pyglet（一個面向對象編程介面）方可使用。
11. missingno
用圖像的方式快速評估數據缺失的情況，可根據數據的完整度對數據進行排序或過濾，或者根據熱度圖或樹狀圖對數據進行修正。
web開發庫：
12. Django
一個高級的Python Web框架，支持快速開發，提供從模板引擎到ORM所需的一切東西，使用該庫構建App時，必須遵循Django的方式。
13. Socket
一個套接字通訊底層庫，用於在伺服器和客戶端間建立TCP或UDP連接，通過連接發送請求與響應。
14. Flask
一個基於Werkzeug、Jinja 2的Python輕量級框架（microframework），默認配備Jinja模板引擎，也包含其他模板引擎或ORM供選擇，適合用來編寫API服務（RESTful rervices）。
15. Twisted
一個使用Python實現的基於事件驅動的網路引擎框架，建立在deferred object之上，一個通過非同步架構實現的高性能的引擎，不適用於編寫常規的Web Apps，更適用於底層網路。
資料庫管理：

16. MySQL-python
又稱MySQLdb，是Python連接MySQL最流行的一個驅動，很多框架也基於此庫進行開發。只支持Python 2.x，且安裝時有許多前置條件。由於該庫基於C語言開發，在Windows平台上的安裝非常不友好，經常出現失敗的情況，現在基本不推薦使用，取代品為衍生版本。
17. mysqlclient
完全兼容MySQLdb，同時支持Python 3.x，是Django ORM的依賴工具，可使用原生SQL來操作資料庫，安裝方式與MySQLdb一致。
18. PyMySQL
純Python實現的驅動，速度比MySQLdb慢，最大的特點為安裝方式簡潔，同時也兼容MySQL-python。
19. SQLAlchemy
一種既支持原生SQL，又支持ORM的工具。ORM是Python對象與資料庫關系表的一種映射關系，可有效提高寫代碼的速度，同時兼容多種資料庫系統，如SQLite、MySQL、PostgreSQL，代價為性能上的一些損失。
自動化運維：
20. jumpsever跳板機
一種由Python編寫的開源跳板機（堡壘機）系統，實現了跳板機的基本功能，包含認證、授權和審計，集成了Ansible、批量命令等。
支持WebTerminal Bootstrap編寫，界面美觀，自動收集硬體信息，支持錄像回放、命令搜索、實時監控、批量上傳下載等功能，基於SSH協議進行管理，客戶端無須安裝agent。主要用於解決可視化安全管理，因完全開源，容易再次開發。
21. Mage分布式監控系統
一種用Python開發的自動化監控系統，可監控常用系統服務、應用、網路設備，可在一台主機上監控多個不同服務，不同服務的監控間隔可以不同，同一個服務在不同主機上的監控間隔、報警閾值可以不同，並提供數據可視化界面。
22. Mage的CMDB
一種用Python開發的硬體管理系統，包含採集硬體數據、API、頁面管理3部分功能，主要用於自動化管理筆記本、路由器等常見設備的日常使用。由伺服器的客戶端採集硬體數據，將硬體信息發送至API，API負責將獲取的數據保存至資料庫中，後台管理程序負責對伺服器信息進行配置和展示。
23. 任務調度系統
一種由Python開發的任務調度系統，主要用於自動化地將一個服務進程分布到其他多個機器的多個進程中，一個服務進程可作為調度者依靠網路通信完成這一工作。
24. Python運維流程系統
一種使用Python語言編寫的調度和監控工作流的平台，內部用於創建、監控和調整數據管道。允許工作流開發人員輕松創建、維護和周期性地調度運行工作流，包括了如數據存儲、增長分析、Email發送、A/B測試等諸多跨多部門的用例。
GUI編程：
25. Tkinter
一個Python的標准GUI庫，可以快速地創建GUI應用程序，可以在大多數的UNIX平台下使用，同樣可以應用在Windows和Macintosh系統中，Tkinter 8.0的後續版本可以實現本地窗口風格，並良好地運行在絕大多數平台中。
26. wxPython
一款開源軟體跨平台GUI庫wxWidgets的Python封裝和Python模塊，是Python語言的一套優秀的GUI圖形庫，允許程序員很方便地創建完整的、功能健全的GUI用戶界面。
27. PyQt
一個創建GUI應用程序的工具庫，是Python編程語言和Qt的成功融合，可以運行在所有主要操作系統上，包括UNIX、Windows和Mac。PyQt採用雙許可證，開發人員可以選擇GPL和商業許可，從PyQt的版本4開始，GPL許可證可用於所有支持的平台。
28. PySide
一個跨平台的應用程式框架Qt的Python綁定版本，提供與PyQt類似的功能，並相容API，但與PyQt不同處為其使用LGPL授權。
更多Python知識請關注Python自學網。