python使用pca識別圖片

『壹』 PCA(主成分分析)python實現

回顧了下PCA的步驟，並用python實現。深刻的發現當年學的特徵值、特徵向量好強大。

PCA是一種無監督的學習方式，是一種很常用的降維方法。在數據信息損失最小的情況下，將數據的特徵數量由n，通過映射到另一個空間的方式，變為k(k<n)。

這里用一個2維的數據來說明PCA，選擇2維的數據是因為2維的比較容易畫圖。
這是數據：

畫個圖看看分布情況：

協方差的定義為：

假設n為數據的特徵數，那麼協方差矩陣M, 為一個n n的矩陣，其中Mij為第i和第j個特徵的協方差，對角線是各個特徵的方差。
在我們的數據中，n=2，所以協方差矩陣是2 2的，
通過numpy我們可以很方便的得到：

得到cov的結果為：
array([[ 0.61655556, 0.61544444],
[ 0.61544444, 0.71655556]])

由於我們之前已經做過normalization，因此對於我們來說，
這個矩陣就是 data*data的轉置矩陣。

得到結果：
matrix([[ 5.549, 5.539],
[ 5.539, 6.449]])

我們發現，其實協方差矩陣和散度矩陣關系密切，散度矩陣 就是協方差矩陣乘以（總數據量-1）。因此他們的 特徵根 和 特徵向量 是一樣的。這里值得注意的一點就是，散度矩陣是 SVD奇異值分解 的一步，因此PCA和SVD是有很大聯系的，他們的關系這里就不詳細談了，以後有機會再寫下。

用numpy計算特徵根和特徵向量很簡單，

但是他們代表的意義非常有意思，讓我們將特徵向量加到我們原來的圖里：

其中紅線就是特徵向量。有幾點值得注意：

藍色的三角形就是經過坐標變換後得到的新點，其實他就是紅色原點投影到紅線、藍線形成的。

得到特徵值和特徵向量之後，我們可以根據 特徵值 的大小，從大到小的選擇K個特徵值對應的特徵向量。
這個用python的實現也很簡單：

從eig_pairs選取前k個特徵向量就行。這里，我們只有兩個特徵向量，選一個最大的。

主要將原來的數據乘以經過篩選的特徵向量組成的特徵矩陣之後，就可以得到新的數據了。

output：

數據果然變成了一維的數據。
最後我們通過畫圖來理解下數據經過PCA到底發生了什麼。

綠色的五角星是PCA處理過後得到的一維數據，為了能跟以前的圖對比，將他們的高度定位1.2，其實就是紅色圓點投影到藍色線之後形成的點。這就是PCA,通過選擇特徵根向量，形成新的坐標系，然後數據投影到這個新的坐標系，在盡可能少的丟失信息的基礎上實現降維。

通過上述幾步的處理，我們簡單的實現了PCA第一個2維數據的處理，但是原理就是這樣，我們可以很輕易的就依此實現多維的。

用sklearn的PCA與我們的pca做個比較：

得到結果：

用我們的pca試試

得到結果：

完全一致，完美~
值得一提的是，sklearn中PCA的實現，用了部分SVD的結果，果然他們因緣匪淺。

『貳』 python怎麼數據進行pca

基本步驟：

1. 對數據進行歸一化處理（代碼中並非這么做的，而是直接減去均值）

2. 計算歸一化後的數據集的協方差矩陣

3. 計算協方差矩陣的特徵值和特徵向量

4. 保留最重要的k個特徵（通常k要小於n），也可以自己制定，也可以選擇一個閾值，然後通過前k個特徵值之和減去後面n-k個特徵值之和大於這個閾值，則選擇這個k

5. 找出k個特徵值對應的特徵向量

6. 將m * n的數據集乘以k個n維的特徵向量的特徵向量（n * k）,得到最後降維的數據。

其實PCA的本質就是對角化協方差矩陣。有必要解釋下為什麼將特徵值按從大到小排序後再選。首先，要明白特徵值表示的是什麼？在線性代數裡面我們求過無數次了，那麼它具體有什麼意義呢？對一個n*n的對稱矩陣進行分解，我們可以求出它的特徵值和特徵向量，就會產生n個n維的正交基，每個正交基會對應一個特徵值。然後把矩陣投影到這N個基上，此時特徵值的模就表示矩陣在該基的投影長度。

特徵值越大，說明矩陣在對應的特徵向量上的方差越大，樣本點越離散，越容易區分，信息量也就越多。因此，特徵值最大的對應的特徵向量方向上所包含的信息量就越多，如果某幾個特徵值很小，那麼就說明在該方向的信息量非常少，我們就可以刪除小特徵值對應方向的數據，只保留大特徵值方向對應的數據，這樣做以後數據量減小，但有用的信息量都保留下來了。PCA就是這個原理。

『叄』 求大神簡述一下LLE演算法（或降維演算法）在模式識別和數據挖掘中是怎樣被應用的呢，謝謝

1. 關於LLE演算法具體的理論部分你可參考http://www.pami.sjtu.e.cn/people/xzj/introcelle.htm

2. Locally linear embedding (LLE)，使用這種演算法可以進行非線性降維，關鍵是其能夠使降維後的數據保持原有拓撲結構

   先給出一張下面演算法得到的圖 ，圖中第一幅

   LLE演算法可以歸結為三步:

   （1）尋找每個樣本點的k個近鄰點；

   （2）由每個樣本點的近鄰點計算出該樣本點的局部重建權值矩陣；

   （3）由該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值。

3. 為原始數據，第三個為降維後的數據，可以看出處理後的低維數據保持了原有的拓撲結構。

4. 另，本人對LLE演算法不是很熟悉，在此介紹一下其他降維演算法的使用，以SVD演算法為例。

   電影推薦。

   （1）假設現在有一個用戶和電影評分的二維矩陣，矩陣內容是用戶對電影的評分，現有得知某個用戶對部分電影的評分，由此為該用戶推薦他可能喜歡的電影。

   （2）假設用戶有100W，電影有100W部，那麼對於任意一種推薦演算法來說，這個數據量都很大，該問題無法在單機上進行運算解決；

   （3）這100W維特徵中必然存在一些幾乎不重要的特徵，這時，我們就需要用降維演算法進行降維，降維的目的就是去掉大量的不重要的特徵，以簡化運算；

   （4）在此例中，可以使用SVD(或SVD++)演算法對矩陣進行降維

圖片相似度

（1）通常，進行圖片相似度判斷首先會將圖片通過傅里葉變換轉換成數值代表的矩陣，矩陣代表著該圖片，一般來說矩陣維數越高越精確

（2）同樣，維數過高的情況下，相似度計算成本很高，因此同樣需要降維，在圖片相似度識別中常用的降維演算法是PCA演算法；

總之，降維的目的就是減少特徵的維數，減少運算的成本。

以上皆為我的拙見，如有疑義請指正。

『肆』 零基礎入門學習Python去哪兒

對於零基礎學習Python開發的小夥伴，小蝸這里整理了一份Python全棧開發學習路線，可參照這份大綱來進行學習~
第一階段：專業核心基礎

階段目標：
1. 熟練掌握Python的開發環境與編程核心知識
2. 熟練運用Python面向對象知識進行程序開發
3. 對Python的核心庫和組件有深入理解
4. 熟練應用SQL語句進行資料庫常用操作
5. 熟練運用Linux操作系統命令及環境配置
6. 熟練使用MySQL，掌握資料庫高級操作
7. 能綜合運用所學知識完成項目

知識點：
Python編程基礎、Python面向對象、Python高級進階、MySQL資料庫、Linux操作系統。
1、Python編程基礎，語法規則，函數與參數，數據類型，模塊與包，文件IO，培養扎實的Python編程基本功，同時對Python核心對象和庫的編程有熟練的運用。
2、Python面向對象，核心對象，異常處理，多線程，網路編程，深入理解面向對象編程，異常處理機制，多線程原理，網路協議知識，並熟練運用於項目中。
3、類的原理，MetaClass，下劃線的特殊方法，遞歸，魔術方法，反射，迭代器，裝飾器，UnitTest，Mock。深入理解面向對象底層原理，掌握Python開發高級進階技術，理解單元測試技術。
4、資料庫知識，範式，MySQL配置，命令，建庫建表，數據的增刪改查，約束，視圖，存儲過程，函數，觸發器，事務，游標，PDBC，深入理解資料庫管理系統通用知識及MySQL資料庫的使用與管理。為Python後台開發打下堅實基礎。
5、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與許可權，環境配置，Docker，Shell編程Linux作為一個主流的伺服器操作系統，是每一個開發工程師必須掌握的重點技術，並且能夠熟練運用。

第二階段：PythonWEB開發

階段目標：
1. 熟練掌握Web前端開發技術，HTML，CSS，JavaScript及前端框架
2. 深入理解Web系統中的前後端交互過程與通信協議
3. 熟練運用Web前端和Django和Flask等主流框架完成Web系統開發
4. 深入理解網路協議，分布式，PDBC，AJAX，JSON等知識
5. 能夠運用所學知識開發一個MiniWeb框架，掌握框架實現原理
6. 使用Web開發框架實現貫穿項目

知識點：
Web前端編程、Web前端高級、Django開發框架、Flask開發框架、Web開發項目實戰。
1、Web頁面元素，布局，CSS樣式，盒模型，JavaScript，JQuery與Bootstrap掌握前端開發技術，掌握JQuery與BootStrap前端開發框架，完成頁面布局與美化。
2、前端開發框架Vue，JSON數據，網路通信協議，Web伺服器與前端交互熟練使用Vue框架，深入理解HTTP網路協議，熟練使用Swagger，AJAX技術實現前後端交互。
3、自定義Web開發框架，Django框架的基本使用，Model屬性及後端配置，Cookie與Session，模板Templates，ORM數據模型，Redis二級緩存，RESTful，MVC模型掌握Django框架常用API，整合前端技術，開發完整的WEB系統和框架。
4、Flask安裝配置，App對象的初始化和配置，視圖函數的路由，Request對象，Abort函數，自定義錯誤，視圖函數的返回值，Flask上下文和請求鉤子，模板，資料庫擴展包Flask-Sqlalchemy，資料庫遷移擴展包Flask-Migrate，郵件擴展包Flask-Mail。掌握Flask框架的常用API，與Django框架的異同，並能獨立開發完整的WEB系統開發。

第三階段：爬蟲與數據分析

階段目標：
1. 熟練掌握爬蟲運行原理及常見網路抓包工具使用，能夠對HTTP及HTTPS協議進行抓包分析
2. 熟練掌握各種常見的網頁結構解析庫對抓取結果進行解析和提取
3. 熟練掌握各種常見反爬機制及應對策略，能夠針對常見的反爬措施進行處理
4. 熟練使用商業爬蟲框架Scrapy編寫大型網路爬蟲進行分布式內容爬取
5. 熟練掌握數據分析相關概念及工作流程
6. 熟練掌握主流數據分析工具Numpy、Pandas和Matplotlib的使用
7. 熟練掌握數據清洗、整理、格式轉換、數據分析報告編寫
8. 能夠綜合利用爬蟲爬取豆瓣網電影評論數據並完成數據分析全流程項目實戰

知識點：
網路爬蟲開發、數據分析之Numpy、數據分析之Pandas。
1、爬蟲頁面爬取原理、爬取流程、頁面解析工具LXML，Beautifulfoup，正則表達式，代理池編寫和架構、常見反爬措施及解決方案、爬蟲框架結構、商業爬蟲框架Scrapy，基於對爬蟲爬取原理、網站數據爬取流程及網路協議的分析和了解，掌握網頁解析工具的使用，能夠靈活應對大部分網站的反爬策略，具備獨立完成爬蟲框架的編寫能力和熟練應用大型商業爬蟲框架編寫分布式爬蟲的能力。
2、Numpy中的ndarray數據結構特點、numpy所支持的數據類型、自帶的數組創建方法、算術運算符、矩陣積、自增和自減、通用函數和聚合函數、切片索引、ndarray的向量化和廣播機制，熟悉數據分析三大利器之一Numpy的常見使用，熟悉ndarray數據結構的特點和常見操作，掌握針對不同維度的ndarray數組的分片、索引、矩陣運算等操作。
3、Pandas裡面的三大數據結構，包括Dataframe、Series和Index對象的基本概念和使用，索引對象的更換及刪除索引、算術和數據對齊方法，數據清洗和數據規整、結構轉換，熟悉數據分析三大利器之一Pandas的常見使用，熟悉Pandas中三大數據對象的使用方法，能夠使用Pandas完成數據分析中最重要的數據清洗、格式轉換和數據規整工作、Pandas對文件的讀取和操作方法。
4、matplotlib三層結構體系、各種常見圖表類型折線圖、柱狀圖、堆積柱狀圖、餅圖的繪制、圖例、文本、標線的添加、可視化文件的保存，熟悉數據分析三大利器之一Matplotlib的常見使用，熟悉Matplotlib的三層結構，能夠熟練使用Matplotlib繪制各種常見的數據分析圖表。能夠綜合利用課程中所講的各種數據分析和可視化工具完成股票市場數據分析和預測、共享單車用戶群里數據分析、全球幸福指數數據分析等項目的全程實戰。

第四階段：機器學習與人工智慧

階段目標：
1. 理解機器學習相關的基本概念及系統處理流程
2. 能夠熟練應用各種常見的機器學習模型解決監督學習和非監督學習訓練和測試問題，解決回歸、分類問題
3. 熟練掌握常見的分類演算法和回歸演算法模型，如KNN、決策樹、隨機森林、K-Means等
4. 掌握卷積神經網路對圖像識別、自然語言識別問題的處理方式，熟悉深度學習框架TF裡面的張量、會話、梯度優化模型等
5. 掌握深度學習卷積神經網路運行機制，能夠自定義卷積層、池化層、FC層完成圖像識別、手寫字體識別、驗證碼識別等常規深度學習實戰項目

知識點：
1、機器學習常見演算法、sklearn數據集的使用、字典特徵抽取、文本特徵抽取、歸一化、標准化、數據主成分分析PCA、KNN演算法、決策樹模型、隨機森林、線性回歸及邏輯回歸模型和演算法。熟悉機器學習相關基礎概念，熟練掌握機器學習基本工作流程，熟悉特徵工程、能夠使用各種常見機器學習演算法模型解決分類、回歸、聚類等問題。
2、Tensorflow相關的基本概念，TF數據流圖、會話、張量、tensorboard可視化、張量修改、TF文件讀取、tensorflow playround使用、神經網路結構、卷積計算、激活函數計算、池化層設計，掌握機器學習和深度學習之前的區別和練習，熟練掌握深度學習基本工作流程，熟練掌握神經網路的結構層次及特點，掌握張量、圖結構、OP對象等的使用，熟悉輸入層、卷積層、池化層和全連接層的設計，完成驗證碼識別、圖像識別、手寫輸入識別等常見深度學習項目全程實戰。

『伍』 Python課程內容都學習什麼啊

賀聖軍Python輕松入門到項目實戰（經典完整版）（超清視頻）網路網盤

鏈接: https://pan..com/s/1C9k1o65FuQKNe68L3xEx3w

若資源有問題歡迎追問~