盲反卷積演算法原理

❶ 水下圖像復原論文總結整理

​

論文簡介： 利用圖像傳輸理論測量海水的點擴散函數和調制傳遞函數並且使用維納濾波器復原模糊的圖像。退化方程H(u,v)在水槽中測量得到。在實驗中利用狹縫圖像和光源，第一步:一維光照射到水中從而得到不同距離下的狹縫圖像數據，這樣一維的海水點擴散函數就可以通過去卷積得到。又因為點擴散函數的對稱性二維的函數模型也可以通過數學方法得到。利用相似的方法調制傳遞函數也可以得到。這樣傳輸方程便可以得到:

圖像可以由下式獲得:

​

論文簡介： 論文中提出自然光照下的水下圖像退化效果與光偏振相關,而場景有效箱射則與光偏振無關。在相機鏡頭端安裝可調偏振器,使用不同偏振角度對同一場景成兩幅圖像,所得到的圖像中的背景光會有明顯不同。通過對成像物理模型的分析,利用這兩幅圖像和估計出的偏振度,就能恢復出有效場景輻射。他還提出了一個計算機視覺方法水下視頻中的退化效應。分析清晰度退化的物理原因發現主要與光的部分偏振有關。然後提出一個逆成像方法來復原能見度。該方法基於幾張通過不同偏振方向的偏振片採集圖像。

論文簡介： 論文提出了一種自適應濾波的水下圖像復原方法。通過最優化圖像局部對比度質量判決函數,可以估計出濾波器中所使用的參數值。
論文提出一種基於簡化的Jaffe-McGlamery水下成像模型的自調諧圖像復原濾波器。濾波器的最優參數值是針對每幅圖像通過優化一個基於全局對比度的質量准則自動估算的。(對一幅圖像濾波器能根據全局對比度自動估計最優參數值),簡化的模型理想地適合後向散射較少的漫射光成像.1.首先簡化Jaffe-McGlamery水下成像模型：假設光照均勻(淺水區陽光直射)，並且忽略後向散射部分.然後基於簡化後的成像模型設計一個簡單的反濾波器2.將濾波器設計成自適應濾波器。

論文簡介： 論文對於調制傳遞函數給出了詳細准確的系統函數信息,水下圖像可以用它或點擴散函數進行復原.作者進行實驗測量了水質參數得出了這些函數，並用得出的函數進行了圖像復原。同時他還建立了一個框架來最大限度復原水下圖像，在這個框架下傳統的圖像復原方法得到了拓展，水下光學參數被包含了進去，尤其時域的點擴散函數和頻域的調制傳遞函數。設計了一個根據環境光學特性進行調整的客觀圖像質量度量標准來測量復原的有效性。

論文簡介： 調制傳遞函數給出了詳細准確的系統函數信息,水下圖像可以用它或點擴散函數進行復原.作者進行實驗測量了水質參數得出了這些函數，並用得出的函數進行了圖像復原。(這一部分在王子韜的論文中有比較詳細介紹)

論文簡介： 在散射媒介中的正則化圖像復原。論文在基於物理原因的復原方法難以去除雜訊以及透射率低的基礎上，提出一種自適應的過濾方法，即能明顯的改善可見性，又能抑制雜訊放大。本質上，恢復方法的正規化，是適合變化媒介的透射率，因此這個正則化不會模糊近距離的目標。

論文簡介： 論文提出一種基於對邊緣進行GSA（灰度規范角度）加權的測量圖像清晰度的方法。圖像首先被小波變換分解，去除部分隨機雜訊，增加真實邊緣檢測的可能性。每個邊緣銳度由回歸分析方法基於灰度的一個角的正切來確定邊緣像素的灰度值之間的斜率和位置。整個圖像的清晰度是平均每個測量的GSA的比例加權的第一級分解細節的量，作為圖像的總功率，最後通過圖像雜訊方差自適應的邊緣寬度。

論文簡介： 論文提出了基於主動偏振的人工光照下水下圖像處理技術。在寬場人工光照下的水下成像中,在光源端或相機端安裝可調偏振器。通過調整光源或相機端的偏振器,同時拍攝兩幅或多幅同一場景的圖像,從兩幅圖像中可估計出背景光的偏振度。結合水下成像物理模型,就可以進行圖像復原和場景3D信息估計。該方法操作簡單,設備筒易,適用於水下畫定目標的成像。
大范圍人工照明條件下研究成像過程,基於該成像模型,提出一種恢復object signal的方法,同時能獲得粗糙的3D scene structure.相機配備檢偏振器,瞬間獲取同一場景的兩幀圖片with different states of the analyzer or light-source polarizer,然後用演算法處理獲取的圖片.它統一並推廣了以前提出的基於偏振的方法.後向散射可以用偏振技術降低,作者在此基礎上又用圖像後處理去除剩餘的後向散射,同時粗糙估測出3D場景結構.創新：之前的方法有的認為目標物反射光的偏振度可以忽略(即認為只有後向散射是偏振的)；另外還有的認為後向散射的偏振度可以忽略(即認為只有目標物反射光是偏振的)。本文作者認為兩者都是部分偏振光。

論文簡介： 論文在沒有應用任何標准模式、圖像先驗、多視點或主動照明的條件下同時估算了水面形狀和恢復水下二維場景。重點是應用水面波動方程建立緊湊的空間扭曲模型，基於這個模型，提出一個新的跟蹤技術，該技術主要是解決對象模型的缺失以及水的波動存在的復雜的外觀變化。在模擬的和真實的場景中，文本和紋理信息得到了有效的復原。

論文簡介： 論文提出暗通道先驗演算法復原有霧圖像。暗通道先驗是一系列戶外無霧圖像的數理統計，基於觀察戶外無霧圖像的大部分補丁補丁中包含至少一個顏色通道中低強度的像素點。在有霧圖像中應用這些先驗，我們可以直接的估算霧的厚度，復原成高質量的無霧圖像，同時還能獲得高質量的深度圖。

論文簡介： 論文比較研究了盲反卷積演算法中的：R-L演算法（Richardson-Lucy）、最小二乘法以及乘法迭代法。並且應用了水下圖像去噪和威爾斯小角度近似理論推導出點分布函數。通過執行威爾斯的小角度散射理論和模糊度量方法對三種盲反卷積演算法進行比較，確定總迭代次數和最佳圖像復原結果。通過比較得出：最小二乘演算法的復原率最高，但是乘法迭代的速度最好。

論文簡介： 論文提出點擴算函數（PSF）和調制解調函數（MFT）的方法用於水下圖像復原，應用基於威爾斯小角度近似理論來進行圖像增強。在本文中作者分析了水下圖像退化的原因，在強化超快激光成像系統中採用了距離選通脈沖的方法，降低了反向散射中的加性雜訊。本文對圖像的基本雜訊模式進行了分析，並使用算術平均濾波首先對圖像進行去噪，然後，使用執行迭代盲反褶積方法的去噪圖像的初始點擴散函數的理想值，來獲得更好的恢復結果。本文通過比較得出，盲反褶積演算法中，正確使用點擴散函數和調制解調函數對於水下圖像復原的重要性。

論文簡介： 本文提出一種圖像復原的新方法，該方法不需要專門的硬體、水下條件或現在知識結構只是一個與小波變換的融合框架支持相鄰幀之間的時間相乾性進行一個有效的邊緣保留雜訊的方法。該圖像增強的特點是降低雜訊水平、更好的暴露黑暗區域、改善全局對比、增強細節和邊緣顯著性。此演算法不使用補充信息，只處理未去噪的輸入退化圖像，三個輸入主要來源於計算輸入圖像的白平衡和min-max增強版本。結論證明，融合和小波變換方法的復原結果優於直接對水下退化圖像進行去霧得到的結果。

論文簡介： 本文是一篇綜述性質的論文。介紹了：1、水下光學成像系統 2、圖像復原的方法（對各種圖像復原方法的總結） 3、圖像增強和顏色校正的方法總結 4、光學問題總結。

論文簡介： 論文針對普通水下圖像處理的方法不適用於水下非均勻光場中的問題，提出一種基於專業區域的水下非均勻光場圖像復原方法，在該演算法中，考慮去除雜訊和顏色補償，相對於普通的水下圖像復原和增強演算法，該方法獲得的復原復原的清晰度和色彩保真度通過視覺評估，質量評估的分數也很高。

論文簡介： 論文基於水下圖像的衰減與光的波長的關系，提出一種R通道復原方法，復原與短波長的顏色，作為水下圖像的預期，可以對低對比度進行復原。這個R通道復原的方法可以看做大氣中有霧圖像的暗通道先驗方法的變體。實驗表明，該方法在人工照明領域應用良好，顏色校正和可見性得到提高。

論文簡介： 作者對各種水下圖像增強和復原的演算法做了調查和綜述，然後對自己的提高水下質量的方法做了介紹。作者依次用到了過濾技術中的同態濾波、小波去噪、雙邊過濾和對比度均衡。相比於其他方法，該方法有效的提高了水下目標物的可見性。

論文簡介： 論文應用湍流退化模型以質量標准為導向復原因水下湍流退化的圖像。參考大氣湍流圖像復原的演算法，省略了鹽分的影響，只考慮水中波動引起的湍流對水下成像的影響，應用一種自適應的平均各向異性的度量標准進行水下圖像復原。經過驗證，使用STOIQ的方法優於雙頻譜的復原方法。

論文簡介： 本文提出了一種新的方法來提高對比度和降低圖像雜訊，該方法將修改後的圖像直方圖合並入RGB和HSV顏色模型。在RGB通道中，佔主導地位的直方圖中的藍色通道以95%的最大限度延伸向低水平通道，RGB通道中的低水平通道即紅色通道以5%的最低限度向上層延伸且RGB顏色模型中的所有處理都滿足瑞利分布。將RGB顏色模型轉化為HSV顏色模型，S和V的參數以最大限度和最小限度的1%進行修改。這種方法降低了輸出圖像的欠擬合和過擬合，提高了水下圖像的對比度。

論文簡介： 論文根據簡化的J-M模型提出一種水下圖像復原的有效演算法。在論文中定義了R通道，推導估算得到背景光和變換。場景可見度被深度補償，背景與目標物之間的顏色得到恢復。通過分析PSF的物理特性，提出一種簡單、有效的低通濾波器來去模糊。論文框架如下：1.重新定義暗通道先驗，來估算背景光和變化，在RGB的每個通道中通過標准化變換來復原扭曲顏色。2.根據PSF的性能，選擇沒有被散射的光，用低通濾波器進行處理來提高圖片的對比度和可見度。

論文簡介： 論文中對當代水下圖像處理的復原與增強做了綜述，作者闡明了兩種方法的模型的假設和分類，同時分析了優缺點以及適用的場景。

參考：
https://github.com/zhenglab/UnderwaterImageRestoration/tree/master/underwater%20image%20enhancement

❷ 模糊圖像復原方法

圖像復原-模糊圖像處理解決方案
機器視覺智能檢測 2017-06-16
造成圖像模糊的原因有很多，且不同原因導致的模糊圖像需要不同的方法來進行處理。從技術方面來講，模糊圖像處理方法主要分為三大類，分別是圖像增強、圖像復原和超解析度重構。本文將從這三方面切入剖析。

智能化設備管理技術是利用系統管理平台軟體的設備管理服務，對所有的監控設備包括攝像機、雲台、編碼器和系統伺服器進行不間斷的實時監測，當發現故障時能及時通過各種方式告警，提示維護人員及時處置。一個系統可以按照網路拓撲結構部署多台設備管理伺服器，分區域對設備進行實時的巡檢，這樣可以大大提高系統的維護效率，盡可能做到在設備發生故障時，在不超過10分鍾的時間內被監測到並告警。

建設目標

本方案擬應用先進的機器學習和計算機視覺技術，模擬人類的視覺系統，針對某市公共安全圖像資源前端攝像頭出現的雪花、滾屏、模糊、偏色、畫面凍結、增益失衡和雲台失控等常見攝像頭故障以及惡意遮擋和破壞監控設備的不法行為做出准確判斷，並自動記錄所有的檢測結果，生成報表。以便用戶輕松維護市公共安全圖像資源系統。

技術路線

將視頻故障分成視頻信號缺失、視頻清晰度異常、視頻亮度異常、視頻雜訊、視頻雪花、視頻偏色、畫面凍結、PTZ運動失控八種類型。其中視頻信號缺失、隨著「平安城市」的廣泛建設，各大城市已經建有大量的視頻監控系統，雖然監控系統己經廣泛地存在於銀行、商場、車站和交通路口等公共場所，但是在公安工作中，由於設備或者其他條件的限制，案情發生後的圖像回放都存在圖像不清晰，數據不完整的問題，無法為案件的及時偵破提供有效線索。經常出現嫌疑人面部特徵不清晰、難以辨認、嫌疑車輛車牌模糊無法辨認等問題，這給公安部門破案、法院的取證都帶來了極大的麻煩。隨著平安城市的推廣、各地各類監控系統建設的進一步推進，此類問題將會越來越凸顯。

模糊圖像產生的原因

造成圖像模糊的原因很多，聚焦不準、光學系統的像差、成像過程中的相對運動、大氣湍流效應、低光照、環境隨機雜訊等都會導致圖像模糊。另外圖像的編解碼、傳輸過程都可能導致圖像的進一步模糊。總體來說，造成圖像模糊的主要原因如下：

· 鏡頭聚焦不當、攝像機故障等;

· 傳輸太遠、視頻線老化、環境電磁干擾等;

· 攝像機護罩視窗或鏡頭受臟污、受遮擋等;

· 大霧、沙塵、雨雪等惡劣環境影響;

· 由視頻壓縮演算法和傳輸帶寬原因導致的模糊;

· 攝像機解析度低，欠采樣成像;

· 光學鏡頭的極限解析度和攝像機不匹配導致的模糊;

· 運動目標處於高速運動狀態導致的運動模糊等;

……

模糊圖像常用解決方案

對於模糊圖像處理技術，國內大學和科研機構在多年以前就在研究這些理論和應用，相關文獻也發布了不少，已經取得了一些很好的應用。美國 Cognitech軟體是相當成熟的一套模糊圖像恢復應用軟體，在美國FBI及其他執法機構中已有多年實際應用，其恢復出的圖像可以直接當作法庭證據使用，可見模糊圖像處理技術已經取得了相當的實際應用。

前面提到，造成圖像模糊的原因有很多，要取得比較好的處理效果，不同原因導致的模糊往往需要不同的處理方法。從技術方面來講，模糊圖像處理方法主要分為三大類，分別是圖像增強、圖像復原和超解析度重構。

圖像增強

很多傳統圖像演算法都可以減輕圖像的模糊程度，比如圖像濾波、幾何變換、對比度拉伸、直方圖均衡、空間域銳化、亮度均勻化、形態學、顏色處理等。就單個來講，這些演算法都比較成熟，相對簡單。但是對於一個具體的模糊圖像，往往需要上面的一種或者多種演算法組合，配合不同的參數才能達到理想的效果。這些演算法和參數的組合進一步發展成為具體的增強演算法，比如「圖像去霧」演算法、「圖像去噪」演算法、「圖像銳化」演算法、「圖像暗細節增強」演算法等等。這些演算法都不同程度提高了圖像清晰度，很大程度改善了圖像質量。

綜合使用形態學、圖像濾波和顏色處理等演算法可以實現圖像去霧的演算法，圖1是一個去霧演算法的實際使用效果，類似的圖像增強演算法還有很多，不再一一列舉。圖像復原

圖像復原與圖像增強技術一樣，也是一種改善圖像質量的技術。圖像復原是根據圖像退化的先驗知識建立一個退化模型，然後以此模型為基礎，採用各種逆退化處理方法逐步進行恢復，從而達到改善圖像質量的目的。

圖像復原和圖像增強是有區別的，兩者的目的都是為了改善圖像的質量。但圖像增強不考慮圖像是如何退化的，只有通過試探各種技術來增強圖像的視覺效果，而圖像復原就完全不同，需要知道圖像退化過程的先驗知識，據此找出一種相應的逆過程方法，從而得到復原的清晰圖像。圖像復原主要取決於對圖像退化過程的先驗知識所掌握的精確程度。

對由於離焦、運動、大氣湍流等原因引起的圖像模糊，圖像復原的方法效果較好，常用的演算法包括維納濾波演算法、小波演算法、基於訓練的方法等。圖3是使用維納濾波解決運動模糊圖像的例子，取得了很好的復原效果。在知道退化模型的情況下，相對圖像增強來說，圖像復原可以取得更好的效果。圖像超解析度重構

現有的監控系統主要目標為宏觀場景的監視，一個攝像機，覆蓋一個很大的范圍，導致畫面中目標太小，人眼很難直接辨認。這類由於欠采樣導致的模糊占很大比例，對於由欠采樣導致的模糊需要使用超解析度重構的方法。

超解析度復原是通過信號處理的方法，在提高圖像的解析度的同時改善採集圖像質量。其核心思想是通過對成像系統截止頻率之外的信號高頻成分估計來提高圖像的解析度。超解析度復原技術最初只對單幅圖像進行處理，這種方法由於可利用的信息只有單幅圖像，圖像復原效果有著固有的局限。序列圖像的超解析度復原技術旨在採用信號處理方法通過對序列低解析度退化圖像的處理來獲得一幅或者多幅高解析度復原圖像。由於序列圖像復原可利用幀間的額外信息，比單幅復原效果更好，是當前的研究熱點。

序列圖像的超解析度復原主要分為頻域法和空域法兩大類，頻域方法的優點是：理論簡單，運算復雜度低，缺點是：只局限於全局平移運動和線性空間不變降質模型，包含空域先驗知識的能力有限。空域方法所採用的觀測模型涉及全局和局部運動、空間可變模糊點擴散函數、非理想亞采樣等，而且具有很強的包含空域先驗約束的能力。常用的空域法有非均勻插值法、迭代反投影方法（IBP）、凸集投影法（POCS）、最大後驗估計法（MAP）、最大似然估計法 （ML）、濾波器法等，其中，MAP和POCS二方法研究較多，發展空間很大。對於具體的演算法，不是本文的重點，這里不做詳細介紹。圖五是一個使用多幀低解析度圖像超解析度重構的例子。

模糊圖像處理技術的關鍵和不足

雖然很多模糊圖像的處理方法在實際應用中取得了很好的效果，但是當前仍然有一些因素制約著模糊圖像處理的進一步發展，主要如下。

演算法的高度針對性

絕大部分的模糊圖像處理演算法只適用於特定圖像，而演算法本身無法智能決定某個演算法模塊的開啟還是關閉。舉例來說，對於有霧的圖像，「去霧演算法」可以取得很好的處理效果，但是作用於正常圖像，反而導致圖像效果下降，「去霧演算法」模塊的打開或者關閉需要人工介入。

演算法參數復雜性

模糊圖像處理裡面所有的演算法都會包含大量的參數，這些參數的選擇需要和實際的圖像表現相結合，直接決定最終的處理效果。就目前的演算法，還沒有辦法智能地選擇哪些是最優的參數。

演算法流程的經驗性

由於實際圖像非常復雜，需要處理多種情況，這就需要一個演算法處理流程，對於一個具體的模糊視頻，採用什麼樣的處理流程很難做到自動選擇，需要人工選擇一個合適的方法，只能靠人的經驗。

結語

由於環境、線路、鏡頭、攝像機等影響，監控系統建成並運營一段時間後，都會出現一部分的視頻模糊不清的問題。

總體來說，雖然模糊圖像處理演算法已經取得了非常廣泛的應用，但是圖像演算法畢竟有局限性，不能將所有問題都寄希望於圖像演算法，對於不同種類的模糊問題，要區別對待。對於由鏡頭離焦、灰塵遮擋、線路老化、攝像機故障等造成的模糊或者圖像質量下降，在視頻診斷系統的幫助下，一定要及時維修，從源頭上解決問題。對於低光照等優先選擇日夜兩用型高感光度攝像機，對於雨霧、運動和欠采樣等造成的圖像質量下降，可以藉助於「視頻增強伺服器」包含的各種模糊圖像處理演算法來提升圖像質量。喜歡此內容的人還喜歡
17個教師常用網站推薦給你，再也不用到處找資源了
17個教師常用網站推薦給你，再也不用到處找資源了 ...
高校教師服務工作室
不喜歡
不看的原因
確定
內容質量低 不看此公眾號
什麼是水磨石？被設計師玩出新高度
什麼是水磨石？被設計師玩出新高度 ...
聯盟設計庫
不喜歡
不看的原因
確定
內容質量低 不看此公眾號

❸ 反卷積和信號復原的介紹

《反卷積和信號復原》是2001年國防工業出版社出版的圖書。《反卷積和信號復原》內容大致分為三個部分：理論基礎，一維信號反卷積和圖像復原。其中包括：導論；數學基礎；Fredholm第一類積分方程的解、規整化和計算模型；一維信號反卷積和復原；有限支持域上的圖像盲目反卷積；圖像反降晰；相位恢復等。

❹ CIBERSORT：反卷積推測bulk中的細胞類型

五一學了一個新的分析方法- CIBERSORT ，這個包其實很早就想學的，因為現在一般的單細胞文章的套路，很難不用到它，那麼它能幹什麼呢？ 它能夠推測出bulk RNA每一個樣本中各類細胞的比例 。通俗易懂的來講，就是能夠 把bulk RNA當作single cell RNA來分析 。

實現把bulk RNA當作single cell RNA來分析主要是有兩種演算法 反卷積 和 ssgsea ，而CIBERSORT就是基於反卷積演算法來做的，所以這篇著重介紹反卷積演算法。

要想了解什麼是反卷積，我們就要了解什麼是卷積，我先show一張圖，這張圖就展示了卷積的過程

我想用一些比較容易懂的話來講卷積，所以可能講述或隱喻的不準確，望諒解！！！
根據這張圖我們可以看出 其實bulk RNAseq就像是每一個細胞的RNA-seq捲起來的乘積，所以稱為卷積（圖：左邊（bulk）是右邊（cell）的乘積運算的結果，而這個乘積運算需要細胞的表達量和一個系數表），現在我們來解釋 反卷積 ： 反卷積顧名思義反過來/不卷積，對bulkRNA的反卷積就相當於對bulk RNA進行除法，我們只要給一個系數表，就可以得到細胞的RNA表達量，那麼我們就可以知道bulk中有哪一些細胞類型了 。(其實沒有那麼簡單哈，但是大致是這樣的，裡面涉及到演算法啥的我也不知道怎麼解釋，主要是也不太會哈哈哈哈）

那麼根據上面的解釋我們可以知道假如進行bulk RNA的反卷積，我們需要什麼：
1.系數表
2.bulk RNA的表達矩陣（假如你是一個生信入門的人，你一定要注意這個，表達矩陣，什麼樣的表達矩陣,首先是晶元還是RNA-seq，再是count？fpkm？rpkm？cpm？CIBERSORT說的很清楚，晶元或者RNA-seq都可以，參數上選擇不同而已，RNA-seq數據不建議直接使用Count，應使用FPKM和TPM或DESEq2標准化後的矩陣為宜）

首先LM22-ref.txt文件是什麼，這里要從免疫浸潤講起，免疫浸潤可以當作腫瘤組織中全部免疫細胞的總和，而LM22就是拿來分析免疫浸潤的，所以我們用excel打開來看看這個文件吧，第一列是基因名字,後面每一列是某類細胞和他們gene symbol的系數，所以這個LM22-ref.txt文件就是我們的 系數表 (關於這個表格怎麼來的可以去看其他大神的文章)

這時候我們還缺我們的 bulk RNA的表達矩陣 ，所以我們要擁有一個這樣的表格，把它保存為txt文件，命名為 test.txt

然後我們就可以得到這樣的result

何為個性化，就是當我們在做單細胞分析的時候，自己定義了一個群或者定義了一些細胞，想看這種細胞類型在bulk中的含量該怎麼辦呢，我怎麼得到每一種細胞類型的系數呢？其實沒有那麼復雜，細胞類型的系數表其實就是 AverageExpression ，所以我們可以這樣來做

後面附上sig.txt用excel打開後的樣子，以免大家報錯

在這里我需要強調，大家不要小看給出來的txt用excel打開後的格式，因為這是報錯的主要原因，一定要跟我的格式一樣，為什麼呢，可以看CIBERSORT.R這個函數

寫在文末，假如大家真的很想了解這個演算法，強烈建議去看jimmy老師的教程，我這個只做參考！！！

References:
https://www.jianshu.com/p/03a7440c0960
https://cloud.tencent.com/developer/article/1622907
https://cloud.tencent.com/developer/article/1784632
https://mp.weixin.qq.com/s?__biz=MzAxMDkxODM1Ng==&mid=2247493507&idx=1&sn=&scene=21#wechat_redirect
https://www.jianshu.com/p/2991ef7bf993

❺ 如何通俗的理解圖像處理中常見的去卷積（反卷積 or deconvolution）

所謂反卷積就是把Iout再變回Iin的過程，也就是去除了濾波器的效應。

但是這個過程往往比較困難。因為卷積操作往往會使得圖像丟失信息，比如低通後的圖像高頻已經丟失，丟失的信息自然無法復原了。

尤其是實際中污染圖像的系統往往還是未知的(雜訊，人為破壞)，這就使恢復變得更為困難，在本科課程中，看見過一個最優化的恢復濾波器，即維納濾波，其可以比較好(從誤差角度上考慮)的恢復出圖像原始的樣子。

圖像處理反卷積的應用

最早支持反卷積是因為圖像去噪跟去模糊，知道圖像去模糊時候會使用反卷積技術，那個是真正的反卷積計算，會估算核，會有很復雜的數學推導，主要用在圖像的預處理與數字信號處理中。

本質上反卷積是一種圖像復原技術，典型的圖像模糊可以看成事圖像卷積操作得到的結果，把模糊圖像重新復原為清晰圖像的過程常常被稱為去模糊技術，根據模糊的類別不同可以分為運動模糊與離焦模糊，OpenCV支持對這兩張模糊圖像進行反卷積處理得到清晰圖像。

反卷積的基本原理就是把圖像轉換到頻率域，通過估算圖像的核函數，在頻率域對圖像點乘計算之後，重新獲取圖像信息，轉回為空間域。

主要操作都在頻率域，轉換通過離散傅里葉（DFT）變換與反變換，通過維納濾波處理獲取反模糊信息，OpenCV支持反卷積採用維納濾波方式的去模糊，但是參數調整事一個大坑，基本上每張圖像的參數都不一樣，很難有相同的結果。

最近這些年，圖像反模糊逐步被深度學習的方法引領，OpenCV提供的那幾個函數越來越少的人知道，主要是通用性很差。

❻ 反卷積可以用什麼來代替

上采樣加卷積。根據相關公開信息查詢顯示，從卷積中分理出上采樣部分。使用差值方法來resize圖像，然後進行卷積處理。相較於反卷積每個輸出窗口只有一個值，resize-convolution隱含地加權處理，抑制了高頻假象的產生。反卷積是一種基於演算法的過程，用於反轉卷積對記錄數據的影響。反卷積的概念廣泛用於信號處理和圖像處理技術。

❼ 通俗理解反卷積

卷積的原理在這里不做解釋，若對於各參數都是方陣的卷積定義： i 表示輸入特徵矩陣的行或列，k 表示卷積核大小，s表示步長，p 表示每個維度相同的padding，則一次卷積操作之後，得到的新的特徵矩陣大小為 o x o：

卷積操作本質上是一種特徵抽取，數據壓縮的過程，反卷積則正好相反，是一個數據擴充的過程，下面兩張圖片是反卷積簡單示例：

反卷積也叫轉置卷積，屬於上采樣技術范疇。

先看卷積操作的數學表達：

設有如上圖三的卷積操作，i = 4, k = 2, s = 1, p = 0，x 表示輸入的特徵矩陣，y 表示卷積之後的輸出，C 表示卷積核，定義如下：

只要好好理解一下卷積計算過程，相信對這個展開還是容易理解的。那麼，y = Cx 可表示為：

所謂反卷積，其實就是上述過程的逆過程，已知（2 * 2）的 y ，想得到更大的（4 * 4）的 x ，即此時 y 是我們的輸入，x 是我們的輸出，x = Dy，D是反卷積過程中的采樣器，和C是一樣的，或者說是過濾器、權重矩陣啥的，反正就那意思。想要得到（4 * 4）的 x， 或者說（16 * 1 ）的 x， D的形狀必須滿足（16 * 4）,表示如下：

既然如此，D 和 C 有何關系呢？D 和 C 都是網路訓練過程中的參數，參考損失反向傳播理論有

❽ 反卷積法推斷bulk RNA數據中的細胞組成

使用免疫檢查點抑制劑增強患者對癌症的免疫反應可以說是過去十年來治療癌症最激動人心的進展。不幸的是，只有一部分患者（通常約20％）在檢查點抑制後顯示出持久的免疫反應。基於預測反應生物標記物（=精密葯物）的前瞻性患者選擇和免疫治療相結合，有可能進一步改變患者的治療方式。迄今為止，已經表明免疫細胞的位置和數量可以預測標准療法的患者預後。另外，對於像檢查點抑制劑這樣的抗PD1，抗PDL1和抗CTLA4葯物，相關T細胞群的存在與治療功效相關。因此，預測對免疫療法反應的關鍵可能在於腫瘤病變部位的患者特異性免疫細胞組成。
從理論上講，如果可以為每個腫瘤相關細胞建立參考基因表達譜（RGEP），則可以從其整體基因表達譜推斷出實體瘤的免疫，腫瘤和基質細胞含量。從數學上講，這類反推問題稱為反卷積。迄今為止，已經描述並證實了大量基因表達的反卷積用於血液系統惡性腫瘤，其中可以從外周血單核細胞（PBMC）建立RGEP。這種方法在理論上已應用於實體瘤，但直到最近，仍無法通過實驗驗證這種推斷。對於外周血中不存在的細胞類型（例如內皮細胞（EC）和與癌症相關的成纖維細胞（CAF）），很難獲得它們的RGEP，而且尚不清楚免疫細胞的基因表達譜在多大程度上改變腫瘤浸潤。但是，隨著單細胞RNA測序（scRNA-seq）技術的出現，現在可以確定浸潤腫瘤的免疫細胞，腫瘤相關的非惡性細胞以及來自同一實體瘤的單個腫瘤細胞的基因表達譜。
我們收集並研究了來自三個不同的主要人類組織來源的11,000多個單細胞的RNA-seq基因表達譜：為了表徵與腫瘤微環境相關的細胞，我們獲取了19名黑素瘤患者的數據；我們獲取來自四個健康受試者的PBMC的數據以表徵基線免疫細胞基因表達圖譜；最後，我們從四個卵巢癌腹水樣本中生成了免疫和腫瘤細胞基因表達譜。在下文中，我們顯示了來自腫瘤相關免疫細胞和來自PBMC的基因表達譜有很大不同。因此，從PBMC獲得的參考譜不足以使黑素瘤腫瘤樣品的總體譜解卷積。我們發現，來自不同患者的適應症特異性免疫細胞RNA-seq譜圖彼此足夠相似，可以為每種細胞類型定義一個共有譜圖，並且這些共有譜圖可以對腫瘤bulk譜圖進行准確的反卷積。我們的結果表明，特定的RGEP的產生對於從大量基因表達數據中可靠地估算腫瘤成分而言既必要又充分。我們的方法揭示了與腫瘤相關的細胞類型，而這些類型的細胞不能由來自PBMC的RGEPs估計。我們可以識別出九種不同的細胞類型，包括免疫細胞，CAF，EC，卵巢癌細胞和黑色素瘤細胞。此外，用於免疫細胞的RGEP可以用於根據特定的大量基因表達數據來估計腫瘤細胞的未知基因表達譜。我們的工作強調了生成針對每種感興趣適應症的RGEP的重要性。

首先，為了研究隨著免疫細胞從外周血轉移到腫瘤微環境而基因表達譜變化的程度，我們比較了三種人類數據集的免疫細胞scRNA-seq譜圖：（1）來自四個健康受試者的外周血4000個單細胞的數據集； （2）來自19個黑色素瘤患者樣品的4645個腫瘤來源的單細胞的數據集，以及來自四個卵巢癌腹水樣品的3114個單細胞的未公開數據集。單細胞RNA-seq數據需要仔細的數據處理和規范化，尤其是在比較來自不同來源和測序技術的數據時。為了表徵單個細胞並說明其基因表達譜中的全基因組相似性和差異性，我們應用了降維技術t分布隨機鄰居嵌入（t-SNE）。這是一種無監督的機器學習演算法，可將每個單細胞置於二維平面中。基因表達譜相似的細胞彼此靠近放置，如果它們之間的差異更大，則相距更遠。圖1a顯示與特定細胞類型相關聯且來自不同數據源的簇會自發出現。補充圖1中顯示了具有特定細胞的顏色編碼的t-SNE映射，而不是特定於數據源的聚類。使用匯總的單細胞數據集，我們開發了一種分類方法，該方法可以識別細胞類型，而與數據源無關。我們可以識別和分類9種主要細胞類型：T細胞，B細胞，巨噬細胞/單核細胞，自然殺傷（NK）細胞，樹突狀細胞（DC），CAF，EC，卵巢癌細胞和黑色素瘤細胞。所有未通過任何特定像元類型的分類閾值的其餘像元均被指定為「未知」。有趣的是，「未知」細胞大多位於T細胞簇中，這表明某些T細胞比其他細胞類型的細胞更難分類。但是，每個樣本中「未知」細胞的百分比通常非常低（<0.03％）。此外，我們可以將T細胞分為三種亞型：CD4 +，CD8 +和調節性T細胞（Treg）。建議將CD4 +或CD8 + T細胞與免疫抑制性Treg的比例作為免疫活性與非活性腫瘤對抗的標志物。盡管我們的方法可以輕松擴展為包括其他細胞和進一步的細分，但我們將自己限制在九種主要細胞類型中，以對我們的分類演算法進行基準測試。如先前報道 並在補充圖2中所示，惡性腫瘤細胞和相關的成纖維細胞按患者聚集，非惡性細胞按細胞類型聚集。腫瘤活檢應包含來自腫瘤血管和最近滲出的免疫細胞的免疫細胞。因此，預期PBMC和腫瘤相關免疫細胞之間部分重疊。我們分析了每個確定的群集的平均基因表達譜之間的成對相似性。通過單細胞比較，該分析更加定量且更可靠。圖1b中顯示的結果表明，大多數簇雖然不同，但與來自相同細胞類型的簇最密切相關。這是重要的質量控制步驟，可以確認通過數據處理和標准化策略已成功減輕了潛在的批次影響（請參見「方法」部分）。 Treg在三個不同的數據集上似乎是最不同的，可能表示環境決定性亞群。但是，微環境對基因表達有明顯且可量化的影響。在下文中，我們將解決以下問題：基於PBMC的基因表達譜是否與在腫瘤微環境中觀察到的結果是否相似；以及PBMC衍生的基因表達譜如何影響bulk表達數據去卷積的質量。
首先，我們觀察到每種細胞類型的頻率對於每種樣品似乎是不同的，如圖1c所示。 與跨腹水或黑色素瘤樣品的細胞組成相比，來自不同供體的PBMC樣品的細胞組成彼此更為相似。 我們基於基於scRNA-seq的分類法對先前預測的所有黑色素瘤樣品的結果進行了驗證，從而驗證了預測的細胞組成。 此外，我們通過熒光激活細胞分選（FACS）實驗比較了所有腹水樣品的預測細胞組成。 如圖2所示，我們的分類與先前發布的結果和我們的FACS測量結果一致。

免疫細胞的微環境特異性基因表達譜以及給定樣品的真實表達圖譜可通過scRNA-seq獲得，並可作為基準反卷積方法的基礎。我們研究了bulk基因表達數據（例如黑色素瘤樣品）的去卷積結果如何受微環境特定變化和患者之間差異的影響。作為反卷積的基準，我們通過對27個樣本中的每個樣本的所有單細胞基因表達數據以及不同組的REGP進行聚合，通過對組織來源和患者進行平均的不同策略，構建了人工「bulk」基因表達數據。我們使用五個不同的RGEP比較給定樣品的推斷的先驗已知細胞組成（參見圖3進行說明）：首先，RGEP1僅從PBMC數據集導出。因此，在這種情況下將無法獲得與腫瘤相關的細胞類型的估計值。第二個是RGEP2，是從三個數據集（PBMC，黑色素瘤和腹水）中每種細胞類型得出的。第三，RGEP3是數據集/指示類型和細胞類型特定的。作為其他基準，我們設置了兩個控制方案 （CNTR1和CNTR2），它們是RGEP3的擴展，並包括特定患者的信息。這些場景當然不適用於現實世界，但可用於評估患者特定信息的相對重要性。 CNTR1僅將患者特定的配置文件用於惡性細胞，並將共識配置文件用於每種非惡性細胞類型。 CNTR2對所有細胞類型使用特定於患者的配置文件。原則上，CNTR2作為使用反卷積方法在技術上可行的上限。

為了比較五種可能的RGEP及其對反褶積精度的影響，我們使用CIBERSORT反褶積方法從27個構建的整體表達數據集中估算了細胞組成。該方法旨在對雜訊，未知混合物和緊密相關的細胞類型具有更高的魯棒性。已顯示CIBERSORT優於其他基於體外細胞混合物基準測試的方法。 CIBERSORT演算法最初是為微陣列數據的反卷積開發的。在這里，我們證明了該演算法也可以應用於RNA測序數據，如果使用源自相同技術的RGEP來表徵細胞類型，也可以應用該演算法。所有反卷積都是使用一組基因進行的，其中包括1076個基因特徵，這些基因特徵可最大程度地區分各種細胞類型。對於每種細胞類型，將估計比例與27個構建樣品中的真實比例進行比較（圖4a）。估計細胞組成與真實細胞組成之間的皮爾遜相關系數用作預測准確性的量度（圖4b）。通過使用均方根偏差（RMSD）獲得定性相似的結果（參見補充圖3）。對於T細胞，每個亞群分別進行估算。在圖4中，將所有T細胞亞群的估計值相加以獲得每個樣本的總T細胞比例。單個T細胞子集的結果在圖5中單獨考慮。總的來說，基於RGEP1的估計（Pearson相關性ρ= 0.82）不如RGEP2和RGEP3或CNTR1和CNTR2的准確度（Pearson相關性ρ≥0.98）。對於RGEP1，由於沒有與腫瘤相關的細胞類型的參考資料，未知細胞的真實比例要比其他RGEP大，估計質量中等（皮爾森相關系數ρ= 0.65）。

對於RGEP2和RGEP3，以及對於CNTR1和CNTR2，未知細胞的真實比例很小，可以忽略不計。如果細胞的真實比例很小，則相關性不是判斷准確性的好方法。對於RGEP1，對於T細胞（皮爾森相關度ρ= 0.88，此處未區分為亞型），B細胞（皮爾森相關度ρ= 0.99）和巨噬細胞/單核細胞（皮爾森相關度ρ= 0.99），估計效果良好。但是，在所有其他設置下（皮爾遜相關系數ρ≥0.99），精度會進一步提高。對於RGEP1，對DC的估計（皮爾森相關度ρ= -0.04）較差，而對NK細胞的估計中等（皮爾森相關度ρ= 0.78）。對於RGEP2（皮爾森相關系數ρ= 0.82）和RGEP3（皮爾森相關系數ρ= 0.95），DC的估計有了很大的提高。 DC的估計值對於CNTR1仍略有改善（Pearson相關性ρ= 0.97），但僅在CNTR2時才達到最大值（Pearson相關性ρ= 1.00），這表明DCs的基因表達在很大程度上取決於分離的來源，這是一致的有證據表明DC的不同亞群在免疫力的產生中高度特異化。相對於CNTR1（皮爾森相關度ρ= 0.96）和CNTR2（皮爾森相關度ρ= 1.00），RGEP2（皮爾遜相關度ρ= 0.82）對NK細胞的估計略有改善，並且在RGEP3（皮爾遜相關度ρ= 0.95）中接近最佳狀態。對於RGEP2至CNTR2，可獲得與腫瘤相關的細胞類型（CAF，EC和惡性細胞）的估計值，並且可以對其進行准確估計（Pearson相關性ρ≥0.95）。有趣的是，在納入患者特定信息後，對惡性細胞的估計並沒有太大改善，這表明使用共識譜進行反卷積是可行的。這可能因為腫瘤細胞通常與非惡性細胞有很大的不同，非惡性細胞使它們的去卷積更容易（見圖1b）。對於CNTR2，與其他設置（Pearson相關性ρ〜0.95）相比，ECs和CAF的准確性更高（Pearson相關性ρ= 1.00），這表明這些細胞類型的基因表達受患者特定的微環境影響。有趣的是，當考慮到二等分的距離（如圖4所示）作為估計精度的度量時，我們發現它與真實的細胞類型比例無關。但是，每種細胞類型的總體精度都不同。

考慮到T細胞比率對治療結果的重要性，我們進一步分析了T細胞亞群以及治療相關T細胞比率的估計准確性（圖5）。出乎意料的是，對於CD8 + T細胞，所有RGEP的估算結果都是准確的（皮爾森相關ρ〜0.95）。對於CD4 +細胞和調節性T細胞，使用RGEP1的估計結果僅中等（皮爾遜相關系數ρ= 0.63和ρ= 0.43），而對於RGEP2則明顯改善（皮爾遜相關系數ρ= 0.87和ρ= 0.94）。這也反映在達到RGEP2准確估計值的Treg / CD4 +，CD8 + / Treg和CD4 + / CD8 + T細胞的比率（皮爾森相關系數ρ= 0.94，ρ= 0.96和ρ= 0.93）。對於CNTR1，所有T細胞亞群和比率的估計值均不會顯著改善，而對於CNTR2，它卻會有所改善（皮爾森相關系數ρ= 1.00），這表明T細胞的基因表達受患者特定的微環境影響。總而言之，使用基於適應症特異性基因表達譜（RGEP3）的共有基因表達譜進行反卷積足以獲得樣品細胞組成的可靠估計值，而無需有關各個細胞類型的患者特異性數據。使用基於外周血數據（RGEP1）或基於所有三個數據集/指標的平均值（RGEP2）的基因表達譜進行反卷積的准確性大大降低。當考慮到兩等分的距離（如圖5所示）作為估計准確度的一種度量時，我們發現對調節性T細胞的估計過高。調節性T細胞的估計與表達形式相似的非調節性CD4 + T細胞的估計混淆。由於非調節性CD4 + T細胞的總百分比高於調節性T細胞的百分比，因此對非調節性CD4 + T細胞存在相應的低估，這種估計並沒有那麼明顯。盡管這些T細胞亞型存在這種偏見，但臨床上相關T細胞比例的估算並沒有受到影響。

為了探索相似細胞類型表達譜或缺失細胞類型譜對估計准確性的影響，我們系統地評估了一次從RGEP3中刪除一個細胞類型表達譜的情況（補充圖4）。對於大多數情況和細胞類型，估計精度不受其他細胞類型表達譜刪除的影響。 CD4 + T細胞，巨噬細胞/單核細胞和惡性細胞類型的估計准確性對所有變化都具有魯棒性。我們觀察到一些更緊密相關的細胞類型的估計准確性降低。去除CD4 + T細胞會影響CD8 + T細胞估計的准確性，同時去除CD8 +或CD4 + T細胞會影響調節性T細胞的估計准確性。去除巨噬細胞/單核細胞會影響B細胞的准確性。去除B細胞或巨噬細胞/單核細胞會影響樹突狀細胞的准確性。 NK細胞的准確性受去除CD8 +或CD4 + T細胞的影響。去除黑素瘤細胞譜會影響內皮細胞和CAF的准確性。為了確定使用替代基因集進行反卷積的影響，我們使用性能最佳的RGEP3和四個其他基因集以及三種替代反卷積演算法重復了分析。有趣的是，與RGEPs的來源和質量的影響相比，不同基因集和反卷積演算法的影響相對較小（參見補充圖5）。 CIBERSORT與合並的基因組結合提供了最佳的總體結果。

使用源自單細胞RNA測序數據的RGEP，我們確定RGEP的來源和質量會影響反卷積方法的准確性。因此，我們建議將源自感興趣組織的單細胞RNA測序數據衍生的RGEP用於bulk反卷積。但是，將通過常規卷積RNA測序獲得應用去卷積方法的臨床數據。因此，重要的是證明源自單細胞RNA測序的RGEP適用於通過bulk RNA測序測量的數據。為了驗證實際（而非人工）批量數據上的去卷積結果，我們另外對四個卵巢癌腹水樣品中的三個進行了批量RNA測序，並使用RGEP3應用了去卷積方法來獲得樣品細胞組成的估計值。此外，使用相同的三個樣品，我們通過FACS和單細胞RNA測序，然後進行演算法細胞類型分類，對實驗中的細胞組成進行了定量。圖6a顯示了這三個樣品的數據生成示意圖，圖6b顯示了對通過三種不同方法獲得的結果的定量比較（有關詳細信息，另請參見補充表1和2）。總體而言，結果吻合良好。由於所有這三種方法均具有固有偏差，因此它們僅提供了樣品細胞組成的估計值。偏差是可以預料的，並且可能源於樣品處理的差異，這些差異會給較脆弱的免疫細胞帶來壓力。在我們的驗證數據中，當通過FACS定量時，我們始終觀察到對巨噬細胞/單核細胞群體的估計減少。基於單細胞的分類一致地估計了該樣品集中巨噬細胞/單核細胞的最高比例。類似地，解卷積方法始終估計較低比例的CD4 + T細胞，並且類似地針對低豐度樹突狀細胞和NK細胞群體。

盡管使用RGEP3是適應症特異性的，但不是患者特異性的，可以從大量基因表達數據中准確估計任何給定患者活檢的細胞組成，但不同患者之間惡性細胞的基因表達譜差異最大。腫瘤細胞中基因表達的差異有望在預測對傳統療法（包括靶向療法和化學療法）的反應中發揮關鍵作用。這樣，在解卷積之後估計患者特異性腫瘤細胞譜也是感興趣的。如果對於每種非惡性細胞類型和適應症均存在共有的表達譜，則可以通過簡單地從總體概況中減去每種非惡性細胞類型的概況並按其推斷的比例加權來獲得患者特異性腫瘤細胞概況。然而，實際上，總體概況將始終被不存在共有概況的細胞（「未知」細胞）「污染」。例如，嗜中性粒細胞未在scRNA-seq數據中顯示，因為它們難以分離，離體後高度不穩定，因此難以用當前的單細胞分離方法保存。使用scRNA-seq數據，我們計算了每個患者樣品的估計腫瘤細胞表達譜，並將它們與真實腫瘤細胞譜進行了比較（圖7a）。由於某些基因（例如管家基因）在所有細胞之間相關，而與細胞類型無關，因此，預期會有一定的基線相關性。我們通過將非惡性細胞的基因表達譜與真實的腫瘤細胞基因表達譜相關聯來估計該基線相關性。我們觀察到所有樣本的基線皮爾遜相關系數ρ為0.7–0.8，而與樣本中腫瘤細胞的估計比例無關。如所預期的，隨著腫瘤細胞含量的增加，腫瘤細胞表達的估計准確性得以提高（圖7b）。值得注意的是，當樣品中腫瘤細胞的估計比例超過20％時，估計的腫瘤細胞基因表達譜與真實譜顯示ρ> 0.9的皮爾遜相關性。與未經校正的整體基因表達譜相比，腫瘤細胞多於20％但少於70％的樣品中預測的腫瘤細胞基因表達譜與真實的腫瘤細胞基因表達譜具有更好的相關性。如果樣品包含超過70％的腫瘤細胞，則整個樣品的基因表達譜已經被腫瘤細胞所主導，並且不需要任何減法。對於腫瘤細胞少於20％的樣品，減法不能改善估計，因為腫瘤細胞基因表達的信號很低。另外，整個樣品的基因表達圖譜也沒有提供關於陰性對照的腫瘤細胞譜圖的信息，在這種情況下是非腫瘤譜圖。總之，對於腫瘤細胞含量在20％至70％之間的解卷積的樣品，其基因表達譜得到了顯著改善。