盲反卷积算法原理

❶ 水下图像复原论文总结整理

​

论文简介： 利用图像传输理论测量海水的点扩散函数和调制传递函数并且使用维纳滤波器复原模糊的图像。退化方程H(u,v)在水槽中测量得到。在实验中利用狭缝图像和光源，第一步:一维光照射到水中从而得到不同距离下的狭缝图像数据，这样一维的海水点扩散函数就可以通过去卷积得到。又因为点扩散函数的对称性二维的函数模型也可以通过数学方法得到。利用相似的方法调制传递函数也可以得到。这样传输方程便可以得到:

图像可以由下式获得:

​

论文简介： 论文中提出自然光照下的水下图像退化效果与光偏振相关,而场景有效箱射则与光偏振无关。在相机镜头端安装可调偏振器,使用不同偏振角度对同一场景成两幅图像,所得到的图像中的背景光会有明显不同。通过对成像物理模型的分析,利用这两幅图像和估计出的偏振度,就能恢复出有效场景辐射。他还提出了一个计算机视觉方法水下视频中的退化效应。分析清晰度退化的物理原因发现主要与光的部分偏振有关。然后提出一个逆成像方法来复原能见度。该方法基于几张通过不同偏振方向的偏振片采集图像。

论文简介： 论文提出了一种自适应滤波的水下图像复原方法。通过最优化图像局部对比度质量判决函数,可以估计出滤波器中所使用的参数值。
论文提出一种基于简化的Jaffe-McGlamery水下成像模型的自调谐图像复原滤波器。滤波器的最优参数值是针对每幅图像通过优化一个基于全局对比度的质量准则自动估算的。(对一幅图像滤波器能根据全局对比度自动估计最优参数值),简化的模型理想地适合后向散射较少的漫射光成像.1.首先简化Jaffe-McGlamery水下成像模型：假设光照均匀(浅水区阳光直射)，并且忽略后向散射部分.然后基于简化后的成像模型设计一个简单的反滤波器2.将滤波器设计成自适应滤波器。

论文简介： 论文对于调制传递函数给出了详细准确的系统函数信息,水下图像可以用它或点扩散函数进行复原.作者进行实验测量了水质参数得出了这些函数，并用得出的函数进行了图像复原。同时他还建立了一个框架来最大限度复原水下图像，在这个框架下传统的图像复原方法得到了拓展，水下光学参数被包含了进去，尤其时域的点扩散函数和频域的调制传递函数。设计了一个根据环境光学特性进行调整的客观图像质量度量标准来测量复原的有效性。

论文简介： 调制传递函数给出了详细准确的系统函数信息,水下图像可以用它或点扩散函数进行复原.作者进行实验测量了水质参数得出了这些函数，并用得出的函数进行了图像复原。(这一部分在王子韬的论文中有比较详细介绍)

论文简介： 在散射媒介中的正则化图像复原。论文在基于物理原因的复原方法难以去除噪声以及透射率低的基础上，提出一种自适应的过滤方法，即能明显的改善可见性，又能抑制噪声放大。本质上，恢复方法的正规化，是适合变化媒介的透射率，因此这个正则化不会模糊近距离的目标。

论文简介： 论文提出一种基于对边缘进行GSA（灰度规范角度）加权的测量图像清晰度的方法。图像首先被小波变换分解，去除部分随机噪声，增加真实边缘检测的可能性。每个边缘锐度由回归分析方法基于灰度的一个角的正切来确定边缘像素的灰度值之间的斜率和位置。整个图像的清晰度是平均每个测量的GSA的比例加权的第一级分解细节的量，作为图像的总功率，最后通过图像噪声方差自适应的边缘宽度。

论文简介： 论文提出了基于主动偏振的人工光照下水下图像处理技术。在宽场人工光照下的水下成像中,在光源端或相机端安装可调偏振器。通过调整光源或相机端的偏振器,同时拍摄两幅或多幅同一场景的图像,从两幅图像中可估计出背景光的偏振度。结合水下成像物理模型,就可以进行图像复原和场景3D信息估计。该方法操作简单,设备筒易,适用于水下画定目标的成像。
大范围人工照明条件下研究成像过程,基于该成像模型,提出一种恢复object signal的方法,同时能获得粗糙的3D scene structure.相机配备检偏振器,瞬间获取同一场景的两帧图片with different states of the analyzer or light-source polarizer,然后用算法处理获取的图片.它统一并推广了以前提出的基于偏振的方法.后向散射可以用偏振技术降低,作者在此基础上又用图像后处理去除剩余的后向散射,同时粗糙估测出3D场景结构.创新：之前的方法有的认为目标物反射光的偏振度可以忽略(即认为只有后向散射是偏振的)；另外还有的认为后向散射的偏振度可以忽略(即认为只有目标物反射光是偏振的)。本文作者认为两者都是部分偏振光。

论文简介： 论文在没有应用任何标准模式、图像先验、多视点或主动照明的条件下同时估算了水面形状和恢复水下二维场景。重点是应用水面波动方程建立紧凑的空间扭曲模型，基于这个模型，提出一个新的跟踪技术，该技术主要是解决对象模型的缺失以及水的波动存在的复杂的外观变化。在模拟的和真实的场景中，文本和纹理信息得到了有效的复原。

论文简介： 论文提出暗通道先验算法复原有雾图像。暗通道先验是一系列户外无雾图像的数理统计，基于观察户外无雾图像的大部分补丁补丁中包含至少一个颜色通道中低强度的像素点。在有雾图像中应用这些先验，我们可以直接的估算雾的厚度，复原成高质量的无雾图像，同时还能获得高质量的深度图。

论文简介： 论文比较研究了盲反卷积算法中的：R-L算法（Richardson-Lucy）、最小二乘法以及乘法迭代法。并且应用了水下图像去噪和威尔斯小角度近似理论推导出点分布函数。通过执行威尔斯的小角度散射理论和模糊度量方法对三种盲反卷积算法进行比较，确定总迭代次数和最佳图像复原结果。通过比较得出：最小二乘算法的复原率最高，但是乘法迭代的速度最好。

论文简介： 论文提出点扩算函数（PSF）和调制解调函数（MFT）的方法用于水下图像复原，应用基于威尔斯小角度近似理论来进行图像增强。在本文中作者分析了水下图像退化的原因，在强化超快激光成像系统中采用了距离选通脉冲的方法，降低了反向散射中的加性噪声。本文对图像的基本噪声模式进行了分析，并使用算术平均滤波首先对图像进行去噪，然后，使用执行迭代盲反褶积方法的去噪图像的初始点扩散函数的理想值，来获得更好的恢复结果。本文通过比较得出，盲反褶积算法中，正确使用点扩散函数和调制解调函数对于水下图像复原的重要性。

论文简介： 本文提出一种图像复原的新方法，该方法不需要专门的硬件、水下条件或现在知识结构只是一个与小波变换的融合框架支持相邻帧之间的时间相干性进行一个有效的边缘保留噪声的方法。该图像增强的特点是降低噪声水平、更好的暴露黑暗区域、改善全局对比、增强细节和边缘显着性。此算法不使用补充信息，只处理未去噪的输入退化图像，三个输入主要来源于计算输入图像的白平衡和min-max增强版本。结论证明，融合和小波变换方法的复原结果优于直接对水下退化图像进行去雾得到的结果。

论文简介： 本文是一篇综述性质的论文。介绍了：1、水下光学成像系统 2、图像复原的方法（对各种图像复原方法的总结） 3、图像增强和颜色校正的方法总结 4、光学问题总结。

论文简介： 论文针对普通水下图像处理的方法不适用于水下非均匀光场中的问题，提出一种基于专业区域的水下非均匀光场图像复原方法，在该算法中，考虑去除噪声和颜色补偿，相对于普通的水下图像复原和增强算法，该方法获得的复原复原的清晰度和色彩保真度通过视觉评估，质量评估的分数也很高。

论文简介： 论文基于水下图像的衰减与光的波长的关系，提出一种R通道复原方法，复原与短波长的颜色，作为水下图像的预期，可以对低对比度进行复原。这个R通道复原的方法可以看做大气中有雾图像的暗通道先验方法的变体。实验表明，该方法在人工照明领域应用良好，颜色校正和可见性得到提高。

论文简介： 作者对各种水下图像增强和复原的算法做了调查和综述，然后对自己的提高水下质量的方法做了介绍。作者依次用到了过滤技术中的同态滤波、小波去噪、双边过滤和对比度均衡。相比于其他方法，该方法有效的提高了水下目标物的可见性。

论文简介： 论文应用湍流退化模型以质量标准为导向复原因水下湍流退化的图像。参考大气湍流图像复原的算法，省略了盐分的影响，只考虑水中波动引起的湍流对水下成像的影响，应用一种自适应的平均各向异性的度量标准进行水下图像复原。经过验证，使用STOIQ的方法优于双频谱的复原方法。

论文简介： 本文提出了一种新的方法来提高对比度和降低图像噪声，该方法将修改后的图像直方图合并入RGB和HSV颜色模型。在RGB通道中，占主导地位的直方图中的蓝色通道以95%的最大限度延伸向低水平通道，RGB通道中的低水平通道即红色通道以5%的最低限度向上层延伸且RGB颜色模型中的所有处理都满足瑞利分布。将RGB颜色模型转化为HSV颜色模型，S和V的参数以最大限度和最小限度的1%进行修改。这种方法降低了输出图像的欠拟合和过拟合，提高了水下图像的对比度。

论文简介： 论文根据简化的J-M模型提出一种水下图像复原的有效算法。在论文中定义了R通道，推导估算得到背景光和变换。场景可见度被深度补偿，背景与目标物之间的颜色得到恢复。通过分析PSF的物理特性，提出一种简单、有效的低通滤波器来去模糊。论文框架如下：1.重新定义暗通道先验，来估算背景光和变化，在RGB的每个通道中通过标准化变换来复原扭曲颜色。2.根据PSF的性能，选择没有被散射的光，用低通滤波器进行处理来提高图片的对比度和可见度。

论文简介： 论文中对当代水下图像处理的复原与增强做了综述，作者阐明了两种方法的模型的假设和分类，同时分析了优缺点以及适用的场景。

参考：
https://github.com/zhenglab/UnderwaterImageRestoration/tree/master/underwater%20image%20enhancement

❷ 模糊图像复原方法

图像复原-模糊图像处理解决方案
机器视觉智能检测 2017-06-16
造成图像模糊的原因有很多，且不同原因导致的模糊图像需要不同的方法来进行处理。从技术方面来讲，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。本文将从这三方面切入剖析。

智能化设备管理技术是利用系统管理平台软件的设备管理服务，对所有的监控设备包括摄像机、云台、编码器和系统服务器进行不间断的实时监测，当发现故障时能及时通过各种方式告警，提示维护人员及时处置。一个系统可以按照网络拓扑结构部署多台设备管理服务器，分区域对设备进行实时的巡检，这样可以大大提高系统的维护效率，尽可能做到在设备发生故障时，在不超过10分钟的时间内被监测到并告警。

建设目标

本方案拟应用先进的机器学习和计算机视觉技术，仿真人类的视觉系统，针对某市公共安全图像资源前端摄像头出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡和云台失控等常见摄像头故障以及恶意遮挡和破坏监控设备的不法行为做出准确判断，并自动记录所有的检测结果，生成报表。以便用户轻松维护市公共安全图像资源系统。

技术路线

将视频故障分成视频信号缺失、视频清晰度异常、视频亮度异常、视频噪声、视频雪花、视频偏色、画面冻结、PTZ运动失控八种类型。其中视频信号缺失、随着“平安城市”的广泛建设，各大城市已经建有大量的视频监控系统，虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但是在公安工作中，由于设备或者其他条件的限制，案情发生后的图像回放都存在图像不清晰，数据不完整的问题，无法为案件的及时侦破提供有效线索。经常出现嫌疑人面部特征不清晰、难以辨认、嫌疑车辆车牌模糊无法辨认等问题，这给公安部门破案、法院的取证都带来了极大的麻烦。随着平安城市的推广、各地各类监控系统建设的进一步推进，此类问题将会越来越凸显。

模糊图像产生的原因

造成图像模糊的原因很多，聚焦不准、光学系统的像差、成像过程中的相对运动、大气湍流效应、低光照、环境随机噪声等都会导致图像模糊。另外图像的编解码、传输过程都可能导致图像的进一步模糊。总体来说，造成图像模糊的主要原因如下：

· 镜头聚焦不当、摄像机故障等;

· 传输太远、视频线老化、环境电磁干扰等;

· 摄像机护罩视窗或镜头受脏污、受遮挡等;

· 大雾、沙尘、雨雪等恶劣环境影响;

· 由视频压缩算法和传输带宽原因导致的模糊;

· 摄像机分辨率低，欠采样成像;

· 光学镜头的极限分辨率和摄像机不匹配导致的模糊;

· 运动目标处于高速运动状态导致的运动模糊等;

……

模糊图像常用解决方案

对于模糊图像处理技术，国内大学和科研机构在多年以前就在研究这些理论和应用，相关文献也发布了不少，已经取得了一些很好的应用。美国 Cognitech软件是相当成熟的一套模糊图像恢复应用软件，在美国FBI及其他执法机构中已有多年实际应用，其恢复出的图像可以直接当作法庭证据使用，可见模糊图像处理技术已经取得了相当的实际应用。

前面提到，造成图像模糊的原因有很多，要取得比较好的处理效果，不同原因导致的模糊往往需要不同的处理方法。从技术方面来讲，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。

图像增强

很多传统图像算法都可以减轻图像的模糊程度，比如图像滤波、几何变换、对比度拉伸、直方图均衡、空间域锐化、亮度均匀化、形态学、颜色处理等。就单个来讲，这些算法都比较成熟，相对简单。但是对于一个具体的模糊图像，往往需要上面的一种或者多种算法组合，配合不同的参数才能达到理想的效果。这些算法和参数的组合进一步发展成为具体的增强算法，比如“图像去雾”算法、“图像去噪”算法、“图像锐化”算法、“图像暗细节增强”算法等等。这些算法都不同程度提高了图像清晰度，很大程度改善了图像质量。

综合使用形态学、图像滤波和颜色处理等算法可以实现图像去雾的算法，图1是一个去雾算法的实际使用效果，类似的图像增强算法还有很多，不再一一列举。图像复原

图像复原与图像增强技术一样，也是一种改善图像质量的技术。图像复原是根据图像退化的先验知识建立一个退化模型，然后以此模型为基础，采用各种逆退化处理方法逐步进行恢复，从而达到改善图像质量的目的。

图像复原和图像增强是有区别的，两者的目的都是为了改善图像的质量。但图像增强不考虑图像是如何退化的，只有通过试探各种技术来增强图像的视觉效果，而图像复原就完全不同，需要知道图像退化过程的先验知识，据此找出一种相应的逆过程方法，从而得到复原的清晰图像。图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。

对由于离焦、运动、大气湍流等原因引起的图像模糊，图像复原的方法效果较好，常用的算法包括维纳滤波算法、小波算法、基于训练的方法等。图3是使用维纳滤波解决运动模糊图像的例子，取得了很好的复原效果。在知道退化模型的情况下，相对图像增强来说，图像复原可以取得更好的效果。图像超分辨率重构

现有的监控系统主要目标为宏观场景的监视，一个摄像机，覆盖一个很大的范围，导致画面中目标太小，人眼很难直接辨认。这类由于欠采样导致的模糊占很大比例，对于由欠采样导致的模糊需要使用超分辨率重构的方法。

超分辨率复原是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。其核心思想是通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率。超分辨率复原技术最初只对单幅图像进行处理，这种方法由于可利用的信息只有单幅图像，图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅高分辨率复原图像。由于序列图像复原可利用帧间的额外信息，比单幅复原效果更好，是当前的研究热点。

序列图像的超分辨率复原主要分为频域法和空域法两大类，频域方法的优点是：理论简单，运算复杂度低，缺点是：只局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的能力有限。空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等，而且具有很强的包含空域先验约束的能力。常用的空域法有非均匀插值法、迭代反投影方法（IBP）、凸集投影法（POCS）、最大后验估计法（MAP）、最大似然估计法 （ML）、滤波器法等，其中，MAP和POCS二方法研究较多，发展空间很大。对于具体的算法，不是本文的重点，这里不做详细介绍。图五是一个使用多帧低分辨率图像超分辨率重构的例子。

模糊图像处理技术的关键和不足

虽然很多模糊图像的处理方法在实际应用中取得了很好的效果，但是当前仍然有一些因素制约着模糊图像处理的进一步发展，主要如下。

算法的高度针对性

绝大部分的模糊图像处理算法只适用于特定图像，而算法本身无法智能决定某个算法模块的开启还是关闭。举例来说，对于有雾的图像，“去雾算法”可以取得很好的处理效果，但是作用于正常图像，反而导致图像效果下降，“去雾算法”模块的打开或者关闭需要人工介入。

算法参数复杂性

模糊图像处理里面所有的算法都会包含大量的参数，这些参数的选择需要和实际的图像表现相结合，直接决定最终的处理效果。就目前的算法，还没有办法智能地选择哪些是最优的参数。

算法流程的经验性

由于实际图像非常复杂，需要处理多种情况，这就需要一个算法处理流程，对于一个具体的模糊视频，采用什么样的处理流程很难做到自动选择，需要人工选择一个合适的方法，只能靠人的经验。

结语

由于环境、线路、镜头、摄像机等影响，监控系统建成并运营一段时间后，都会出现一部分的视频模糊不清的问题。

总体来说，虽然模糊图像处理算法已经取得了非常广泛的应用，但是图像算法毕竟有局限性，不能将所有问题都寄希望于图像算法，对于不同种类的模糊问题，要区别对待。对于由镜头离焦、灰尘遮挡、线路老化、摄像机故障等造成的模糊或者图像质量下降，在视频诊断系统的帮助下，一定要及时维修，从源头上解决问题。对于低光照等优先选择日夜两用型高感光度摄像机，对于雨雾、运动和欠采样等造成的图像质量下降，可以借助于“视频增强服务器”包含的各种模糊图像处理算法来提升图像质量。喜欢此内容的人还喜欢
17个教师常用网站推荐给你，再也不用到处找资源了
17个教师常用网站推荐给你，再也不用到处找资源了 ...
高校教师服务工作室
不喜欢
不看的原因
确定
内容质量低 不看此公众号
什么是水磨石？被设计师玩出新高度
什么是水磨石？被设计师玩出新高度 ...
联盟设计库
不喜欢
不看的原因
确定
内容质量低 不看此公众号

❸ 反卷积和信号复原的介绍

《反卷积和信号复原》是2001年国防工业出版社出版的图书。《反卷积和信号复原》内容大致分为三个部分：理论基础，一维信号反卷积和图像复原。其中包括：导论；数学基础；Fredholm第一类积分方程的解、规整化和计算模型；一维信号反卷积和复原；有限支持域上的图像盲目反卷积；图像反降晰；相位恢复等。

❹ CIBERSORT：反卷积推测bulk中的细胞类型

五一学了一个新的分析方法- CIBERSORT ，这个包其实很早就想学的，因为现在一般的单细胞文章的套路，很难不用到它，那么它能干什么呢？ 它能够推测出bulk RNA每一个样本中各类细胞的比例 。通俗易懂的来讲，就是能够 把bulk RNA当作single cell RNA来分析 。

实现把bulk RNA当作single cell RNA来分析主要是有两种算法 反卷积 和 ssgsea ，而CIBERSORT就是基于反卷积算法来做的，所以这篇着重介绍反卷积算法。

要想了解什么是反卷积，我们就要了解什么是卷积，我先show一张图，这张图就展示了卷积的过程

我想用一些比较容易懂的话来讲卷积，所以可能讲述或隐喻的不准确，望谅解！！！
根据这张图我们可以看出 其实bulk RNAseq就像是每一个细胞的RNA-seq卷起来的乘积，所以称为卷积（图：左边（bulk）是右边（cell）的乘积运算的结果，而这个乘积运算需要细胞的表达量和一个系数表），现在我们来解释 反卷积 ： 反卷积顾名思义反过来/不卷积，对bulkRNA的反卷积就相当于对bulk RNA进行除法，我们只要给一个系数表，就可以得到细胞的RNA表达量，那么我们就可以知道bulk中有哪一些细胞类型了 。(其实没有那么简单哈，但是大致是这样的，里面涉及到算法啥的我也不知道怎么解释，主要是也不太会哈哈哈哈）

那么根据上面的解释我们可以知道假如进行bulk RNA的反卷积，我们需要什么：
1.系数表
2.bulk RNA的表达矩阵（假如你是一个生信入门的人，你一定要注意这个，表达矩阵，什么样的表达矩阵,首先是芯片还是RNA-seq，再是count？fpkm？rpkm？cpm？CIBERSORT说的很清楚，芯片或者RNA-seq都可以，参数上选择不同而已，RNA-seq数据不建议直接使用Count，应使用FPKM和TPM或DESEq2标准化后的矩阵为宜）

首先LM22-ref.txt文件是什么，这里要从免疫浸润讲起，免疫浸润可以当作肿瘤组织中全部免疫细胞的总和，而LM22就是拿来分析免疫浸润的，所以我们用excel打开来看看这个文件吧，第一列是基因名字,后面每一列是某类细胞和他们gene symbol的系数，所以这个LM22-ref.txt文件就是我们的 系数表 (关于这个表格怎么来的可以去看其他大神的文章)

这时候我们还缺我们的 bulk RNA的表达矩阵 ，所以我们要拥有一个这样的表格，把它保存为txt文件，命名为 test.txt

然后我们就可以得到这样的result

何为个性化，就是当我们在做单细胞分析的时候，自己定义了一个群或者定义了一些细胞，想看这种细胞类型在bulk中的含量该怎么办呢，我怎么得到每一种细胞类型的系数呢？其实没有那么复杂，细胞类型的系数表其实就是 AverageExpression ，所以我们可以这样来做

后面附上sig.txt用excel打开后的样子，以免大家报错

在这里我需要强调，大家不要小看给出来的txt用excel打开后的格式，因为这是报错的主要原因，一定要跟我的格式一样，为什么呢，可以看CIBERSORT.R这个函数

写在文末，假如大家真的很想了解这个算法，强烈建议去看jimmy老师的教程，我这个只做参考！！！

References:
https://www.jianshu.com/p/03a7440c0960
https://cloud.tencent.com/developer/article/1622907
https://cloud.tencent.com/developer/article/1784632
https://mp.weixin.qq.com/s?__biz=MzAxMDkxODM1Ng==&mid=2247493507&idx=1&sn=&scene=21#wechat_redirect
https://www.jianshu.com/p/2991ef7bf993

❺ 如何通俗的理解图像处理中常见的去卷积（反卷积 or deconvolution）

所谓反卷积就是把Iout再变回Iin的过程，也就是去除了滤波器的效应。

但是这个过程往往比较困难。因为卷积操作往往会使得图像丢失信息，比如低通后的图像高频已经丢失，丢失的信息自然无法复原了。

尤其是实际中污染图像的系统往往还是未知的(噪声，人为破坏)，这就使恢复变得更为困难，在本科课程中，看见过一个最优化的恢复滤波器，即维纳滤波，其可以比较好(从误差角度上考虑)的恢复出图像原始的样子。

图像处理反卷积的应用

最早支持反卷积是因为图像去噪跟去模糊，知道图像去模糊时候会使用反卷积技术，那个是真正的反卷积计算，会估算核，会有很复杂的数学推导，主要用在图像的预处理与数字信号处理中。

本质上反卷积是一种图像复原技术，典型的图像模糊可以看成事图像卷积操作得到的结果，把模糊图像重新复原为清晰图像的过程常常被称为去模糊技术，根据模糊的类别不同可以分为运动模糊与离焦模糊，OpenCV支持对这两张模糊图像进行反卷积处理得到清晰图像。

反卷积的基本原理就是把图像转换到频率域，通过估算图像的核函数，在频率域对图像点乘计算之后，重新获取图像信息，转回为空间域。

主要操作都在频率域，转换通过离散傅里叶（DFT）变换与反变换，通过维纳滤波处理获取反模糊信息，OpenCV支持反卷积采用维纳滤波方式的去模糊，但是参数调整事一个大坑，基本上每张图像的参数都不一样，很难有相同的结果。

最近这些年，图像反模糊逐步被深度学习的方法引领，OpenCV提供的那几个函数越来越少的人知道，主要是通用性很差。

❻ 反卷积可以用什么来代替

上采样加卷积。根据相关公开信息查询显示，从卷积中分理出上采样部分。使用差值方法来resize图像，然后进行卷积处理。相较于反卷积每个输出窗口只有一个值，resize-convolution隐含地加权处理，抑制了高频假象的产生。反卷积是一种基于算法的过程，用于反转卷积对记录数据的影响。反卷积的概念广泛用于信号处理和图像处理技术。

❼ 通俗理解反卷积

卷积的原理在这里不做解释，若对于各参数都是方阵的卷积定义： i 表示输入特征矩阵的行或列，k 表示卷积核大小，s表示步长，p 表示每个维度相同的padding，则一次卷积操作之后，得到的新的特征矩阵大小为 o x o：

卷积操作本质上是一种特征抽取，数据压缩的过程，反卷积则正好相反，是一个数据扩充的过程，下面两张图片是反卷积简单示例：

反卷积也叫转置卷积，属于上采样技术范畴。

先看卷积操作的数学表达：

设有如上图三的卷积操作，i = 4, k = 2, s = 1, p = 0，x 表示输入的特征矩阵，y 表示卷积之后的输出，C 表示卷积核，定义如下：

只要好好理解一下卷积计算过程，相信对这个展开还是容易理解的。那么，y = Cx 可表示为：

所谓反卷积，其实就是上述过程的逆过程，已知（2 * 2）的 y ，想得到更大的（4 * 4）的 x ，即此时 y 是我们的输入，x 是我们的输出，x = Dy，D是反卷积过程中的采样器，和C是一样的，或者说是过滤器、权重矩阵啥的，反正就那意思。想要得到（4 * 4）的 x， 或者说（16 * 1 ）的 x， D的形状必须满足（16 * 4）,表示如下：

既然如此，D 和 C 有何关系呢？D 和 C 都是网络训练过程中的参数，参考损失反向传播理论有

❽ 反卷积法推断bulk RNA数据中的细胞组成

使用免疫检查点抑制剂增强患者对癌症的免疫反应可以说是过去十年来治疗癌症最激动人心的进展。不幸的是，只有一部分患者（通常约20％）在检查点抑制后显示出持久的免疫反应。基于预测反应生物标记物（=精密药物）的前瞻性患者选择和免疫治疗相结合，有可能进一步改变患者的治疗方式。迄今为止，已经表明免疫细胞的位置和数量可以预测标准疗法的患者预后。另外，对于像检查点抑制剂这样的抗PD1，抗PDL1和抗CTLA4药物，相关T细胞群的存在与治疗功效相关。因此，预测对免疫疗法反应的关键可能在于肿瘤病变部位的患者特异性免疫细胞组成。
从理论上讲，如果可以为每个肿瘤相关细胞建立参考基因表达谱（RGEP），则可以从其整体基因表达谱推断出实体瘤的免疫，肿瘤和基质细胞含量。从数学上讲，这类反推问题称为反卷积。迄今为止，已经描述并证实了大量基因表达的反卷积用于血液系统恶性肿瘤，其中可以从外周血单核细胞（PBMC）建立RGEP。这种方法在理论上已应用于实体瘤，但直到最近，仍无法通过实验验证这种推断。对于外周血中不存在的细胞类型（例如内皮细胞（EC）和与癌症相关的成纤维细胞（CAF）），很难获得它们的RGEP，而且尚不清楚免疫细胞的基因表达谱在多大程度上改变肿瘤浸润。但是，随着单细胞RNA测序（scRNA-seq）技术的出现，现在可以确定浸润肿瘤的免疫细胞，肿瘤相关的非恶性细胞以及来自同一实体瘤的单个肿瘤细胞的基因表达谱。
我们收集并研究了来自三个不同的主要人类组织来源的11,000多个单细胞的RNA-seq基因表达谱：为了表征与肿瘤微环境相关的细胞，我们获取了19名黑素瘤患者的数据；我们获取来自四个健康受试者的PBMC的数据以表征基线免疫细胞基因表达图谱；最后，我们从四个卵巢癌腹水样本中生成了免疫和肿瘤细胞基因表达谱。在下文中，我们显示了来自肿瘤相关免疫细胞和来自PBMC的基因表达谱有很大不同。因此，从PBMC获得的参考谱不足以使黑素瘤肿瘤样品的总体谱解卷积。我们发现，来自不同患者的适应症特异性免疫细胞RNA-seq谱图彼此足够相似，可以为每种细胞类型定义一个共有谱图，并且这些共有谱图可以对肿瘤bulk谱图进行准确的反卷积。我们的结果表明，特定的RGEP的产生对于从大量基因表达数据中可靠地估算肿瘤成分而言既必要又充分。我们的方法揭示了与肿瘤相关的细胞类型，而这些类型的细胞不能由来自PBMC的RGEPs估计。我们可以识别出九种不同的细胞类型，包括免疫细胞，CAF，EC，卵巢癌细胞和黑色素瘤细胞。此外，用于免疫细胞的RGEP可以用于根据特定的大量基因表达数据来估计肿瘤细胞的未知基因表达谱。我们的工作强调了生成针对每种感兴趣适应症的RGEP的重要性。

首先，为了研究随着免疫细胞从外周血转移到肿瘤微环境而基因表达谱变化的程度，我们比较了三种人类数据集的免疫细胞scRNA-seq谱图：（1）来自四个健康受试者的外周血4000个单细胞的数据集； （2）来自19个黑色素瘤患者样品的4645个肿瘤来源的单细胞的数据集，以及来自四个卵巢癌腹水样品的3114个单细胞的未公开数据集。单细胞RNA-seq数据需要仔细的数据处理和规范化，尤其是在比较来自不同来源和测序技术的数据时。为了表征单个细胞并说明其基因表达谱中的全基因组相似性和差异性，我们应用了降维技术t分布随机邻居嵌入（t-SNE）。这是一种无监督的机器学习算法，可将每个单细胞置于二维平面中。基因表达谱相似的细胞彼此靠近放置，如果它们之间的差异更大，则相距更远。图1a显示与特定细胞类型相关联且来自不同数据源的簇会自发出现。补充图1中显示了具有特定细胞的颜色编码的t-SNE映射，而不是特定于数据源的聚类。使用汇总的单细胞数据集，我们开发了一种分类方法，该方法可以识别细胞类型，而与数据源无关。我们可以识别和分类9种主要细胞类型：T细胞，B细胞，巨噬细胞/单核细胞，自然杀伤（NK）细胞，树突状细胞（DC），CAF，EC，卵巢癌细胞和黑色素瘤细胞。所有未通过任何特定像元类型的分类阈值的其余像元均被指定为“未知”。有趣的是，“未知”细胞大多位于T细胞簇中，这表明某些T细胞比其他细胞类型的细胞更难分类。但是，每个样本中“未知”细胞的百分比通常非常低（<0.03％）。此外，我们可以将T细胞分为三种亚型：CD4 +，CD8 +和调节性T细胞（Treg）。建议将CD4 +或CD8 + T细胞与免疫抑制性Treg的比例作为免疫活性与非活性肿瘤对抗的标志物。尽管我们的方法可以轻松扩展为包括其他细胞和进一步的细分，但我们将自己限制在九种主要细胞类型中，以对我们的分类算法进行基准测试。如先前报道 并在补充图2中所示，恶性肿瘤细胞和相关的成纤维细胞按患者聚集，非恶性细胞按细胞类型聚集。肿瘤活检应包含来自肿瘤血管和最近渗出的免疫细胞的免疫细胞。因此，预期PBMC和肿瘤相关免疫细胞之间部分重叠。我们分析了每个确定的群集的平均基因表达谱之间的成对相似性。通过单细胞比较，该分析更加定量且更可靠。图1b中显示的结果表明，大多数簇虽然不同，但与来自相同细胞类型的簇最密切相关。这是重要的质量控制步骤，可以确认通过数据处理和标准化策略已成功减轻了潜在的批次影响（请参见“方法”部分）。 Treg在三个不同的数据集上似乎是最不同的，可能表示环境决定性亚群。但是，微环境对基因表达有明显且可量化的影响。在下文中，我们将解决以下问题：基于PBMC的基因表达谱是否与在肿瘤微环境中观察到的结果是否相似；以及PBMC衍生的基因表达谱如何影响bulk表达数据去卷积的质量。
首先，我们观察到每种细胞类型的频率对于每种样品似乎是不同的，如图1c所示。 与跨腹水或黑色素瘤样品的细胞组成相比，来自不同供体的PBMC样品的细胞组成彼此更为相似。 我们基于基于scRNA-seq的分类法对先前预测的所有黑色素瘤样品的结果进行了验证，从而验证了预测的细胞组成。 此外，我们通过荧光激活细胞分选（FACS）实验比较了所有腹水样品的预测细胞组成。 如图2所示，我们的分类与先前发布的结果和我们的FACS测量结果一致。

免疫细胞的微环境特异性基因表达谱以及给定样品的真实表达图谱可通过scRNA-seq获得，并可作为基准反卷积方法的基础。我们研究了bulk基因表达数据（例如黑色素瘤样品）的去卷积结果如何受微环境特定变化和患者之间差异的影响。作为反卷积的基准，我们通过对27个样本中的每个样本的所有单细胞基因表达数据以及不同组的REGP进行聚合，通过对组织来源和患者进行平均的不同策略，构建了人工“bulk”基因表达数据。我们使用五个不同的RGEP比较给定样品的推断的先验已知细胞组成（参见图3进行说明）：首先，RGEP1仅从PBMC数据集导出。因此，在这种情况下将无法获得与肿瘤相关的细胞类型的估计值。第二个是RGEP2，是从三个数据集（PBMC，黑色素瘤和腹水）中每种细胞类型得出的。第三，RGEP3是数据集/指示类型和细胞类型特定的。作为其他基准，我们设置了两个控制方案 （CNTR1和CNTR2），它们是RGEP3的扩展，并包括特定患者的信息。这些场景当然不适用于现实世界，但可用于评估患者特定信息的相对重要性。 CNTR1仅将患者特定的配置文件用于恶性细胞，并将共识配置文件用于每种非恶性细胞类型。 CNTR2对所有细胞类型使用特定于患者的配置文件。原则上，CNTR2作为使用反卷积方法在技术上可行的上限。

为了比较五种可能的RGEP及其对反褶积精度的影响，我们使用CIBERSORT反褶积方法从27个构建的整体表达数据集中估算了细胞组成。该方法旨在对噪声，未知混合物和紧密相关的细胞类型具有更高的鲁棒性。已显示CIBERSORT优于其他基于体外细胞混合物基准测试的方法。 CIBERSORT算法最初是为微阵列数据的反卷积开发的。在这里，我们证明了该算法也可以应用于RNA测序数据，如果使用源自相同技术的RGEP来表征细胞类型，也可以应用该算法。所有反卷积都是使用一组基因进行的，其中包括1076个基因特征，这些基因特征可最大程度地区分各种细胞类型。对于每种细胞类型，将估计比例与27个构建样品中的真实比例进行比较（图4a）。估计细胞组成与真实细胞组成之间的皮尔逊相关系数用作预测准确性的量度（图4b）。通过使用均方根偏差（RMSD）获得定性相似的结果（参见补充图3）。对于T细胞，每个亚群分别进行估算。在图4中，将所有T细胞亚群的估计值相加以获得每个样本的总T细胞比例。单个T细胞子集的结果在图5中单独考虑。总的来说，基于RGEP1的估计（Pearson相关性ρ= 0.82）不如RGEP2和RGEP3或CNTR1和CNTR2的准确度（Pearson相关性ρ≥0.98）。对于RGEP1，由于没有与肿瘤相关的细胞类型的参考资料，未知细胞的真实比例要比其他RGEP大，估计质量中等（皮尔森相关系数ρ= 0.65）。

对于RGEP2和RGEP3，以及对于CNTR1和CNTR2，未知细胞的真实比例很小，可以忽略不计。如果细胞的真实比例很小，则相关性不是判断准确性的好方法。对于RGEP1，对于T细胞（皮尔森相关度ρ= 0.88，此处未区分为亚型），B细胞（皮尔森相关度ρ= 0.99）和巨噬细胞/单核细胞（皮尔森相关度ρ= 0.99），估计效果良好。但是，在所有其他设置下（皮尔逊相关系数ρ≥0.99），精度会进一步提高。对于RGEP1，对DC的估计（皮尔森相关度ρ= -0.04）较差，而对NK细胞的估计中等（皮尔森相关度ρ= 0.78）。对于RGEP2（皮尔森相关系数ρ= 0.82）和RGEP3（皮尔森相关系数ρ= 0.95），DC的估计有了很大的提高。 DC的估计值对于CNTR1仍略有改善（Pearson相关性ρ= 0.97），但仅在CNTR2时才达到最大值（Pearson相关性ρ= 1.00），这表明DCs的基因表达在很大程度上取决于分离的来源，这是一致的有证据表明DC的不同亚群在免疫力的产生中高度特异化。相对于CNTR1（皮尔森相关度ρ= 0.96）和CNTR2（皮尔森相关度ρ= 1.00），RGEP2（皮尔逊相关度ρ= 0.82）对NK细胞的估计略有改善，并且在RGEP3（皮尔逊相关度ρ= 0.95）中接近最佳状态。对于RGEP2至CNTR2，可获得与肿瘤相关的细胞类型（CAF，EC和恶性细胞）的估计值，并且可以对其进行准确估计（Pearson相关性ρ≥0.95）。有趣的是，在纳入患者特定信息后，对恶性细胞的估计并没有太大改善，这表明使用共识谱进行反卷积是可行的。这可能因为肿瘤细胞通常与非恶性细胞有很大的不同，非恶性细胞使它们的去卷积更容易（见图1b）。对于CNTR2，与其他设置（Pearson相关性ρ〜0.95）相比，ECs和CAF的准确性更高（Pearson相关性ρ= 1.00），这表明这些细胞类型的基因表达受患者特定的微环境影响。有趣的是，当考虑到二等分的距离（如图4所示）作为估计精度的度量时，我们发现它与真实的细胞类型比例无关。但是，每种细胞类型的总体精度都不同。

考虑到T细胞比率对治疗结果的重要性，我们进一步分析了T细胞亚群以及治疗相关T细胞比率的估计准确性（图5）。出乎意料的是，对于CD8 + T细胞，所有RGEP的估算结果都是准确的（皮尔森相关ρ〜0.95）。对于CD4 +细胞和调节性T细胞，使用RGEP1的估计结果仅中等（皮尔逊相关系数ρ= 0.63和ρ= 0.43），而对于RGEP2则明显改善（皮尔逊相关系数ρ= 0.87和ρ= 0.94）。这也反映在达到RGEP2准确估计值的Treg / CD4 +，CD8 + / Treg和CD4 + / CD8 + T细胞的比率（皮尔森相关系数ρ= 0.94，ρ= 0.96和ρ= 0.93）。对于CNTR1，所有T细胞亚群和比率的估计值均不会显着改善，而对于CNTR2，它却会有所改善（皮尔森相关系数ρ= 1.00），这表明T细胞的基因表达受患者特定的微环境影响。总而言之，使用基于适应症特异性基因表达谱（RGEP3）的共有基因表达谱进行反卷积足以获得样品细胞组成的可靠估计值，而无需有关各个细胞类型的患者特异性数据。使用基于外周血数据（RGEP1）或基于所有三个数据集/指标的平均值（RGEP2）的基因表达谱进行反卷积的准确性大大降低。当考虑到两等分的距离（如图5所示）作为估计准确度的一种度量时，我们发现对调节性T细胞的估计过高。调节性T细胞的估计与表达形式相似的非调节性CD4 + T细胞的估计混淆。由于非调节性CD4 + T细胞的总百分比高于调节性T细胞的百分比，因此对非调节性CD4 + T细胞存在相应的低估，这种估计并没有那么明显。尽管这些T细胞亚型存在这种偏见，但临床上相关T细胞比例的估算并没有受到影响。

为了探索相似细胞类型表达谱或缺失细胞类型谱对估计准确性的影响，我们系统地评估了一次从RGEP3中删除一个细胞类型表达谱的情况（补充图4）。对于大多数情况和细胞类型，估计精度不受其他细胞类型表达谱删除的影响。 CD4 + T细胞，巨噬细胞/单核细胞和恶性细胞类型的估计准确性对所有变化都具有鲁棒性。我们观察到一些更紧密相关的细胞类型的估计准确性降低。去除CD4 + T细胞会影响CD8 + T细胞估计的准确性，同时去除CD8 +或CD4 + T细胞会影响调节性T细胞的估计准确性。去除巨噬细胞/单核细胞会影响B细胞的准确性。去除B细胞或巨噬细胞/单核细胞会影响树突状细胞的准确性。 NK细胞的准确性受去除CD8 +或CD4 + T细胞的影响。去除黑素瘤细胞谱会影响内皮细胞和CAF的准确性。为了确定使用替代基因集进行反卷积的影响，我们使用性能最佳的RGEP3和四个其他基因集以及三种替代反卷积算法重复了分析。有趣的是，与RGEPs的来源和质量的影响相比，不同基因集和反卷积算法的影响相对较小（参见补充图5）。 CIBERSORT与合并的基因组结合提供了最佳的总体结果。

使用源自单细胞RNA测序数据的RGEP，我们确定RGEP的来源和质量会影响反卷积方法的准确性。因此，我们建议将源自感兴趣组织的单细胞RNA测序数据衍生的RGEP用于bulk反卷积。但是，将通过常规卷积RNA测序获得应用去卷积方法的临床数据。因此，重要的是证明源自单细胞RNA测序的RGEP适用于通过bulk RNA测序测量的数据。为了验证实际（而非人工）批量数据上的去卷积结果，我们另外对四个卵巢癌腹水样品中的三个进行了批量RNA测序，并使用RGEP3应用了去卷积方法来获得样品细胞组成的估计值。此外，使用相同的三个样品，我们通过FACS和单细胞RNA测序，然后进行算法细胞类型分类，对实验中的细胞组成进行了定量。图6a显示了这三个样品的数据生成示意图，图6b显示了对通过三种不同方法获得的结果的定量比较（有关详细信息，另请参见补充表1和2）。总体而言，结果吻合良好。由于所有这三种方法均具有固有偏差，因此它们仅提供了样品细胞组成的估计值。偏差是可以预料的，并且可能源于样品处理的差异，这些差异会给较脆弱的免疫细胞带来压力。在我们的验证数据中，当通过FACS定量时，我们始终观察到对巨噬细胞/单核细胞群体的估计减少。基于单细胞的分类一致地估计了该样品集中巨噬细胞/单核细胞的最高比例。类似地，解卷积方法始终估计较低比例的CD4 + T细胞，并且类似地针对低丰度树突状细胞和NK细胞群体。

尽管使用RGEP3是适应症特异性的，但不是患者特异性的，可以从大量基因表达数据中准确估计任何给定患者活检的细胞组成，但不同患者之间恶性细胞的基因表达谱差异最大。肿瘤细胞中基因表达的差异有望在预测对传统疗法（包括靶向疗法和化学疗法）的反应中发挥关键作用。这样，在解卷积之后估计患者特异性肿瘤细胞谱也是感兴趣的。如果对于每种非恶性细胞类型和适应症均存在共有的表达谱，则可以通过简单地从总体概况中减去每种非恶性细胞类型的概况并按其推断的比例加权来获得患者特异性肿瘤细胞概况。然而，实际上，总体概况将始终被不存在共有概况的细胞（“未知”细胞）“污染”。例如，嗜中性粒细胞未在scRNA-seq数据中显示，因为它们难以分离，离体后高度不稳定，因此难以用当前的单细胞分离方法保存。使用scRNA-seq数据，我们计算了每个患者样品的估计肿瘤细胞表达谱，并将它们与真实肿瘤细胞谱进行了比较（图7a）。由于某些基因（例如管家基因）在所有细胞之间相关，而与细胞类型无关，因此，预期会有一定的基线相关性。我们通过将非恶性细胞的基因表达谱与真实的肿瘤细胞基因表达谱相关联来估计该基线相关性。我们观察到所有样本的基线皮尔逊相关系数ρ为0.7–0.8，而与样本中肿瘤细胞的估计比例无关。如所预期的，随着肿瘤细胞含量的增加，肿瘤细胞表达的估计准确性得以提高（图7b）。值得注意的是，当样品中肿瘤细胞的估计比例超过20％时，估计的肿瘤细胞基因表达谱与真实谱显示ρ> 0.9的皮尔逊相关性。与未经校正的整体基因表达谱相比，肿瘤细胞多于20％但少于70％的样品中预测的肿瘤细胞基因表达谱与真实的肿瘤细胞基因表达谱具有更好的相关性。如果样品包含超过70％的肿瘤细胞，则整个样品的基因表达谱已经被肿瘤细胞所主导，并且不需要任何减法。对于肿瘤细胞少于20％的样品，减法不能改善估计，因为肿瘤细胞基因表达的信号很低。另外，整个样品的基因表达图谱也没有提供关于阴性对照的肿瘤细胞谱图的信息，在这种情况下是非肿瘤谱图。总之，对于肿瘤细胞含量在20％至70％之间的解卷积的样品，其基因表达谱得到了显着改善。