① 压缩感知理论基本介绍
姓名:王鑫磊
学号:21011110262
学院:通信工程学院
【嵌牛导读】压缩感知是信号处理领域进入21世纪以来取得的最耀眼的成果之一,并在磁共振成像、图像处理等领域取得了有效应用。压缩感知理论在其复杂的数学表述背后蕴含着非常精妙的思想。基于一个有想象力的思路,辅以严格的数学证明,压缩感知实现了神奇的效果,突破了信号处理领域的金科玉律——奈奎斯特采样定律。即,在信号采样的过程中,用很少的采样点,实现了和全采样一样的效果。
【嵌牛鼻子】压缩感知,欠采样,稀疏恢复
【嵌牛提问】压缩感知相比奈奎斯特采样定律的主要突破是什么?
【嵌牛正文】
1.CS的初步理解
CS是一个针对信号采样的技术,是在采样过程中完成数据压缩的过程。我们知道在对模拟信号按一定采样频率进行采样并得到数字信号的过程中,要想完整保留原始信号中的信息,采样频率必须大于信号中最高频率的2倍(奈奎斯特采样定理)。但Candes等人又提出了,如果信号在频域是稀疏的,那么它可以由远低于采样定理要求的采样点重建恢复。Nyquist定理中的采样为等间距采样,若采样频率低必然会引起混叠,如果不等间距采样呢?如果是随机采样呢?随机采样必然会发生频谱泄露,但泄露会均匀分布在整个频域且泄露值都较小,而最大的几个峰值可以通过设置阈值检测出来,从而有了恢复出原始信号的可能。
图1展示了一原始的模拟信号在频域是稀疏的,仅由三个频率分量组成,为了得到数字信号,首先要在时域对其进行采样,根据压缩感知理论,可以在时域进行随机亚采样,之后得到的频谱会产生如图所示的泄露,但可以通过阈值检测求出原始信号的真实频率分量,从而恢复出原始信号。
2. CS的数学模型
CS有两个前提条件:
假设:x是长度为N的原信号,稀疏度为k,它是未知的;Φ为测量矩阵,对应采样过程,也就是压缩的过程,如随机采样,是已知的;采样后的结果为:y=Φx,也是已知的;因此压缩感知问题是:在已知测量值y和测量矩阵Φ的基础上,求解原信号x的过程。然而一般信号x本身并不稀疏,需要在某种稀疏基上进行稀疏表示,即x=Ψs, 其中s为稀疏向量,即为所求的稀疏信号;Ψ为稀疏基矩阵,也叫稀疏变换矩阵,如傅里叶变换。
于是最终问题表示为:
y = ΦΨs = Θs (1)
已知y,Φ,Ψ,求s, Θ称为感知矩阵。感知矩阵需要满足约束等距原则(RIP),因此需要测量矩阵Φ和稀疏基Ψ满足不相关,即采样过程与稀疏过程不相关。Candes等人又找到了独立同分布的高斯随机测量矩阵可以称为普适的压缩感知测量矩阵,于是满足高斯分布的随机测量矩阵就成了CS最常用的观测矩阵。
3. CS的常用方法
已知(1)方程有无数解,因此需要通过增加约束来得到唯一解。方程是稀疏的,因此我们需要找到这个方程里所有解中最稀疏的内个就行了。
求解上述方程一般有三种思路:凸优化算法,贪婪算法,贝叶斯理论。CS常用算法有:
基追踪重构算法 (Basis Pursuit, BP):BP算法是一种凸优化方法。
正交匹配追踪算法 (OMP):OMP属于贪婪算法。
阈值迭代算法 : 包括软阈值迭代(ISTA)和迭代硬阈值(IHT)。ISTA的一种改进方法为快速阈值迭代(FISTA)。
【嵌牛参考】
[1]. Dandes, E. J. . “Near-optimal signal recovery from random projections.” Universal encoding strategies IEEE Transactions on Information Theory 52(2006).
[2]. Donoho, D. L. . “Compressed sensing.” IEEE Transactions on Information Theory 52.4(2006):1289-1306.
② 压缩感知
【嵌牛导读】:传统基于奈奎斯特定律的信号采样方法暴露出来的缺点越来越多,几年来一种新的理论----压缩感知打破了奈奎斯特采样定理(采样速率大于信号最高频率的两倍),成为了新的研究热点。
【嵌牛鼻子】:压缩感知;信号采集;欠奈奎斯特采样;正交匹配追踪
【嵌牛提问】:压缩感知的原理?
【嵌牛正文】:
2004年,D.Donoho等人提出了压缩感知理论,Tao T等人在此基础上进行了改进[ ],为超宽带信号采集问题的解决开辟了一条新的道路。该理论是假设待采样信号在某个空间内具有稀疏的特性(只有少量的非零元素),利用测量矩阵将高维的稀疏信号投影为低维的测量值,从而完成对信号的压缩。然后通过优化求解的方法,可以精确重构出原始信号。该理论将压缩和数模变换合围一体,利用低采样率完成对宽带信号的压缩采样,降低了对AD器件性能的要求,具有十分良好的发展前景,其系统框图如下图所示。
压缩感知主要分为三个部分:信号稀疏表示、压缩测量、信号重构。
信号稀疏表示:
首先介绍一下压缩感知中十分重要的几个概念。
稀疏性:如果一个向量的大多数元素都为0,只有少量元素具有有效值,那么这个向量就具有稀疏性[ ]。
稀疏度:如果一个向量中非零元素个数小于N,即‖x‖_0
压缩测量:
压缩测量是压缩感知中非常重要的一步,其关键在于压缩矩阵的选择。压缩矩阵的作用就是将高维的信号映射为低维的输出信号,完成信号的压缩测量。测量过程可以用下式表示。
令测量矩阵A_(l*n)=φ_(l*n)*Ɵ_(n*n),上式可简化为下式:
如果要求信号能够重构,那么这种映射应该是一一对应的,即特定的µ只能映射为唯一的y。这样的唯一性是保证信号能够精确重构的前提。为了满足这样的重构条件,测量矩阵A必须满足一定的条件。T.TAO等人提出为此提出了RIP条件(受限等距特性)。如果A能满足下式的不等式:
上式表示在测量矩阵满足RIP条件时,重构出的信号的误差在相当小的一个范围内。经过上面的讨论,我们就为精确重构出信号提供了理论上的保障。
信号重构:
重构算法是压缩感知的核心内容和最后一步,其恢复精确度和算法复杂程度决定了采样系统的可行性和实用性。由采样输出y_(l*1)求解输入信号µ_(n*1)是一个未知数个数多余方程个数的欠定方程。通常情况下其解有无数个,需要进行优化求解来确定最优解。
常用的优化求解算法为:贪婪算法,凸优化算法和组合算法。
AIC(模拟信息转换器), 其结构如下图所示。
单像素相机
每次只取一个像素点,随机取若干次。运用算法对所取的像素值进行处理,恢复出原始信号
医学成像
③ 如何学习凸优化课程
[book-optimization.rar]-这是一本讲解最优化的书籍,是全英文的。这是一部经典的外国教材,对最优化问题阐述的非常之精辟[Optimal.rar]-几个凸优化函数,用于解决非约束和带约束条件的凸优化问题[stanford_convex_optimization_book.rar]-国外的经典的有关于凸优化数学方面的教材,值得研究有关优化方面的研究者学习[convex_analysis_foundation.zip]-凸分析基础中文教材。纯粹这方面的资料不多(多为凸优化之类),中文的书籍更难找,有用该方面知识的同行多多交流。[ConvexOptimization.rar]-凸优化问题经常出现在许多不同的领域。全面介绍了主题,这本书展示了如何解决这些问题都可以高效率地详细数字。其重点是识别凸优化问题,然后找到解决他们最合适的技术。文本包含许多实例和作业练习,并会提出问题,如工程,计算机科学,数学,统计,金融,经济领域的学生,研究者和实践者。[cvx.zip]-斯坦福大学凸规划的程序,很经典,多次在IEEE的文章中出现[convex_optimization.rar]-凸优化程序包,包含各种凸优化算法,可供方便调用.[signal_decomposition_by_bp.rar]-基于基追踪(basispursuit)对信号进行稀疏表示的算法[cvx.zip]-凸规划建模系统,包含用户手册,有助于学习压缩感知。[grads.rar]-最优化理论与算法(第2版)这本书中的课后作业。用C实现的一些具体算法。
④ 谁懂利用CVX优化方面的知识,比如简单说一下CVX的凸优化原理,或者提供一些资料,非常感谢,有用再加分
[ book-optimization.rar ] - 这是一本讲解最优化的书籍,是全英文的。这是一部经典的外国教材,对最优化问题阐述的非常之精辟 [ Optimal.rar ] - 几个 凸优化 函数,用于解决非约束和带约束条件的凸优化问题 [ stanford_convex_optimization_book.rar ] - 国扰咐迹外的经典的有关于 凸优化 数学方面的教材,值得研缓并究有关优化方面的研究者学习 [ convex_analysis_foundation.zip ] - 凸分析基础 中文教材。简圆纯粹这方面的资料不多(多为 凸优化 之类),中文的书籍更难找,有用该方面知识的同行多多交流。 [ ConvexOptimization.rar ] - 凸优化 问题经常出现在许多不同的领域。全面介绍了主题,这本书展示了如何解决这些问题都可以高效率地详细数字。其重点是识别凸优化问题,然后找到解决他们最合适的技术。文本包含许多实例和作业练习,并会提出问题,如工程,计算机科学,数学,统计,金融,经济领域的学生,研究者和实践者。 [ cvx .zip ] - 斯坦福大学凸规划的程序,很经典,多次在IEEE的文章中出现 [ convex_optimization.rar ] - 凸优化 程序包,包含各种凸优化算法,可供方便调用. [ signal_decomposition_by_bp.rar ] - 基于基追踪(basis pursuit)对信号进行稀疏表示的算法 [ cvx .zip ] - 凸规划建模系统,包含用户手册,有助于学习压缩感知。 [ grads.rar ] - 最优化理论与算法(第2版)这本书中的课后作业。用C 实现的一些具体算法。
⑤ 毕业设计--基于压缩感知的重构算法性能比较(贪婪算法和凸优化算法)求指导
于压缩感知的重构算法性能比较(贪婪算法和凸优化算
肯定
的