pythonica分析

Ⅰ ICA有哪些应用

ica的应用：
ICA 的主要应用是特征提取、盲源信号分离]、生理学数据分析]、语音
信号处理、图像处理及人脸识别等. 在这部分, 我们综述一下ICA 的主要应用范例.
1在脑磁图(MEG) 中分离非自然信号
脑磁图是一种非扩散性的方法. 通过它, 活动或者脑皮层的神经元有很好的时间分辨率
和中等的空间分辨率. 作为研究和临床的工具使用M EG 信号时, 研究人员面临着在有非自
然信号的情况下提取神经元基本特征的问题. 干扰信号的幅度可能比脑信号的幅度要高, 非
自然信号在形状上像病态信号. 在文献[36 ]中, 作者介绍了一种新的方法( ICA ) 来分离脑活
动和非自然信号. 这种方法是基于假设: 脑活动和非自然信号(像眼的运动或眨眼或传感器
失灵) 是解剖学和生理学上的不同过程, 这种不同反映在那些过程产生的磁信号间的统计独
立性上. 在这之前, 人们用脑电图(EEG) 信号进行过试验[ 37 ] , 相关的方法见文献[43 ].
试验结果表明, ICA 能很好地从M EG 信号里分离出眼运动及眨眼时的信号, 还能分离
出心脏运动、肌肉运动及其它非自然信号. Fast ICA 算法是一个很合适的算法, 因为非自然
信号的去除是一个交互式的方法, 研究者可以很方便地选择他所想要的独立成分的数目. 除
了减少非自然信号外, ICA 还能分解激活区[ 38 ] , 使我们直接访问基本的脑功能成为可能. 这
一点在神经科学的研究领域将很可能起非常重要的作用, 我们也正从事将ICA 运用到fM 2
R I 数据分析这方面的工作.
2在金融数据中找到隐藏的因素
将ICA 用在金融数据中是一个探索性的工作. 在这个应用中存在许多情况(并行的时
间序列) , 例如流通交易率或每日的股票成交量, 这里存在一些基本的因素, ICA 可以揭示一
些仍隐藏着的驱动机制. 在近年来的证券研究中, 人们发现ICA 是对PCA 的一种补充工
具, 它允许数据的基本结构能更轻易地观察得到. 在文献[ 44 ]中, 将ICA 用在了不同的问题
上, 属于同一个销售链的商店的现金流量, 尽量找到对现金流量数据有影响的一些基本因
素. 对独立成分的假设有可能不现实, 例如假期和年度的变化, 顾客购买力的变化, 政府和经
营策略(像广告) 等等因素, 通通假设它们之间是相互独立的. 通过ICA , 利用现金流量时间
序列数据, 能分离出一些基本的影响因素和它们的权重, 并且以此还能对商店进行分组. 对
于试验和解释, 详细情况请参见文献[44 ].
3自然图像中减少噪声
第三个例子是为自然图像找到ICA 过滤器. 它是基于ICA 分解, 从被高斯噪音污染的
自然图像中去掉噪声. 文献[45 ]采用了一些数字的自然图像, 向量x 代表了图像窗口的像素
(灰度) 值. 注意, 相对前面的两个应用, 这次考虑的不是多值的时间序列或图像随时间而改
变, 相反元素x 已经由图像窗口的位置固定不变了. 采样窗口采样的是随机位置, 窗口的
22D 结构在这里并不重要, 一行一行的扫描整幅图像使其变成像素值的向量. 实验结果发
现, 没有经过边界的模糊及锐化操作, 窗口的大部分噪声被去掉了, 详细的情况参见文献
当前去噪声方式有许多, 例如先作DFT 变换, 然后在作低通滤波, 最后作IDFT 恢复图像, 这种方式不是很有效. 较好的方法是近年来发展起来的小波收缩方法(它用到了小
波变换) 和中值滤波. 但这些对图像统计量来说并没有很好的优越性. 近年来又发展了一
种统计原理的方法, 叫稀疏代码收缩法 , 该方法与独立成分分析法非常接近.
4人脸识别
人脸识别从20 世纪70 年代开始一直是一个很活跃而且很重要的研究领域, 当时比较
常用的方法是主成分分析(PCA ) 和本征脸. 后来,Bart let t 和Sejnow sk i 提议用ICA 来表示
人脸.
将ICA 运用到人脸识别, 随机变量为训练的图像. x i表示一个人脸的图像. 用m 个随机
变量来构造一个训练图像集{x1, x2, ⋯, xm }, 这些随机变量被假设为n 个未知独立成分s1,
⋯, sn的线性组合. 采用前面所讲过的矩阵的记法: X = (x1, x2, ⋯, xm ) T , S = (s1, s2, ⋯, sn ) T ,
则有X = A S. 从这个表达式可看出, 每个图像x i由s1, s2, ⋯, sn与ai1, ⋯, ain的线性组合来表
示. 因此, 混合矩阵A 也称特征矩阵, 可看作是所有训练图像的特征. 与PCA 相比, ICA 有
如下几个优点: 1) ICA 是从训练信号里去高阶统计量的相关性, 而PCA 则只对二阶统计
量去相关性; 2) ICA 基向量比PCA 基向量在空间上更局部化, 而局部特征对人脸表示很
重要; 3) 实践证明, ICA 基向量识别精度比PCA 要高. 为此, ICA 可以作为模式识别分类
的一个预处理步骤.
5图像分离
我们曾用Fast ICA 算法将三幅混合图像进行了成功的分离. 仿真结果表明, 原图像与
分离出来的图像十分相似, 而且每次迭代的次数不超过15 次, 计算量非常小. 下一步, 我们
的的工作是对快速定点算法进行改进, 争取在节省内存方面取得一定的成效.
6语音信号处理
ICA 最经典的应用是“鸡尾酒会“问题. 在n 个麦克风记录的n 个声音源中, 通常仅仅希
望得到其中感兴趣的一个声音源, 而把其他的声音源视为噪声. 如果仅一个麦克风, 我们可
以用普通的去噪声方法来去噪声, 例如, 线性滤波, 小波或稀疏码收缩方法. 当然, 这种去噪
声的方法不是很令人满意. 我们能利用多个麦克风来收集更多的数据, 以便更有效的去噪
声. 因为在现场麦克风的位置是任意的, 而且混合过程也未知, 为此必须实行盲估计. 采用的
方法就是, 盲源信号分离中的一种, 即ICA 方法.
7远程通信
最后, 提一下另外一个很有潜力的应用——远程通信. 实时通信的应用例子是, 在CD2
MA 移动通迅[ 48 ]里, 从有其他用户干扰的信号里分离用户自己的声音. 这个问题从某种意
义上说, 在CDMA 数据模型中预先给出了一些优先信息. 但是需估计的参数数目很大, 因此
选定某种合适的信号分离方法, 它考虑了这种优先信息, 从而产生了比传统估计方法更优越
的性能.

Ⅱ 为什么要进行知识建模,知识建模的方法是什么

1.为什么要进行知识建模:因为知识建模通常是知识的逻辑体系化过程,主要指应用知识来解决各种工程问题，自动完成工程中各种繁琐和重复的工作。

2.知识建模的方法:

一、主成分分析

降维，找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。

1. 对样本数据进行中心化处理；

2. 求样本协方差矩阵；

3. 对协方差矩阵进行特征值分解，将特征值从大到小排列；

4. 取特征值前 n 个最大的对应的特征向量 W1, W2, …, Wn ，这样将原来 m 维的样本降低到 n 维。

通过 PCA ，就可以将方差较小的特征给抛弃，这里，特征向量可以理解为坐标转换中新坐标轴的方向，特征值表示在对应特征向量上的方差，特征值越大，方差越大，信息量也就越大。这也是为什么选择前 n 个最大的特征值对应的特征向量，因为这些特征包含更多重要的信息。

PCA 是一种线性降维方法，这也是它的一个局限性。不过也有很多解决方法，比如采用核映射对 PCA 进行拓展得到核主成分分析(KPCA)，或者是采用流形映射的降维方法，比如等距映射、局部线性嵌入、拉普拉斯特征映射等，对一些 PCA 效果不好的复杂数据集进行非线性降维操作。

二、线性判别分析：还需要一个投影方向，适合带类别信息。

三、独立成分分析：PCA特征转换降维，提取的是不相关的部分，ICA独立成分分析，获得的是相互独立的属性。ICA算法本质寻找一个线性变换 z = Wx，使得 z 的各个特征分量之间的独立性最大。

四、随机森林：集成思想，涉及到决策树和集成学习，将若干个弱分类器的分类结果进行投票选择，从而组成一个强分类器。

随机森林的既可以用于回归也可以用于分类任务，并且很容易查看模型的输入特征的相对重要性。随机森林算法被认为是一种非常方便且易于使用的算法，因为它是默认的超参数通常会产生一个很好的预测结果。超参数的数量也不是那么多，而且它们所代表的含义直观易懂。随机森林有足够多的树，分类器就不会产生过度拟合模型。由于使用大量的树会使算法变得很慢，并且无法做到实时预测。一般而言，这些算法训练速度很快，预测十分缓慢。越准确的预测需要越多的树，这将导致模型越慢。在大多数现实世界的应用中，随机森林算法已经足够快，但肯定会遇到实时性要求很高的情况，那就只能首选其他方法。当然，随机森林是一种预测性建模工具，而不是一种描述性工具。也就是说，如果您正在寻找关于数据中关系的描述，那建议首选其他方法。

五、FP-growth算法：FP代表频繁模式（Frequent Pattern）。
这里有几点需要强调一下：
第一，FP-growth算法只能用来发现频繁项集，不能用来寻找关联规则。
第二，FP-growth算法发现频繁集的效率比较高，Apriori算法要对于每个潜在的频繁项集都会扫描数据集来判定是否频繁，FP-growth算法只需要对数据集进行两次扫描。这种算法的执行速度要快于Apriori，通常性能要好两个数量级以上。
第三，FP-growth算法基于Apriori算法构建，在完成相同任务的时候采用了一些不同技术。
发现频繁项集的基本过程：
1、构建FP树
2、从FP树中挖掘频繁项集
优点：一般要快于Apriori
缺点：实现比较困难，在某些数据集上性能会下降。
适用数据类型：标称型数据。

六、粒子群算法：优化、最优解

七、灵敏度分析：线性规划问题

八、层次分析法：主要用于决策、确定权重

九、模拟退火算法：在解空间随机寻找目标函数的全局最优解

十、遗传算法：最优解，将方程求解问题转化为生存问题。

十一、几种问题：

P问题：P类问题就是所有复杂度为多项式时间的问题的集合。

NP问题：可以在多项式时间内验证一个解是否正确的问题称为NP问题。（它包括P问题）

十二、机理分析法：机理分析是根据对现实对象特性的认识，分析其因果关系，找出反映内部机理的规律。机理分析建模常用：常微分方程、偏微分方程、逻辑方法、比例方法、代数方法

建立微分方程模型时应用已知物理定律，可事半功倍。也可利用平衡与增长式微元法或者分析法。

求解常微分方程模型的常用方法：微分方程的数值解、微分方程的定性分析。

常微分方程数值解的定义：

在生产和科研中所处理的微分方程往往很复杂,且大多得不出一般解。而实际问题中对初值问题的求解，一般是要求得到在若干个点上满足规定精确度的近似值，或者得到一个满足精确度要求的便于计算的表达式。

建立数值解法的一些途径：

Ø 用差商代替导数

Ø 使用数值积分

Ø 使用泰勒公式，以此方法为基础，有龙格-库塔法、线性多步法等方法。

Ø 数值公式的精度

欧拉法是一阶公式，改进的欧拉法是二阶公式．

龙格-库塔法有二阶公式和四阶公式．

线性多步法有四阶亚当斯外插公式和内插公式．

虽然动态过程的变化规律一般要用微分方程建立的动态模型来描述，但是对于某些实际问题，建模的主要目的并不是要寻求动态过程每个瞬时的性态，而是研究某种意义下稳定状态的特征，特别是当时间充分长以后动态过程的变化趋势。譬如在什么情况下描述过程的变量会越来越接近某些确定的数值，在什么情况下又会越来越远离这些数值 而导致过程不稳定。

为了分析这种稳定与不稳定的规律常常不需要求解微分方程，而可以利用微分方程稳定性理论，直接研究平衡状态的稳定性就行了。

十三、动态规划： 动态规划是用来解决多阶段决策过程最优化的一种数量方法。其特点在于，它可以把一个n 维决策问题变换为几个一维最优化问题，从而一个一个地去解决。

需指出：动态规划是求解某类问题的一种方法，是考察问题的一种途径，而不是一种算法。必须对具体问题进行具体分析，运用动态规划的原理和方法，建立相应的模型，然后再用动态规划方法去求解。

多阶段线性规划典型为：1、生产决策问题2、机器负荷分配问题

能用动态规划方法求解的多阶段决策过程是一类特殊的多阶段决策过程，即具有无后效性的多阶段决策过程。

十四、有限差分方法：有限差分法求解流动控制方程的基本过程是：首先将求解区域划分为差分网格，用有限个网格点代替连续的求解域，将待求解的流动变量（如密度、速度等）存储在各网格点上，并将偏微分方程中的微分项用相应的差商代替，从而将偏微分方程转化为代数形式的差分方程，得到含有离散点上的有限个未知变量的差分方程组。求出该差分方程组的解，也就得到了网格点上流动变量的数值解。

十六、几种特征工程技巧：

（1） 数据分箱

（2） 独热编码

（3） 特征哈希

（4） 嵌套法

（5） 取对数

（6） 特征缩放与标准化

（7） 特征交互

Ⅲ 人工智能的全部语言国外都开源了吗

人工智能有很多语言算法的,都开源

个体学习器 Indivial learner

指示函数 Indicator function

独立成分分析 Independent Component Analysis/ICA

独立同分布 Independent and identically distributed/i.i.d.

增量学习 Incremental learning

等等,更多人工智能算法网页链接

Ⅳ ica独立成分分析是升维还是降维

ica独立成分分析是升维还是降维
独立成分分析近年来广泛应用于人脸识别等模式领域。首先对人脸图像进行预处理降维，然后利用ICA 算法获得人脸影像独立基成分，利用人脸影像独立基来构造一个子空间，最后利用待识别图像在这个空间上的投影进行人脸识别。针对训练样本个数，训练...

Ⅳ 盲源分离的概述

盲源信号分离是一种功能强大的信号处理方法，在生物医学信号处理，阵列信号处理，语音信号识别，图像处理及移动通信等领域得到了广泛的应用。
盲源分离（BSS：Blind source separation），是信号处理中一个传统而又极具挑战性的问题，BSS指仅从若干观测到的混合信号中恢复出无法直接观测的各个原始信号的过程，这里的“盲”，指源信号不可测，混合系统特性事先未知这两个方面。在科学研究和工程应用中，很多观测信号都可以看成是多个源信号的混合，所谓鸡尾酒会问题就是个典型的例子。其中独立分量分析ICA（Independent component analysis）是一种盲源信号分离方法，它已成为阵列信号处理和数据分析的有力工具，而BSS比ICA适用范围更宽。目前国内对盲信号分离问题的研究，在理论和应用方面取得了很大的进步，但是还有很多的问题有待进一步研究和解决。

Ⅵ ica是什么意思

ica是独立成分分析。

在信号处理中，独立成分分析（ICA）是一种用于将多元信号分离为加性子分量的计算方法。这是通过假设子分量是非高斯信号，并且在统计上彼此独立来完成的。ICA是盲源分离的特例。一个常见的示例应用程序是在嘈杂的房间中聆听一个人的语音的“鸡尾酒会问题”。

相关信息：

ICA(Independent Component Correlation Algorithm)是一种函数，X为n维观测信号矢量，S为独立的m（m<=n)维未知源信号矢量，矩阵A被称为混合矩阵。ICA的目的就是寻找解混矩阵W（A的逆矩阵），然后对X进行线性变换，得到输出向量U。

最简单的即为最近邻分类器用距离参数表示训练集模板与测试样本的差异，认为测试样本与满足最小距离的训练样本属于同一种表情。

Ⅶ 怎样看独立成分分析ICA结果

K-L 变换，也就是PCA，得到的是MSE下的最优结构，但有时对于分类效果并不是很好。所以我们引入了ICA。如果是PCA是使二阶积累量为0的话，那么ICA就是前四阶积累量都是0.那ICA是什么意思呢？

类别信息的源头是一组独立的分量，但是类别信息表现出来的是一组互相相关的分量，当然这组分量的个数应该大于独立分量的个数。我们的任务就是去除这种互相关；使分量由相关的一组，变为无关的一组，也就是独立成分。

那具体该怎么做呢？我们一下有这么三个方法:

(一)累积量法

k1(z) = E[zi] ;

k2(z) = E[zizj] ;

k3(z) = E[zizizk] ;

k4(z) = E[zizjzkzl] - E[zizj] E[zkzl] - E[zizk] E[zlzj] - E[zizl] E[zkzj];

对于一般的随即变量，PDF（概率密度函数）都是对称分布的。所以k1和k3为0.
那么，要使k2为0，我们旧的使用主成分分析就好，也就是PCA。所以第一步就是先做PCA，求的PCA的线性变换矩阵。
y = Ax
第二步，我们要做的是进行k4的最小化， 根据数学可知，k4的最小化，也就是求一个正交矩阵，使下面的式子最大。(交叉积累量最小也就是自积累量最大。)
max Obj(B) = SUM(k4(yi)2)
之后结合上述信息，我们有：x = (BA)y. ICA变换矩阵 W = BA。
（2）最大熵法
你可能会问，我们要降低特征的维数，这是压缩，为什么还要最大化熵呢？压缩的话不是熵越小越好么？
的确，熵越小表示压缩效果越好，但那是无损压缩；对于本身我们已经确定下压缩能力的有损压缩模型而言，最大的接近原有的熵就意味着最大的保留了信息。所以我们用最大化熵的办法。
其中：z = f(Wy + b); f 为Sigmoid函数。
（公式比较复杂，我就不写了）
结果还是用迭代优化的算法：
dW = (WT)-1 + (1 - 2z)yT
db = 1 - 2z
（3）最小互信息法
原理和（2）比较像，这里从略。

Ⅷ ica得到的各独立成分的方差相同吗

ica的应用： ICA 的主要应用是特征提取、盲源信号分离]、生理学数据分析]、语音信号处理、图像处理及人脸识别等. 在这部分, 我们综述一下ICA 的主要应用范例. 1在脑磁图(MEG) 中分离非自然信号脑磁图是一种非扩散性的方法. 通过它, 活动或者脑皮层的神经元有很好的时间分辨率和中等的空间分辨率. 作为研究和临床的工具使用M EG 信号时, 研究人员面临着在有非自然信号的情况下提取神经元基本特征的问题. 干扰信号的幅度可能比脑信号的幅度要高, 非自然信号在形状上像病态信号. 在文献[36 ]中, 作者介绍了一种新的方法( ICA ) 来分离脑活动和非自然信号. 这种方法是基于假设: 脑活动和非自然信号(像眼的运动或眨眼或传感器失灵) 是解剖学和生理学上的不同过程, 这种不同反映在那些过程产生的磁信号间的统计独立性上. 在这之前, 人们用脑电图(EEG) 信号进行过试验[ 37 ] , 相关的方法见文献[43 ]. 试验结果表明, ICA 能很好地从M EG 信号里分离出眼运动及眨眼时的信号, 还能分离出心脏运动、肌肉运动及其它非自然信号. Fast ICA 算法是一个很合适的算法, 因为非自然信号的去除是一个交互式的方法, 研究者可以很方便地选择他所想要的独立成分的数目. 除 ...

Ⅸ 如何在 python 中模拟 post 表单来上传文件

我比较喜欢用requests模块，这是第三方模块，需要自行安装。

安装方法如下：

C:UsersAdministrator>pip install requests

这个的关键是首先分析出post参数的值，我使用firefox的firebug插件的。

importrequests

xfid='12345678'

str1="/Q9kFgICAQ8PFgIfAAV75Y+/+6Zeu6"

str2="/fbMdfSobes="

url='http://*************/SZ_Result.aspx?infoid='+xfid
data={
'__EVENTTARGET':'',
'__EVENTARGUMENT':'',
'__LASTFOCUS':'',
'__VIEWSTATE':str1,
'__VIEWSTATEGENERATOR':'6FD494A2',
'__EVENTVALIDATION':str2,
'DropDownList1':'满意',
'DropDownList2':'满意',
'Button1':'提交',
'HiddenField1':xfid,
}
html=requests.get(url)
html_post=requests.post(url,data=data)
print'DONE!!!!'

这样就完成post传值了。

上面的代码是示例代码，是不能够直接执行的。

Ⅹ 用ica实现盲源分离的python程序吗

经常有人在群里问，运维人员需不需要学开发？需不需要学 PYTHON ？ PYTHON 和 SHELL 有什么区别？天天问这种好水的问题，我实在受不了，决定帮大家扫扫盲，求求新手们，以后别他妈瞎问了。

现阶段，掌握一门开发语言已经成为高级运维工程师的必备计能，不会开发，你就不能充分理解你们系统的业务流程，你就不能帮助调试、优化开发人开发的程序， 开发人员有的时候很少关注性能的问题，这些问题就得运维人员来做，一个业务上线了，导致 CPU 使用过高，内存占用过大，如果你不会开发，你可能只能查到进程级别，也就是哪个进程占用这么多，然后呢？然后就交给开发人员处理了，这样咋体现你的价值？

另外，大一点的公司，服务器都上几百，上千，甚至数万台，这种情况下怎样做自动化运维？用 SHELL 写脚本 FOR 循环？呵呵，歇了吧， SHELL 也就适合简单的系统管理工作。到复杂的自动化任务还得要用专门的开发语言。你可能说了，自动化管理有专门的开源软件＼监控也有，直接拿来用下就好了，但是现有的开源软件如 puppet\saltstack\zabbix\nagio 多为通用的软件，不可能完全适用你公司的所有需求，当你需要做定制、做二次开发的时候，你咋办？找开发部门？开发部门不懂运维的实际业务逻辑，写出来的东西烂烂不能用，这活最后还得交给运维开发人员来做。

其次，不会运维开发，你就不能自己写运维平台＼复杂的运维工具，一切要借助于找一些开源软件拼拼凑凑，如果是这样，那就请不要抱怨你的工资低，你的工作不受重视了。

为什么要学 PYTHON ？

PYTHON 第一是个非常牛 B 的脚本语言， 能满足绝大部分自动化运维的需求，又能做后端 C/S 架构，又能用 WEB 框架快速开发出高大上的 WEB 界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来，你才有资格跟老板谈重视， 否则，还是老老实实回去装机器吧。

运维开发为什么要用 PYTHON ？

Good question, 为什么不用 PHP ， JAVA ， C++ ， RUBY ，这里我只能说，见人见智， 如果你碰巧已经掌握了除 PYTHON 之外的其它语言，那你爱用啥用啥，如果你是一个连 SHELL 都还没写明白的新手，想学个语言的话，请用 PYTHON ， 为什么呢？首先， PHP 是跟 PYTHON 比的最多的，其实他俩根本就不用比，为什么呢？两个语言适用性不同， PHP 主要适用于 WEB 开发，可以迅速的做出中小型，轻量级的 WEB 网站，但后端嘛，基本还是要借助其它语言， 借助什么语言呢？ SHELL ？ PYTHON ？呵呵。 而 PYTHON 呢， 是个综合语言， 前后端都可以，单拿出来比 WEB ，也一点不比 PHP 差，但为什么WEB方向上 PHP 比 PYTHON 要火？ 先入为主嘛， PHP 90 年代诞生就是做 WEB 的， PYTHON2000 年后才出现 WEB 框架，但论优秀程度上， PYTHON 的 WEB 框架基本上出其无左，至少是跟 PHP 比。