马尔科夫定位算法

‘壹’ SIL软件采用什么算法呢

我知道的SIL软件采用马尔科夫算法，其中做的比较好的是上海歌略软件科技的SIL验证软件，是我见过

‘贰’ Metropolis法和Metropolis-Hastings法有什么区别吗各自的优点是什么呢感谢大神

原文链接：http://tecdat.cn/?p=19664

MCMC是从复杂概率模型中采样的通用技术。

• 蒙特卡洛

• 马尔可夫链

• Metropolis-Hastings算法

问题

如果需要计算有复杂后验pdf p（θ| y）的随机变量θ的函数f（θ）的平均值或期望值。



最受欢迎的见解

1.用R语言模拟混合制排队随机服务排队系统

2.R语言中使用排队论预测等待时间

3.R语言中实现马尔可夫链蒙特卡罗MCMC模型

4.R语言中的马尔科夫机制转换(Markov regime switching)模型

5.matlab贝叶斯隐马尔可夫hmm模型

6.用R语言模拟混合制排队随机服务排队系统

7.Python基于粒子群优化的投资组合优化

8.R语言马尔可夫转换模型研究交通伤亡人数事故预测

9.用机器学习识别不断变化的股市状况——隐马尔可夫模型的应用

‘叁’ Markov链的定义3：

时间和状态都离散的Markov过程称为Markov链，形式上可以这样表示：Pr{Xn=k|X0=h,.4一R1都能进行位移的m鳖幽猷《&；∞田的内部，而投影机的外壳用到了一种称为“发泡铝”的材料，这种材料本身是用于建筑吸音的，这对降低风扇的噪音同样会有帮助
源自： 基于Markov链模型的储层岩相随机模拟 《地球物理学进展》 2003年 刘振峰，郝天珧，杨长春
来源文章摘要：在油气储层随机建模研究中，基于Markov链模型的方法是一类较受欢迎的技术，同时也是一类不成熟的技术.问题的症结之一在于侧向的转移概率矩阵很难求取.针对这种情况，作者在深入理解Walther相律的基础上，借鉴模拟退火算法的相应思路，提出了一种岩相模拟的新方法，该方法依据不同岩相的百分比进行随机模拟得到一幅初始图像，而后以按岩相组织剖面得到的垂向和侧向的岩相转移概率矩阵的相似性作为判别标准对图像进行扰动，直至得到满意的图像.二维模型试算结果表明了这种岩相随机模拟方法的可行性. X(k+1）=X(k）×P
公式中：X(k）表示趋势分析与预测对象在t=k时刻的状态向量，P表示一步转移概率矩阵，
X(k+1）表示趋势分析与预测对象在t=k+1时刻的状态向量。
必须指出的是，上述模型只适用于具有马尔科夫性的时间序列，并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化，不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率，故此法一般适用于短期的趋势分析与预测。 在较长时间后，马尔科夫过程逐渐处于稳定状态，且与初始状态无关。马尔科夫链达到稳定状态的概率就是稳定状态概率，也称稳定
概率。市场趋势分析中，要设法求解得到市场趋势分析对象的稳态概率，并以此做市场趋势分析。
在马尔科夫分析法的基本模型中，当X：XP时，称X是P的稳定概率，即系统达到稳定状态时的概率向量，也称X是P的固有向量或特征向量，而且它具有唯一性。

‘肆’ 请问谁知道markov模型是什么啊谢谢

我想你说的应该是Hidden Markov Models
这是隐马尔科夫模型
用在语音信号方面的,是为了分析语音信号而提出的一个算法模型.在语音信号处理上用的比较多

隐马尔可夫模型（HMM）是对语音信号的时间序列结构建立统计模型，可将之看作一个数学上的双重随机过程：一个是用具有有限状态数的Markov链来模拟语音信号统计特性变化的隐含的随机过程，另一个是与Markov链的每一个状态相关联的观测序列的随机过程。前者通过后者表现出来，但前者的具体参数是不可测的。人的言语过程实际上就是一个双重随机过程，语音信号本身是一个可观测的时变序列，是由大脑根据语法知识和言语需要(不可观测的状态) 发出的音素的参数流。可见HMM合理地模仿了这一过程，很好地描述了语音信号的整体非平稳性和局部平稳性,是较为理想的一种语音模型。从整段语音来看，人类语音是一个非平稳的随机过程，但是若把整段语音分割成若干短时语音信号，则可认为这些短时语音信号是平稳过程，我们就可以用线性手段对这些短时语音信号进行分析。若对这些语音信号建立隐马尔可夫模型，则可以辩识具有不同参数的短时平稳的信号段，并可以跟踪它们之间的转化，从而解决了对语音的发音速率及声学变化建立模型的问题。

具体的东西在这里也解释不清的,你还是找书看吧
要搞清这个你要先去看一下"马尔科夫链"的相关概念,再来这个隐马尔科夫模型

‘伍’ 什么是mcmc算法

1.MCMC方法主要是为了解决有些baysian推断中参数期望E(f(v)|D)不能直接计算得到的问题的。
其中v是要估计的参数，D是数据观察值
2. Markov chain monte carlo概念包含了两部分：markov chain 和monte carlo integration。
2.1. 首先是monte carlo integration： monte carlo integration是利用采样的方法解决参数期望不能直接计算解决的问题的：即根据v的后验概率密度函数对v进行n次随机采样，计算n个f(v)，然后将这n个值求平均。根据大数定理当n足够大并且采样服从独立原则的时候，该值趋向于期望的真实值。但是当v的后验概率函数很难得到的时候该方法并不适用。
2.2 而在此基础上产生的 Markov chain monte carlo，虽然也是通过采样的方法进行的，却将马尔科夫链的概念引进来。它的想法是这样的：如果某条马尔科夫链具有irrecible 和aperiodic的特性的时候，该马尔科夫链具有一个唯一的静态点，即Pt=Pt-1;因此当马尔科夫链足够长后（设为N），产生的值会收敛到一个恒定的值（m）。这样对f（v）产生马尔科夫链，在N次之后f（v）的值收敛于恒定的值m，一般假设n>N后，f(v)服从N(m,scale)的正态分布。
即当n足够大的时候，用马尔科夫链产生的f(v)相当于在N(m,scale)独立抽样产生的值。
3. 如何产生具有这样特性的马尔科夫链：主要的方法是M-H算法
M-H算法有两部分组成：1. 根据条件概率密度函数，抽样得到下一个时间点的参数值Vt+1；2计算产生的这个值的接受概率a。如果a有显着性，就接受抽样得到的值，否则下一时间点的值保持不变。
在1中引入了proposal distribution的概念。在参数取值连续的情况下，后一个时间点的值服从一个分布，而这个分布函数只和前一个时间点的值有关q（.|Vt）
a的计算这里不贴了，一般都一样。重要的计算完a之后，如果决定接受采样获得的值还是保持原来值不变。在这个问题上，一般的处理方法是假设a服从0~1的均匀分布，每次采样计算a后都从U(0,1)中随机抽样一个值a'，如果a>=a'则接受抽样的值，否则保持原来的值不变。
根据q（.|Vt）的不同，M-H算法又有不同的分类：
3.1 Metroplis algorithm:在这里假设q(Vt+1|Vt)=q(|Vt+1 - Vt|)因此a被化解。该方法叫做random walk metropolis。
3.2 independence sampler:在这个算法里，假设q(Vt+1|Vt)=q(Vt+1)
对于多参数的情况，既可以同时产生多向量的马尔科夫链，又可以对每个参数分别进行更新：即，如果有h个参数需要估计，那么，在每次迭代的时候，分h次每次更新一个参数。
4. Gibbs抽样，H-M算法的一个变体

‘陆’ 求助啊，谁能告诉我马尔科夫性质到底是什么最好讲的详细一点，谢谢，太感谢了！

解答：根据网络给出的参考资料！
大致如下：

马尔可夫链，因安德烈•马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
原理简介
马尔可夫链是随机变量X_1,X_2,X_3...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则 P(X_{n+1}=x|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}=x|X_n). 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。
编辑本段理论发展
马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 物理马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（着名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。 马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
编辑本段马尔可夫过程
马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。 它们是后面进行推导必不可少的条件:(1)尺度间具有马尔可夫性质.随机场从上到下形成了马尔可夫链,即 Xi 的分布只依赖于 Xi,与其他更粗 糙的尺度无关,这是因为 Xi 已经包含了所有位于其上层的尺度所含有的信息.(2) 随机场像素的条件独立性.若 Xi 中像素的父节点已知,则 Xi 中的像素彼此独立.这一性质使我们不必再 考虑平面网格中相邻像素间的关系,而转为研究尺度间相邻像素(即父子节点)间的关系.(3) 设在给定 Xn 的情况下,Y 中的像素彼此独立.(4) 可分离性.若给定任一节点 xs,则以其各子节点为根的子树所对应的变量相互独立. 从只有一个节点的根到和图像大小一致的叶子节点,建立了完整的四叉树模型,各层间的马尔可夫链的因 果关系使我们可以由非迭代的推导过程快速计算出 X 的最大后验概率或后验边缘概率.
编辑本段模型
完整的四叉树模型也存在一些问题.(1) 因概率值过小,计算机的精度难以保障而出现下溢,若层次多,这一 问题更为突出.虽然可以通过取对数的方法将接近于 0 的小值转换成大的负值,但若层次过多、概率值过小,该 方法也难以奏效,且为了这些转换所采用的技巧又增加了不少计算量.(2) 当图像较大而导致层次较多时,逐层 的计 算甚 为繁琐 下 溢 现 象肯定 会出 现 , 存储中 间变 量也 会占 用大 量空 间 , 在时 间空间 上都 有更 多的 开销 . (3) 分层模型存在块效应,即区域边界可能出现跳跃,因为在该模型中,同一层随机场中相邻的像素不一定有同 一个父节点,同一层的相邻像素间又没有交互,从而可能出现边界不连续的现象.
编辑本段MRF 模型
为了解决这些问题,我们提出一种新的分层 MRF 模型——半树模型,其结构和图1 5类似,仍然是四叉树, 只 是层数比完整的四叉树大大减少,相当于将完整的四叉树截为两部分,只取下面的这部分.模型最下层仍和图像 大小一致,但最上层则不止一个节点.完整的四叉树模型所具有的性质完全适用于半树模型,不同点仅在于最上层,完整的树模型从上到下构成 了完整的因果依赖性,而半树模型的层间因果关系被截断,该层节点的父节点及祖先均被删去,因此该层中的各 节点不具有条件独立性,即不满足上述的性质 2,因而对这一层转为考虑层内相邻节点间的关系.半树模型和完 整的树模型相比,层次减少了许多,这样,层次间的信息传递快了,概率值也不会因为过多层次的逐层计算而小 到出现下溢.但第 0 层带来了新的问题,我们必须得考虑节点间的交互,才能得出正确的推导结果,也正是因为在 第 0 层考虑了相邻节点间的影响,使得该模型的块现象要好于完整的树模型.对于层次数的选取,我们认为不宜多,太多则达不到简化模型的目的,其优势体现不出来,但也不能太少,因 为第 0 层的概率计算仍然要采用非迭代的算法,层数少表明第 0 层的节点数仍较多,计算费时,所以在实验中将 层数取为完整层次数的一半或一半稍少.
编辑本段MPM 算法
3半树模型的 MPM 算法 图像分割即已知观测图像 y,估计 X 的配置,采用贝叶斯估计器,可由一个优化问题来表示: ?x = arg min [E C ( x, x )′ | Y = y] ,x其中代价函数 C 给出了真实配置为 x 而实际分割结果为 x′时的代价.在已知 y 的情况下,最小化这一代价的期 望,从而得到最佳的分割.代价函数取法不同得到了不同的估计器,若 C(x,x′)=1?δ(x,x′)(当 x=x′时δ(x,x′)=1,否则 δ(x,x′)=0)得到的是 MAP 估计器,它意味着 x 和 x′只要在一个像素处有不同,则代价为 1,对误分类的惩罚比较重,汪西莉 等:一种分层马尔可夫图像模型及其推导算法 而在实际中存在一些误分类是完全允许的.若将半树模型的 MPM 算法记为 HT-MPM,它分为向上算法和向下算法两步,向上算法自下而上根据式(2)、 式 (3)逐层计 算P(yd(s)|xs)和 P(xs,xρ(s)|yd(s)), 对最下层 P(yd(s)|xs)=P(ys|xs). 向下算法自上 而下根据 式 (1)逐层计算 P(xs|y),对最上层由 P(x0|y)采样 x0(1),…,x0(n),
编辑本段详细说明
马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。 时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为Xn = X(n),n = 1,2,3,4····。 马尔可夫链是随机变量的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。 马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 马尔可夫链是满足下面两个假设的一种随机过程： 1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关； 2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下： 1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或Si,Sj)等来表示状态。 2）是系统的状态转移概率矩阵，其中Pij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有。 3）是系统的初始概率分布，qi是系统在初始时刻处于状态i的概率，满足。
编辑本段基本性质
马尔可夫链模型的性质 马尔可夫链是由一个条件分布来表示的 P(Xn + 1 | Xn) 这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质： 同样： 这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。 边际分布P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述： 这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足： 其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。 平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。
编辑本段离散状态
离散状态空间中的马尔可夫链模型 如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”： Pij = P(Xn + 1 = i | Xn = j) 对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果是一步转移矩阵，就是k步转移后的转移矩阵。 平稳分布是一个满足以下方程的向量： 在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。 如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布π * ，并且， 独立于初始分布π。这是由Perron-Frobenius theorem所指出的。 正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。 注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。 转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程
编辑本段现实应用
马尔可夫链模型的应用
科学中的应用
马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。 马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
人力资源中的应用
马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。 它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。 具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。其基本表达式为： Ni(t)：t时间内I类人员数量； Pji：人员从j类向I类转移的转移率； Vi(t)：在时间（t-1,t）I类所补充的人员数。 企业人员的变动有调出、调入、平调、晋升与降级五种。表3 假设一家零售公司在1999至2000年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90%的商店经理仍在商店内，10%的商店经理离职，期初36位经理助理有 11%晋升到经理，83%留在原来的职务，6%离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12×90%），另外，经理助理中有4人（36×83%）晋升到经理职位，最后经理的总数是15人（11+4）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。

参考资料来自网络！

‘柒’ 目标跟踪检测算法（四）——多目标扩展

姓名：刘帆；学号：20021210609；学院：电子工程学院

https://blog.csdn.net/qq_34919792/article/details/89893665

【嵌牛导读】基于深度学习的算法在图像和视频识别任务中取得了广泛的应用和突破性的进展。从图像分类问题到行人重识别问题，深度学习方法相比传统方法表现出极大的优势。与行人重识别问题紧密相关的是行人的多目标跟踪问题。

【嵌牛鼻子】深度多目标跟踪算法

【嵌牛提问】深度多目标跟踪算法有哪些？

【嵌牛正文】

第一阶段（概率统计最大化的追踪）

1）多假设多目标追踪算法（MHT，基于kalman在多目标上的拓展）

多假设跟踪算法(MHT)是非常经典的多目标跟踪算法，由Reid在对雷达信号的自动跟踪研究中提出，本质上是基于Kalman滤波跟踪算法在多目标跟踪问题中的扩展。

卡尔曼滤波实际上是一种贝叶斯推理的应用，通过历史关联的预测量和k时刻的预测量来计算后验概率：

关联假设的后验分布是历史累计概率密度的连乘，转化为对数形式，可以看出总体后验概率的对数是每一步观察似然和关联假设似然的求和。但是若同时出现多个轨迹的时候，则需要考虑可能存在的多个假设关联。

左图为k-3时刻三个检测观察和两条轨迹的可能匹配。对于这种匹配关系，可以继续向前预测两帧，如图右。得到一种三层的假设树结构，对于假设树根枝干的剪枝，得到k-3时刻的最终关联结果。随着可能性增加，假设组合会爆炸性增多，为此，只为了保留最大关联性，我们需要对其他的节点进行裁剪。下式为选择方程

实际上MHT不会单独使用，一般作为单目标追踪的扩展添加。

2）基于检测可信度的粒子滤波算法

这个算法分为两个步骤：

1、对每一帧的检测结果，利用贪心匹配算法与已有的对象轨迹进行关联。

其中tr表示一个轨迹，d是某一个检测，他们的匹配亲和度计算包含三个部分：在线更新的分类学习模型(d)，用来判断检测结果是不是属于轨迹tr; 轨迹的每个粒子与检测的匹配度，采用中心距离的高斯密度函数求和(d-p)表示；与检测尺寸大小相关的阈值函数g(tr,d)，表示检测与轨迹尺度的符合程度, 而α是预设的一个超参数。

计算出匹配亲和度矩阵之后，可以采用二部图匹配的Hungarian算法计算匹配结果。不过作者采用了近似的贪心匹配算法，即首先找到亲和度最大的那个匹配，然后删除这个亲和度，寻找下一个匹配，依次类推。贪心匹配算法复杂度是线性，大部分情况下，也能得到最优匹配结果。

2、利用关联结果，计算每个对象的粒子群权重，作为粒子滤波框架中的观察似然概率。

其中tr表示需要跟踪的对象轨迹，p是某个粒子。指示函数I(tr)表示第一步关联中，轨迹tr是不是关联到某个检测结果，当存在关联时，计算与关联的检测d 的高斯密度P{n}(p-d )；C{tr}§是对这个粒子的分类概率；§是粒子通过检测算法得到的检测可信度，(tr)是一个加权函数，计算如下：

3）基于马尔科夫决策的多目标跟踪算法

作者把目标跟踪看作为状态转移的过程，转移的过程用马尔科夫决策过程(MDP)建模。一个马尔科夫决策过程包括下面四个元素：(S, A, T(.),R(.))。其中S表示状态集合，A表示动作集合，T表示状态转移集合，R表示奖励函数集合。一个决策是指根据状态s确定动作a, 即 π: SA。一个对象的跟踪过程包括如下决策过程：

从Active状态转移到Tracked或者Inactive状态：即判断新出现的对象是否是真。

从Tracked状态转移到Tracked或者Lost状态：即判断对象是否是持续跟踪或者暂时处于丢失状态。

从Lost状态转移到Lost或者Tracked或者Inactive状态：即判断丢失对象是否重新被跟踪，被终止，或者继续处于丢失状态。

作者设计了三个奖励函数来描述上述决策过程：

第一个是：

即判断新出现的对象是否为真，y(a)=1时表示转移到跟踪状态，反之转移到终止状态。这是一个二分类问题，采用2类SVM模型学习得到。这里用了5维特征向量：包括x-y坐标、宽、高和检测的分数。

第二个是：

这个函数用来判断跟踪对象下一时刻状态是否是出于继续跟踪，还是处于丢失，即跟踪失败。这里作者用了5个历史模板，每个模板和当前图像块做光流匹配，emedFB表示光流中心偏差， 表示平均重合率。 和 是阈值。

第三个是：

这个函数用来判断丢失对象是否重新跟踪，或者终止，或者保持丢失状态不变。这里当丢失状态连续保持超过 (=50)时，则转向终止，其他情况下通过计算M个检测匹配，来判断是否存在最优的匹配使上式(3-14)奖励最大，并大于0。这里涉及两个问题如何设计特征以及如何学习参数。这里作者构造了12维与模板匹配相关的统计值。而参数的学习采用强化学习过程，主要思想是在犯错时候更新二类分类器值。

第二阶段 深度学习应用

1）基于对称网络的多目标跟踪算法

关于Siamese网络在单目标跟踪深度学习中有了介绍，在这里不再介绍，可以向前参考。

2）基于最小多割图模型的多目标跟踪算法

上述算法中为了匹配两个检测采用LUV图像格式以及光流图像。Tang等人在文献中发现采用深度学习计算的类光流特征(DeepMatching)，结合表示能力更强的模型也可以得到效果很好的多目标跟踪结果。

基于DeepMatching特征，可以构造下列5维特征：

其中MI,MU表示检测矩形框中匹配的点的交集大小以及并集大小，ξv和ξw表示检测信任度。利用这5维特征可以学习一个逻辑回归分类器。

同样，为了计算边的匹配代价，需要设计匹配特征。这里，作者采用结合姿态对齐的叠加Siamese网络计算匹配相似度，如图9，采用的网络模型StackNetPose具有最好的重识别性能。

综合StackNetPose网络匹配信任度、深度光流特征(deepMatching)和时空相关度，作者设计了新的匹配特征向量。类似于[2], 计算逻辑回归匹配概率。最终的跟踪结果取得了非常突出的进步。在MOT2016测试数据上的结果如下表：

3）通过时空域关注模型学习多目标跟踪算法

除了采用解决目标重识别问题的深度网络架构学习检测匹配特征，还可以根据多目标跟踪场景的特点，设计合适的深度网络模型来学习检测匹配特征。Chu等人对行人多目标跟踪问题中跟踪算法发生漂移进行统计分析，发现不同行人发生交互时，互相遮挡是跟踪算法产生漂移的重要原因[4]。如图10。

在这里插入图片描述

针对这个问题，文献[4]提出了基于空间时间关注模型(STAM)用于学习遮挡情况，并判别可能出现的干扰目标。如图11，空间关注模型用于生成遮挡发生时的特征权重，当候选检测特征加权之后，通过分类器进行选择得到估计的目标跟踪结果，时间关注模型加权历史样本和当前样本，从而得到加权的损失函数，用于在线更新目标模型。

该过程分三步，第一步是学习特征可见图：

第二步是根据特征可见图，计算空间关注图(Spatial Attention):

其中fatt是一个局部连接的卷积和打分操作。wtji是学习到的参数。

第三步根据空间注意图加权原特征图：

对生成的加权特征图进行卷积和全连接网络操作，生成二元分类器判别是否是目标自身。最后用得到分类打分选择最优的跟踪结果。

4）基于循环网络判别融合表观运动交互的多目标跟踪算法

上面介绍的算法采用的深度网络模型都是基于卷积网络结构，由于目标跟踪是通过历史轨迹信息来判断新的目标状态，因此，设计能够记忆历史信息并根据历史信息来学习匹配相似性度量的网络结构来增强多目标跟踪的性能也是比较可行的算法框架。

考虑从三个方面特征计算轨迹历史信息与检测的匹配：表观特征，运动特征，以及交互模式特征。这三个方面的特征融合以分层方式计算。

在底层的特征匹配计算中，三个特征都采用了长短期记忆模型(LSTM)。对于表观特征，首先采用VGG-16卷积网络生成500维的特征ϕtA，以这个特征作为LSTM的输入计算循环。

对于运动特征，取相对位移vit为基本输入特征，直接输入LSTM模型计算没时刻的输出ϕi，对于下一时刻的检测同样计算相对位移vjt+1,通过全连接网络计算特征ϕj，类似于表观特征计算500维特征ϕm，并利用二元匹配分类器进行网络的预训练。

对于交互特征，取以目标中心位置周围矩形领域内其他目标所占的相对位置映射图作为LSTM模型的输入特征，计算输出特征ϕi，对于t+1时刻的检测计算类似的相对位置映射图为特征，通过全连接网络计算特征ϕj，类似于运动模型，通过全连接网络计算500维特征ϕI，进行同样的分类训练。

当三个特征ϕA，ϕM，ϕI都计算之后拼接为完整的特征，输入到上层的LSTM网络，对输出的向量进行全连接计算，然后用于匹配分类，匹配正确为1，否则为0。对于最后的网络结构，还需要进行微调，以优化整体网络性能。最后的分类打分看作为相似度用于检测与轨迹目标的匹配计算。最终的跟踪框架采用在线的检测与轨迹匹配方法进行计算。

5）基于双线性长短期循环网络模型的多目标跟踪算法

在对LSTM中各个门函数的设计进行分析之后，Kim等人认为仅仅用基本的LSTM模型对于表观特征并不是最佳的方案，在文献[10]中，Kim等人设计了基于双线性LSTM的表观特征学习网络模型。

除了利用传统的LSTM进行匹配学习，或者类似[5]中的算法，拼接LSTM输出与输入特征，作者设计了基于乘法的双线性LSTM模型，利用LSTM的隐含层特征(记忆)信息与输入的乘积作为特征，进行匹配分类器的学习。

这里对于隐含层特征ht-1,必须先进行重新排列(reshape)操作，然后才能乘以输入的特征向量xt。

其中f表示非线性激活函数，mt是新的特征输入。而原始的检测图像采用ResNet50提取2048维的特征，并通过全连接降为256维。下表中对于不同网络结构、网络特征维度、以及不同LSTM历史长度时，表观特征的学习对跟踪性能的影响做了验证。

可以看出采用双线性LSTM(bilinear LSTM)的表观特征性能最好，此时的历史相关长度最佳为40，这个值远远超过文献[5]中的2-4帧历史长度。相对来说40帧历史信息影响更接近人类的直觉。

‘捌’ 歌略RiskCloud有给详细说下吗

歌略RiskCloud是一款由上海歌略软件科技有限公司（下称“歌略”）独立自主研发的风险分析软件（国家专利：CN201710121334一种自定义风险分析方法）。据曾经任职于世界着名运营风险管理领域领导者Dyadem（现已被Sphera公司收购）公司、在安全、质量领域拥有40年从业经验的资深顾问Paul
Mainprize先生称，据他所知，歌略RiskCloud是迄今为止世界上唯一一款做到以Hierarchical Data Modeling
(HDM)
为内核，基于网络版可自定义风险分析模型的风险分析软件，同时也是迄今为止世界上唯一一款做到基于自定义分析方法的引擎，集智能HAZOP分析与LOPA定级和基于Markov算法的SIL验算为一体的风险分析软件。

歌略RiskCloud能够让客户根据自身实际需求定义符合自身特点的风险分析方法，如HAZOP分析、LOPA定级、SIL验算、FMEA分析、HAZID分析、JSA分析、What-IF等多种风险分析模型，创建自身专属的一站式整体风险管理工具。更加难能可贵的是，歌略RiskCloud实现了一项前人从未实现的技术，即其做到了一个接近于Web版Excel的专业工具，操作方式与Web版Excel非常相似，易于掌握且使用便利。与Web版Excel不同的是，歌略RiskCloud能够提前预设好数据列之间的逻辑关系，然后根据预设的数据之间的逻辑关系自动生成带有严谨逻辑关系的表格，单元格也会根据数据的逻辑关系进行自动的合并(歌略RiskCloud的HDM核心技术)。

模板灵活配置

HAZOP分析工作表

HAZOP报告导出

HAZOP分析LOPA定级SIL验算数据集成

SIL安全功能贡献率统计

SIL验算PFD曲线统计

SIL验算统计

基于网络版自定义风险分析模型技术是歌略RiskCloud最为核心的技术及最大的亮点。这项技术可以使身处不同行业且具有不同习惯的客户根据自身实际需求灵活地配置符合自身特点的分析模板。据Paul
Mainprize先生称，目前世界上其他全部风险分析软件均无法实现这项技术，但是，歌略RiskCloud真的做到了。

歌略RiskCloud也是目前国内唯一一款真正迈出国门，走向世界的风险分析软件。歌略已与其合作伙伴在北美设立专门的营销中心（Sharrix），全面负责歌略RiskCloud在北美及加拿大市场的销售及推广，为歌略RiskCloud进军海外市场迈出了扎实的第一步。通过全球数百名客户的应用与实践，歌略RiskCloud在专业化、国际化的道路上得以不断前行。

软件功能

• 逻辑严谨的研究工作表

• 快速复制数据

• 基于知识库的数据提示

• 图纸上传及预览

• 离线研究编辑

• 研究数据备份

• 数据统计和汇总

• 基于过去的研究创建研究

• 在线研究导入

• 建议措施自动提取

• 图形视图查看

• 快捷键支持

• 研究树形结构导航

• 桌面研究快捷访问

• 智能提示数据源设置

• 预置丰富行业研究库

• 繁体和英文语言支持

• 支持HAZOli方法(危害与可操作性分析)

• 支持FMEA方法(失效模式和后果分析)

• 支持JHA方法(作业危害分析)

• 支持BBS方法(行为模式安全分析)

• 支持lirHA(初始危害分析)分析方法

• 支持Checklist方法(检查表分析)

• 支持LOPA方法(保护层分析)

• 支持What IF方法(故障假设分析)

• 支持SVA方法(安全脆弱性分析)

• 支持HACCP方法(危害分析和关键控制点分析)

• 支持SIL方法(安全完整等级验证)

• 专业报告(Word、Excel)导出

• 风险矩阵定制

• 研究分析方法的定制

• 研究分析方法重用

• 知识管理的数据映射

‘玖’ 一文读懂MCMC算法（马尔科夫链蒙特卡洛）

理解本文需要一些贝叶斯基础，小白可移步 https://www.jianshu.com/p/c942f8783b97

为了理解MCMC，我们依然是从一个具体的事例出发：假设当我们来到了一个小人国，我们感兴趣的是小人国的国民的 身高分布情况 ，即有多少人高1米，有多少人高0.5米，又有多少人像我们正常人一样高。一种解决这个问题的暴力方法是找遍这个小人国的所有人，然后都测量身高，但显然，这是一个愚公移山式的方法，在很多情况下都是不可能的。

所以，由于精力有限，我们只找到了10个小人国的人民，这十个人的高度分别是:
1.14，1.02，1.08，0.96，0.79，0.94，1.00，0.93，1.13，1.02

聪明的我们的直觉是，这大概符合一个 正态分布 ，然后我们碰到了一个开挂了的长老，他说：“没错，就是正态分布，而且标准差sd=0.1，现在让我看看你们这些愚蠢的人类能不能知道这个正态分布的平均值μ是多少！”。

一对分别名为马尔科夫和蒙特卡洛的名侦探组合就此登场，他们说：“首先，我们先随便猜一个平均值μ，比如μ(1) = 0.8好了。”

*我这里用μ(n)表示第n个提出的μ值，所以μ(1)是提出的第一个μ值，μ(2)是第二个提出的μ值。

接着他们要做的事，是要确定另一个值μ(2)，通常我们要谨慎一点去选择一个和之前提出来的值μ(1)差别不大的值，比如μ(2) = 0.7。

接着的问题就是，我们需要判断：究竟是μ(1) 更符合实际情况，还是μ(2) 更符合实际情况呢？但要如何作出这个判断呢，这里就要用到前面的贝叶斯公式了。

判断哪个值更好，实际上是在问，基于目前观察到的数据，得到这个参数μ的可能性哪个更大？ 即：
已知D = {1.14，1.02，1.08，0.96，0.79，0.94，1.00，0.93，1.13，1.02}
p(μ(2)|D) 大于还是小于还是等于 p(μ(1)|D) ？

这不就是在问谁的后验概率更大嘛？

为了解决这件事，一种思路是我们要把p(μ(2)|D) 和 p(μ(1)|D) 都用前面的贝叶斯公式解出来。但你很快就会发现在这种情况下证据概率p(D)会很难算。

但如果我们转念一想，我们要做的是比较p(μ(2)|D) 和p(μ(1)|D) ，那么 我们其实只要求p(μ(2)|D) / p(μ(1)|D) 就可以了，如果这个比值大于1，则说明μ2的后验概率更大，更符合实际情况 。

而实际上，
p(μ(2)|D) / p(μ(1)|D)
= (p(μ(2))p(D|μ(2)) / p(D)) / (p(μ(1))p(D|μ(1)) / p(D))
= p(μ(2))p(D|μ(2)) / p(μ(1))p(D|μ(1))

可以看到，由于分子和分母上的P(D)被相互抵消了，剩下来需要知道的值就只剩下μ(1)和μ(2)的 先验概率 ，以及分别在μ=μ(1)和μ=μ(2)时得到数据D的 似然概率 了。

现在，我们面临的问题要比之前简化了一些。但实际上我们还需要处理似然概率的计算和先验概率的问题。

先说说似然概率p(D|μ(2)) 和p(D|μ(1))，此时的似然概率是完全可以算出来的。因为我们已经假设了数据D符合的是正态分布模型了，且已知sd=0.1（前面大师说的），所以当我们假设μ=μ(1)时，就确定了一个平均值为μ(1)和标准差为0.1的正态分布，也就确定了这个正态分布的概率密度函数f(x)，接着基于我们的数据D计算x = 1.14，1.02，1.08...等值的概率密度，再将这些值相乘，便得到了似然概率*。

** 可以这样理解这一似然概率的计算：如果我们此时假定的正态分布与数据实际对应的正态分布越接近，就自然 可能 有越多的数据落在高概率密度函数的区域（即分布的平均值附近），如此，作为概率密度函数的连乘的似然概率自然也会更高。相比之下，如果你现在确定的正态分布的平均值为1500，标准差为1，那么它在x = 1.14的概率密度（概率密度的具体数值不等于概率，但是两者的数学意味是接近的）就会高度趋近于0，将这样一个数作为因子去计算似然概率，似然概率也显然将会比较低。

说完了似然概率，就轮到先验概率p(μ(2))和p(μ(1))的问题了。先验概率要怎么去算呢？答案是不用算！我们自己来定。但是先验概率毫无疑问对MCMC算法是有影响的，就像我们之前从之前贝爷的故事里看到的那样，后验概率是受到先验概率影响的。之所以一枚90%击中率的硬币几乎不能预测一个人是否得病，是因为得这种病本身的先验概率就超级低。 一个你需要记住的简单事实是，我们设定的先验概率越是背离真实的情况，就需要越多的数据去将先验概率修正，让后验概率符合实际的情况。 从这个意义上说， 贝叶斯推理不是无中生有，而是要先对数据背后的结果有一个信念（belief）的基础上，根据所见的数据，不断地修正原本的信念，使之逐渐接近数据背后对应的真实情况 。 （贝叶斯公式本身就带有学习、更新的意味，所以学界现在还有种说法是我们的大脑是贝叶斯式的）

当我们看到数据的时候，通过观察数据，我们最开始会猜想μ=1的概率比较高，因此我们可以假定μ的先验概率是服从平均值为1，sd为0.5的概率分布，有了这样的先验概率分布，我们就可以计算得到当μ=μ1，μ2时分别对应的概率密度了。

搞定了先验概率和似然概率，就可以计算前面的公式p(μ(2))p(D|μ(2)) / p(μ(1))p(D|μ(1))了。当这个比值大于等于1时，我们就接受μ(2)，而如果这个比值小于1，我们就以这个比值为概率接受μ(2)。比如比值为0.5时，我们只有50%的概率接受μ(2)。当不接受的时候，我们得重新寻找一个μ(2)，再进行同样的后验概率比较。

反复进行这样的步骤之后， 我们可以想象，我们自然会更大程度地访问那些后验概率更高的μ值。我们访问不同的μ值的频率分布，就是关于μ值的后验概率分布（的近似）。 至于这背后具体的数学推导，我们就不谈了。但注意，参数的近似后验分布并不是我们想要拟合的模型“即最开始的问题：小人国的国民的 身高分布情况 ”。还记得我们最开始假设小人国的身高分布情况符合正态分布，且我们已经得知这个正态分布的标准差sd=1，而MCMC最终会告诉我们根据现有的数据，我们推断小人国身高分布的平均值μ，符合某个概率分布（比如平均值为1，sd为5），如果我们觉得合适，我们可以将μ的后验分布的平均值作为μ的最可能值。即，“小人国的国民的 身高分布情况 最有可能符合μ=1，sd=1的概率分布”。

最后总结一下MCMC算法：
（1）确定参数值的先验分布。
（2）先确定第一个访问（或者说采样）的参数的数值，作为当前参数数值
（3）根据当前访问的参数的数值，以一定的方式（比如 Metropolis sampler ）提出下一个待考虑访问的参数的数值。
（4）以比值的形式，比较当前参数数值和待考虑访问的参数数值的后验概率，计算后验概率涉及到先验概率和后验概率的概率密度。根据这个比值的大小，接受或拒绝该待考虑采样的参数数值。接受后则将该参数数值视为当前参数数值。
（5）重复（3）和（4），直到符合某种终止条件（比如说访问了10000个参数数值）

最终，将被采样的参数数值的频率分布作为对该参数的后验概率分布的近似。

看完以后，你是不是想说这么复杂的事，是人干的吗！？

废话，这种事当然是计算机来干啊，你还想手算不成？

‘拾’ 数据挖掘十大经典算法之EM

EM（Expectation-Maximum）算法也称期望最大化算法，它是最常见的隐变量估计方法，在机器学习中有极为广泛的用途，例如常被用来学习高斯混合模型（Gaussian mixture model，简称GMM）的参数；隐式马尔科夫算法（HMM）、LDA主题模型的变分推断等等。

EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），一轮轮迭代更新隐含数据和模型分布参数，直到收敛，即得到我们需要的模型参数。

1. EM算法推导过程

补充知识：Jensen不等式：

如果f是凸函数，函数的期望 大于等于 期望的函数。当且仅当下式中X是常量时，该式取等号。（应用于凹函数时，不等号方向相反）

2. EM算法流程

3. EM算法的其他问题

上面介绍的传统EM算法对初始值敏感，聚类结果随不同的初始值而波动较大。总的来说，EM算法收敛的优劣很大程度上取决于其初始参数。

EM算法可以保证收敛到一个稳定点，即EM算法是一定收敛的。

EM算法可以保证收敛到一个稳定点，但是却不能保证收敛到全局的极大值点，因此它是局部最优的算法，当然，如果我们的优化目标是凸的，则EM算法可以保证收敛到全局最大值，这点和梯度下降法这样的迭代算法相同。

EM算法的简单实例： https://zhuanlan.hu.com/p/40991784

参考：

https://zhuanlan.hu.com/p/40991784

https://blog.csdn.net/u011067360/article/details/24368085