门控神经网络算法

1. 神经网络算法三大类

具体如下：
1、多层感知机，一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上，也称做唤携为全连接神经网络。2、卷积神经网络核心是卷积层，是一类包含卷积计算且具有深度结构的前馈神经网络算法之一。
3、残差收缩网络，残差收缩网络是卷积神经网络的改进，引入了软阈值纯伏化，更适合强噪数据。属链毁于深度残差网络（DeepResialNetwork，ResNet）的新型改进形式。人工神经网络（ArtificialNeuralNetwork，即ANN），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。

2. 浅谈LSTM循环神经网络

姓名：程祖晗

学号：19021210938

【嵌牛导读】人工神经网络（ANN）由大量相互连接的神经元或称节点组成，这些节点经过网络中的大量加权连接，将数据进行相互通信枯唯，实现了神经网络的记忆特性。在常规的神经网络中，各个层之间的所有神经元彼此连接，但层间神经元不连接，即不能对前后位置具有一定关系的系列化数据进行更有效的分析，无法学习序列数据中前后样本的内在关联。为了优化此问题，多方研究提出了循环神经网络，且为了解决长距离依赖的问题，出现了长短期记忆网络（LSTM）。本篇就野败虚LSTM循环神经网络进行简单的讲解。

【嵌牛鼻子】LSTM循环神经网络

【嵌牛正文】LSTM循环神经网络应用了门控算法，即增加了一个状态 来保存长期的状态，此颂燃算法在学习时既能掌握长距离依赖又能选择性地遗忘信息防止过载。因此在当前时刻下，LSTM 的单个神经元中共有三个输入，分别是当前时刻网络的输入值 、LSTM 隐含层上一时刻的输出值 以及上一时刻的单元状态 。现研究其模型的建立过程。

LSTM是改进的循环神经网络，如图1所示， 为输入样本， 为输出样本， 为LSTM单元输出。 分别为样本个数，输出样本个数及神经元个数。即：

模型中需要初始化的参数有 、 、 、 、 。

遗忘门限 决定了当前时刻的神经元状态 中保存了多少上一时刻的神经元状态 ：

输入门限 决定了当前时刻网络的输入 有多少保留到当前时刻的神经元状态 ，同时计算当前输出的神经元状态 。

输出门限 限制了神经元状态 对 的作用：

最后输出的预测结果为： ，其中 为偏移量。

与 WNN 不同，RNN 的反向误差值包括两个方面：一个是沿时间的反向传播，即当前时刻开始后的每个时刻的误差；一个是将层间的误差值传递。设 LSTM 单元的输出值为 ，定义 时刻的误差项为：

（1）误差项沿时间的反向传递

根据上式得到 时刻的 ，即

因此 。且由前向计算可知：

（2）层间传递

假设当前为第 层，定义 层的误差项为：

因此

由前可计算出各权值对应的梯度值，如下所示：

设置学习率 ，则示例如下所示：

模型建立完成，可利用此模型完成对数据的预测，其结果比常规的神经网络更精确。

参考： http://colah.github.io/posts/2015-08-Understanding-LSTMs/

https://zybuluo.com/hanbingtao/note/541458

3. rbf神经网络算法是什么

RBF神经网络算法是由三层结构组成，输入层至隐层为非线性的空间变换，一般选用径向基函数的高斯函数进行运算；从隐层至输出层为线性空间变换，即矩阵与矩阵之间的变换。

RBF神经网络进行数据运算时需要确认聚类中心点的位置及隐层至输出层的权重。通常，选用K-means聚类算法或最小正交二乘法对数据大量的进行训练得出聚类中心矩阵和权重矩阵。

一般情况下，最小正交二乘法聚类中心点的位置是给定的，因此比较适合分布相对规律的数据。而K-means聚类算法则会自主选取聚类中心，进行无监督分类学习，从而完成空间映射关系。

RBF网络特点

RBF网络能够逼近任意非线性的函数(因为使用的是一个局部的激活函数。在中心点附近有最大的反应；越接近中心点则反应最大，远离反应成指数递减；就相当于每个神经元都对应不同的感知域)。

可以处理系统内难以解析的规律性，具有很好的泛化能力，并且具有较快的学习速度。

有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

当网络的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网络称为全局逼近网络。由于对于每次输入，网络上的每一个权值都要调整，从而导致全局逼近网络的学习速度很慢，比如BP网络。

4. 神经网络算法可以解决的问题有哪些

人工神经网络（Artificial Neural Networks，ANN）系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信 息存储、良好的自组织自学习能力等特点。BP（Back Propagation）算法又称为误差 反向传播算法，是人工神经网络中的一种监督式的学习算法。BP 神经网络算法在理 论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许 多领域都有着广泛的应用前景。

工作原理
人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。
神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。
树突是细胞体的延伸部分，它由细胞体发出后逐渐变细，全长各部位都可与其他神经元的轴突末梢相互联系，形成所谓“突触”。在突触处两神经元并未连通，它只是发生信息传递功能的结合部，联系界面之间间隙约为（15～50)×10米。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目正常，最高可达10个。各神经元之间的连接强度和极性有所不同，并且都可调整、基于这一特性，人脑具有存储信息的功能。利用大量神经元相互联接组成人工神经网络可显示出人的大脑的某些特征。
人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。
人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。
与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对于写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

5. 稀疏门控多专家网络MOE

最近需要做MOE相关的工作，简单分析记录下Hinton团队2017ICLR上发表的论文

论文题目：《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》

论文地址：https://arxiv.org/abs/1701.06538

背景介绍：

随着深度学习的发展，数据规模和模型容量已经是深度学习的关键因素。传统的深度学习模型中，对于每一个样本输入，完整的模型都需要被激活。随着数据和模型的扩大，这样的开销是二次的。因此，引入条件计算的概念，即通过动态激活部分神经网络，从而在增加模型参数量的情况下，而不增加计算量。

但是条件计算提出以来，面临着几个困境：

1.现代的计算机硬件，尤其是GPU，精通计算操作而不擅长分支。因此先前很多的工作每个门控制大chunk网络以减少分支。

2.条件计算会减少batch size。

3.网络带宽是瓶颈。

4.需要设计特定的损失函数，Bengio先前的工作就设计了三种loss，这些loss的设计会影响模型的效果和负载均衡。

5.现有的相关工作都是在小数据集上的小模型实验。

方法：

提出稀疏门控的多专家混合网络，通过一个可学习的门控网络来稀疏地选择专家。

相关工作：

介绍了先前机器学习&深度学习领域的一些专家网络的工作，但是这些网络都是偏上层的专家结合，每个专家网络其实是一个完整的模型。而该论文的工作实际上是将MOE做成一个通用的网络模块，同时作为一种实际的方式来控制模型的容量。

模型结构：

如上公式，模型输出就是通过门控网络G来赋予不同专家E的输出不同权重。文中提到，如果专家的数量过多，也可以构建多层的MOE结构。

这里文中有一段对于MOE结构的理解。在MOE中，专家网络是前馈神经网络类似于参数化的权重矩阵，而对于多个专家激活的情况就对应于一种block-wise的dropout结构。

门控网络：

简单的softmax网络：

有噪的topk网络：

·通过topk选取前k个专家，其余专家的系数为0。稀疏门控的设计碰肆能够节省计算量。

·通过加入噪声（其中噪声权重矩阵是可学习的）来控制负载均衡。

解决问题：

batch size的问题：简单来说，假设batch size为b，从n个专家中选取topK个。由于稀疏激活的原因，每个专家接收的样本数是k*b/n << b，因此会造成batch size减小。

同步的数据和模型并行：控制每一张瞎吵卖卡上只有一个专家网络，通过门控网络实现数据分发到哪个专家网络。该方法控制每张卡上磨逗内存和通信消耗几乎一致，因此只需要增加卡的数量d，就可以等比例的增大batch size。

卷积性：网络的每一个时间步的MOE都相同，如果把LSTM的多时间步拆开，相当于形成一个很大的batch输入，因此也可以增大batch size。

其他一些优化显存的方法增大batch size。

网络带宽问题：通过增大隐层维度或者隐层的数量来提高计算效率。

负载均衡问题：具体而言，模型训练时会趋向于总激活某几个专家，这是模型的“自我强化”导致的不平衡性。先前的一些工作会加入一些硬限制和软限制。

MOE中通过增加两种loss设计，importance loss&load loss。前者定义重要性，表示某个专家训练的样本数量，从而鼓励所有专家都参与训练。后者是为了解决有些专家接收少量大权重的样本，有些专家接收大量小权重的样本的情况。

实验：

实验部分展示了在语言建模以及翻译等任务上MOE的表现。基本来说，MOE在更小计算量的情况下，模型拥有更高的参数量（最高为1370亿参数量），并且在test perplexity上更低。

结论：

MOE确实提供了一个很好的思路来提升模型容量。在理想情况下，只需要增加专家的数量（设备数量）就可以增大模型参数量。但是实际训练操作比较困难，同时文中的专家网络仅是简单的前馈神经网络，其他网络结构还需要近一步探索。

之后会记录一系列的MOE相关论文，希望能够获得启发。

6. 几种常见的循环神经网络结构RNN、LSTM、GRU

传统文本处理任务的方法中一般将TF-IDF向量作为特征输入。显而易见，这样的表示实际上丢失了输入的文本序列中每个单词的顺序。在神经网络的建侍空模过程中，一般的前馈神经网络，如卷积神经网络，通常接受一个定长的向量作为输入。卷积神经网络对文本数据建模时，输入变长的字符串或者单词串，然后通过滑动窗口加池化的方式将原先的输入转换成一个固定长度的向量表示，这样做可以捕捉到原文本中的一些局部特征，但是两个单词之间的长距离依赖关系还是很难被学习到。
循环神经网络却能很好地处理文本数据变长并且有序的输入序列。它模拟了人阅读一篇文章的顺序，从前到后阅读文章中的每一个单词，将前面阅读到的有用信息编码到状态变量中去，从而拥有了一定的记忆能力，可以更好地理解之后的文本。
其网络结构如下图所示：

由图可见，t是时刻，x是输入层，s是隐藏层，o是输出层，矩阵W就是隐藏层上一次的值作为这一次的输入的权重。

如果反复把式 2 带入到式 1，将得到：

其中f和g为激活函数，U为输入层到隐含层的权重矩阵，W为隐含层从上一时刻到下一时刻状态转移的权重矩阵。在文本分类任务中，f可以选取Tanh函数或者ReLU函数，g可以采用Softmax函数。

通过最小化损失误差（即输出的y与真实类别之间的距离），我们可以不断训练网络，使得得到的循环神经网络可以准确地预测文本所属的类别，达到分类目的。相比于卷积神经网络等前馈神经网络，循环神经网络由于具备对序列顺序信息的刻画能力，往往能得到更准确的结果。

RNN的训练算法为：BPTT
BPTT的基本原理和BP算法是一样的，同样是三步：
1.前向计算每个神经元的输出值；
2.反向计算每个神经元的误差项值，它是误差函数E对神经元j的加权输入的偏导数；
3.计算每个权重的梯度。
最后再用随机梯度下降算法更新权重。
具体参考： https://www.jianshu.com/p/39a99c88a565
最后由链式法则得到下面以雅可比矩阵来表达的每个权重的梯度:

由于预测的误差是沿着神经网络的每一层反向传播的，因此当雅克比矩阵的最大特征值大于1时，随着离输出越来越远，每层的梯度大小会呈指数增长，导致梯度爆炸；反之，若雅克比矩阵的最大特征值小于1，梯度的大小会呈指数缩小，产生梯度消失。对于普通的前馈网络来说，梯度消失意味着无法通过加深网络层次来改善神经网络的预测效果，因为无论如何加深网络，只有靠近输出的若干层才真正起到学习的作用。 这使得循环神经网络模型很难学习到输入序列中的长距离依赖关系 。

关于RNN梯度下降的详细推导可以参考: https://zhuanlan.hu.com/p/44163528

梯度爆凳缺炸的问题可以通过梯度裁剪来缓解，即当梯度的范式大于某个给定值时，对梯度进行等比收缩。而梯度消失问题相对比较棘手，需要对模型本身进行改进。深度残差网络是对前馈神经网络的改进，通过残差学习的方式缓解了梯度消失的现象，从而使得我们能够学习到更深层的网络表示；而对于循环神经网络来说，长短时记忆模型及其变种门控循环单元等模型通过加入门控机制，很大程度上弥补了梯度消失所带来的损失。

LSTM的网络机构图如下所示：

与传统的循环神经网络相比，LSTM仍然是基于xt和ht−1来计算ht，只不过对内部的结构进行了更加精心的设计，加入了输入门it 、遗忘门ft以及输出门ot三个门和一个内部记忆单元ct。输入门控制当前计算的新状态以多大程度更新到记忆单元中；遗老粗瞎忘门控制前一步记忆单元中的信息有多大程度被遗忘掉；输出门控制当前的输出有多大程度上取决于当前的记忆单元。

在经典的LSTM模型中，第t层的更新计算公式为

其中it是通过输入xt和上一步的隐含层输出ht−1进行线性变换，再经过激活函数σ得到的。输入门it的结果是向量，其中每个元素是0到1之间的实数，用于控制各维度流过阀门的信息量；Wi 、Ui两个矩阵和向量bi为输入门的参数，是在训练过程中需要学习得到的。遗忘门ft和输出门ot的计算方式与输入门类似，它们有各自的参数W、U和b。与传统的循环神经网络不同的是，从上一个记忆单元的状态ct−1到当前的状态ct的转移不一定完全取决于激活函数计算得到的状态，还由输入门和遗忘门来共同控制。

在一个训练好的网络中，当输入的序列中没有重要信息时，LSTM的遗忘门的值接近于1，输入门的值接近于0，此时过去的记忆会被保存，从而实现了长期记忆功能；当输入的序列中出现了重要的信息时，LSTM应当把其存入记忆中，此时其输入门的值会接近于1；当输入的序列中出现了重要信息，且该信息意味着之前的记忆不再重要时，输入门的值接近1，而遗忘门的值接近于0，这样旧的记忆被遗忘，新的重要信息被记忆。经过这样的设计，整个网络更容易学习到序列之间的长期依赖。

GRU是在LSTM上进行简化而得到的，GRU的网络结构如下所示：

Zt代表更新门，更新门的作用类似于LSTM中的遗忘门和输入门，它能决定要丢弃哪些信息和要添加哪些新信息。
Rt代表重置门，重置门用于决定丢弃先前信息的程度。

要注意的是，h只是一个变量，因此在每个时刻，包括最后的线性组合，h都是在用以前的自己和当前的备选答案更新自己。举例来说，这一个变量好比一杯酒，每次我们要把一部分酒倒出去，并把倒出去的酒和新加入的原料混合，然后在倒回来，这里的reset控制的就是要倒出去的，并且混合好之后再倒回来的酒的比例，而update控制的则是用多大的比例混合新原料和倒出来的之前调制好的酒。同理，也可以以此理解LSTM，LSTM的遗忘门功能上和reset相似，而输入门与update相似，不同之处在于LSTM还控制了当前状态的exposure，也就是输出门的功能，这是GRU所没有的。

1.百面机器学习
2. https://zhuanlan.hu.com/p/45649187
3. https://www.jianshu.com/p/39a99c88a565

7. 神经网络算法原理

一共有四种算法及原理，如下所示：

1、自适应谐振理论（ART）网络

自适应谐振理论（ART）网络具有不同的方案。一个ART-1网络含有两层一个输入层和一个输出层。这两层完全互连，该连接沿着正向（自底向上）和反馈（自顶向下）两个方向进行。

2、学习矢量量化（LVQ）网络

学习矢量量化（LVQ）网络，它由三层神经元组成，即输入转换层、隐含层和输出层。该网络在输入层与隐含层之间为完全连接，而在隐含层与输出层之间为部分连接，每个输出神经元与隐含神经元的不同组相连接。

3、Kohonen网络

Kohonen网络或自组织特征映射网络含有两层，一个输入缓冲层用于接收输入模式，另一个为输出层，输出层的神经元一般按正则二维阵列排列，每个输出神经元连接至所有输入神经元。连接权值形成与已知输出神经元相连的参考矢量的分量。

4、Hopfield网络

Hopfield网络是一种典型的递归网络，这种网络通常只接受二进制输入（0或1）以及双极输入（+1或-1）。它含有一个单层神经元，每个神经元与所有其他神经元连接，形成递归结构。

(7)门控神经网络算法扩展阅读：

人工神经网络算法的历史背景：

该算法系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。

BP算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。BP 神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。

而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许 多领域都有着广泛的应用前景。

8. 神经网络算法是什么

Introction
--------------------------------------------------------------------------------

神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。

“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。

一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。

The neuron
--------------------------------------------------------------------------------

虽然已经确认在我们的大脑中有大约50至500种不同的神经元，但它们大部份都是基于基本神经元的特别细胞。基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。

如同生物学上的基本神经元，人工的神经网络也有基本的神经元。每个神经元有特定数量的输入，也会为每个神经元设定权重（weight）。权重是对所输入的资料的重要性的一个指标。然后，神经元会计算出权重合计值（net value），而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值（threshold），而当权重合计值大于临界值时，神经元会输出1。相反，则输出0。最后，输出会被传送给与该神经元连接的其它神经元继续剩余的计算。

Learning
--------------------------------------------------------------------------------

正如上述所写，问题的核心是权重及临界值是该如何设定的呢？世界上有很多不同的训练方式，就如网络类型一样多。但有些比较出名的包括back-propagation, delta rule及Kohonen训练模式。

由于结构体系的不同，训练的规则也不相同，但大部份的规则可以被分为二大类别 - 监管的及非监管的。监管方式的训练规则需要“教师”告诉他们特定的输入应该作出怎样的输出。然后训练规则会调整所有需要的权重值（这是网络中是非常复杂的），而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有back-propagation及delta rule。非监管方式的规则无需教师，因为他们所产生的输出会被进一步评估。

Architecture
--------------------------------------------------------------------------------

在神经网络中，遵守明确的规则一词是最“模糊不清”的。因为有太多不同种类的网络，由简单的布尔网络（Perceptrons），至复杂的自我调整网络（Kohonen），至热动态性网络模型（Boltzmann machines）！而这些，都遵守一个网络体系结构的标准。

一个网络包括有多个神经元“层”，输入层、隐蔽层及输出层。输入层负责接收输入及分发到隐蔽层（因为用户看不见这些层，所以见做隐蔽层）。这些隐蔽层负责所需的计算及输出结果给输出层，而用户则可以看到最终结果。现在，为免混淆，不会在这里更深入的探讨体系结构这一话题。对于不同神经网络的更多详细资料可以看Generation5 essays

尽管我们讨论过神经元、训练及体系结构，但我们还不清楚神经网络实际做些什么。

The Function of ANNs
--------------------------------------------------------------------------------

神经网络被设计为与图案一起工作 - 它们可以被分为分类式或联想式。分类式网络可以接受一组数，然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类（类别是由所提供的训练决定的）。更多实际用途可以看Applications in the Military中的军事雷达，该雷达可以分别出车辆或树。

联想模式接受一组数而输出另一组。例如HIR程序接受一个‘脏’图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序，如签名、面部、指纹识别等。

The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------

神经网络在这个领域中有很多优点，使得它越来越流行。它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据，这对于很多系统都很重要（例如雷达及声波定位系统）。很多神经网络都是模仿生物神经网络的，即是他们仿照大脑的运作方式工作。神经网络也得助于神经系统科学的发展，使它可以像人类一样准确地辨别物件而有电脑的速度！前途是光明的，但现在...

是的，神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。神经网络的力量源自于以并行方式处理资讯，即是同时处理多项数据。因此，要一个串行的机器模拟并行处理是非常耗时的。

神经网络的另一个问题是对某一个问题构建网络所定义的条件不足 - 有太多因素需要考虑：训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等，还有其它更多因素。因此，随着时间越来越重要，大部份公司不可能负担重复的开发神经网络去有效地解决问题。

NN 神经网络，Neural Network
ANNs 人工神经网络，Artificial Neural Networks
neurons 神经元
synapses 神经键
self-organizing networks 自我调整网络
networks modelling thermodynamic properties 热动态性网络模型

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
网格算法我没听说过
好像只有网格计算这个词

网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。

9. 大家评评理，这黑科技实现后该卖多少钱

对于不少小伙伴来说，科幻电影一定是此生必打卡的影片类型。像是去年大受好评的《流浪地球》，小到救援队穿的机械外骨骼，大到行星推进器，可以说在中国电影史上羡唯还从未有过一部电影，体现出了如此深厚的科技崇拜。

其实，翻开固特异的历史，它的壮举还真是不少：世界上首款量产汽车福特T系列就是它提供的原配轮胎；创造了368次F1冠军记录，至今无人超越；更牛的是，创造陆路时速960公里世界纪录的火箭车和人类首次登月的太空车也是装备固特异的轮胎；再到近年来所发布的这些概念轮胎，这品牌还是真是“生命不息，折腾不止”！

总结

可能在很多人眼中，轮胎就是四个黑色的橡胶圈，很少有什么创新或突破。但随着无人驾驶和电动车的兴起，轮胎不再只是橡胶产品，也能汇聚诸多先进科技，甚至脑洞大开。固特异已经向人们展示各种各样的脑洞，虽然有的脑洞很大，不过要实现科幻电影的情节，还得靠这些脑洞和创新！在未来，轮胎也不仅是一款轮胎那么简单，而是智能驾驶生态链的重要一环，这只会思考的脚，已向我们大步走来！

本文来源于汽车之家车家号作者，不代表汽车之家的观点立场。

10. Tensorflow神经网络之LSTM

LSTM 作为门控循环神经网络姿指因此我们从门控单元切入理解。主要包括：

假设隐含状态长度为h，数据Xt是一个样本数为n、特征向量维度为x的批量数据，其计算如下所示（W和b表示权重和偏置）：

最后的输出其实只有两个，一个是输出，一个是状态，输出就是Ht，而状态为(Ct,Ht)，其他都是中间计算过程迹猛配。[^2]

tensorflow 提供了LSTM 实现知兆的一个 basic 版本，不包含 LSTM 的一些高级扩展，同时也提供了一个标准接口，其中包含了 LSTM 的扩展。分别为：tf.nn.rnn_cell.BasicLSTMCell()，tf.nn.rnn_cell.LSTMCell()，我们这里实现一个基本版本。[^1]

[1] tensorflow学习笔记（六）：LSTM 与 GRU

[2] 学会区分 RNN 的 output 和 state