云服务器训练神经网络多少钱

① 大数据、云计算、人工智能之间有什么样的关系

云计算最初的目标是对资源的管理，管理的主要是计算资源，网络资源，存储资源三个方面。想象你有一大堆的服务器，交换机，存储设备，放在你的机房里面，你最想做的事情就是把这些东西统一的管理起来，最好能达到当别人向你请求分配资源的时候（例如1核1G内存，10G硬盘，1M带宽的机器），能够达到想什么时候要就能什么时候要，想要多少就有多少的状态。

这就是所谓的弹性，俗话说就是灵活性。灵活性分两个方面，想什么时候要就什么时候要，这叫做时间灵活性，想要多少就要多少，这叫做空间灵活性。

这个神经元有输入，有输出，输入和输出之间通过一个公式来表示，输入根据重要程度不同(权重)，影响着输出。

于是将n个神经元通过像一张神经网络一样连接在一起，n这个数字可以很大很大，所有的神经元可以分成很多列，每一列很多个排列起来，每个神经元的对于输入的权重可以都不相同，从而每个神经元的公式也不相同。当人们从这张网络中输入一个东西的时候，希望输出一个对人类来讲正确的结果。例如上面的例子，输入一个写着2的图片，输出的列表里面第二个数字最大，其实从机器来讲，它既不知道输入的这个图片写的是2，也不知道输出的这一系列数字的意义，没关系，人知道意义就可以了。正如对于神经元来说，他们既不知道视网膜看到的是美女，也不知道瞳孔放大是为了看的清楚，反正看到美女，瞳孔放大了，就可以了。

对于任何一张神经网络，谁也不敢保证输入是2，输出一定是第二个数字最大，要保证这个结果，需要训练和学习。毕竟看到美女而瞳孔放大也是人类很多年进化的结果。学习的过程就是，输入大量的图片，如果结果不是想要的结果，则进行调整。如何调整呢，就是每个神经元的每个权重都向目标进行微调，由于神经元和权重实在是太多了，所以整张网络产生的结果很难表现出非此即彼的结果，而是向着结果微微的进步，最终能够达到目标结果。当然这些调整的策略还是非常有技巧的，需要算法的高手来仔细的调整。正如人类见到美女，瞳孔一开始没有放大到能看清楚，于是美女跟别人跑了，下次学习的结果是瞳孔放大一点点，而不是放大鼻孔。

听起来也没有那么有道理，但是的确能做到，就是这么任性。

神经网络的普遍性定理是这样说的，假设某个人给你某种复杂奇特的函数，f(x)：

不管这个函数是什么样的，总会确保有个神经网络能够对任何可能的输入x，其值f(x)（或者某个能够准确的近似）是神经网络的输出。

如果在函数代表着规律，也意味着这个规律无论多么奇妙，多么不能理解，都是能通过大量的神经元，通过大量权重的调整，表示出来的。

这让我想到了经济学，于是比较容易理解了。

我们把每个神经元当成社会中从事经济活动的个体。于是神经网络相当于整个经济社会，每个神经元对于社会的输入，都有权重的调整，做出相应的输出，比如工资涨了，菜价也涨了，股票跌了，我应该怎么办，怎么花自己的钱。这里面没有规律么？肯定有，但是具体什么规律呢？却很难说清楚。

基于专家系统的经济属于计划经济，整个经济规律的表示不希望通过每个经济个体的独立决策表现出来，而是希望通过专家的高屋建瓴和远见卓识总结出来。专家永远不可能知道哪个城市的哪个街道缺少一个卖甜豆腐脑的。于是专家说应该产多少钢铁，产多少馒头，往往距离人民生活的真正需求有较大的差距，就算整个计划书写个几百页，也无法表达隐藏在人民生活中的小规律。

基于统计的宏观调控就靠谱的多了，每年统计局都会统计整个社会的就业率，通胀率，GDP等等指标，这些指标往往代表着很多的内在规律，虽然不能够精确表达，但是相对靠谱。然而基于统计的规律总结表达相对比较粗糙，比如经济学家看到这些统计数据可以总结出长期来看房价是涨还是跌，股票长期来看是涨还是跌，如果经济总体上扬，房价和股票应该都是涨的。但是基于统计数据，无法总结出股票，物价的微小波动规律。

基于神经网络的微观经济学才是对整个经济规律最最准确的表达，每个人对于从社会中的输入，进行各自的调整，并且调整同样会作为输入反馈到社会中。想象一下股市行情细微的波动曲线，正是每个独立的个体各自不断交易的结果，没有统一的规律可循。而每个人根据整个社会的输入进行独立决策，当某些因素经过多次训练，也会形成宏观上的统计性的规律，这也就是宏观经济学所能看到的。例如每次货币大量发行，最后房价都会上涨，多次训练后，人们也就都学会了。

然而神经网络包含这么多的节点，每个节点包含非常多的参数，整个参数量实在是太大了，需要的计算量实在太大，但是没有关系啊，我们有大数据平台，可以汇聚多台机器的力量一起来计算，才能在有限的时间内得到想要的结果。

于是工智能程序作为SaaS平台进入了云计算。

网易将人工智能这个强大的技术，应用于反垃圾工作中，从网易1997年推出邮箱产品开始，我们的反垃圾技术就在不停的进化升级，并且成功应用到各个亿量级用户的产品线中，包括影音娱乐，游戏，社交，电商等产品线。比如网易新闻、博客相册、云音乐、云阅读、有道、BOBO、考拉、游戏等产品。总的来说，反垃圾技术在网易已经积累了19年的实践经验，一直在背后默默的为网易产品保驾护航。现在作为云平台的SaaS服务开放出来。

回顾网易反垃圾技术发展历程，大致上我们可以把他分为三个关键阶段，也基本对应着人工智能发展的三个时期：

第一阶段主要是依赖关键词，黑白名单和各种过滤器技术，来做一些内容的侦测和拦截，这也是最基础的阶段，受限于当时计算能力瓶颈以及算法理论的发展，第一阶段的技术也能勉强满足使用。

第二个阶段时，基于计算机行业里有一些更新的算法，比如说贝叶斯过滤(基于概率论的算法)，一些肤色的识别，纹理的识别等等，这些比较优秀成熟的论文出来，我们可以基于这些算法做更好的特征匹配和技术改造，达到更优的反垃圾效果。

最后，随着人工智能算法的进步和计算机运算能力的突飞猛进，反垃圾技术进化到第三个阶段：大数据和人工智能的阶段。我们会用海量大数据做用户的行为分析，对用户做画像，评估用户是一个垃圾用户还是一个正常用户，增加用户体验更好的人机识别手段，以及对语义文本进行理解。还有基于人工智能的图像识别技术，更准确识别是否是色情图片，广告图片以及一些违禁品图片等等。

② 致力神经网络架构创新 助推人工智能未来发展

——记南京大学电子科学与工程学院特聘教授王中风

提起人工智能（AI），你首先想到的可能是机器人，但现阶段，神经网络才是当红的技术。自上世纪40年代相关的理论被提出后，神经网络经历了几十年跌宕起伏的发展。现如今，深度神经网络因其良好的学习和表达能力，已经在图像处理、自然语言处理等多个领域取得了突破性进展，成为了人工智能领域应用最为广泛的模型。但是在实际运用过程中，深度神经网络庞大的参数量和计算量给传统计算硬件带来了处理速度燃前皮和能耗效率等方面的严峻挑战，高能效深度神经网络加速器的优化设计与实现是新一代人工智能应用快速落地的关键。

基于以上需求，信号处理系统超大规模集成电路（VLSI）设计领域的国际着名专家，南京大学电子科学与工程学院特聘教授王中风，针对深度学习系统的算法优化与硬件加速展开了一系列研究。王中风教授兢兢业业、辛勤耕耘，为我国人工智能和集成电路设计等技术发展做出了突出贡献。

追逐梦想 秉承坚定科研情怀

王中风的人生与科研经历可谓丰富多彩，中专时期，他以顽强的毅力自学完成了高中和大学数学课程；青年时期，他放弃铁矿的“铁饭碗”，克服重重困难，通过自学以全县理科第一的成绩考上清华大学自动化系；大学期间，他从未停歇过前进的脚步，以优异的成绩提前完成本科学业并攻读硕士学位；毕业后，他先就职于北京一家高 科技 公司，之后出国深造，进入美国明尼苏达大学电机系继续攻读博士学位。读博期间，他努力付出，先后在行业顶级期刊上发表多篇高质量论文，且于1999年获得 IEEE 信号处理系统行业旗舰会议SiPS的最佳论文奖。

2000年博士毕业后，王中风先后进入美国国家半导体公司、俄勒冈州立大学电子与计算机工程学院以及美国博通公司工作，在不同单位都取得了一项又一项瞩目成绩。他曾先后参与十余款商用芯片的研发工作，主持设计的一些核心模块性能指标在行业处于领先地位。他的有关技术提案先后被IEEE等十余种网络通信标准所采纳。2015年，因在FEC（纠错码）设计与VLSI（超大规模集成电路）实现方面的突出贡献，他被评为IEEE Fellow。

虽然在美国有着优越的科研环境，王中风却清楚地知道，这并非他心之所向。“科学无国界，但科学家有国界”，身在海外，王中风一直心系祖国的发展，“那里才是家国和故土，要为她历尽所能”。 2016年，当祖国以“国际特聘专家”的形式召唤海外游子回国时，他毅然在事业的上升期回到祖国的怀抱，矢志为祖国的科研产业发展贡献自己的力量。

2016年，王中风进入南京大学电子科学与工程学院，同年，他牵头创建集成电路与智能系统（ICAIS）实验室，以数字通信与机器学习的设计与硬件优化为中心，面向智能制造、智慧工地及智慧社区等国家经济重大需求，和国内外诸多名校及一些顶尖企业开展合作，积极推动和引领中国集成电路设计领域发展，努力攻克技术瓶颈。如今，王中风的科研团队在国际集成电路设计领域已颇具影响，科研报国的梦想正在一步步实现。

开拓创新 突破人工智能芯片

“志之所趋，无远弗届。穷山距海，不能限也”。回国之后，王中风教授快速组建团队，精心布局，全面展开工作。凭借着皮差20多年数字信号处理与IC设计领域丰富的研发经验，他带领团队以“算法与硬件架构协同设计优化”为中心，在人工智能算法与硬件架构，低功耗、强纠错能力信道编/解码硬件架构设计及可信计算加速等科研方向上全面发力，并取得了显着的学术成果。

具体到人工智能芯片设计方面，王中风带领团队开发了多维度的硬件友好型神经网络压缩算法和悔虚一系列高效深度学习的推理和训练硬件加速架构。在算法优化层面，他们创新了硬件加速架构对冗余信息的挖掘和处理方式，充分利用不同维度冗余信息的正交性，将动态计算调整与静态参数压缩相结合，在保证推理精度的前提下，显着降低了深度学习算法的计算复杂度和参数量。此外，团队就卷积神经网络等常用模型开展了全面系统地研究，创造性地开发了一系列计算优化及数据流优化方案，其中包括基于快速算法的卷积加速技术和层间融合复用的数据传输方案等，解决了其硬件设计在计算能力和传输带宽方面的两大瓶颈，大幅提升了系统计算效率、能效和吞吐率。

在硬件实现层面，针对神经网络中广泛存在的稀疏性及其并行处理时无法充分提升能效的瓶颈问题，他们引入了局部串行和全局并行的设计思想，可在不损失精度的前提下充分利用神经网络冗余性，明显提升了AI推理加速器的功耗效率。结合完整工具链的定制设计，该高效架构可以在不同场景中得到广泛应用。在训练加速器设计方面，王中风是最早 探索 新型数据表示格式的运用和可重构训练加速器架构设计的学者之一。他带领团队首次利用Posit数据格式，设计了一种高效深度神经网络训练方法和Posit专用低复杂度乘累加单元，在大幅降低计算、存储开销和带宽需求的同时，实现了与全精度浮点数据格式下相同的模型精度。此外，王中风带领团队将高速电路设计领域最常用的并行计算与流水线处理技术充分运用到神经网络加速架构中，突破了递归计算带来的系统时钟瓶颈，从而最终提高了加速器整体的吞吐率上限。

为了促进产学研的协同创新，王中风在2018年牵头创立了南京风兴 科技 有限公司，致力于人工智能芯片及智能系统解决方案等相关产品的研发。公司拥有国际领先的低功耗集成电路设计与优化技术，2020年独家推出了针对高性能智能计算的高能效稀疏神经网络计算芯片架构，支持常用深度学习算法，解决了AI芯片领域存在的通用性与高性能难以兼顾的难题，具有行业领先的能效比，可以满足云-边-端多种推理应用场景，减轻AI计算对内存带宽和存储的极高要求；在显着提升芯片性能的同时，能够大幅降低芯片成本，从而有效推动人工智能算法在诸多领域的实际落地。

天道酬勤，付出的汗水浇灌出了美丽的花朵，自2016年回国工作以来，王中风先后获得江苏省“双创人才”、“双创团队”领军人才、南京市“高层次创新人才”、“ 科技 顶尖专家集聚计划”A类人才等荣誉和奖励。2020年荣获吴文俊人工智能 科技 进步奖。2018-2021年，王中风共有7篇合着论文（均为通信作者）进入 IEEE 集成电路相关行业旗舰会议最佳论文奖的最终候选名单，其中关于AI硬件加速器设计方面的工作创纪录地在18个月内连续四次荣获IEEE权威学术会议的年度最佳论文奖。与此同时，王中风团队已经申请发明专利数十项，其中9项专利被产业转化，带动 社会 资本投资数千万元。这些成绩也激励着王中风教授不断拓宽研究方向，砥砺向前。

③ 神经网络浅谈

人工智能技术是当前炙手可热的话题，而基于神经网络的深度学习技术更是热点中的热点。去年谷歌的Alpha Go 以4:1大比分的优势战胜韩国的李世石九段，展现了深度学习的强大威力，后续强化版的Alpha Master和无师自通的Alpha Zero更是在表现上完全碾压前者。不论你怎么看，以深度学习为代表的人工智能技术正在塑造未来。

下图为英伟达（NVIDIA）公司近年来的股价情况， 该公司的主要产品是“图形处理器”（GPU），而GPU被证明能大大加快神经网络的训练速度，是深度学习必不可少的计算组件。英伟达公司近年来股价的飞涨足以证明当前深度学习的井喷之势。

好，话不多说，下面简要介绍神经网络的基本原理、发展脉络和优势。

神经网络是一种人类由于受到生物神经细胞结构启发而研究出的一种算法体系，是机器学习算法大类中的一种。首先让我们来看人脑神经元细胞：

一个神经元通常具有多个树突 ，主要用来接受传入信息，而轴突只有一条，轴突尾端有许多轴突末梢，可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。

下图是一个经典的神经网络（Artificial Neural Network,ANN）：

乍一看跟传统互联网的拓扑图有点类似，这也是称其为网络的原因，不同的是节点之间通过有向线段连接，并且节点被分成三层。我们称图中的圆圈为神经元，左边三个神经元组成的一列为输入层，中间神经元列为隐藏层,右边神经元列为输出层，神经元之间的箭头为权重。

神经元是计算单元，相当于神经元细胞的细胞核，利用输入的数据进行计算，然后输出，一般由一个线性计算部分和一个非线性计算部分组成；输入层和输出层实现数据的输入输出，相当于细胞的树突和轴突末梢；隐藏层指既不是输入也不是输出的神经元层，一个神经网络可以有很多个隐藏层。

神经网络的关键不是圆圈代表的神经元，而是每条连接线对应的权重。每条连接线对应一个权重，也就是一个参数。权重具体的值需要通过神经网络的训练才能获得。我们实际生活中的学习体现在大脑中就是一系列神经网络回路的建立与强化，多次重复的学习能让回路变得更加粗壮，使得信号的传递速度加快，最后对外表现为“深刻”的记忆。人工神经网络的训练也借鉴于此，如果某种映射关系出现很多次，那么在训练过程中就相应调高其权重。

1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP：

符号化后的模型如下：

Sum函数计算各权重与输入乘积的线性组合，是神经元中的线性计算部分，而sgn是取符号函数，当输入大于0时，输出1，反之输出0，是神经元中的非线性部分。向量化后的公式为z=sgn(w^T a)（w^T=(w_1,w_2,w_3)，a=〖(a_1,a_2,a_3)〗^T）。

但是，MP模型中，权重的值都是预先设置的，因此不能学习。该模型虽然简单，并且作用有限，但已经建立了神经网络大厦的地基

1958年，计算科学家Rosenblatt提出了由两层神经元组成(一个输入层，一个输出层)的神经网络。他给它起了一个名字–“感知器”（Perceptron）

感知器是当时首个可以学习的人工神经网络。Rosenblatt现场演示了其学习识别简单图像的过程，在当时引起了轰动，掀起了第一波神经网络的研究热潮。

但感知器只能做简单的线性分类任务。1969年，人工智能领域的巨擘Minsky指出这点，并同时指出感知器对XOR（异或，即两个输入相同时输出0，不同时输出1）这样的简单逻辑都无法解决。所以，明斯基认为神经网络是没有价值的。

随后，神经网络的研究进入低谷，又称 AI Winter 。

Minsky说过单层神经网络无法解决异或问题，但是当增加一个计算层以后，两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分类效果。

下图为两层神经网络（输入层一般不算在内）：

上图中，输出层的输入是上一层的输出。

向量化后的公式为：

注意：

每个神经元节点默认都有偏置变量b，加上偏置变量后的计算公式为：

同时，两层神经网络不再使用sgn函数作为激励函数，而采用平滑的sigmoid函数：

σ(z)=1/(1+e^(-z) )

其图像如下：

理论证明： 两层及以上的神经网络可以无限逼近真实的对应函数，从而模拟数据之间的真实关系 ，这是神经网络强大预测能力的根本。但两层神经网络的计算量太大，当时的计算机的计算能力完全跟不上，直到1986年，Rumelhar和Hinton等人提出了反向传播（Backpropagation，BP）算法，解决了两层神经网络所需要的复杂计算量问题，带动了业界使用两层神经网络研究的热潮。

但好景不长，算法的改进仅使得神经网络风光了几年，然而计算能力不够，局部最优解，调参等一系列问题一直困扰研究人员。90年代中期，由Vapnik等人发明的SVM（Support Vector Machines，支持向量机）算法诞生，很快就在若干个方面体现出了对比神经网络的优势：无需调参；高效；全局最优解。

由于以上原因，SVM迅速打败了神经网络算法成为主流。神经网络的研究再一次进入低谷， AI Winter again 。

多层神经网络一般指两层或两层以上的神经网络（不包括输入层），更多情况下指两层以上的神经网络。

2006年，Hinton提出使用 预训练 ”（pre-training）和“微调”(fine-tuning)技术能优化神经网络训练，大幅度减少训练多层神经网络的时间

并且，他给多层神经网络相关的学习方法赋予了一个新名词–“ 深度学习 ”，以此为起点，“深度学习”纪元开始了：）

“深度学习”一方面指神经网络的比较“深”，也就是层数较多；另一方面也可以指神经网络能学到很多深层次的东西。研究发现，在权重参数不变的情况下，增加神经网络的层数，能增强神经网络的表达能力。

但深度学习究竟有多强大呢？没人知道。2012年，Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络成功地对包含一千类别的一百万张图片进行了训练，取得了分类错误率15%的好成绩，这个成绩比第二名高了近11个百分点，充分证明了多层神经网络识别效果的优越性。

同时，科研人员发现GPU的大规模并行矩阵运算模式完美地契合神经网络训练的需要，在同等情况下，GPU的速度要比CPU快50-200倍，这使得神经网络的训练时间大大减少，最终再一次掀起了神经网络研究的热潮，并且一直持续到现在。

2016年基于深度学习的Alpha Go在围棋比赛中以4:1的大比分优势战胜了李世石，深度学习的威力再一次震惊了世界。

神经网络的发展历史曲折荡漾，既有被捧上神坛的高潮，也有无人问津的低谷，中间经历了数次大起大落，我们姑且称之为“三起三落”吧，其背后则是算法的改进和计算能力的持续发展。

下图展示了神经网络自发明以来的发展情况及一些重大时间节点。

当然，对于神经网络我们也要保持清醒的头脑。由上图，每次神经网络研究的兴盛期持续10年左右，从最近2012年算起，或许10年后的2022年，神经网络的发展将再次遇到瓶颈。

神经网络作为机器学习的一种，其模型训练的目的，就是使得参数尽可能的与真实的模型逼近。理论证明，两层及以上的神经网络可以无限逼近真实的映射函数。因此，给定足够的训练数据和训练时间，总能通过神经网络找到无限逼近真实关系的模型。

具体做法：首先给所有权重参数赋上随机值，然后使用这些随机生成的参数值，来预测训练数据中的样本。假设样本的预测目标为yp ，真实目标为y，定义值loss，计算公式如下：

loss = (yp -y) ^2

这个值称之为 损失 （loss），我们的目标就是使对所有训练数据的损失和尽可能的小，这就转化为求loss函数极值的问题。

一个常用方法是高等数学中的求导，但由于参数不止一个，求导后计算导数等于0的运算量很大，所以常用梯度下降算法来解决这样的优化问题。梯度是一个向量，由函数的各自变量的偏导数组成。

比如对二元函数 f =(x,y)，则梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函数值上升最快的方向。梯度下降算法每次计算参数在当前的梯度，然后让参数向着梯度的反方向前进一段距离，不断重复，直到梯度接近零时截止。一般这个时候，所有的参数恰好达到使损失函数达到一个最低值的状态。下图为梯度下降的大致运行过程：

在神经网络模型中，由于结构复杂，每次计算梯度的代价很大。因此还需要使用 反向传播 （Back Propagation）算法。反向传播算法利用了神经网络的结构进行计算，不一次计算所有参数的梯度，而是从后往前。首先计算输出层的梯度，然后是第二个参数矩阵的梯度，接着是中间层的梯度，再然后是第一个参数矩阵的梯度，最后是输入层的梯度。计算结束以后，所要的两个参数矩阵的梯度就都有了。当然，梯度下降只是其中一个优化算法，其他的还有牛顿法、RMSprop等。

确定loss函数的最小值后，我们就确定了整个神经网络的权重，完成神经网络的训练。

在神经网络中一样的参数数量，可以用更深的层次去表达。

由上图，不算上偏置参数的话，共有三层神经元，33个权重参数。

由下图，保持权重参数不变，但增加了两层神经元。

在多层神经网络中，每一层的输入是前一层的输出，相当于在前一层的基础上学习，更深层次的神经网络意味着更深入的表示特征，以及更强的函数模拟能力。更深入的表示特征可以这样理解，随着网络的层数增加，每一层对于前一层次的抽象表示更深入。

如上图，第一个隐藏层学习到“边缘”的特征，第二个隐藏层学习到“边缘”组成的“形状”的特征，第三个隐藏层学习到由“形状”组成的“图案”的特征，最后的隐藏层学习到由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。

前面提到， 明斯基认为Rosenblatt提出的感知器模型不能处理最简单的“异或”（XOR）非线性问题，所以神经网络的研究没有前途，但当增加一层神经元后，异或问题得到了很好地解决，原因何在？原来从输入层到隐藏层，数据发生了空间变换，坐标系发生了改变，因为矩阵运算本质上就是一种空间变换。

如下图，红色和蓝色的分界线是最终的分类结果，可以看到，该分界线是一条非常平滑的曲线。

但是，改变坐标系后，分界线却表现为直线，如下图：

同时，非线性激励函数的引入使得神经网络对非线性问题的表达能力大大加强。

对于传统的朴素贝叶斯、决策树、支持向量机SVM等分类器，提取特征是一个非常重要的前置工作。在正式训练之前，需要花费大量的时间在数据的清洗上，这样分类器才能清楚地知道数据的维度，要不然基于概率和空间距离的线性分类器是没办法进行工作的。然而在神经网络中，由于巨量的线性分类器的堆叠（并行和串行）以及卷积神经网络的使用，它对噪声的忍耐能力、对多通道数据上投射出来的不同特征偏向的敏感程度会自动重视或忽略，这样我们在处理的时候，就不需要使用太多的技巧用于数据的清洗了。有趣的是，业内大佬常感叹，“你可能知道SVM等机器学习的所有细节，但是效果并不好，而神经网络更像是一个黑盒，很难知道它究竟在做什么，但工作效果却很好”。

人类对机器学习的环节干预越少，就意味着距离人工智能的方向越近。神经网络的这个特性非常有吸引力。

1) 谷歌的TensorFlow开发了一个非常有意思的神经网络 入门教程 ，用户可以非常方便地在网页上更改神经网络的参数，并且能看到实时的学习效率和结果，非常适合初学者掌握神经网络的基本概念及神经网络的原理。网页截图如下：

2) 深度学习领域大佬吴恩达不久前发布的《 神经网络和深度学习 》MOOC，现在可以在网易云课堂上免费观看了，并且还有中文字幕。

3) 《神经网络于深度学习》（Michael Nielsen着）、《白话深度学习与TensorFlow》也是不错的入门书籍。

④ 人工神经网络概念梳理与实例演示

人工神经网络概念梳理与实例演示
神经网络是一种模仿生物神经元的机器学习模型，数据从输入层进入并流经激活阈值的多个节点。
递归性神经网络一种能够对之前输入数据进行内部存储记忆的神经网络，所以他们能够学习到数据流中的时间依赖结构。
如今机器学习已经被应用到很多的产品中去了，例如，siri、Google Now等智能助手，推荐引擎——亚马逊网站用于推荐商品的推荐引擎，Google和Facebook使用的广告排名系统。最近，深度学习的一些进步将机器学习带入公众视野：AlphaGo 打败围棋大师李世石事件以及一些图片识别和机器翻译等新产品的出现。
在这部分中，我们将介绍一些强大并被普遍使用的机器学习技术。这当然包括一些深度学习以及一些满足现代业务需求传统方法。读完这一系列的文章之后，你就掌握了必要的知识，便可以将具体的机器学习实验应用到你所在的领域当中。
随着深层神经网络的精度的提高，语音和图像识别技术的应用吸引了大众的注意力，关于AI和深度学习的研究也变得更加普遍了。但是怎么能够让它进一步扩大影响力，更受欢迎仍然是一个问题。这篇文章的主要内容是：简述前馈神经网络和递归神经网络、怎样搭建一个递归神经网络对时间系列数据进行异常检测。为了让我们的讨论更加具体化，我们将演示一下怎么用Deeplearning4j搭建神经网络。
一、什么是神经网络？
人工神经网络算法的最初构思是模仿生物神经元。但是这个类比很不可靠。人工神经网络的每一个特征都是对生物神经元的一种折射：每一个节点与激活阈值、触发的连接。
连接人工神经元系统建立起来之后，我们就能够对这些系统进行训练，从而让他们学习到数据中的一些模式，学到之后就能执行回归、分类、聚类、预测等功能。
人工神经网络可以看作是计算节点的集合。数据通过这些节点进入神经网络的输入层，再通过神经网络的隐藏层直到关于数据的一个结论或者结果出现，这个过程才会停止。神经网络产出的结果会跟预期的结果进行比较，神经网络得出的结果与正确结果的不同点会被用来更正神经网络节点的激活阈值。随着这个过程的不断重复，神经网络的输出结果就会无限靠近预期结果。
二、训练过程
在搭建一个神经网络系统之前，你必须先了解训练的过程以及网络输出结果是怎么产生的。然而我们并不想过度深入的了解这些方程式，下面是一个简短的介绍。
网络的输入节点收到一个数值数组（或许是叫做张量多维度数组）就代表输入数据。例如, 图像中的每个像素可以表示为一个标量，然后将像素传递给一个节点。输入数据将会与神经网络的参数相乘，这个输入数据被扩大还是减小取决于它的重要性，换句话说，取决于这个像素就不会影响神经网络关于整个输入数据的结论。
起初这些参数都是随机的，也就是说神经网络在建立初期根本就不了解数据的结构。每个节点的激活函数决定了每个输入节点的输出结果。所以每个节点是否能够被激活取决于它是否接受到足够的刺激强度，即是否输入数据和参数的结果超出了激活阈值的界限。
在所谓的密集或完全连接层中，每个节点的输出值都会传递给后续层的节点，在通过所有隐藏层后最终到达输出层，也就是产生输入结果的地方。在输出层, 神经网络得到的最终结论将会跟预期结论进行比较(例如，图片中的这些像素代表一只猫还是狗?)。神经网络猜测的结果与正确结果的计算误差都会被纳入到一个测试集中，神经网络又会利用这些计算误差来不断更新参数，以此来改变图片中不同像素的重要程度。整个过程的目的就是降低输出结果与预期结果的误差，正确地标注出这个图像到底是不是一条狗。
深度学习是一个复杂的过程，由于大量的矩阵系数需要被修改所以它就涉及到矩阵代数、衍生品、概率和密集的硬件使用问题，但是用户不需要全部了解这些复杂性。
但是，你也应该知道一些基本参数，这将帮助你理解神经网络函数。这其中包括激活函数、优化算法和目标函数(也称为损失、成本或误差函数)。
激活函数决定了信号是否以及在多大程度上应该被发送到连接节点。阶梯函数是最常用的激活函数, 如果其输入小于某个阈值就是0，如果其输入大于阈值就是1。节点都会通过阶梯激活函数向连接节点发送一个0或1。优化算法决定了神经网络怎么样学习，以及测试完误差后，权重怎么样被更准确地调整。最常见的优化算法是随机梯度下降法。最后, 成本函数常用来衡量误差，通过对比一个给定训练样本中得出的结果与预期结果的不同来评定神经网络的执行效果。
Keras、Deeplearning4j 等开源框架让创建神经网络变得简单。创建神经网络结构时，需要考虑的是怎样将你的数据类型匹配到一个已知的被解决的问题，并且根据你的实际需求来修改现有结构。
三、神经网络的类型以及应用
神经网络已经被了解和应用了数十年了，但是最近的一些技术趋势才使得深度神经网络变得更加高效。
GPUs使得矩阵操作速度更快；分布式计算结构让计算能力大大增强；多个超参数的组合也让迭代的速度提升。所有这些都让训练的速度大大加快，迅速找到适合的结构。
随着更大数据集的产生，类似于ImageNet 的大型高质量的标签数据集应运而生。机器学习算法训练的数据越大，那么它的准确性就会越高。
最后，随着我们理解能力以及神经网络算法的不断提升，神经网络的准确性在语音识别、机器翻译以及一些机器感知和面向目标的一些任务等方面不断刷新记录。
尽管神经网络架构非常的大，但是主要用到的神经网络种类也就是下面的几种。
3.1前馈神经网络
前馈神经网络包括一个输入层、一个输出层以及一个或多个的隐藏层。前馈神经网络可以做出很好的通用逼近器，并且能够被用来创建通用模型。
这种类型的神经网络可用于分类和回归。例如，当使用前馈网络进行分类时，输出层神经元的个数等于类的数量。从概念上讲, 激活了的输出神经元决定了神经网络所预测的类。更准确地说, 每个输出神经元返回一个记录与分类相匹配的概率数，其中概率最高的分类将被选为模型的输出分类。
前馈神经网络的优势是简单易用，与其他类型的神经网络相比更简单，并且有一大堆的应用实例。
3.2卷积神经网络
卷积神经网络和前馈神经网络是非常相似的，至少是数据的传输方式类似。他们结构大致上是模仿了视觉皮层。卷积神经网络通过许多的过滤器。这些过滤器主要集中在一个图像子集、补丁、图块的特征识别上。每一个过滤器都在寻找不同模式的视觉数据，例如，有的可能是找水平线，有的是找对角线，有的是找垂直的。这些线条都被看作是特征，当过滤器经过图像时，他们就会构造出特征图谱来定位各类线是出现在图像的哪些地方。图像中的不同物体，像猫、747s、榨汁机等都会有不同的图像特征，这些图像特征就能使图像完成分类。卷积神经网络在图像识别和语音识别方面是非常的有效的。
卷积神经网络与前馈神经网络在图像识别方面的异同比较。虽然这两种网络类型都能够进行图像识别，但是方式却不同。卷积神经网络是通过识别图像的重叠部分，然后学习识别不同部分的特征进行训练；然而，前馈神经网络是在整张图片上进行训练。前馈神经网络总是在图片的某一特殊部分或者方向进行训练，所以当图片的特征出现在其他地方时就不会被识别到，然而卷积神经网络却能够很好的避免这一点。
卷积神经网络主要是用于图像、视频、语音、声音识别以及无人驾驶的任务。尽管这篇文章主要是讨论递归神经网络的，但是卷积神经网络在图像识别方面也是非常有效的，所以很有必要了解。
3.3递归神经网络
与前馈神经网络不同的是，递归神经网络的隐藏层的节点里有内部记忆存储功能，随着输入数据的改变而内部记忆内容不断被更新。递归神经网络的结论都是基于当前的输入和之前存储的数据而得出的。递归神经网络能够充分利用这种内部记忆存储状态处理任意序列的数据，例如时间序列。
递归神经网络经常用于手写识别、语音识别、日志分析、欺诈检测和网络安全。
递归神经网络是处理时间维度数据集的最好方法，它可以处理以下数据：网络日志和服务器活动、硬件或者是医疗设备的传感器数据、金融交易、电话记录。想要追踪数据在不同阶段的依赖和关联关系需要你了解当前和之前的一些数据状态。尽管我们通过前馈神经网络也可以获取事件，随着时间的推移移动到另外一个事件，这将使我们限制在对事件的依赖中，所以这种方式很不灵活。
追踪在时间维度上有长期依赖的数据的更好方法是用内存来储存重要事件，以使近期事件能够被理解和分类。递归神经网络最好的一点就是在它的隐藏层里面有“内存”可以学习到时间依赖特征的重要性。
接下来我们将讨论递归神经网络在字符生成器和网络异常检测中的应用。递归神经网络可以检测出不同时间段的依赖特征的能力使得它可以进行时间序列数据的异常检测。
递归神经网络的应用
网络上有很多使用RNNs生成文本的例子，递归神经网络经过语料库的训练之后，只要输入一个字符，就可以预测下一个字符。下面让我们通过一些实用例子发现更多RNNs的特征。
应用一、RNNs用于字符生成
递归神经网络经过训练之后可以把英文字符当做成一系列的时间依赖事件。经过训练后它会学习到一个字符经常跟着另外一个字符（“e”经常跟在“h”后面，像在“the、he、she”中）。由于它能预测下一个字符是什么，所以它能有效地减少文本的输入错误。
Java是个很有趣的例子，因为它的结构包括很多嵌套结构，有一个开的圆括号必然后面就会有一个闭的，花括号也是同理。他们之间的依赖关系并不会在位置上表现的很明显，因为多个事件之间的关系不是靠所在位置的距离确定的。但是就算是不明确告诉递归神经网络Java中各个事件的依赖关系，它也能自己学习了解到。
在异常检测当中，我们要求神经网络能够检测出数据中相似、隐藏的或许是并不明显的模式。就像是一个字符生成器在充分地了解数据的结构后就会生成一个数据的拟像，递归神经网络的异常检测就是在其充分了解数据结构后来判断输入的数据是不是正常。
字符生成的例子表明递归神经网络有在不同时间范围内学习到时间依赖关系的能力，它的这种能力还可以用来检测网络活动日志的异常。
异常检测能够使文本中的语法错误浮出水面，这是因为我们所写的东西是由语法结构所决定的。同理，网络行为也是有结构的，它也有一个能够被学习的可预测模式。经过在正常网络活动中训练的递归神经网络可以监测到入侵行为，因为这些入侵行为的出现就像是一个句子没有标点符号一样异常。
应用二、一个网络异常检测项目的示例
假设我们想要了解的网络异常检测就是能够得到硬件故障、应用程序失败、以及入侵的一些信息。
模型将会向我们展示什么呢？
随着大量的网络活动日志被输入到递归神经网络中去，神经网络就能学习到正常的网络活动应该是什么样子的。当这个被训练的网络被输入新的数据时，它就能偶判断出哪些是正常的活动，哪些是被期待的，哪些是异常的。
训练一个神经网络来识别预期行为是有好处的，因为异常数据不多，或者是不能够准确的将异常行为进行分类。我们在正常的数据里进行训练，它就能够在未来的某个时间点提醒我们非正常活动的出现。
说句题外话，训练的神经网络并不一定非得识别到特定事情发生的特定时间点（例如，它不知道那个特殊的日子就是周日），但是它一定会发现一些值得我们注意的一些更明显的时间模式和一些可能并不明显的事件之间的联系。
我们将概述一下怎么用 Deeplearning4j（一个在JVM上被广泛应用的深度学习开源数据库）来解决这个问题。Deeplearning4j在模型开发过程中提供了很多有用的工具：DataVec是一款为ETL（提取-转化-加载）任务准备模型训练数据的集成工具。正如Sqoop为Hadoop加载数据，DataVec将数据进行清洗、预处理、规范化与标准化之后将数据加载到神经网络。这跟Trifacta’s Wrangler也相似，只不过它更关注二进制数据。
开始阶段
第一阶段包括典型的大数据任务和ETL：我们需要收集、移动、储存、准备、规范化、矢量话日志。时间跨度的长短是必须被规定好的。数据的转化需要花费一些功夫，这是由于JSON日志、文本日志、还有一些非连续标注模式都必须被识别并且转化为数值数组。DataVec能够帮助进行转化和规范化数据。在开发机器学习训练模型时，数据需要分为训练集和测试集。
训练神经网络
神经网络的初始训练需要在训练数据集中进行。
在第一次训练的时候，你需要调整一些超参数以使模型能够实现在数据中学习。这个过程需要控制在合理的时间内。关于超参数我们将在之后进行讨论。在模型训练的过程中，你应该以降低错误为目标。
但是这可能会出现神经网络模型过度拟合的风险。有过度拟合现象出现的模型往往会在训练集中的很高的分数，但是在遇到新的数据时就会得出错误结论。用机器学习的语言来说就是它不够通用化。Deeplearning4J提供正则化的工具和“过早停止”来避免训练过程中的过度拟合。
神经网络的训练是最花费时间和耗费硬件的一步。在GPUs上训练能够有效的减少训练时间，尤其是做图像识别的时候。但是额外的硬件设施就带来多余的花销，所以你的深度学习的框架必须能够有效的利用硬件设施。Azure和亚马逊等云服务提供了基于GPU的实例，神经网络还可以在异构集群上进行训练。
创建模型
Deeplearning4J提供ModelSerializer来保存训练模型。训练模型可以被保存或者是在之后的训练中被使用或更新。
在执行异常检测的过程中，日志文件的格式需要与训练模型一致，基于神经网络的输出结果，你将会得到是否当前的活动符合正常网络行为预期的结论。
代码示例
递归神经网络的结构应该是这样子的：
MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder(
.seed(123)
.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT).iterations(1)
.weightInit(WeightInit.XAVIER)
.updater(Updater.NESTEROVS).momentum(0.9)
.learningRate(0.005)
.gradientNormalization(GradientNormalization.ClipElementWiseAbsoluteValue)
.(0.5)
.list()
.layer(0, new GravesLSTM.Builder().activation("tanh").nIn(1).nOut(10).build())
.layer(1, new RnnOutputLayer.Builder(LossFunctions.LossFunction.MCXENT)
.activation("softmax").nIn(10).nOut(numLabelClasses).build())
.pretrain(false).backprop(true).build();
MultiLayerNetwork net = new MultiLayerNetwork(conf);
net.init();
下面解释一下几行重要的代码：
.seed(123)
随机设置一个种子值对神经网络的权值进行初始化，以此获得一个有复验性的结果。系数通常都是被随机的初始化的，以使我们在调整其他超参数时仍获得一致的结果。我们需要设定一个种子值，让我们在调整和测试的时候能够用这个随机的权值。
.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT).iterations(1)
决定使用哪个最优算法（在这个例子中是随机梯度下降法）来调整权值以提高误差分数。你可能不需要对这个进行修改。
.learningRate(0.005)
当我们使用随机梯度下降法的时候，误差梯度就被计算出来了。在我们试图将误差值减到最小的过程中，权值也随之变化。SGD给我们一个让误差更小的方向，这个学习效率就决定了我们该在这个方向上迈多大的梯度。如果学习效率太高，你可能是超过了误差最小值；如果太低，你的训练可能将会永远进行。这是一个你需要调整的超参数。

⑤ 没有显卡能用虚拟显卡吗

启用Docker虚拟机GPU,加速深度学习_AndyCheng_hgcc的博客

Docker虚拟机首先说一下Docker虚拟机。为什么需要虚拟机?不知道你是否有过这样的经历,在github上看到一个有趣的开源项目,把代码下载下来,按照项目上的说明编译运行,结果发现怎么也不能成功。

继续访问

linux怎么训练神经网络,神经网络训练在Linux虚拟机的速度快过...

checkbias:float64checkdata:float64==>floattype:float32Datasetisloaded...train60000andtest10000Epoch1:5542/10000,Cost(ontrain):1.9846122093061607,roundtime(s):20.16...

继续访问

深度学习训练吃显卡_深度学习为什么需要显卡计算？

先解释一点，深度学习为什么需要显卡计算？GPU是为大规模的并行运算而优化；GPU上则更多的是运算单元(整数、浮点的乘加单元，特殊运算单元等等)；GPU往往拥有更大带宽的显存，因此在大吞吐量的应用中也会有很好的性能。这里有一个很有趣的解释视频，解释了GPU和CPU的计算区别。所以显卡选择最重要，因为准备基于CUDA计算(CUDA(ComputeUnifiedDevice...

继续访问

深度学习没有GPU怎么办？

方案内容缺点方案一厅戚买矿卡P106-100,闲鱼上不写运费的都是默认顺丰到付,我试了下,已经起纠纷了.矿卡损耗极大,买这个基本接盘,现在还在和卖家磨嘴皮子退货方案二尝试kagglenotebook训练中途把模型传到gitlfs,因为是大型文件,所以不能github,只能是gitlfsgit的机制是会记录历史数据,然后gitlfs...

继续访问

实验室一块GPU都没有怎么做深度学习？

链接：https://pan..com/s/1ncREw6Na9ycZptdxiVMApw

继续访问

在Windows11平台上使用Hyper-V、WSL与虚拟机工具——调用NVIDIA-GPU进行深度学习训练

1、目的是出于在window上安装虚拟机穿透nvidia-gpu进行gpu调用加速。2、英伟达正式启用GPU虚拟机显卡直通功能:英伟达宣布，完全支持GeForceGPU直通技术，该技术允许虚拟机从主机上访问GPU。

继续访问

热门推荐虚拟机上不能使用CUDA

虚拟机的显卡是虚拟的，不能中拆使用CUDA（至少很难），搞了一天才晃过神来：

继续访问

无GPU咋做深度学习、AI？恒源云使用指南

搞深度学习没有GPU可咋办，老师不给买，colab又不稳定，难道自己配一台深度学习工作站吗？由于之前的矿潮和芯片荒，且不说买的显卡是否够用，现在显卡价格还处于高位，现在买一块显卡还是挺亏的！经过本人不断探索，终于找到了一家便宜、好用的GPU云服务器平台，恒源云（卖伏枣gpushare.com）。对于学生党，第一要位就是价格，各位看官看下图，3090只要3r/h，2080ti也只要2r/h，这个价格够公道了吧！平常跑跑模型用不了几个钱，而且新手或者学生的代金券领完也100多r，这合计40多小时的3090免费

继续访问

最新发布深度学习训练模型时，GPU显存不够怎么办？

作者丨游客26024@知乎（已授权）编辑丨极市平台来源丨https://www.hu.com/question/461811359/answer/2492822726题外话，我为什么要写这篇博客，就是因为我穷！没钱！租的服务器使用多GPU时一会钱就烧没了（gpu内存不用），急需要一种trick，来降低内存加速。回到正题，如果我们使用的数据集较大，且网络较深，则会造成训练较慢，此时我们要想加...

继续访问

gcp试用gpu_如何在GCP上创建启用GPU的VM来训练您的神经网络

gcp试用,.(s)...

继续访问

安装虚拟机之后怎么配置虚拟环境、深度学习、深度强化学习环境安装

一、配置虚拟机VMware安装包&Ubuntu的光盘映像文件：在下面链接中选择自己想要下载的Linux系统光盘映像文件和VMware安装包。下载链接:下载Ubuntu&VMware的网盘链接.VMware安装安装链接:VMware安装的CSDN链接.Ubuntu安装打开VMware，点击创建新的虚拟机选择典型（推荐），并进入下一步浏览我们下载的iso文件目录安装程序光盘映像文件输入自己的信息选择一个适合的磁盘，新建一个文件夹作为安装虚拟机的位置之后按照

继续访问

显卡给2个虚拟机_虚拟化下的显卡

5G时代的到来让PC/图形工作站有了更大的突破。不受带宽和网络的限制，图形计算以及重载应用的“云”需求将爆发式增长，图形云将成为未来的趋势。图形处理引擎——显卡所有电脑都有一个重要的硬件——显卡(GPU)。GPU是图形处理的核心部件，对图形处理起到加速作用。显卡采用立方环境的材质贴图、硬体T&L、顶点混合、凹凸的映射贴图和纹理压缩、双重纹理四像素256位的渲染引擎等重要技术，在...

继续访问

没有显卡怎么使用anaconda配置tensorflow深度学习环境

深度学习环境配置——windows下的tensorflow-cpu=2.2.0环境配置环境内容tensorflow-cpu：2.2.0无需装keras，tensorflow因为自带了。环境配置一、Anaconda安装Anaconda的安装主要是为了方便环境管理，可以同时在一个电脑上安装多种环境，不同环境放置不同框架：pytorch、tensorflow、keras可以在不同的环境下安装，只需要使用condacreate–n创建新环境即可。1、Anaconda的下载——————..

继续访问

实验室没有显卡怎么深度学习

最近显卡奇缺，遍历了网上各种平台薅GPU羊毛，这里给大家介绍以下这个平台的福利！！！先附上链接：恒源云_GPUSHARE-恒源智享云恒源智享云gpushare.com是一个专注AI行业的共享算力平台，旨在为用户提供高性比价的GPU云主机和存储服务，让用户拥有高效的云端编程和训练体验，不再担忧硬件迭代/环境搭建/数据存储等一系列问题。https://gpushare.com/auth/register?user=18*****7729&fromId=ce701711122&sou

继续访问

【深度学习CPU（番外篇）——虚拟内存】

⑥ 使用python在GPU上构建和训练卷积神经网络

我将对代码进行补充演练，以构建在数据集上训练的任何类型的图像分类器。在这个例子中，我将使用花卉数据集，其中包括102种不同类型的花。需要数据集和代码都可以私信我。

Pytorch是机器学习和Python上的免费软件包，非常易于使用。语法模拟numpy，因此，如果你在python中有一些科学计算经验，那么会相当有用的。贺宽只需几行代码，就可以下载预先训练的数据集，使用定义的变换对图像进丛袭行标准化，然后运行训练。

创建和扩充数据集

为了增加数据集，我使用' google_images_download'API 从互联网上下载了相关图像。显然，您可以使用此API不仅可以扩充现有数据集，还可以从头开始创建自己的数据集。

确保从图像中挑选出异常值(损坏的文件或偶然出现的无关图像)。

图像标准化

为了使图像具有相同的大小和像素变化，可以使用pytorch的transfors模块：

转移学习

从头开始训练的模型可能不是最明智的选择，因为有许多网络可用于各种数据集。简单地说，像edge-和其他简单形状检测器等低级特征对于不同的模型是相似的，即使clasificators是针对不同目的进行训练的。在本项目中，我使用了一个预训练网络Resnet152，只有最后一个完全连接的层重新用于新任务，即使这样也会产生相当好的效果。

在这里，我将除最后一层之外的所有层都设置为具有固定权重（requires_grad = False），因此只有最后层中的参数将通过梯度下降进行更新。

训练模型

下面介绍一下进行训练的函数：

如何获得GPU？

当然，对CPU的训练太慢了。根据我自己的经验，在GPU仅需要一个小时就可以完成12次训练周期，但是在CPU上相同数量的训练周期可能需要花费大约15个小时。

如果您没有本地可用的GPU，则可以考虑使用云GPU。为了加速禅郑亮CNN的训练，我使用了floydhub（www.floydhub.com）上提供的云GPU 。

这项服务非常指的使用：总有很好的文档和大量的提示，所以你会很清楚的知道下一步需要如何去做。在floydhub上对于使用GPU的收费也是可以接受的。

首先，需要将数据集上传到服务器

然后，需要创建项目。需要在计算机上安装floydhub客户端，将数据集上载到其网站并在终端中运行以下命令：

其中'username'是您的登录名，'i'是数据集所在的文件夹。

这样子在训练网络时就会很轻松了

结果和改进想法

得到的模型在数据集上训练了1.5小时，并在验证数据集上达到了95％的准确度。

⑦ 神经网络（Neural Network）

（1）结构：许多树突（dendrite）用于输入，一个轴突 （axon）用于输出。

（2）特性：兴奋性和传导性。兴奋性是指当信号量超过某个阈值时，细胞体就会被激活，产生电脉冲。传导性是指电脉冲沿着轴突并通过突触传递到其它神经元。

（3）有两种状态的机器：激活时为“是”，不激活时为“否”。神经细胞的状态取决于从其他神经细胞接收到的信号量，以及突触的性质（抑制或加强）。

（1）神经元——不重要

① 神经元是包含权重和偏置项的 函数 ：接收数据后，执行一些计算，然后使用激活函数将数据限制在一个范围内（多数情况下）。

② 单个神经元：线性可分的情况下，本质是一条直线， ，这条直线将数据划分为两类。而线性分类器本身就是一个单层神经网络。

③ 神经网络：非线性可分的情况下，神经网络通过多个隐层的方法来实现非线性的函数。

（2）权重/参数/连接（Weight）——最重要

每一个连接上都有一个权重。一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。

（3）偏置项（Bias Units）——必须

① 如果没有偏置项，所有的函数都会经过原点。

② 正则化偏置会导致欠拟合：若对偏置正则化，会烂猛导致激活变得更加简单，偏差就会上升，学习的能力就会下降。

③ 偏置的大小度量了神经元产生激励（激活）的难易程度。

（1）定义：也称为转换函数，是一种将输入 (input) 转成输出 (output) 的函数。

（2）作用：一般直线拟合的精确度要比曲线差很多，引入激活嫌亏函数能给神经网络 增加一些非线性 的特性。

（3）性质：

① 非线性：导数不是常数，否则就退化成直线。对于一些画一条直线仍然无法分开的问题，非线性可以把直线变弯，就能包罗万象；

② 可微性：当优化方法是基于梯度的时候，处处可导为后向传播算法提供了核心芹历神条件；

③ 输出范围：一般限定在[0,1]，使得神经元对一些比较大的输入会比较稳定；

④ 非饱和性：饱和就是指，当输入比较大的时候输出几乎没变化，会导致梯度消失；

⑤ 单调性：导数符号不变，输出不会上蹿下跳，让神经网络训练容易收敛。

（1）线性函数 (linear function)—— purelin()

（2）符号函数 (sign function)—— hardlim() 

① 如果z值高于阈值，则激活设置为1或yes，神经元将被激活。

② 如果z值低于阈值，则激活设置为0或no，神经元不会被激活。

（3）对率函数 (sigmoid function)—— logsig()

① 优点：光滑S型曲线连续可导，函数阈值有上限。

② 缺点：❶ 函数饱和使梯度消失，两端梯度几乎为0，更新困难，做不深；

                ❷ 输出不是0中心，将影响梯度下降的运作，收敛异常慢；

                ❸ 幂运算相对来讲比较耗时

（4）双曲正切函数(hyperbolic tangent function)—— tansig()

① 优点：取值范围0中心化，防止了梯度偏差

② 缺点：梯度消失现象依然存在，但相对于sigmoid函数问题较轻

（5）整流线性单元 ReLU 函数(rectified linear unit)

① 优点：❶ 分段线性函数，它的非线性性很弱，因此网络做得很深；

                ❷ 由于它的线性、非饱和性， 对于随机梯度下降的收敛有巨大的加速作用；

② 缺点：❶ 当x<0，梯度都变成0，参数无法更新，也导致了数据多样化的丢失；

                ❷ 输出不是0中心

（6）渗漏型整流线性单元激活函数 Leaky ReLU 函数

① 优点：❶ 是为解决“ReLU死亡”问题的尝试，在计算导数时允许较小的梯度；

                ❷ 非饱和的公式，不包含指数运算，计算速度快。

② 缺点：❶ 无法避免梯度爆炸问题； （没有体现优于ReLU）

                ❷ 神经网络不学习 α 值。

（7）指数线性单元 ELU (Exponential Linear Units)

① 优点：❶ 能避免“死亡 ReLU” 问题；

                ❷ 能得到负值输出，这能帮助网络向正确的方向推动权重和偏置变化；

                ❸ 在计算梯度时能得到激活，而不是让它们等于 0。

② 缺点：❶ 由于包含指数运算，所以计算时间更长；

                ❷ 无法避免梯度爆炸问题； （没有体现优于ReLU）

                ❸ 神经网络不学习 α 值。

（8）Maxout（对 ReLU 和 Leaky ReLU的一般化归纳）

① 优点：❶ 拥有ReLU的所有优点（线性和不饱和）

                ❷ 没有ReLU的缺点（死亡的ReLU单元）

                ❸ 可以拟合任意凸函数

② 缺点 ：参数数量增加了一倍。难训练，容易过拟合

（9）Swish

① 优点：❶ 在负半轴也有一定的不饱和区，参数的利用率更大

                ❷ 无上界有下界、平滑、非单调

                ❸ 在深层模型上的效果优于 ReLU

每个层都包含一定数量的单元（units）。增加层可增加神经网络输出的非线性。

（1）输入层：就是接收原始数据，然后往隐层送

（2）输出层：神经网络的决策输出

（3）隐藏层：神经网络的关键。把前一层的向量变成新的向量，让数据变得线性可分。

（1）结构：仅包含输入层和输出层，直接相连。

（2）作用：仅能表示 线性可分 函数或决策，且一定可以在有限的迭代次数中收敛。

（3）局限：可以建立与门、或门、非门等，但无法建立更为复杂的异或门（XOR），即两个输入相同时输出1，否则输出0。 （“AI winter”）

（1）目的：拟合某个函数      （两层神经网络可以逼近任意连续函数）

（2）结构：包含输入层、隐藏层和输出层 ，由于从输入到输出的过程中不存在与模型自身的反馈连接，因此被称为“前馈”。    （层与层之间全连接）

（3）作用： 非线性 分类、聚类、预测等，通过训练，可以学习到数据中隐含的知识。

（4）局限：计算复杂、计算速度慢、容易陷入局部最优解，通常要将它们与其他网络结合形成新的网络。

（5）前向传播算法（Forward Propagation）

① 方法：从左至右逐级依赖的算法模型，即网络如何根据输入X得到输出Y，最终的输出值和样本值作比较， 计算出误差 。

② 目的：完成了一次正反向传播，就完成了一次神经网络的训练迭代。通过输出层的误差，快速求解对每个ω、b的偏导，利用梯度下降法，使Loss越来越小。

② 局限：为使最终的误差达到最小，要不断修改参数值，但神经网络的每条连接线上都有不同权重参数，修改这些参数变得棘手。

（6）误差反向传播（Back Propagation）

① 原理：梯度下降法求局部极值

② 方法：从后往前，从输出层开始计算 L 对当前层的微分，获得各层的误差信号，此误差信号即作为修正单元权值的依据。计算结束以后，所要的两个参数矩阵的 梯度 就都有了。

③ 局限：如果激活函数是饱和的，带来的缺陷就是系统迭代更新变慢，系统收敛就慢，当然这是可以有办法弥补的，一种方法是使用 交叉熵函数 作为损失函数。

（1）原理：随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。

（2）方法：ReLU函数在训练多层神经网络时，更容易收敛，并且预测性能更好。

（3）优点：① 易于构建，表达能力强，基本单元便可扩展为复杂的非线性函数

                      ② 并行性号，有利于在分布是系统上应用

（4）局限：① 优化算法只能获得局部极值，性能与初始值相关

                      ② 调参理论性缺乏

                      ③ 不可解释，与实际任务关联性模糊

（1）原理：由手工设计卷积核变成自动学习卷积核

（2）卷积（Convolutional layer）： 输入与卷积核相乘再累加 （内积、加权叠加）

① 公式：

② 目的：提取输入的不同特征，得到维度很大的 特征图（feature map）

③ 卷积核：需要训练的参数。一般为奇数维，有中心像素点，便于定位卷积核

④ 特点：局部感知、参数变少、权重共享、分层提取

（3）池化（Pooling Layer）：用更高层的抽象表达来表示主要特征，又称“降采样”

① 分类： 最大 （出现与否）、平均（保留整体）、随机（避免过拟合）

② 目的：降维，不需要训练参数，得到新的、维度较小的特征

（4）步长（stride）：若假设输入大小是n∗n，卷积核的大小是f∗f，步长是s，则最后的feature map的大小为o∗o，其中

（5）填充（zero-padding）

① Full模式：即从卷积核（fileter）和输入刚相交开始做卷积，没有元素的部分做补0操作。

② Valid模式：卷积核和输入完全相交开始做卷积，这种模式不需要补0。

③ Same模式：当卷积核的中心C和输入开始相交时做卷积。没有元素的部分做补0操作。

（7）激活函数：加入非线性特征

（8）全连接层（Fully-connected layer）

如果说卷积层、池化层和激活函数层等是将原始数据映射到隐层特征空间（决定计算速度），全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用（决定参数个数）。

参考：

[1]  神经网络（入门最详细）_ruthy的博客-CSDN博客_神经网络算法入门

[2]  神经网络（容易被忽视的基础知识） - Evan的文章 - 知乎

[3]  人工神经网络——王的机器

[4]  如何简单形象又有趣地讲解神经网络是什么？ - 舒小曼的回答 - 知乎

[5]  神经网络15分钟入门！足够通俗易懂了吧 - Mr.括号的文章 - 知乎

[6]  神经网络——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神经网络

[7]  直觉化深度学习教程——什么是前向传播——CSDN

[8]  “反向传播算法”过程及公式推导（超直观好懂的Backpropagation）_aift的专栏-CSDN

[9]  卷积、反卷积、池化、反池化——CSDN

[10]  浙大机器学习课程- bilibili.com

⑧ 大家评评理，这黑科技实现后该卖多少钱

对于不少小伙伴来说，科幻电影一定是此生必打卡的影片类型。像是去年大受好评的《流浪地球》，小到救援队穿的机械外骨骼，大到行星推进器，可以说在中国电影史上羡唯还从未有过一部电影，体现出了如此深厚的科技崇拜。

其实，翻开固特异的历史，它的壮举还真是不少：世界上首款量产汽车福特T系列就是它提供的原配轮胎；创造了368次F1冠军记录，至今无人超越；更牛的是，创造陆路时速960公里世界纪录的火箭车和人类首次登月的太空车也是装备固特异的轮胎；再到近年来所发布的这些概念轮胎，这品牌还是真是“生命不息，折腾不止”！

总结

可能在很多人眼中，轮胎就是四个黑色的橡胶圈，很少有什么创新或突破。但随着无人驾驶和电动车的兴起，轮胎不再只是橡胶产品，也能汇聚诸多先进科技，甚至脑洞大开。固特异已经向人们展示各种各样的脑洞，虽然有的脑洞很大，不过要实现科幻电影的情节，还得靠这些脑洞和创新！在未来，轮胎也不仅是一款轮胎那么简单，而是智能驾驶生态链的重要一环，这只会思考的脚，已向我们大步走来！

本文来源于汽车之家车家号作者，不代表汽车之家的观点立场。

⑨ 没有gpu如何运行深度神经网络

没有gpu用云服务器运行深度神经网络。深肢袜悉度学习可以理解为深度神经网络进行机械学习，这种情况必须得用GPU，还得好几块，同时还得搭历乎配好缺容量更大的内存，如果没有GPU，用云服务器跑深度学习也可以。