程序员的数学第一章讲解

1. 《程序员的数学思维修炼（趣味解读）》epub下载在线阅读，求百度网盘云资源

《程序员的数学思维修炼（趣味解读）》（周颖）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1Kf4mbywRVB1j8hujZNDq_Q

提取码：7y29

书名：程序员的数学思维修炼（趣味解读）

作者：周颖

豆瓣评分：5.5

出版社：清华大学出版社

出版年份：2014-4-1

页数：301

内容简介：

本书是一本专门为程序员而写的数学书，介绍了程序设计中常用的数学知识。本书门槛不高，不需要读者精通很多高深的数学知识，只需要读者具备基本的四则运算、乘方等数学基础知识和日常生活中的基本逻辑判断能力即可。本书拒绝枯燥乏味的讲解，而是代之以轻松活泼的风格。书中列举了大量读者都很熟悉，而且非常有趣的数学实例，并结合程序设计的思维和算法加以剖析，可以训练读者的数学思维能力和程序设计能力，进而拓宽读者的视野，增强职场竞争力。

本书共11章，分别介绍了数据的表示、神奇的素数、递归、排列组合、用余数进行数据分组、概率、复利、数理逻辑、推理、几何图形构造、统筹规划等程序设计中常用的数学知识，从而引导读者深入理解编程中的数学方法和思路。本书包含的实例有结绳记事、孪生素数、梅森素数、哥德巴赫猜想、阶乘、汉诺塔、斐波那契数列、乘法原理、加法原理、字符编码、密码长度、日历中的数学、心灵感应魔术、约瑟夫环、智叟分牛、百枚钱币鼓士气、庄家的胜率、中奖概率、用概率方法求π值、复利的威力、对折纸张、舍罕王的赏赐、三段论、选言推理、假言推理、关系推理、花盆摆放、残缺棋盘、丢失的线条、田忌赛马、背包问题等。

本书适合广大程序设计人员及数学爱好者阅读，尤其适合有一定程序设计经验，但还需要进一步加深对程序设计理解的人员阅读。本书对IT求职人员、信息学竞赛和大学生程序设计竞赛等参赛学员也有很好的参考价值。

作者简介：

毕业于电子科技大学。高级程序员、某软件公司的技术总监。擅长C和C++语言，对数据结构和算法有深入的研究。长期从事行业软件设计和团队管理工作，已十年有余。有着丰富的IT架构设计经验和行业咨询经验。负责过多个大型软件项目的开发工作。

2. 《统计思维：程序员数学之概率统计程序员数学之概率统计》pdf下载在线阅读，求百度网盘云资源

《统计思维》（Allen B.Downey）电子书网盘下载免费在线阅读

链接：

密码：i907

书名：统计思维

作者：Allen B.Downey

译者：张建锋

豆瓣评分：6.7

出版社：人民邮电出版社

出版年份：2013-5

页数：160

内容简介：

代码跑出来的概率统计问题；

程序员的概率统计开心辞典；

开放数据集，全代码攻略。

现实工作中，人们常被要求用数据说话。可是，数据自己是不能说话的，只有对它进行可靠分析和深入挖掘才能找到有价值的信息。概率统计是数据分析的通用语言，是大数据时代预测未来的根基。

站在时代浪尖上的程序员只有具备统计思维才能掌握数据分析的必杀技。本书正是一本概率统计方面的入门图书，但视角极为独特，折射出大数据浪潮的别样风景。作者将基本的概率统计知识融入Python编程，告诉你如何借助编写程序，用计算而非数学的方式实现统计分析。一个趣味实例贯穿全书，生动地讲解了数据分析的全过程：从采集数据和生成统计量，到识别模式和检验假设。一册在手，让你轻松掌握分布、概率论、可视化以及其他工具和概念。

 编写测试代码深入理解概率论和统计学

 运行实验检验统计行为特征，如生成服从各种分布的样本

 通过模拟理解数学上艰涩的概念

 学习贝叶斯估计等实用内容

 用Python导入各种来源的数据

 运用统计推断解决真实数据问题

《统计思维：程序员数学之概率统计》是一本以全新视角讲解概率统计的入门图书。抛开经典的数学分析，Downey 手把手教你用编程理解统计学。概率、分布、假设检验、贝叶斯估计、相关性等，每个主题都充满趣味性，经编程解释后变得更为清晰易懂。

本书研究数据主要来源于美国全国家庭成长调查（NSFG）与行为风险因素监测系统（BRFSS），数据源及解决方案的相关代码全部开放，具体章节列出了大量学习和进阶资料，方便读者参考。

Allen B. Downey是富兰克林欧林工程学院的计算机科学副教授，曾执教于韦尔斯利学院、科尔比学院和加州大学伯克利分校。他先后获麻省理工学院计算机科学硕士学位和加州大学伯克利分校计算机科学博士学位。Downey已出版十余本技术书，内容涉及Java、Python、C++、概率统计等，深受专业读者喜爱。他的最新Think系列书还有Think Complexity: Complexity Science and Computational Modeling、Think Python。

3. 《统计思维：程序员数学之概率统计程序员数学之概率统计》epub下载在线阅读，求百度网盘云资源

《统计思维(第2版)》（[美] Allen B. Downey）电子书网盘下载免费在线阅读

资源链接：

链接：

提取码：8d30

书名：统计思维(第2版)

作者：[美] Allen B. Downey

译者：金迎

豆瓣评分：8.0

出版社：人民邮电出版社

出版年份：2015-9

页数：204

内容简介：

现实工作中，人们常常需要用数据说话。可是，数据自己不会说话，需要人对它进行分析和挖掘才能找到有价值的信息。概率统计是数据分析的通用语言，是大数据时代预测未来的根基。如果你有编程背景，就能以概率和统计学为工具，将数据转化为有用的信息和知识，让数据说话。本书介绍了如何借助计算而非数学方法，使用Python语言对数据进行统计分析。

通过书中有趣的案例，你可以学到探索性数据分析的整个过程，从数据收集和生成统计量，到发现模式和检验假设。你还将探索概率分布、概率法则、可视化技术，以及其他许多工具和概念。

这一版内容较第1版有很多改动，并且新增了回归、时间序列分析、生存分析和分析方法章节，以丰富你的知识。

作者简介：

Allen B. Downey

是富兰克林欧林工程学院计算机科学教授，曾执教于韦尔斯利学院、科尔比学院和加州大学伯克利分校。在加州大学伯克利分校获得计算机科学博士学位。Downey已出版十余本技术书，包括Think Python、Think Bayes、Think Complexity等。

4. 《程序员的数学3线性代数》pdf下载在线阅读，求百度网盘云资源

《程序员的数学3》（[日] 平冈和幸）电子书网盘下载免费在线阅读

资源链接：

链接: https://pan..com/s/1rKUGvS2cw44oWDJZPmI1Bw

提取码: v52d

书名：程序员的数学3

作者：[日] 平冈和幸

译者：卢晓南

豆瓣评分：8.2

出版社：人民邮电出版社

出版年份：2016-3

页数：384

内容简介：本书沿袭“程序员的数学”系列平易近人的风格，用通俗的语言和具象的图表深入讲解了编程中所需的线性代数知识。内容包括向量、矩阵、行列式、秩、逆矩阵、线性方程、LU分解、特征值、对角化、Jordan标准型、特征值算法等。

作者简介：堀玄

专攻应用数学和物理,主要从事脑科学与信号处理领域的研究。喜欢Ruby、JavaScript、PostScript等语言。最近正在研究基于统计学理论的语言处理。工学博士。

平冈和幸

专攻应用数学和物理，对机器学习兴趣浓厚。喜欢Ruby，热爱Scheme。最近被Common Lisp吸引，正在潜心研究。工学博士。

5. 什么叫编程函数他有什么作用c++的结构是怎样的

我下面说的就是函数的定义，如果你不能完全理解的话我建议你先看看下面的C语言结构，不然别人再怎么给你解释你也听不明白：（

在某个变化过程中，有两个变量x、y，如果给定自变量x一个值，那么应变量有且只有一个变量与之对应，那么我们称y是x的函数。

人们对C++有许多不同的看法，保守的C++程序员坚持用其他语言创建COM组件，他们认为只有真正的程序员使用C++。另一方面，VB程序员认为C++是一种很难掌握和使用的语言，没有必要增加编程时间和进行艰难的尝试。Java程序员认为他们比C++程序员强，因为James Gosling(Java的发明者)吸收了许多语言(包括C++ )的优点发明了Java，本章和下一章的目的就是消除对C++的偏见和错误概念。

本章集中介绍用C++ 建立服务器组件，不讲述C++语言，如果想学C++ ，请参阅Ivor.Horton着的《Beginning Visual C++6》，Wrox 出版，书号为ISBN 1-861000-88-X。

本章的主要内容有：

? C++简史。

? 使用C++原因。

? 从VB移植到C++。

? ATL、STL和MFC介绍。

? 建立一个COM组件。

? 错误处理与调试。

更重要的是应该记住，现在，不只是在用C++建立组件，可以使用Visual C++中可用的任何工具，使得建立过程更加容易。先从C++的起源谈起。

17.1 C++语言

在决定是否使用C++语言之前，最好是搞清楚这种语言的实质，让我们看一下C++的历史和现状。

17.1.1 C++简史

刚开始形成的是C语言，那些想建立更快更有效的代码的程序员非常欣赏C语言，有一位名叫Bjarne Stroustrup的人却不满足于仅仅是生产快速代码，他想创建面向对象的C语言编程。他开始对C语言的内核进行必要的修改，使其能满足面向对象模型的要求。C++从此产生。

Bjarne Stroustrup是C++的最初设计者和实现者。它自诞生以来，经过开发和扩充已成一种完全成熟的编程语言。现在C++已由ANSI、BSI、DIN、其他几个国家标准机构和ISO定为标准。ISO标准于1997年11月4日经投票正式通过。

C++标准演变了许多年。C++模板是近几年来对此语言的一种扩展，模板是根据类型参数来产生函数和类的机制，有时也称模板为“参数化的类型”。使用模板，可以设计一个对许多类型的数据进行操作的类，而不需要为每个类型的数据建立一个单独的类。标准模板库(Standard Tempalte Library，STL )和微软的活动模板库(Active Tempalte Library，ATL )都基于这个C++语言扩展。

C++标准可分为两部分， C++语言本身和C++标准库。C++标准库对于Visual C++是相当新的，实际上微软只是在发布Visual C++ 5.0时去除了一些“bug”。标准库提供了标准的输入/输出、字符串、容器(如矢量、列表和映射等)、非数值运算(如排序、搜索和合并等)和对数值计算的支持。应该说， C/C++包含了相对少的关键字，而且很多最有用的函数都来源于库，C++标准库实现容器和算法的部分就是STL。

STL是数据结构和算法的一个框架，数据结构包括矢量、列表和映射等，算法包括这些数据结构的查找、拷贝和排序等。1994年7月，ANSI/ISO C++标准委员会投票决定接受STL为C++标准库的一部分，这个建议是根据Alex Stepanov、Meng Lee和David Musser这三人的编程和软件库研究提出的。STL的产生是为了满足通用性的设计目标，而不是为了提高性能。

那么微软对C++标准的态度怎什么样？微软运行VC++与Plum-Hall C++，想比较得到的分数在92%和93%之间。为什么不是100%的一个原因是跟踪这个标准并同时建立一个编译器比较困难，微软也考虑了对现有编码兼容的重要性，有时他们不得不偏离标准以保持这个兼容性。

17.1.2 使用C++的原因

应该有充分的理由使用C++创建服务器组件，而不只是为了给上司一个好印象才使用C++。如果以前没用过C++，你必须要尽力学习。

1. 性能

性能有个两方面，算法速度和机器代码效率。一个算法可以定义为数据通过系统的概念化的路径，它描述一些点，在这些点上，数据能够被操作并可转换产生某个结果。例如，一个算法定义为获取一个字符串，计算字符串中的字符个数，并作为结果返回的过程。算法与

语言是独立的，所以在编程之前必须设计算法，编写一个快速程序的第一个步骤是设计良好的算法，能以最少的操作步骤得出问题的答案。第二个步是选择语言，这也影响程序的速度。

从性能的角度考虑，用汇编语言编写程序是最佳的选择，它是计算机能理解的自然语言。但是，几乎没有人用汇编语言编写完整的程序，因为这样做极其乏味。另一个最佳的选择是C语言。然而，由VC++提供的所有工具都产生C++，而不是C。使用VC++的向导可以生成大量的使用代码，而不必人工地编写代码。从编写程序的难易程度和程序的性能综合考虑， C++是最佳的选择。

C++性能良好，因为它被编译为机器代码。对于VBScript和Java等语言，代码在运行时由程序解释，而且每次运行程序时都要将代码转换为机器码，这样做效率比较低，不仅仅是已编译过的C++程序运行得较快，而且微软C++编译器已存在多年。这意味着微软的编译器程序员已经把许多优点集中到编译器上，以致于它能产生非常高效的机器码。因为C++是编译语言，而且非常自然，比VB更接近机器代码，所以由C++编译器产生的代码一定比VB的编译代码效率更高。

2. 错误处理

一个好的程序与一个伟大的程序的区别就是其是否具有良好的错误处理支持。实际上，如果在实现中首先进行错误处理，而不是在最后才进行，那么整个程序的开发和测试过程会更加完美。但是，错误处理只能与语言所支持的内容相一致。

VBScript具有基本的错误处理支持功能。在默认情况下，不能捕获VBScript中的错误。每次怀疑产生错误时，要调用On Error Resume Next功能，并检查Error对象。

而C++中的错误处理比较好，这是因为有“异常处理”，本章的后面部分将详细介绍。

3. 最小的依赖性

正如上面所说，C++是一种编译语言，即C++代码在执行之前已转换为机器码。只要此代码不依赖于外部的动态链接库(DLL)，C++就可以在不需要安装额外程序的情况下移动到运行同样操作系统的其他机器和微处理器上，而移动Java程序时需要先安装Java运行期库。

4. 利用现有的代码

由于C和C++已经存在许多年了，现在有许多可利用的代码，你的服务器组件可以使用现有的C/C++代码或库。例如统计库和到老系统的C接口。

5. 最大化COM特征

COM与C++很接近，实际上， Don Box(COM的权威)在他的《Essential COM》一书的第一章写道：“COM就是更好的C++”。他说明了COM规范是如何从C++语言规律中产生出来的。通过理解C++，会对COM有更深的理解。

某些语言不能利用所有的COM特征，而在C++中，几乎可以使用所有的COM特征。

17.1.3 不使用C++的原因

知道什么时候使用C++是重要的，同样，知道什么时候不使用C++也是重要的。想象一下那些长期维护代码的人，如果他们中没有一些C++程序员支持C++，那么开发者们不得不把眼光转向另外一些他们熟悉的语言。

改变C++组件时，为了看到这些改变的结果，必须重新编译该组件代码，这会花费很长的开发时间。C++不能像ASP页面代码那样，只使用记事本，改变代码的一行，重新装载而得到结果。因此，如果某些工作需要经常变化(如原型)，不要用C++。

在C++中，对一些致命的错误不能获得更多的保护，写一个使组件崩溃的代码是很容易的。这是为了提供快速代码而付出的代价， C++不会停下来去检查代码是否按设计运行能否使程序不崩溃依赖于开发者的技巧。如果在这方面花的时间较少或刚刚学习C++，最好不要使用C++。等到已经意识到C++中所有容易犯的错误，而且在检测组件之前花了许多时间，才可以使用C++，如果想很快、很容易地建立一个组件，而且也不考虑该组件的执行速度，那么使用VB吧！

17.1.4 把ASP技巧转到C++上

学习新东西的最好方法就是利用现有的技巧。对于ASP开发者来说，已经学习了C++所要求的许多技巧，特别是，JScript语法和ActiveX或COM的面向对象编程的概念。

1. JScript

大部分ASP开发者都用JScript在浏览器上使用DHTML。JScript的语法与C非常相似，所以，如果懂得JScript，那么就懂得基本的C语法。当然，只是C++语法的子集。C++有许多额外的语法来支持面向对象编程，这就是我们下一步要做的。

2. 面向对象编程

如果你在VB中使用过类(class)，则对任何COM对象和文档对象模型(Document ObjectModel，DOM )都应熟悉，因为已经有了面向对象编程(OOP)的概念。在前面已经说过， C和C++的区别是C++支持面向对象编程。

6. 程序员必备的一些数学基础知识

作为一个标准的程序员，应该有一些基本的数学素养，尤其现在很多人在学习人工智能相关知识，想抓住一波人工智能的机会。很多程序员可能连这样一些基础的数学问题都回答不上来。

作为一个傲娇的程序员，应该要掌握这些数学基础知识，才更有可能码出一个伟大的产品。

向量 向量（vector）是由一组实数组成的有序数组，同时具有大小和方向。一个n维向量a是由n个有序实数组成，表示为 a = [a1, a2, · · · , an]

矩阵

线性映射 矩阵通常表示一个n维线性空间v到m维线性空间w的一个映射f: v -> w

注：为了书写方便， X.T ，表示向量X的转置。 这里： X(x1,x2,...,xn).T，y(y1,y2,...ym).T ，都是列向量。分别表示v,w两个线性空间中的两个向量。A(m,n)是一个 m*n 的矩阵，描述了从v到w的一个线性映射。

转置 将矩阵行列互换。

加法 如果A和B 都为m × n的矩阵，则A和B 的加也是m × n的矩阵，其每个元素是A和B相应元素相加。 [A + B]ij = aij + bij .

乘法 如A是k × m矩阵和B 是m × n矩阵，则乘积AB 是一个k × n的矩阵。

对角矩阵 对角矩阵是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。一个n × n的对角矩阵A满足： [A]ij = 0 if i ̸= j ∀i, j ∈ {1, · · · , n}

特征值与特征矢量 如果一个标量λ和一个非零向量v满足 Av = λv, 则λ和v分别称为矩阵A的特征值和特征向量。

矩阵分解 一个矩阵通常可以用一些比较“简单”的矩阵来表示，称为矩阵分解。

奇异值分解 一个m×n的矩阵A的奇异值分解

其中U 和V 分别为m × m和n×n 的正交矩阵，Σ为m × n的对角矩阵，其对角 线上的元素称为奇异值（singular value）。

特征分解 一个n × n的方块矩阵A的特征分解（Eigendecomposition）定义为

其中Q为n × n的方块矩阵，其每一列都为A的特征向量，^为对角阵，其每一 个对角元素为A的特征值。 如果A为对称矩阵，则A可以被分解为

其中Q为正交阵。

导数 对于定义域和值域都是实数域的函数 f : R → R ，若f(x)在点x0 的某个邻域∆x内，极限

存在，则称函数f(x)在点x0 处可导， f'(x0) 称为其导数，或导函数。 若函数f(x)在其定义域包含的某区间内每一个点都可导，那么也可以说函数f(x)在这个区间内可导。连续函数不一定可导，可导函数一定连续。例如函数|x|为连续函数，但在点x = 0处不可导。

加法法则
y = f(x),z = g(x) 则

乘法法则

链式法则 求复合函数导数的一个法则，是在微积分中计算导数的一种常用方法。若 x ∈ R，y = g(x) ∈ R，z = f(y) ∈ R ，则

Logistic函数是一种常用的S形函数，是比利时数学家 Pierre François Verhulst在 1844-1845 年研究种群数量的增长模型时提出命名的，最初作为一种生 态学模型。 Logistic函数定义为：

当参数为 (k = 1, x0 = 0, L = 1) 时，logistic函数称为标准logistic函数，记 为 σ(x) 。

标准logistic函数在机器学习中使用得非常广泛，经常用来将一个实数空间的数映射到(0, 1)区间。标准 logistic 函数的导数为：

softmax函数是将多个标量映射为一个概率分布。对于 K 个标量 x1, · · · , xK ， softmax 函数定义为

这样，我们可以将 K 个变量 x1, · · · , xK 转换为一个分布： z1, · · · , zK ，满足

当softmax 函数的输入为K 维向量x时，

其中，1K = [1, · · · , 1]K×1 是K 维的全1向量。其导数为

离散优化和连续优化 :根据输入变量x的值域是否为实数域，数学优化问题可以分为离散优化问题和连续优化问题。

无约束优化和约束优化 :在连续优化问题中，根据是否有变量的约束条件，可以将优化问题分为无约束优化问题和约束优化问题。 ### 优化算法

全局最优和局部最优

海赛矩阵

《运筹学里面有讲》，前面一篇文章计算梯度步长的时候也用到了： 梯度下降算法

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

梯度下降法
梯度下降法（Gradient Descent Method），也叫最速下降法（Steepest Descend Method），经常用来求解无约束优化的极小值问题。

梯度下降法的过程如图所示。曲线是等高线（水平集），即函数f为不同常数的集合构成的曲线。红色的箭头指向该点梯度的反方向（梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达函数f 值的局部最优解。

梯度上升法
如果我们要求解一个最大值问题，就需要向梯度正方向迭代进行搜索，逐渐接近函数的局部极大值点，这个过程则被称为梯度上升法。

概率论主要研究大量随机现象中的数量规律，其应用十分广泛，几乎遍及各个领域。

离散随机变量

如果随机变量X 所可能取的值为有限可列举的，有n个有限取值 {x1, · · · , xn}, 则称X 为离散随机变量。要了解X 的统计规律，就必须知道它取每种可能值xi 的概率，即

称为离散型随机变量X 的概率分布或分布，并且满足

常见的离散随机概率分布有：

伯努利分布

二项分布

连续随机变量
与离散随机变量不同，一些随机变量X 的取值是不可列举的，由全部实数 或者由一部分区间组成，比如

则称X 为连续随机变量。

概率密度函数
连续随机变量X 的概率分布一般用概率密度函数 p(x) 来描述。 p(x) 为可积函数，并满足：

均匀分布 若a, b为有限数，[a, b]上的均匀分布的概率密度函数定义为

正态分布 又名高斯分布，是自然界最常见的一种分布，并且具有很多良好的性质，在很多领域都有非常重要的影响力，其概率密度函数为

其中， σ > 0，µ 和 σ 均为常数。若随机变量X 服从一个参数为 µ 和 σ 的概率分布，简记为

累积分布函数
对于一个随机变量X，其累积分布函数是随机变量X 的取值小于等于x的概率。

以连续随机变量X 为例，累积分布函数定义为：

其中p(x)为概率密度函数，标准正态分布的累计分布函数:

随机向量
随机向量是指一组随机变量构成的向量。如果 X1, X2, · · · , Xn 为n个随机变量, 那么称 [X1, X2, · · · , Xn] 为一个 n 维随机向量。一维随机向量称为随机变量。随机向量也分为离散随机向量和连续随机向量。 条件概率分布 对于离散随机向量 (X, Y) ，已知X = x的条件下，随机变量 Y = y 的条件概率为：

对于二维连续随机向量(X, Y )，已知X = x的条件下，随机变量Y = y 的条件概率密度函数为

期望 对于离散变量X，其概率分布为 p(x1), · · · , p(xn) ，X 的期望（expectation）或均值定义为

对于连续随机变量X，概率密度函数为p(x)，其期望定义为

方差 随机变量X 的方差（variance）用来定义它的概率分布的离散程度，定义为

标准差 随机变量 X 的方差也称为它的二阶矩。X 的根方差或标准差。

协方差 两个连续随机变量X 和Y 的协方差（covariance）用来衡量两个随机变量的分布之间的总体变化性，定义为

协方差经常也用来衡量两个随机变量之间的线性相关性。如果两个随机变量的协方差为0，那么称这两个随机变量是线性不相关。两个随机变量之间没有线性相关性，并非表示它们之间独立的，可能存在某种非线性的函数关系。反之，如果X 与Y 是统计独立的，那么它们之间的协方差一定为0。

随机过程（stochastic process）是一组随机变量Xt 的集合，其中t属于一个索引（index）集合T 。索引集合T 可以定义在时间域或者空间域，但一般为时间域，以实数或正数表示。当t为实数时，随机过程为连续随机过程；当t为整数时，为离散随机过程。日常生活中的很多例子包括股票的波动、语音信号、身高的变化等都可以看作是随机过程。常见的和时间相关的随机过程模型包括贝努力过程、随机游走、马尔可夫过程等。

马尔可夫过程 指一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态。

其中X0:t 表示变量集合X0, X1, · · · , Xt，x0:t 为在状态空间中的状态序列。

马尔可夫链 离散时间的马尔可夫过程也称为马尔可夫链（Markov chain）。如果一个马尔可夫链的条件概率

马尔可夫的使用可以看前面一篇写的有意思的文章： 女朋友的心思你能猜得到吗？——马尔可夫链告诉你 随机过程还有高斯过程，比较复杂，这里就不详细说明了。

信息论（information theory）是数学、物理、统计、计算机科学等多个学科的交叉领域。信息论是由 Claude Shannon最早提出的，主要研究信息的量化、存储和通信等方法。在机器学习相关领域，信息论也有着大量的应用。比如特征抽取、统计推断、自然语言处理等。

在信息论中，熵用来衡量一个随机事件的不确定性。假设对一个随机变量X（取值集合为C概率分布为 p(x), x ∈ C ）进行编码，自信息I(x)是变量X = x时的信息量或编码长度，定义为 I(x) = − log(p(x)), 那么随机变量X 的平均编码长度，即熵定义为

其中当p(x) = 0时，我们定义0log0 = 0 熵是一个随机变量的平均编码长度，即自信息的数学期望。熵越高，则随机变量的信息越多；熵越低，则信息越少。如果变量X 当且仅当在x时 p(x) = 1 ，则熵为0。也就是说，对于一个确定的信息，其熵为0，信息量也为0。如果其概率分布为一个均匀分布，则熵最大。假设一个随机变量X 有三种可能值x1, x2, x3，不同概率分布对应的熵如下：

联合熵和条件熵 对于两个离散随机变量X 和Y ，假设X 取值集合为X；Y 取值集合为Y，其联合概率分布满足为 p(x, y) ，则X 和Y 的联合熵（Joint Entropy）为

X 和Y 的条件熵为

互信息 互信息（mutual information）是衡量已知一个变量时，另一个变量不确定性的减少程度。两个离散随机变量X 和Y 的互信息定义为

交叉熵和散度 交叉熵 对应分布为p(x)的随机变量，熵H(p)表示其最优编码长度。交叉熵是按照概率分布q 的最优编码对真实分布为p的信息进行编码的长度，定义为

在给定p的情况下，如果q 和p越接近，交叉熵越小；如果q 和p越远，交叉熵就越大。

7. 为什么算法导论中的数组序号是从1开始的

c语言下标从零开始是个错误，并且 index 也是一个有误导性的名词，它表示的是偏移量，明明应该用 offset。
然后 c 的徒子徒孙都学了它，导致现在很多人都误以为下标应该从 0 开始。
早期蛮荒时代，很多东西都不科学，算法导论作者致力于与落后文明作斗争，然而却遭到了楼主你的不理解，实乃编程届一大憾事。
我再说一遍，C 是结构化的汇编，下标基 0 是受到了 PDP-11 指令集的影响，更老的语言（比如 Fortran）都是基 1 的。
另外用 0/非 0 代表 false/true 也是 PDP-11 中 TST 指令和 Z 位的行为。
可能是这本书强调算法的求学思想，所以从一更加符合数学的数组规定。
但是编程的时候，指针这个东西会经常用到，如果用a(o)作为第一个元素 那么*a+n就等同于a(n) 比较方便
算法导论上的这个问题呢，我觉得我比较同意楼上的看法，这个书上面的很多的程序并不是可以敲上去直接运行的，他只是伪代码，思想而已，给人看的，人类的普遍思维是从1开始，那么书页就是从1开始了
说编程语言是给机器看而伪代码是给人看的简直是逗大家笑吧...编程语言设计出来就是给人看的....
另外从0开始在很多方便都极好....我觉得写多代码都能体会到吧..
帮算导洗地：
算法导论通篇用的是伪代码 是给人类阅读理解的 不是设计给机器去运行的
而绝大多数情况下， index 从 1 开始更符合人类直觉（如果你对这点有异议请参考的答案 ）
但少数情况下， index 从 0 开始更符合人类直觉。例如书中 hashing 还有 FFT 那块内容， index 是从 0 开始的。
其实写几天 Pascal 你就适应啦。。

8. 《程序员的数学2概率统计》pdf下载在线阅读，求百度网盘云资源

《程序员的数学2》（平冈和幸）电子书网盘下载免费在线阅读

资源链接：

链接: https://pan..com/s/1RKocmK4X2HXuKfoIg89jFQ

提取码: vvfc

书名：程序员的数学2

作者：平冈和幸

译者：陈筱烟

豆瓣评分：8.4

出版社：人民邮电出版社

出版年份：2015-8-1

页数：405

内容简介：

本书沿袭《程序员的数学》平易近人的风格，用通俗的语言和具体的图表深入讲解程序员必须掌握的各类概率统计知识，例证丰富，讲解明晰，且提供了大量扩展内容，引导读者进一步深入学习。

本书涉及随机变量、贝叶斯公式、离散值和连续值的概率分布、协方差矩阵、多元正态分布、估计与检验理论、伪随机数以及概率论的各类应用，适合程序设计人员与数学爱好者阅读，也可作为高中或大学非数学专业学生的概率论入门读物。

作者简介：

作者简介：

平冈和幸

数理工程学博士，对机器学习兴趣浓厚。喜欢Ruby，热爱Scheme。最近被Common Lisp吸引，正在潜心研究。

堀玄

数理工程学博士，主要从事脑科学与信号处理领域的研究。喜欢Ruby、JavaScript、PostScript等语言。最近正在研究基于统计学理论的语言处理。

译者简介：

陈筱烟

毕业于复旦大学计算机科学与技术系。从大学时期开始接触Java、JavaScript程序开发，目前对Web应用及智能手机应用开发很感兴趣。译作有《JavaScript编程全解》《App，这样设计才好卖》《两周自制脚本语言》等。