程序员必学的数学科目

1. 作为一名合格的程序员，请问需要掌握哪些数学知识，学到什么样的水平

程序员的知识是多方面的， 数学方面至少高等数学大专以上文化程度，概率统计,数字逻辑运算方面的知识，主要就是做哪一方面的程序设计，有些学过的可能长期也不用，搞科学研究的、游戏、智能软件开发、安全方面的要求就高一些，没有一定数学基础有些算法书就读不懂，搞社会一般应用的要求相对较低一些，这些只是常识，程序员关键一点把一门课及相关知识精通，可以把用户提出的问题很快的自己能够理解，转换成计算机处理方式，成为软件或网站，而且和用户的需求基本一致。当然有些人的数学水平并不高，设计出的软件人人爱用，水平很高，程序员的知识包括数学方面的知识也在不断充实更新中。

2. 程序员需要怎样的数学基础

离散数学对程序员来说非常重要，还有组合数学、线性代数、概率论、数论等等，即使你将来不做研究，这些基础知识也能极大地提高你的水平。计算机科学对离散数学的要求很高，建议你先学习前面提到的这些课程，然后学习计算机算法和数据结构，再配合到网上的在线题库做题，过程很艰辛，但是对你的帮助会很大。

推荐书目：

《具体数学》（先学完前面的数学课程，在水平有一定进步以后再看）

《算法导论》（应该人手一本的好书）

简单来说，学数学的目的，一方面是活跃你的思维；另一方面是为了深入学习算法打基础，设想一下，同样的问题，普通人的程序要几十分钟甚至几小时几天才能解决出来，甚至根本无法解决，而你精心设计的程序却能在1秒内解决出来，这就是数学的魅力、算法的魅力。

其实，一切取决于你是否想做一个高级程序员。如果你做体力活（其实一般编程别人都认为是体力活），那你可以不学，因为你用不到，但是，你要是做技术上的创新，做个很强的程序员，没有数学的支持，很难。

你既然学习了C，c++,你也知道算法的重要性，同样一个问题，我用13行程序解决了，我的同学居然用了33行，因为他不懂的用数学。你要达到什么高等，取决于你的数学修养。当然，要做一个普通的程序员就不用学习了。要挑战自己，做个好的，优秀的，学习数学吧！

3. 程序员需要学些什么

程序员的岗位需求很多，例如大型网络公司、软件开发公司等等都需要程序员。

程序员需要学习：

1、掌握数据及其转换、数据的机内表示、算术和逻辑运算，以及相关的应用数学基础知识；

2、理解计算机的组成以及各主要部件的性能指标；

3、掌握操作系统、程序设计语言的基础知识；

4、熟练掌握计算机常用办公软件的基本操作方法；

5、熟练掌握基本数据结构和常用算法；

6、熟练掌握C程序设计语言，以及C++、Java、Visual Basic中的一种程序设计语言；

7、熟悉数据库、网络和多媒体的基础知识；

8、掌握软件工程的基础知识，了解软件过程基本知识、软件开发项目管理的常识；

9、了解常用信息技术标准、安全性，以及有关法律、法规的基本知识；

10、了解信息化、计算机应用的基础知识；

11、正确阅读和理解计算机领域的简单英文资料。

程序员必备技能：

1、熟练开发工具

做为一名程序员至少熟练掌握两到三种开发工具的使用，这是程序员的立身之本，其中C/C++和JAVA是重点推荐的开发工具，C/C++以其高效率和高度的灵活性成为开发工具中的利器，很多系统级的软件还是用C/C++编写。

而JAVA的跨平台和与WEB很好的结合是JAVA的优势所在，而JAVA即其相关的技术集JAVAOne很可能会成为未来的主流开发工具之一。

其次，能掌握一种简便的可视化开发工具，如VB，PowerBuilder，Delphi，CBuilder，则更好，这些开发工具减小了开发难度，并能够强化程序员对象模型的概念。

另外，需要掌握基本的脚本语言，如shell，perl等，至少能读懂这些脚本代码。

2、熟知数据库

作为程序员，他们自然有自己的理由：很多应用程序都是以数据库的数据为中心，而数据库的产品也有不少，其中关系型数据库仍是主流形式，所以程序员至少熟练掌握一两种数据库，对关系型数据库的关键元素要非常清楚，要熟练掌握SQL的基本语法。

虽然很多数据库产品提供了可视化的数据库管理工具，但SQL是基础，是通用的数据库操作方法。如果没有机会接触商业数据库系统，可以使用免费的数据库产品是一个不错的选择，如mySQL，Postgres等。

3、了解操作系统

当前主流的操作系统是Windows，Linux/Unix，熟练地使用这些操作系统是必须的，但只有这些还远远不够。

要想成为一个真正的编程高手，需要深入了解操作系统，了解它的内存管理机制、进程/线程调度、信号、内核对象、系统调用、协议栈实现等。

Linux作为开发源码的操作系统，是一个很好的学习平台，Linux几乎具备了所有现代操作系统的特征。虽然Windows系统的内核实现机制的资料较少，但通过互联网还是能获取不少资料。懂得网络协议TCP/IP。

在互联网如此普及的今天，如果您还没有对互联网的支撑协议TCP/IP协议栈有很好的掌握，就需要迅速补上这一课，网络技术已改变了软件运行的模式。

从最早的客户/服务器结构，到今天的WEBServices，再到未来的网格计算，这一切都离不开以TCP/IP协议栈为基础的网络协议支持，深入掌握TCP/IP协议是非常必要的。

至少，需要了解ISO七层协议模型，IP/UDP/TCP/HTTP等常用协议的原理和三次握手机制。

4、明白DCOM/CORBA/XML/WEBServices存在的意义

随着技术的发展，软件与网络的无缝结合是必然趋势，软件系统的位置无关性是未来计算模式的重要特征之一，DCOM/CORBA是当前两大主流的分布计算的中间平台，DCOM是微软COM（组件对象模型）的扩展，而CORBA是OMG支持的规范。

XML/WebServices重要性不言而喻，XML以其结构化的表示方法和超强的表达能力被喻为互联网上的“世界语”，是分布式计算的基石之一。

5、不要将软件工程与CMM分开

大型软件系统的开发中，工程化的开发控制取代个人英雄主义，成为软件系统成功的保证，一个编程高手并不一定是一个优秀的程序员。

一个优秀的程序员是将出色的编程能力和开发技巧同严格的软件工程思想有机结合，编程只是软件生命周期中的其中一环，优秀的程序员应该掌握软件开发各个阶段的基本技能。

如市场分析，可行性分析，需求分析，结构设计，详细设计，软件测试等。

6、需求理解能力

程序员要能正确理解任务单中描述的需求。在这里要明确一点，程序员不仅仅要注意到软件的功能需求，还应注意软件的性能需求。

要能正确评估自己的模块对整个项目中的影响及潜在的威胁，如果有着两到三年项目经验的熟练程序员对这一点没有体会的话，只能说明他或许是认真工作过，但是没有用心工作。

7、模块化思维能力

作为一个优秀的程序员，他的思想不能局限在当前的工作任务里面，要想想看自己写的模块是否可以脱离当前系统存在，通过简单的封装在其他系统中或其他模块中直接使用。

这样做可以使代码能重复利用，减少重复的劳动，也能使系统结构越趋合理。模块化思维能力的提高是一个程序员的技术水平提高的一项重要指标。

就业方向：

1、网络开发

现在网络已经成为世界通讯的一座桥梁，好像Javascript、PHP、Ruby这几类开发语言大部分是用作网络开发方面。

2、企业软件开发

JAVA、C#、VB这几类开发语言都实现了面向对象开发的目标，更多时候用于企业系统的开发。

3、系统软件

C语言、C++、Object-C这些软件更多是用在系统软件开发，嵌入式开发的方面。

当然，这分类不是绝对，像JAVA、C#、VB很多时候也用于动态网站的开发。在很开发项目都会使用集成开发的方式，同一个项目里面使用多种开发语言，各展所长，同步开发。

但所以在刚入门的时候，建议先为自己选择一种合适的开发工具，“专注地投入学习，全力一击”。

(3)程序员必学的数学科目扩展阅读：

会编程、会计算机语言就能加入互联网发展大潮中，享受数字经济发展的红利，一时间社会上的程序员培训机构都变得格外火爆。

但是现在，专家的数据分析结果告诉你：若想跟上数字经济发展的步伐，光会编程可不行，这个行业现在紧缺高端的、综合型人才。

11月22日下午，清华大学经管学院互联网发展与治理研究中心与领英联合发布《中国经济的数字化转型：人才与就业》，揭示我国数字人才现状与趋势。

报告显示我国数字经济发展面临人才短缺的挑战，但这种短缺主要体现在拥有中高级专业技能数字人才的比例不高，拥有人工智能、智能制造等前沿技术的人才更是少之又少。

与美国、英国、加拿大等国家相比，中国的数字人才储备尚有很大差距。

此外，报告根据对人才需求的数据分析，结果显示我国数字人才的技能需求不再强调单一编程技能，更加看重技术、管理和领导力等综合技能。

2015年，我国从事信息传输、软件和信息技术服务相关工作的人数约350万，但其中中高端人才，特别是前沿技术的数字人才并不多。根据领英中国智库的研究，在人工智能领域，美国的从业者数量在85万人以上，印度15万，英国14万，中国只有5万多人。

报告负责人、清华大学经济管理学院副院长陈煜波教授表示，我国目前在大数据与人工智能领域人才缺口明显。

他解释说，目前中国85%以上的数字人才分布在产品研发类，而深度分析、先进制造、数字营销等职能的人才加起来只有不到5%，存在较大缺口，新兴技术人才和创新型人才培养方面存在滞后和不足。

这份研究报告的基础数据来自领英在中国的3600万个人用户，这些用户毕业于1.5万多所国内外院校，分布在36.4万家企业，拥有超过2.3万项技能。

陈煜波研究团队从中筛选了72万数字人才，多维度提取用户画像并跟踪其职业轨迹，以此预测不同地区的人才流向、雇佣率、受雇主欢迎的技能等人才趋势层面的信息。

陈煜波说，根据数据分析结果，整体来看，虽然编程技能和数据分析技能需求占据主导，然而随着数字产业走向成熟，企业除了强调编程技能，也逐步更加看重人才的技术、管理和领导力等综合技能。

近年间，项目管理、产品运营等“技术+管理”类技能的需求呈现出明显的上升趋势，懂技术、懂管理的人才被认为是“一将难求”。

领英中国代理总裁曾志恒也提醒，如果你有兴趣向数字职能转型，不能仅仅专注于自己的技术能力，沟通和领导力等软性技能将成为你脱颖而出的关键。

陈煜波希望这些研究结果能为教育行业和政府部门提供借鉴。他说，教育行业可根据职位的供需趋势更好地规划人才培养的方向，政府也可更好地了解人才流动方向、技术缺口等，以此制定有针对性的引才策略。

程序员岗位职责：

1、对项目经理负责，负责软件项目的详细设计、编码和内部测试的组织实施，对小型软件项目兼任系统分析工作，完成分配项目的实施和技术支持工作。

2、协助项目经理和相关人员同客户进行沟通，保持良好的客户关系。

3、参与需求调研、项目可行性分析、技术可行性分析和需求分析。

4、熟悉并熟练掌握交付软件部开发的软件项目的相关软件技术。

5、负责向项目经理及时反馈软件开发中的情况，并根据实际情况提出改进建议。

6、参与软件开发和维护过程中重大技术问题的解决，参与软件首次安装调试、数据割接、用户培训和项目推广。

7、负责相关技术文档的拟订。

8、负责对业务领域内的技术发展动态进行分析研究。

相关书籍：

很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数 Top 9的书。

其实除了前9本之外，推荐数前30左右的书籍都算经典，笔者整理编译这个问答贴，同时摘译部分推荐人的评语。

下面就按照各本书的推荐数排列。

1、《代码大全》 史蒂夫·迈克康奈尔

2、《程序员修炼之道》

3、《计算机程序的构造和解释》

4、《算法导论》

5、《重构：改善既有代码的设计》

6、《设计模式》

7、《人月神话》

8、《计算机程序设计艺术》

9、《编译原理》（龙书）

10、《活着》

4. 学习这些计算机基础科目要学习什么数学

一、数学
数学是计算机专业的基础，学好数学是学好计算机专业的关键。高等数学课程主要学习微积分、空间解析几何和微分方程，一般高校通用的教材是同济大学编的《高等数学》，目前已经有了第五版，也可以使用自考教材——西安交通大学陆庆乐编的《高等数学》，可以买一些配套的辅导书和习题解答。
还有两门重要的数学课程是《线性代数》和《概率统计》。可以分别采用高等教育出版社出版、同济大学编写的《线性代数》和浙江大学编写的《概率统计》。注意：自学一定要多做习题，而且最好一门课有一本习题解答和辅导书。

除了上面数学基础课外，在计算机专业中举足轻重的就是《离散数学》，这门课要多花点力气来学。可以采用左孝凌教授等编的《离散数学》，上海科学技术文献出版社。也可以用北大、清华的教材，还可以参考左教授编的自学教材，经济科学出版社。

其他课程还有《复编函数》、《计算方法》等，有余力的朋友可以选学。

二、专业基础课

1.《程序设计》：学习内容一般为C和C++。C语言可以采用谭浩强教授的《C程序设计》，内容比较浅显，C++方面的书推荐钱能编写的《C++程序设计》，清华大学出版社。

2.《数据结构》：这门课程比较难，可以采用严蔚敏教授编写的《数据结构(C语言版)》，有配套习题册。好好做题，有时间多编几个大的程序。

3.《模拟电路》和《数字电路》：这是难度较高的两门课程，选用自考教材相对来说容易些，也可以参考清华大学出版社出版的相关教材。

三、专业课

1.《计算机组成原理》：推荐白中英主编的《计算机组成原理》(第三版)，科学出版社；黄爱英主编的《计算机组成原理》(第三版)，清华大学出版社。

2.《操作系统》：汤子赢编写的《计算机操作系统》(第三版)，西安电子科技大学出版社。还可以参考高教司司长张尧学教授编写的教材，清华大学出版社。

3.《汇编语言》：可以用清华大学出版社出版的教材，也可以用自考教材。

4.《数据库原理》：人民大学教授王珊编的《数据库系统概论》(第三版)，高等教育出版社，复旦大学施伯乐老师编写的教材也不错。

5.《编译原理》：国防科技大学陈火旺院士编写的教材十分不错，最新版本是2000年出的，国防工业出版社。

四、选修课

包括计算机网络与通讯、软件工程、图形学、人工智

能、系统结构、图形学等。此类课程的教材可选用全国高等教育自学考试指定教材，或参考各高校所采用的计算机专科和本科教材及配套辅导书。英文基础好的朋友可以用国外着名大学的影印版教材。

我也是学计算机专业的，其最核心的课程是数据结构，这门课程想学好不是很容易，要花大量时间去实践；还有一些重要课程比如：操作系统，C语言，计算机组成原理，汇编语言，数据库，计算机网络，人工智能这些都是专业基础课，还有一些建模课~~~

高中起点计算机本科：

1. 计算机科学与技术专业：C语言程序设计、计算机组成原理、数据结构、操作系统、

微机原理及汇编语言、计算机网络、计算机系统结构、软件工程、面向对象程序设计等。

2. 计算机软件专业：面向对象程序设计、计算机组成原理、操作系统、数据结构、计算

机网络、软件工程、编译原理、分布式系统、软件项目管理、Oracle数据库系统等。

3. 电子商务专业：管理学原理、电子商务、物流管理、计算机网络、供应链管理、电子商务平台及核心技术、国际商务管理、电子商务案例分析、商务网站建设等。

专科起点计算机本科：

1. 计算机科学与技术专业：计算机组成原理、数据结构、面向对象程序设计、操作系统、计算机系统结构、软件工程、数据库原理及应用、计算机网络、嵌入式系统与结构等。

2. 计算机软件专业：操作系统、数据结构、面向对象程序设计、计算机原理及系统结构、数据库系统、JAVA程序设计、计算机网络、软件工程、中间件技术、信息系统集成等。

3. 电子商务专业：管理学原理、数据库原理及应用、管理信息系统、金融学、电子商务平台及核心技术、物流管理、计算机网络、人力资源管理、供应链管理等。

开设的主要课程有：高等数学、线性代数、概率与数理统计、普通物理、 离散数学、计算机科学导论、C语言及程序设计、汇编语言、、数字电路与逻辑设计、计算机组成原理、算法与数据结构、操作系统原理、软件工程、计算机网络与通信、计算机专业英语、编译原理、数据库系统原理、面向对象编程技术（如：VB）、CAD技术、图形图象处理技术、软件开发新环境、接口与通讯、人工智能及应用、信息系统工程、企业会计、电子数据交换(EDI)、计算机维修技术、计算机网络工程、计算机系统维护技术、多媒体技术及其应用、算法分析与设计、面向对象技术、、计算机图形学、决策支持系统、网络应用软件设计、网络操作系统、大型数据库系统、单片机应用、计算方法、软件高级工资格认证、高级程

序员水平认证、马克思主义哲学原理、毛泽东思想概论、马列政治经济学原理、邓小平理论、思想道德修养、法律基础、大学语文、大学英语、体育等。

《计算机操作系统》课程简介

本课程是计算机专业的专业课程之一， 着重介绍计算机系统的一个重要系统软件——操作系统。本课程详细阐述了操作系统如何管理计算机系统中的软件和硬件资源、合理组织计算机系统的工作流程、提供用户与计算机系统之间的软件接口等机制。

授课内容包括操作系统的基本内容和概念、进程的概念以及通信和调度的方法、操作系统中各种资源的管理。最后通过实例——Linux操作系统，介绍Linux系统中的存储、设备、文件和进程的管理。

本课程的前导课程为：C语言程序设计。授课对象为：网络与通信专业本科生。

《应用数据库技术》课程简介

本课程为本科计算机与通信专业的专业课程。本课程详细阐述和研究了数据库系统尤其是关系数据库系统的基本概念和基本原理、介绍了数据库国际标准语言——SQL语言以及数据库设计的基本技术和方法，旨在指导数据库应用系统的开发和数据库技术的广泛应用。

授课内容包括：数据库的基本原理和数据的物理组织与存取方法；关系数据库系统的基本概念、关系代数理论、查询语言、规范化理论、查询优化；数据库保护技术；数据库设计的基本技术和方法以及几种现今流行的数据库应用。

本课程的前导课程为：C语言程序设计、数据结构。授课对象为：网络与通信专业本科生。

《数据结构》课程简介

数据结构是计算机专业课程的主要基础课程之一。它旨在使学生了解和掌握数据对象的特性，学会数据组织的方法和把现实世界中的问题在计算机内部的表示方法，以及培养基本的、良好的程序设计技能。本课程详细阐述和研究了各种数据元素之间存在的关系（数据的逻辑结构）、在计算机中如何表示这种关系的存储结构以及存储结构的描述方法、数据的不同的逻辑结构在各种存储结构上实现的基本运算：查找、插入和删除的算法，从时间和空间复杂度的角度综合比较各种存储结构的不同特点和适用场合。

本课程的基本授课内容包括线性表、栈和队列、串、数组和广义表、二叉树和树、图、动态存储管理、查找、排序和文件等以及实现这些数据组织的算法等。

5. 高等数学、线性代数、离散数学、概率论是程序员的必修课吗有嘛关系如果有用学习的先后次序如何

高等数学，线性代数，概率论是大学必修课，就和英语一样。离散数学是计算机专业的必修课，作为编程，很多时候需要离散数学的相关知识，尤其是数据结构，数据库。离散数学需要线性代数的一点内容。而概率论必须要先学习高等数学，因为概率运算需要微积分运算。
建议学习次序为：高等数学第一、（线性代数【先】、离散数学【后】）概率论

6. 程序员必备的一些数学基础知识

作为一个标准的程序员，应该有一些基本的数学素养，尤其现在很多人在学习人工智能相关知识，想抓住一波人工智能的机会。很多程序员可能连这样一些基础的数学问题都回答不上来。

作为一个傲娇的程序员，应该要掌握这些数学基础知识，才更有可能码出一个伟大的产品。

向量 向量（vector）是由一组实数组成的有序数组，同时具有大小和方向。一个n维向量a是由n个有序实数组成，表示为 a = [a1, a2, · · · , an]

矩阵

线性映射 矩阵通常表示一个n维线性空间v到m维线性空间w的一个映射f: v -> w

注：为了书写方便， X.T ，表示向量X的转置。 这里： X(x1,x2,...,xn).T，y(y1,y2,...ym).T ，都是列向量。分别表示v,w两个线性空间中的两个向量。A(m,n)是一个 m*n 的矩阵，描述了从v到w的一个线性映射。

转置 将矩阵行列互换。

加法 如果A和B 都为m × n的矩阵，则A和B 的加也是m × n的矩阵，其每个元素是A和B相应元素相加。 [A + B]ij = aij + bij .

乘法 如A是k × m矩阵和B 是m × n矩阵，则乘积AB 是一个k × n的矩阵。

对角矩阵 对角矩阵是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。一个n × n的对角矩阵A满足： [A]ij = 0 if i ̸= j ∀i, j ∈ {1, · · · , n}

特征值与特征矢量 如果一个标量λ和一个非零向量v满足 Av = λv, 则λ和v分别称为矩阵A的特征值和特征向量。

矩阵分解 一个矩阵通常可以用一些比较“简单”的矩阵来表示，称为矩阵分解。

奇异值分解 一个m×n的矩阵A的奇异值分解

其中U 和V 分别为m × m和n×n 的正交矩阵，Σ为m × n的对角矩阵，其对角 线上的元素称为奇异值（singular value）。

特征分解 一个n × n的方块矩阵A的特征分解（Eigendecomposition）定义为

其中Q为n × n的方块矩阵，其每一列都为A的特征向量，^为对角阵，其每一 个对角元素为A的特征值。 如果A为对称矩阵，则A可以被分解为

其中Q为正交阵。

导数 对于定义域和值域都是实数域的函数 f : R → R ，若f(x)在点x0 的某个邻域∆x内，极限

存在，则称函数f(x)在点x0 处可导， f'(x0) 称为其导数，或导函数。 若函数f(x)在其定义域包含的某区间内每一个点都可导，那么也可以说函数f(x)在这个区间内可导。连续函数不一定可导，可导函数一定连续。例如函数|x|为连续函数，但在点x = 0处不可导。

加法法则
y = f(x),z = g(x) 则

乘法法则

链式法则 求复合函数导数的一个法则，是在微积分中计算导数的一种常用方法。若 x ∈ R，y = g(x) ∈ R，z = f(y) ∈ R ，则

Logistic函数是一种常用的S形函数，是比利时数学家 Pierre François Verhulst在 1844-1845 年研究种群数量的增长模型时提出命名的，最初作为一种生 态学模型。 Logistic函数定义为：

当参数为 (k = 1, x0 = 0, L = 1) 时，logistic函数称为标准logistic函数，记 为 σ(x) 。

标准logistic函数在机器学习中使用得非常广泛，经常用来将一个实数空间的数映射到(0, 1)区间。标准 logistic 函数的导数为：

softmax函数是将多个标量映射为一个概率分布。对于 K 个标量 x1, · · · , xK ， softmax 函数定义为

这样，我们可以将 K 个变量 x1, · · · , xK 转换为一个分布： z1, · · · , zK ，满足

当softmax 函数的输入为K 维向量x时，

其中，1K = [1, · · · , 1]K×1 是K 维的全1向量。其导数为

离散优化和连续优化 :根据输入变量x的值域是否为实数域，数学优化问题可以分为离散优化问题和连续优化问题。

无约束优化和约束优化 :在连续优化问题中，根据是否有变量的约束条件，可以将优化问题分为无约束优化问题和约束优化问题。 ### 优化算法

全局最优和局部最优

海赛矩阵

《运筹学里面有讲》，前面一篇文章计算梯度步长的时候也用到了： 梯度下降算法

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

梯度下降法
梯度下降法（Gradient Descent Method），也叫最速下降法（Steepest Descend Method），经常用来求解无约束优化的极小值问题。

梯度下降法的过程如图所示。曲线是等高线（水平集），即函数f为不同常数的集合构成的曲线。红色的箭头指向该点梯度的反方向（梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达函数f 值的局部最优解。

梯度上升法
如果我们要求解一个最大值问题，就需要向梯度正方向迭代进行搜索，逐渐接近函数的局部极大值点，这个过程则被称为梯度上升法。

概率论主要研究大量随机现象中的数量规律，其应用十分广泛，几乎遍及各个领域。

离散随机变量

如果随机变量X 所可能取的值为有限可列举的，有n个有限取值 {x1, · · · , xn}, 则称X 为离散随机变量。要了解X 的统计规律，就必须知道它取每种可能值xi 的概率，即

称为离散型随机变量X 的概率分布或分布，并且满足

常见的离散随机概率分布有：

伯努利分布

二项分布

连续随机变量
与离散随机变量不同，一些随机变量X 的取值是不可列举的，由全部实数 或者由一部分区间组成，比如

则称X 为连续随机变量。

概率密度函数
连续随机变量X 的概率分布一般用概率密度函数 p(x) 来描述。 p(x) 为可积函数，并满足：

均匀分布 若a, b为有限数，[a, b]上的均匀分布的概率密度函数定义为

正态分布 又名高斯分布，是自然界最常见的一种分布，并且具有很多良好的性质，在很多领域都有非常重要的影响力，其概率密度函数为

其中， σ > 0，µ 和 σ 均为常数。若随机变量X 服从一个参数为 µ 和 σ 的概率分布，简记为

累积分布函数
对于一个随机变量X，其累积分布函数是随机变量X 的取值小于等于x的概率。

以连续随机变量X 为例，累积分布函数定义为：

其中p(x)为概率密度函数，标准正态分布的累计分布函数:

随机向量
随机向量是指一组随机变量构成的向量。如果 X1, X2, · · · , Xn 为n个随机变量, 那么称 [X1, X2, · · · , Xn] 为一个 n 维随机向量。一维随机向量称为随机变量。随机向量也分为离散随机向量和连续随机向量。 条件概率分布 对于离散随机向量 (X, Y) ，已知X = x的条件下，随机变量 Y = y 的条件概率为：

对于二维连续随机向量(X, Y )，已知X = x的条件下，随机变量Y = y 的条件概率密度函数为

期望 对于离散变量X，其概率分布为 p(x1), · · · , p(xn) ，X 的期望（expectation）或均值定义为

对于连续随机变量X，概率密度函数为p(x)，其期望定义为

方差 随机变量X 的方差（variance）用来定义它的概率分布的离散程度，定义为

标准差 随机变量 X 的方差也称为它的二阶矩。X 的根方差或标准差。

协方差 两个连续随机变量X 和Y 的协方差（covariance）用来衡量两个随机变量的分布之间的总体变化性，定义为

协方差经常也用来衡量两个随机变量之间的线性相关性。如果两个随机变量的协方差为0，那么称这两个随机变量是线性不相关。两个随机变量之间没有线性相关性，并非表示它们之间独立的，可能存在某种非线性的函数关系。反之，如果X 与Y 是统计独立的，那么它们之间的协方差一定为0。

随机过程（stochastic process）是一组随机变量Xt 的集合，其中t属于一个索引（index）集合T 。索引集合T 可以定义在时间域或者空间域，但一般为时间域，以实数或正数表示。当t为实数时，随机过程为连续随机过程；当t为整数时，为离散随机过程。日常生活中的很多例子包括股票的波动、语音信号、身高的变化等都可以看作是随机过程。常见的和时间相关的随机过程模型包括贝努力过程、随机游走、马尔可夫过程等。

马尔可夫过程 指一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态。

其中X0:t 表示变量集合X0, X1, · · · , Xt，x0:t 为在状态空间中的状态序列。

马尔可夫链 离散时间的马尔可夫过程也称为马尔可夫链（Markov chain）。如果一个马尔可夫链的条件概率

马尔可夫的使用可以看前面一篇写的有意思的文章： 女朋友的心思你能猜得到吗？——马尔可夫链告诉你 随机过程还有高斯过程，比较复杂，这里就不详细说明了。

信息论（information theory）是数学、物理、统计、计算机科学等多个学科的交叉领域。信息论是由 Claude Shannon最早提出的，主要研究信息的量化、存储和通信等方法。在机器学习相关领域，信息论也有着大量的应用。比如特征抽取、统计推断、自然语言处理等。

在信息论中，熵用来衡量一个随机事件的不确定性。假设对一个随机变量X（取值集合为C概率分布为 p(x), x ∈ C ）进行编码，自信息I(x)是变量X = x时的信息量或编码长度，定义为 I(x) = − log(p(x)), 那么随机变量X 的平均编码长度，即熵定义为

其中当p(x) = 0时，我们定义0log0 = 0 熵是一个随机变量的平均编码长度，即自信息的数学期望。熵越高，则随机变量的信息越多；熵越低，则信息越少。如果变量X 当且仅当在x时 p(x) = 1 ，则熵为0。也就是说，对于一个确定的信息，其熵为0，信息量也为0。如果其概率分布为一个均匀分布，则熵最大。假设一个随机变量X 有三种可能值x1, x2, x3，不同概率分布对应的熵如下：

联合熵和条件熵 对于两个离散随机变量X 和Y ，假设X 取值集合为X；Y 取值集合为Y，其联合概率分布满足为 p(x, y) ，则X 和Y 的联合熵（Joint Entropy）为

X 和Y 的条件熵为

互信息 互信息（mutual information）是衡量已知一个变量时，另一个变量不确定性的减少程度。两个离散随机变量X 和Y 的互信息定义为

交叉熵和散度 交叉熵 对应分布为p(x)的随机变量，熵H(p)表示其最优编码长度。交叉熵是按照概率分布q 的最优编码对真实分布为p的信息进行编码的长度，定义为

在给定p的情况下，如果q 和p越接近，交叉熵越小；如果q 和p越远，交叉熵就越大。