程序員的數學第一章講解

1. 《程序員的數學思維修煉（趣味解讀）》epub下載在線閱讀，求百度網盤雲資源

《程序員的數學思維修煉（趣味解讀）》（周穎）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：https://pan..com/s/1Kf4mbywRVB1j8hujZNDq_Q

提取碼：7y29

書名：程序員的數學思維修煉（趣味解讀）

作者：周穎

豆瓣評分：5.5

出版社：清華大學出版社

出版年份：2014-4-1

頁數：301

內容簡介：

本書是一本專門為程序員而寫的數學書，介紹了程序設計中常用的數學知識。本書門檻不高，不需要讀者精通很多高深的數學知識，只需要讀者具備基本的四則運算、乘方等數學基礎知識和日常生活中的基本邏輯判斷能力即可。本書拒絕枯燥乏味的講解，而是代之以輕松活潑的風格。書中列舉了大量讀者都很熟悉，而且非常有趣的數學實例，並結合程序設計的思維和演算法加以剖析，可以訓練讀者的數學思維能力和程序設計能力，進而拓寬讀者的視野，增強職場競爭力。

本書共11章，分別介紹了數據的表示、神奇的素數、遞歸、排列組合、用余數進行數據分組、概率、復利、數理邏輯、推理、幾何圖形構造、統籌規劃等程序設計中常用的數學知識，從而引導讀者深入理解編程中的數學方法和思路。本書包含的實例有結繩記事、孿生素數、梅森素數、哥德巴赫猜想、階乘、漢諾塔、斐波那契數列、乘法原理、加法原理、字元編碼、密碼長度、日歷中的數學、心靈感應魔術、約瑟夫環、智叟分牛、百枚錢幣鼓士氣、莊家的勝率、中獎概率、用概率方法求π值、復利的威力、對折紙張、舍罕王的賞賜、三段論、選言推理、假言推理、關系推理、花盆擺放、殘缺棋盤、丟失的線條、田忌賽馬、背包問題等。

本書適合廣大程序設計人員及數學愛好者閱讀，尤其適合有一定程序設計經驗，但還需要進一步加深對程序設計理解的人員閱讀。本書對IT求職人員、信息學競賽和大學生程序設計競賽等參賽學員也有很好的參考價值。

作者簡介：

畢業於電子科技大學。高級程序員、某軟體公司的技術總監。擅長C和C++語言，對數據結構和演算法有深入的研究。長期從事行業軟體設計和團隊管理工作，已十年有餘。有著豐富的IT架構設計經驗和行業咨詢經驗。負責過多個大型軟體項目的開發工作。

2. 《統計思維：程序員數學之概率統計程序員數學之概率統計》pdf下載在線閱讀，求百度網盤雲資源

《統計思維》（Allen B.Downey）電子書網盤下載免費在線閱讀

鏈接：

密碼：i907

書名：統計思維

作者：Allen B.Downey

譯者：張建鋒

豆瓣評分：6.7

出版社：人民郵電出版社

出版年份：2013-5

頁數：160

內容簡介：

代碼跑出來的概率統計問題；

程序員的概率統計開心辭典；

開放數據集，全代碼攻略。

現實工作中，人們常被要求用數據說話。可是，數據自己是不能說話的，只有對它進行可靠分析和深入挖掘才能找到有價值的信息。概率統計是數據分析的通用語言，是大數據時代預測未來的根基。

站在時代浪尖上的程序員只有具備統計思維才能掌握數據分析的必殺技。本書正是一本概率統計方面的入門圖書，但視角極為獨特，折射出大數據浪潮的別樣風景。作者將基本的概率統計知識融入Python編程，告訴你如何藉助編寫程序，用計算而非數學的方式實現統計分析。一個趣味實例貫穿全書，生動地講解了數據分析的全過程：從採集數據和生成統計量，到識別模式和檢驗假設。一冊在手，讓你輕松掌握分布、概率論、可視化以及其他工具和概念。

 編寫測試代碼深入理解概率論和統計學

 運行實驗檢驗統計行為特徵，如生成服從各種分布的樣本

 通過模擬理解數學上艱澀的概念

 學習貝葉斯估計等實用內容

 用Python導入各種來源的數據

 運用統計推斷解決真實數據問題

《統計思維：程序員數學之概率統計》是一本以全新視角講解概率統計的入門圖書。拋開經典的數學分析，Downey 手把手教你用編程理解統計學。概率、分布、假設檢驗、貝葉斯估計、相關性等，每個主題都充滿趣味性，經編程解釋後變得更為清晰易懂。

本書研究數據主要來源於美國全國家庭成長調查（NSFG）與行為風險因素監測系統（BRFSS），數據源及解決方案的相關代碼全部開放，具體章節列出了大量學習和進階資料，方便讀者參考。

Allen B. Downey是富蘭克林歐林工程學院的計算機科學副教授，曾執教於韋爾斯利學院、科爾比學院和加州大學伯克利分校。他先後獲麻省理工學院計算機科學碩士學位和加州大學伯克利分校計算機科學博士學位。Downey已出版十餘本技術書，內容涉及Java、Python、C++、概率統計等，深受專業讀者喜愛。他的最新Think系列書還有Think Complexity: Complexity Science and Computational Modeling、Think Python。

3. 《統計思維：程序員數學之概率統計程序員數學之概率統計》epub下載在線閱讀，求百度網盤雲資源

《統計思維(第2版)》（[美] Allen B. Downey）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：

提取碼：8d30

書名：統計思維(第2版)

作者：[美] Allen B. Downey

譯者：金迎

豆瓣評分：8.0

出版社：人民郵電出版社

出版年份：2015-9

頁數：204

內容簡介：

現實工作中，人們常常需要用數據說話。可是，數據自己不會說話，需要人對它進行分析和挖掘才能找到有價值的信息。概率統計是數據分析的通用語言，是大數據時代預測未來的根基。如果你有編程背景，就能以概率和統計學為工具，將數據轉化為有用的信息和知識，讓數據說話。本書介紹了如何藉助計算而非數學方法，使用Python語言對數據進行統計分析。

通過書中有趣的案例，你可以學到探索性數據分析的整個過程，從數據收集和生成統計量，到發現模式和檢驗假設。你還將探索概率分布、概率法則、可視化技術，以及其他許多工具和概念。

這一版內容較第1版有很多改動，並且新增了回歸、時間序列分析、生存分析和分析方法章節，以豐富你的知識。

作者簡介：

Allen B. Downey

是富蘭克林歐林工程學院計算機科學教授，曾執教於韋爾斯利學院、科爾比學院和加州大學伯克利分校。在加州大學伯克利分校獲得計算機科學博士學位。Downey已出版十餘本技術書，包括Think Python、Think Bayes、Think Complexity等。

4. 《程序員的數學3線性代數》pdf下載在線閱讀，求百度網盤雲資源

《程序員的數學3》（[日] 平岡和幸）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接: https://pan..com/s/1rKUGvS2cw44oWDJZPmI1Bw

提取碼: v52d

書名：程序員的數學3

作者：[日] 平岡和幸

譯者：盧曉南

豆瓣評分：8.2

出版社：人民郵電出版社

出版年份：2016-3

頁數：384

內容簡介：本書沿襲「程序員的數學」系列平易近人的風格，用通俗的語言和具象的圖表深入講解了編程中所需的線性代數知識。內容包括向量、矩陣、行列式、秩、逆矩陣、線性方程、LU分解、特徵值、對角化、Jordan標准型、特徵值演算法等。

作者簡介：堀玄

專攻應用數學和物理,主要從事腦科學與信號處理領域的研究。喜歡Ruby、JavaScript、PostScript等語言。最近正在研究基於統計學理論的語言處理。工學博士。

平岡和幸

專攻應用數學和物理，對機器學習興趣濃厚。喜歡Ruby，熱愛Scheme。最近被Common Lisp吸引，正在潛心研究。工學博士。

5. 什麼叫編程函數他有什麼作用c++的結構是怎樣的

我下面說的就是函數的定義，如果你不能完全理解的話我建議你先看看下面的C語言結構，不然別人再怎麼給你解釋你也聽不明白：（

在某個變化過程中，有兩個變數x、y，如果給定自變數x一個值，那麼應變數有且只有一個變數與之對應，那麼我們稱y是x的函數。

人們對C++有許多不同的看法，保守的C++程序員堅持用其他語言創建COM組件，他們認為只有真正的程序員使用C++。另一方面，VB程序員認為C++是一種很難掌握和使用的語言，沒有必要增加編程時間和進行艱難的嘗試。Java程序員認為他們比C++程序員強，因為James Gosling(Java的發明者)吸收了許多語言(包括C++ )的優點發明了Java，本章和下一章的目的就是消除對C++的偏見和錯誤概念。

本章集中介紹用C++ 建立伺服器組件，不講述C++語言，如果想學C++ ，請參閱Ivor.Horton著的《Beginning Visual C++6》，Wrox 出版，書號為ISBN 1-861000-88-X。

本章的主要內容有：

? C++簡史。

? 使用C++原因。

? 從VB移植到C++。

? ATL、STL和MFC介紹。

? 建立一個COM組件。

? 錯誤處理與調試。

更重要的是應該記住，現在，不只是在用C++建立組件，可以使用Visual C++中可用的任何工具，使得建立過程更加容易。先從C++的起源談起。

17.1 C++語言

在決定是否使用C++語言之前，最好是搞清楚這種語言的實質，讓我們看一下C++的歷史和現狀。

17.1.1 C++簡史

剛開始形成的是C語言，那些想建立更快更有效的代碼的程序員非常欣賞C語言，有一位名叫Bjarne Stroustrup的人卻不滿足於僅僅是生產快速代碼，他想創建面向對象的C語言編程。他開始對C語言的內核進行必要的修改，使其能滿足面向對象模型的要求。C++從此產生。

Bjarne Stroustrup是C++的最初設計者和實現者。它自誕生以來，經過開發和擴充已成一種完全成熟的編程語言。現在C++已由ANSI、BSI、DIN、其他幾個國家標准機構和ISO定為標准。ISO標准於1997年11月4日經投票正式通過。

C++標准演變了許多年。C++模板是近幾年來對此語言的一種擴展，模板是根據類型參數來產生函數和類的機制，有時也稱模板為「參數化的類型」。使用模板，可以設計一個對許多類型的數據進行操作的類，而不需要為每個類型的數據建立一個單獨的類。標准模板庫(Standard Tempalte Library，STL )和微軟的活動模板庫(Active Tempalte Library，ATL )都基於這個C++語言擴展。

C++標准可分為兩部分， C++語言本身和C++標准庫。C++標准庫對於Visual C++是相當新的，實際上微軟只是在發布Visual C++ 5.0時去除了一些「bug」。標准庫提供了標準的輸入/輸出、字元串、容器(如矢量、列表和映射等)、非數值運算(如排序、搜索和合並等)和對數值計算的支持。應該說， C/C++包含了相對少的關鍵字，而且很多最有用的函數都來源於庫，C++標准庫實現容器和演算法的部分就是STL。

STL是數據結構和演算法的一個框架，數據結構包括矢量、列表和映射等，演算法包括這些數據結構的查找、拷貝和排序等。1994年7月，ANSI/ISO C++標准委員會投票決定接受STL為C++標准庫的一部分，這個建議是根據Alex Stepanov、Meng Lee和David Musser這三人的編程和軟體庫研究提出的。STL的產生是為了滿足通用性的設計目標，而不是為了提高性能。

那麼微軟對C++標準的態度怎什麼樣？微軟運行VC++與Plum-Hall C++，想比較得到的分數在92%和93%之間。為什麼不是100%的一個原因是跟蹤這個標准並同時建立一個編譯器比較困難，微軟也考慮了對現有編碼兼容的重要性，有時他們不得不偏離標准以保持這個兼容性。

17.1.2 使用C++的原因

應該有充分的理由使用C++創建伺服器組件，而不只是為了給上司一個好印象才使用C++。如果以前沒用過C++，你必須要盡力學習。

1. 性能

性能有個兩方面，演算法速度和機器代碼效率。一個演算法可以定義為數據通過系統的概念化的路徑，它描述一些點，在這些點上，數據能夠被操作並可轉換產生某個結果。例如，一個演算法定義為獲取一個字元串，計算字元串中的字元個數，並作為結果返回的過程。演算法與

語言是獨立的，所以在編程之前必須設計演算法，編寫一個快速程序的第一個步驟是設計良好的演算法，能以最少的操作步驟得出問題的答案。第二個步是選擇語言，這也影響程序的速度。

從性能的角度考慮，用匯編語言編寫程序是最佳的選擇，它是計算機能理解的自然語言。但是，幾乎沒有人用匯編語言編寫完整的程序，因為這樣做極其乏味。另一個最佳的選擇是C語言。然而，由VC++提供的所有工具都產生C++，而不是C。使用VC++的向導可以生成大量的使用代碼，而不必人工地編寫代碼。從編寫程序的難易程度和程序的性能綜合考慮， C++是最佳的選擇。

C++性能良好，因為它被編譯為機器代碼。對於VBScript和Java等語言，代碼在運行時由程序解釋，而且每次運行程序時都要將代碼轉換為機器碼，這樣做效率比較低，不僅僅是已編譯過的C++程序運行得較快，而且微軟C++編譯器已存在多年。這意味著微軟的編譯器程序員已經把許多優點集中到編譯器上，以致於它能產生非常高效的機器碼。因為C++是編譯語言，而且非常自然，比VB更接近機器代碼，所以由C++編譯器產生的代碼一定比VB的編譯代碼效率更高。

2. 錯誤處理

一個好的程序與一個偉大的程序的區別就是其是否具有良好的錯誤處理支持。實際上，如果在實現中首先進行錯誤處理，而不是在最後才進行，那麼整個程序的開發和測試過程會更加完美。但是，錯誤處理只能與語言所支持的內容相一致。

VBScript具有基本的錯誤處理支持功能。在默認情況下，不能捕獲VBScript中的錯誤。每次懷疑產生錯誤時，要調用On Error Resume Next功能，並檢查Error對象。

而C++中的錯誤處理比較好，這是因為有「異常處理」，本章的後面部分將詳細介紹。

3. 最小的依賴性

正如上面所說，C++是一種編譯語言，即C++代碼在執行之前已轉換為機器碼。只要此代碼不依賴於外部的動態鏈接庫(DLL)，C++就可以在不需要安裝額外程序的情況下移動到運行同樣操作系統的其他機器和微處理器上，而移動Java程序時需要先安裝Java運行期庫。

4. 利用現有的代碼

由於C和C++已經存在許多年了，現在有許多可利用的代碼，你的伺服器組件可以使用現有的C/C++代碼或庫。例如統計庫和到老系統的C介面。

5. 最大化COM特徵

COM與C++很接近，實際上， Don Box(COM的權威)在他的《Essential COM》一書的第一章寫道：「COM就是更好的C++」。他說明了COM規范是如何從C++語言規律中產生出來的。通過理解C++，會對COM有更深的理解。

某些語言不能利用所有的COM特徵，而在C++中，幾乎可以使用所有的COM特徵。

17.1.3 不使用C++的原因

知道什麼時候使用C++是重要的，同樣，知道什麼時候不使用C++也是重要的。想像一下那些長期維護代碼的人，如果他們中沒有一些C++程序員支持C++，那麼開發者們不得不把眼光轉向另外一些他們熟悉的語言。

改變C++組件時，為了看到這些改變的結果，必須重新編譯該組件代碼，這會花費很長的開發時間。C++不能像ASP頁面代碼那樣，只使用記事本，改變代碼的一行，重新裝載而得到結果。因此，如果某些工作需要經常變化(如原型)，不要用C++。

在C++中，對一些致命的錯誤不能獲得更多的保護，寫一個使組件崩潰的代碼是很容易的。這是為了提供快速代碼而付出的代價， C++不會停下來去檢查代碼是否按設計運行能否使程序不崩潰依賴於開發者的技巧。如果在這方面花的時間較少或剛剛學習C++，最好不要使用C++。等到已經意識到C++中所有容易犯的錯誤，而且在檢測組件之前花了許多時間，才可以使用C++，如果想很快、很容易地建立一個組件，而且也不考慮該組件的執行速度，那麼使用VB吧！

17.1.4 把ASP技巧轉到C++上

學習新東西的最好方法就是利用現有的技巧。對於ASP開發者來說，已經學習了C++所要求的許多技巧，特別是，JScript語法和ActiveX或COM的面向對象編程的概念。

1. JScript

大部分ASP開發者都用JScript在瀏覽器上使用DHTML。JScript的語法與C非常相似，所以，如果懂得JScript，那麼就懂得基本的C語法。當然，只是C++語法的子集。C++有許多額外的語法來支持面向對象編程，這就是我們下一步要做的。

2. 面向對象編程

如果你在VB中使用過類(class)，則對任何COM對象和文檔對象模型(Document ObjectModel，DOM )都應熟悉，因為已經有了面向對象編程(OOP)的概念。在前面已經說過， C和C++的區別是C++支持面向對象編程。

6. 程序員必備的一些數學基礎知識

作為一個標準的程序員，應該有一些基本的數學素養，尤其現在很多人在學習人工智慧相關知識，想抓住一波人工智慧的機會。很多程序員可能連這樣一些基礎的數學問題都回答不上來。

作為一個傲嬌的程序員，應該要掌握這些數學基礎知識，才更有可能碼出一個偉大的產品。

向量 向量（vector）是由一組實數組成的有序數組，同時具有大小和方向。一個n維向量a是由n個有序實數組成，表示為 a = [a1, a2, · · · , an]

矩陣

線性映射 矩陣通常表示一個n維線性空間v到m維線性空間w的一個映射f: v -> w

註：為了書寫方便， X.T ，表示向量X的轉置。 這里： X(x1,x2,...,xn).T，y(y1,y2,...ym).T ，都是列向量。分別表示v,w兩個線性空間中的兩個向量。A(m,n)是一個 m*n 的矩陣，描述了從v到w的一個線性映射。

轉置 將矩陣行列互換。

加法 如果A和B 都為m × n的矩陣，則A和B 的加也是m × n的矩陣，其每個元素是A和B相應元素相加。 [A + B]ij = aij + bij .

乘法 如A是k × m矩陣和B 是m × n矩陣，則乘積AB 是一個k × n的矩陣。

對角矩陣 對角矩陣是一個主對角線之外的元素皆為0的矩陣。對角線上的元素可以為0或其他值。一個n × n的對角矩陣A滿足： [A]ij = 0 if i ̸= j ∀i, j ∈ {1, · · · , n}

特徵值與特徵矢量 如果一個標量λ和一個非零向量v滿足 Av = λv, 則λ和v分別稱為矩陣A的特徵值和特徵向量。

矩陣分解 一個矩陣通常可以用一些比較「簡單」的矩陣來表示，稱為矩陣分解。

奇異值分解 一個m×n的矩陣A的奇異值分解

其中U 和V 分別為m × m和n×n 的正交矩陣，Σ為m × n的對角矩陣，其對角 線上的元素稱為奇異值（singular value）。

特徵分解 一個n × n的方塊矩陣A的特徵分解（Eigendecomposition）定義為

其中Q為n × n的方塊矩陣，其每一列都為A的特徵向量，^為對角陣，其每一 個對角元素為A的特徵值。 如果A為對稱矩陣，則A可以被分解為

其中Q為正交陣。

導數 對於定義域和值域都是實數域的函數 f : R → R ，若f(x)在點x0 的某個鄰域∆x內，極限

存在，則稱函數f(x)在點x0 處可導， f'(x0) 稱為其導數，或導函數。 若函數f(x)在其定義域包含的某區間內每一個點都可導，那麼也可以說函數f(x)在這個區間內可導。連續函數不一定可導，可導函數一定連續。例如函數|x|為連續函數，但在點x = 0處不可導。

加法法則
y = f(x),z = g(x) 則

乘法法則

鏈式法則 求復合函數導數的一個法則，是在微積分中計算導數的一種常用方法。若 x ∈ R，y = g(x) ∈ R，z = f(y) ∈ R ，則

Logistic函數是一種常用的S形函數，是比利時數學家 Pierre François Verhulst在 1844-1845 年研究種群數量的增長模型時提出命名的，最初作為一種生 態學模型。 Logistic函數定義為：

當參數為 (k = 1, x0 = 0, L = 1) 時，logistic函數稱為標准logistic函數，記 為 σ(x) 。

標准logistic函數在機器學習中使用得非常廣泛，經常用來將一個實數空間的數映射到(0, 1)區間。標准 logistic 函數的導數為：

softmax函數是將多個標量映射為一個概率分布。對於 K 個標量 x1, · · · , xK ， softmax 函數定義為

這樣，我們可以將 K 個變數 x1, · · · , xK 轉換為一個分布： z1, · · · , zK ，滿足

當softmax 函數的輸入為K 維向量x時，

其中，1K = [1, · · · , 1]K×1 是K 維的全1向量。其導數為

離散優化和連續優化 :根據輸入變數x的值域是否為實數域，數學優化問題可以分為離散優化問題和連續優化問題。

無約束優化和約束優化 :在連續優化問題中，根據是否有變數的約束條件，可以將優化問題分為無約束優化問題和約束優化問題。 ### 優化演算法

全局最優和局部最優

海賽矩陣

《運籌學裡面有講》，前面一篇文章計算梯度步長的時候也用到了： 梯度下降演算法

梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿著該方向取得最大值，即函數在該點處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。

梯度下降法
梯度下降法（Gradient Descent Method），也叫最速下降法（Steepest Descend Method），經常用來求解無約束優化的極小值問題。

梯度下降法的過程如圖所示。曲線是等高線（水平集），即函數f為不同常數的集合構成的曲線。紅色的箭頭指向該點梯度的反方向（梯度方向與通過該點的等高線垂直）。沿著梯度下降方向，將最終到達函數f 值的局部最優解。

梯度上升法
如果我們要求解一個最大值問題，就需要向梯度正方向迭代進行搜索，逐漸接近函數的局部極大值點，這個過程則被稱為梯度上升法。

概率論主要研究大量隨機現象中的數量規律，其應用十分廣泛，幾乎遍及各個領域。

離散隨機變數

如果隨機變數X 所可能取的值為有限可列舉的，有n個有限取值 {x1, · · · , xn}, 則稱X 為離散隨機變數。要了解X 的統計規律，就必須知道它取每種可能值xi 的概率，即

稱為離散型隨機變數X 的概率分布或分布，並且滿足

常見的離散隨機概率分布有：

伯努利分布

二項分布

連續隨機變數
與離散隨機變數不同，一些隨機變數X 的取值是不可列舉的，由全部實數 或者由一部分區間組成，比如

則稱X 為連續隨機變數。

概率密度函數
連續隨機變數X 的概率分布一般用概率密度函數 p(x) 來描述。 p(x) 為可積函數，並滿足：

均勻分布 若a, b為有限數，[a, b]上的均勻分布的概率密度函數定義為

正態分布 又名高斯分布，是自然界最常見的一種分布，並且具有很多良好的性質，在很多領域都有非常重要的影響力，其概率密度函數為

其中， σ > 0，µ 和 σ 均為常數。若隨機變數X 服從一個參數為 µ 和 σ 的概率分布，簡記為

累積分布函數
對於一個隨機變數X，其累積分布函數是隨機變數X 的取值小於等於x的概率。

以連續隨機變數X 為例，累積分布函數定義為：

其中p(x)為概率密度函數，標准正態分布的累計分布函數:

隨機向量
隨機向量是指一組隨機變數構成的向量。如果 X1, X2, · · · , Xn 為n個隨機變數, 那麼稱 [X1, X2, · · · , Xn] 為一個 n 維隨機向量。一維隨機向量稱為隨機變數。隨機向量也分為離散隨機向量和連續隨機向量。 條件概率分布 對於離散隨機向量 (X, Y) ，已知X = x的條件下，隨機變數 Y = y 的條件概率為：

對於二維連續隨機向量(X, Y )，已知X = x的條件下，隨機變數Y = y 的條件概率密度函數為

期望 對於離散變數X，其概率分布為 p(x1), · · · , p(xn) ，X 的期望（expectation）或均值定義為

對於連續隨機變數X，概率密度函數為p(x)，其期望定義為

方差 隨機變數X 的方差（variance）用來定義它的概率分布的離散程度，定義為

標准差 隨機變數 X 的方差也稱為它的二階矩。X 的根方差或標准差。

協方差 兩個連續隨機變數X 和Y 的協方差（covariance）用來衡量兩個隨機變數的分布之間的總體變化性，定義為

協方差經常也用來衡量兩個隨機變數之間的線性相關性。如果兩個隨機變數的協方差為0，那麼稱這兩個隨機變數是線性不相關。兩個隨機變數之間沒有線性相關性，並非表示它們之間獨立的，可能存在某種非線性的函數關系。反之，如果X 與Y 是統計獨立的，那麼它們之間的協方差一定為0。

隨機過程（stochastic process）是一組隨機變數Xt 的集合，其中t屬於一個索引（index）集合T 。索引集合T 可以定義在時間域或者空間域，但一般為時間域，以實數或正數表示。當t為實數時，隨機過程為連續隨機過程；當t為整數時，為離散隨機過程。日常生活中的很多例子包括股票的波動、語音信號、身高的變化等都可以看作是隨機過程。常見的和時間相關的隨機過程模型包括貝努力過程、隨機遊走、馬爾可夫過程等。

馬爾可夫過程 指一個隨機過程在給定現在狀態及所有過去狀態情況下，其未來狀態的條件概率分布僅依賴於當前狀態。

其中X0:t 表示變數集合X0, X1, · · · , Xt，x0:t 為在狀態空間中的狀態序列。

馬爾可夫鏈 離散時間的馬爾可夫過程也稱為馬爾可夫鏈（Markov chain）。如果一個馬爾可夫鏈的條件概率

馬爾可夫的使用可以看前面一篇寫的有意思的文章： 女朋友的心思你能猜得到嗎？——馬爾可夫鏈告訴你 隨機過程還有高斯過程，比較復雜，這里就不詳細說明了。

資訊理論（information theory）是數學、物理、統計、計算機科學等多個學科的交叉領域。資訊理論是由 Claude Shannon最早提出的，主要研究信息的量化、存儲和通信等方法。在機器學習相關領域，資訊理論也有著大量的應用。比如特徵抽取、統計推斷、自然語言處理等。

在資訊理論中，熵用來衡量一個隨機事件的不確定性。假設對一個隨機變數X（取值集合為C概率分布為 p(x), x ∈ C ）進行編碼，自信息I(x)是變數X = x時的信息量或編碼長度，定義為 I(x) = − log(p(x)), 那麼隨機變數X 的平均編碼長度，即熵定義為

其中當p(x) = 0時，我們定義0log0 = 0 熵是一個隨機變數的平均編碼長度，即自信息的數學期望。熵越高，則隨機變數的信息越多；熵越低，則信息越少。如果變數X 當且僅當在x時 p(x) = 1 ，則熵為0。也就是說，對於一個確定的信息，其熵為0，信息量也為0。如果其概率分布為一個均勻分布，則熵最大。假設一個隨機變數X 有三種可能值x1, x2, x3，不同概率分布對應的熵如下：

聯合熵和條件熵 對於兩個離散隨機變數X 和Y ，假設X 取值集合為X；Y 取值集合為Y，其聯合概率分布滿足為 p(x, y) ，則X 和Y 的聯合熵（Joint Entropy）為

X 和Y 的條件熵為

互信息 互信息（mutual information）是衡量已知一個變數時，另一個變數不確定性的減少程度。兩個離散隨機變數X 和Y 的互信息定義為

交叉熵和散度 交叉熵 對應分布為p(x)的隨機變數，熵H(p)表示其最優編碼長度。交叉熵是按照概率分布q 的最優編碼對真實分布為p的信息進行編碼的長度，定義為

在給定p的情況下，如果q 和p越接近，交叉熵越小；如果q 和p越遠，交叉熵就越大。

7. 為什麼演算法導論中的數組序號是從1開始的

c語言下標從零開始是個錯誤，並且 index 也是一個有誤導性的名詞，它表示的是偏移量，明明應該用 offset。
然後 c 的徒子徒孫都學了它，導致現在很多人都誤以為下標應該從 0 開始。
早期蠻荒時代，很多東西都不科學，演算法導論作者致力於與落後文明作斗爭，然而卻遭到了樓主你的不理解，實乃編程屆一大憾事。
我再說一遍，C 是結構化的匯編，下標基 0 是受到了 PDP-11 指令集的影響，更老的語言（比如 Fortran）都是基 1 的。
另外用 0/非 0 代表 false/true 也是 PDP-11 中 TST 指令和 Z 位的行為。
可能是這本書強調演算法的求學思想，所以從一更加符合數學的數組規定。
但是編程的時候，指針這個東西會經常用到，如果用a(o)作為第一個元素 那麼*a+n就等同於a(n) 比較方便
演算法導論上的這個問題呢，我覺得我比較同意樓上的看法，這個書上面的很多的程序並不是可以敲上去直接運行的，他只是偽代碼，思想而已，給人看的，人類的普遍思維是從1開始，那麼書頁就是從1開始了
說編程語言是給機器看而偽代碼是給人看的簡直是逗大家笑吧...編程語言設計出來就是給人看的....
另外從0開始在很多方便都極好....我覺得寫多代碼都能體會到吧..
幫算導洗地：
演算法導論通篇用的是偽代碼 是給人類閱讀理解的 不是設計給機器去運行的
而絕大多數情況下， index 從 1 開始更符合人類直覺（如果你對這點有異議請參考的答案 ）
但少數情況下， index 從 0 開始更符合人類直覺。例如書中 hashing 還有 FFT 那塊內容， index 是從 0 開始的。
其實寫幾天 Pascal 你就適應啦。。

8. 《程序員的數學2概率統計》pdf下載在線閱讀，求百度網盤雲資源

《程序員的數學2》（平岡和幸）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接: https://pan..com/s/1RKocmK4X2HXuKfoIg89jFQ

提取碼: vvfc

書名：程序員的數學2

作者：平岡和幸

譯者：陳筱煙

豆瓣評分：8.4

出版社：人民郵電出版社

出版年份：2015-8-1

頁數：405

內容簡介：

本書沿襲《程序員的數學》平易近人的風格，用通俗的語言和具體的圖表深入講解程序員必須掌握的各類概率統計知識，例證豐富，講解明晰，且提供了大量擴展內容，引導讀者進一步深入學習。

本書涉及隨機變數、貝葉斯公式、離散值和連續值的概率分布、協方差矩陣、多元正態分布、估計與檢驗理論、偽隨機數以及概率論的各類應用，適合程序設計人員與數學愛好者閱讀，也可作為高中或大學非數學專業學生的概率論入門讀物。

作者簡介：

作者簡介：

平岡和幸

數理工程學博士，對機器學習興趣濃厚。喜歡Ruby，熱愛Scheme。最近被Common Lisp吸引，正在潛心研究。

堀玄

數理工程學博士，主要從事腦科學與信號處理領域的研究。喜歡Ruby、JavaScript、PostScript等語言。最近正在研究基於統計學理論的語言處理。

譯者簡介：

陳筱煙

畢業於復旦大學計算機科學與技術系。從大學時期開始接觸Java、JavaScript程序開發，目前對Web應用及智能手機應用開發很感興趣。譯作有《JavaScript編程全解》《App，這樣設計才好賣》《兩周自製腳本語言》等。