导航:首页 > 文档加密 > 凸优化王书宁pdf

凸优化王书宁pdf

发布时间:2023-10-10 14:23:59

① 统计学经典教材推荐

威廉·G·科克伦《抽样调查》
逻辑思路特别清晰,同时对提升统计思想能力很有帮助。
pdf版:抽样技术(经典译本)[美]科克伦着 统计1985.pdf
习题解答:美国着名的统计学家威廉·G·科克伦的《抽样技术》习题解答 - 计量经济学与统计软件 - 经管之家(原人大经济论坛)
当代市场调研(原书第8版) 小卡尔•麦克丹尼尔 (Carl Mcdaniel Jr.) (作者), 罗杰•盖茨 (Roger Gates) (作者), 李桂华 (译者), 等 (译者)
本书是国外最为流行的市场调研教科之一,两位作者均为国际知名的市场调研专家,既有很高的理论水平,又有丰富的实践经验。本书特色鲜明,语言生动,以“集中于调研客户”为宗旨,从管理者使用或购买市场调研信息的角度介绍市场调研的思想,内容涵盖市场调研在管理决策中的作用、调研方案的设计、利用统计工具对数据资料进行分析,以及市场调研的实际应用等诸多方面。 本书适用于营销学专业本科生、研究生及MBA的教学,也可供企业营销管理人员参考之用。
亚马逊:《当代市场调研(原书第8版)》 小卡尔•麦克丹尼尔 (Carl Mcdaniel Jr.), 罗杰•盖茨 (Roger Gates), 李桂华, 等【摘要 书评 试读】图书
软件类:

Introction to Statistical Learning
R语言的重要性就不用赘述了....而且这本书还给你讲了很多统计工具...作为实践入门非常够用。

如果你是第一种...那我把我们学校的本科生培养计划放出来给你参考吧~每本书都有仔细看过....虽然没学好.....

你唯一需要注意的是,开始学习的时候,数理基础很重要!但到后来,统计思想方法更重要。

数学类:

103315 数学分析I 103316 数学分析Ⅱ 105309 数学分析III
简单:《面向21世纪课程教材:数学分析(上册)(第四版)》 华东师范大学数学系【摘要 书评 试读】图书
难:《面向21世纪课程教材:数学分析(上册)(第二版)》 陈纪修, 于崇华, 金路【摘要 书评 试读】图书
100399 概率论
《华章教育·华章数学译丛:概率论基础教程(原书第9版)》 罗斯 (Sheldon M. Ross), 童行伟, 梁宝生【摘要 书评 试读】图书
103246 数理统计【超级重要】
简单:《概率论与数理统计教程(第2版)》 茆诗松、程依明、濮晓龙【摘要 书评 试读】图书
推荐1:《21世纪统计学系列教材:数理统计学(第2版)》 茆诗松, 吕晓玲【摘要 书评 试读】图书
推荐2:《数理统计学导论(英文版•第7版)》 霍格(Robert V.Hogg), Joseoh W.McKean, Allen T.Craig【摘要 书评 试读】图书
翻译版:《统计学精品译丛:数理统计学导论(原书第7版)》 霍格 (Robert V.Hogg), Joseph W.McKean, Allen T.Craig, 王忠玉, 卜长江【摘要 书评 试读】图书
推荐3(我们学校研究生高等数理统计学教材):《时代教育•国外高校优秀教材精选•统计推断(翻译版•原书第2版)》 George Casella, Roger L.Berger, 张忠占, 傅莺莺【摘要 书评 试读】图书
推荐4(保研复习的时候看的,结构比较好,内容精简,适合复习):《"十二五"普通高等教育本科国家级规划教材:数理统计学讲义(第3版)》 陈家鼎, 孙山泽, 李东风, 刘力平【摘要 书评 试读】图书
101375 运筹学、高级运筹学
简单:《面向21世纪课程教材•信息管理与信息系统专业教材系列:运筹学(第4版)》 《运筹学》教材编写组【摘要 书评 试读】图书
参考书(Youtube上有Boyd的授课视频,听完觉得不错):《凸优化(英文)》 鲍迪 (Stephen Boyd)【摘要 书评 试读】图书
103298 高等代数I 103299 高等代数Ⅱ
强烈推荐:《高等代数(上册):大学高等代数课程创新教材》 丘维声【摘要 书评 试读】图书《高等代数(下册):大学高等代数课程创新教材》 丘维声【摘要 书评 试读】图书《高等代数学习指导书(上)》 丘维声【摘要 书评 试读】图书
102110 数理综合课(常微分方程&复变函数)
100982 实变函数
101658 泛函分析

② 机器学习对数学功底的要求到底有多高

豆瓣的话题:
研究机器学习需要什么样的数学基础?

来自: 求真 2013-07-11 13:44:22
我是小硕一枚,研究方向是机器学习。通过阅读一些机器学习的教科书,发现机器学习对于数学基础要求比较高。
我想问一下:一般研究机器学习需要怎样的数学基础?
我们大学学习的高等数学、线性代数和概率论之类的数学基础课程能够用吗?
skynet 2013-07-12 15:30:26
看方向,不过任何方向都基本上不够。缺什么补什么吧,数学是个坑,机器学习也是个坑,人不可能同时在两个坑里挣扎。
赞 (3) 回应
skynet 2013-07-12 15:30:26
看方向,不过任何方向都基本上不够。缺什么补什么吧,数学是个坑,机器学习也是个坑,人不可能同时在两个坑里挣扎。
赞 (3) 回应
求真 2013-07-12 16:07:20
看方向,不过任何方向都基本上不够。缺什么补什么吧,数学是个坑,机器学习也是个坑,人不可能同 ... skynet
嗯啊,好的。
赞 回应
frce 2014-06-09 15:39:55
说得好,我喜欢。
赞 回应

opera 2014-06-09 15:43:56
高等数学、线性代数和概率论肯定是要用到的。除了它们可能还有别的。
赞 回应

Mr. L (Live long and prosper) 2014-06-09 20:51:39
应用域呢?
赞 回应
泡泡龙 2014-07-03 17:16:37
具体点应该是微积分、概率论、线性代数、随机分布、凸优化吧
赞 回应
求真 2014-07-06 10:46:35
具体点应该是微积分、概率论、线性代数、随机分布、凸优化吧泡泡龙
谢谢!

----------------------------------------------------------------------------------------------------

知乎的话题:
如果对机器学习仅是以应用为目的的话,到底需要多少数学…,比如说微分流形,代数拓扑,泛函之类的需要懂吗?

“仅是以应用为目的”有点含糊。。乍一看题主好像想说是在公司里用,但后面又出来一大票高大上课程,看起来又好像偏学界。。前面的大大们提到的感觉更偏学界。我补充一些工业界的情况。

总的来说我偏向匿名用户的回答。如果对机器学习仅是以应用为目的的话,到底需要多少数学…,比如说微分流形,代数拓扑,泛函之类的需要懂吗? - 匿名用户的回答
在思考这个问题之前,要先搞清楚公司花钱雇你来干啥的。我的经验是,这有两种情况。一是公司原来没有一项业务,现在要把一些机器学习这个东西跑起来(从无到有)。二是在你接手的时候公司已经有一定基础了,现在要把性能调上去(从差到优)。前者完全不用任何数学,先用别人有的模块/代码把系统撸起来是王道。后者看具体问题,大多数情况不用数学。

从无到有的情况,比如我原来在facebook做place deplication,大概就是说非死不可上面超多可以签到的地点,要判断里面有哪些是重复的地点。类似知乎上面有很多重复的问题,如何鉴别和重定向这些问题。这个问题从机器学习的角度来看并不难,有很多已有工作。但公司更关心的其实是怎么把随便一个系统在fb数十TB的数据上日起来。所以我们的绝大多数时间根本不是花在评估哪个机器学习模型更好,这个流形有什么性质,那个系统有什么下限,而是——撸hadoop用几千个核先把feature抽出来。有了feature以后后台分类器是特妈随便找的这种事我会乱说?这种情况跟数学完全没鸟关系好吗。

从有到优的情况,我也参与了这个项目的调优。基本经验是——分类器啊模型啊再复杂精巧数学性质再好没吊用,关键还是看feature。弄一个有效的feature出来精度呼呼的往上涨,各种分类器瞎JB换啊调啊基本没差别。。(当然deep learning这种模型的质变除外,但这个和不搞科研的人就没啥关系了)所以你要问数学有没有用,我说有用,根据数学才能提出有效的模型——但这特妈是学界人家十年磨一剑的人用的。放公司里用数学拱KPI分分钟被nen死。隔壁王二狗整俩新feature奖金拿得多多的,这边你要死磕泛函产品狗咬死你。。
当然在偏研究的地方比如Google X的某些部门还是有用的,但我觉得这还是偏学界。

总的来说,我的建议是,如果想去公司的话就不要纠结逼格过高的事情了。学好线性代数,统计和凸优化就出门打怪吧,攒系统经验和dirty trick才是王道。当然我也不是说就不要搞数学,只是如果你去公司的话,在学好线代统计凸优化的前提下,同样的时间花在学计算机系统的构建和系统性的思考方法上,比学习数学更划算。

编辑于 2015-04-09 35 条评论 感谢

这里有个80-20原则的应用。
只要20%的机器学习知识,其实已经可以在80%的商业应用里取得满意的效果。

但,如果公司精益求精,或者说是专注于机器学习算法的公司,可能要投入指数级别的努力来达到性能的提升。

不请自来,我本人就是从数学转到数据科学上来的,是完全以应用为目的学的机器学习。本科加PHD九年中,数学方面的课程大概学过:数学分析(微积分),线性代数,概率论,统计,应用统计,数值分析,常微分方程,偏微分方程,数值偏微分方程,运筹学,离散数学,随机过程,随机偏微分方程,抽象代数,实变函数,泛函分析,复变函数,数学建模,拓扑,微分几何,渐近分析等等

从我个人的学习过程中,觉得对机器学习的应用有帮助的数学学科有(重要性从高到低):

1, 线性代数(或叫高等代数):必需,所有的算法最后都会向量化表示,线性代数不熟的话,算法都看不懂啊

2,微积分:这个是所有高等数学的基础,不细说了

3,统计:这里包括统计理论基础,和应用统计(主要就是线性模型)。很多机器学习内容的前身就是统计啊。

3.5, 凸优化: 经 @徐文浩 补充,原因跟6相似

前三个感觉是想要学好机器学习所必需的,后面的虽然不必需,但是适当了解之后,帮助也很大:

4,概率论:基础概率论就够了,以测度为基础的高级概率论对机器学习帮助不大

5,数值分析:数值分析的一部分包括了插值,拟合,数值求解各种方程,数值积分,这些小技术虽然没有跟机器学习直接扯上关系,但是可能在你处理复杂问题时的一些小地方起到奇效。数值分析的另一大块就是数值线性代数了,包括怎么矩阵求逆了,矩阵的各种分解了,矩阵特征根奇异值什么了,这里面很多算法都会被机器学习的书法直接使用的。比如SVD就被Principal Component Analysis直接调用了啊。

6,运筹学:运筹就是做优化,说白了就是把问题表示成数学公式和限制条件,然后求最大值或最小值。所以不少机器学习里面先进的优化算法,最先都是在运筹里面出现的

暂时就想到这么多,至于题主说的泛函,微分流形,代数拓扑啥的,完全不需要了解啊。

编辑于 2015-04-28 26 条评论 感谢

我就是从数学转ML的。我就知道,肯定有人要扯很多纯数学的“基础背景”。我说一些实在的,微分几何,流形,代数拓扑这些知识,只要你去找相关的研究论文,总能找得到和Ml有交集的地方。但是,不代表你必须掌握它们。在大部分的ML研究里,还是微积分和线性代数、概率统计的功底最重要。不要太小看微积分和线性代数,很多时候做研究时要用的推导还是需要很多熟练的技巧才可以胜任。至于其他知识,可以用到时再补充。

----------------------------------------------------------------------------------------------
CSDN的TOPIC:
机器学习需要学习哪些数学知识 [问题点数:20分,结帖人hanyahui88]
收藏

关注
hanyahui88
大眼的小眼
本版等级:
结帖率:100%

楼主发表于: 2014-10-16 11:07:37
机器学习数学数据分析算法
最近公司做数据分析,但是以前都没有接触过,看了一下所有的算法,很多都是跟数学有关,看不懂很多数学符号,所以问问我应该学习什么数学 好像离散数学是必须的
更多0分享到:
相关推荐:
阿里云机器学习算法应用实践
统计机器学习入门——重抽样方法
统计机器学习入门——分类2
统计机器学习入门——线性模型选择与正则化2

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
回复次数:9

关注
OrthocenterCh...
Kenney_Qin
本版等级:

#1 得分:3回复于: 2014-10-16 13:18:23
以我平时接触到的机器学习算法来说,与其相关的的数学知识有:求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等,数学知识是基础,很多机器学习算法是建立在数学的基础上,是数值计算的比较多,和离散数学关系不是特别大,如果你要做图算法,那离散数学就很重要了。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
hanyahui88
大眼的小眼
本版等级:

#2 得分:0回复于: 2014-10-17 09:12:48
引用 1 楼 OrthocenterChocolate 的回复:以我平时接触到的机器学习算法来说,与其相关的的数学知识有:求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等,数学知识是基础,很多机器学习算法是建立在数学的基础上,是数值计算的比较多,和离散数学关系不是特别大,如果你要做图算法,那离散数学就很重要了。
我最近在研究均值漂移算法,里面的核函数,好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等 这些是什么数学中的??

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
longburulin
longburulin
本版等级:

#3 得分:2回复于: 2014-10-17 09:51:41
引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说,与其相关的的数学知识有:求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等,数学知识是基础,很多机器学习算法是建立在数学的基础上,是数值计算的比较多,和离散数学关系不是特别大,如果你要做图算法,那离散数学就很重要了。我最近在研究均值漂移算法,里面的核函数,好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等 这些是什么数学中的??
数值分析里面好像除了拉格朗日对偶没有 其他好像有

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
OrthocenterCh...
Kenney_Qin
本版等级:

#4 得分:0回复于: 2014-10-19 21:38:16
引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说,与其相关的的数学知识有:求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等,数学知识是基础,很多机器学习算法是建立在数学的基础上,是数值计算的比较多,和离散数学关系不是特别大,如果你要做图算法,那离散数学就很重要了。我最近在研究均值漂移算法,里面的核函数,好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等 这些是什么数学中的??
求导,求梯度,拉格朗日乘子法是高等数学里面的,拉格朗日对偶,牛顿迭代法你可以看看凸优化,其实凸优化应该包含了你想看的很多机器学习中的数学知识,只不过它们是建立在一些更为基础的数学知识上(如求导)。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
hanyahui88
大眼的小眼
本版等级:

#5 得分:0回复于: 2014-10-21 14:40:54
引用 4 楼 OrthocenterChocolate 的回复:Quote: 引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说,与其相关的的数学知识有:求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等,数学知识是基础,很多机器学习算法是建立在数学的基础上,是数值计算的比较多,和离散数学关系不是特别大,如果你要做图算法,那离散数学就很重要了。我最近在研究均值漂移算法,里面的核函数,好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等 这些是什么数学中的??求导,求梯度,拉格朗日乘子法是高等数学里面的,拉格朗日对偶,牛顿迭代法你可以看看凸优化,其实凸优化应该包含了你想看的很多机器学习中的数学知识,只不过它们是建立在一些更为基础的数学知识上(如求导)。

也就是看高等数学 和凸优化 基本就可以了???

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
OrthocenterCh...
Kenney_Qin
本版等级:

#6 得分:5回复于: 2014-10-23 14:32:40
引用 5 楼 hanyahui88 的回复:Quote: 引用 4 楼 OrthocenterChocolate 的回复:Quote: 引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说,与其相关的的数学知识有:求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等,数学知识是基础,很多机器学习算法是建立在数学的基础上,是数值计算的比较多,和离散数学关系不是特别大,如果你要做图算法,那离散数学就很重要了。我最近在研究均值漂移算法,里面的核函数,好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导,求梯度,拉格朗日乘子法,拉格朗日对偶,牛顿迭代法等 这些是什么数学中的??求导,求梯度,拉格朗日乘子法是高等数学里面的,拉格朗日对偶,牛顿迭代法你可以看看凸优化,其实凸优化应该包含了你想看的很多机器学习中的数学知识,只不过它们是建立在一些更为基础的数学知识上(如求导)。

也就是看高等数学 和凸优化 基本就可以了???
对,还有些矩阵运算,如果不熟悉的话再看看线性代数,建议你碰到不会的再去查,而不是事先全部看完, 不然太多了。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
q243021856
狼痕
本版等级:

#7 得分:5回复于: 2014-10-23 14:58:16
微积分、线性代数、概率论、离散数学、统计学

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
shaowei213
Tracysw
本版等级:

#8 得分:5回复于: 2014-10-23 15:38:32
引用 7 楼 q243021856 的回复:微积分、线性代数、概率论、离散数学、统计学
专业

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注
hanyahui88
大眼的小眼
本版等级:

#9 得分:0回复于: 2014-10-28 11:45:36
好的 谢谢大家

③ 机器学习需要什么数学基础

④ 销售量服从泊松分布,怎样获取最大利润

如何实现大数据利润最大利润化

制定合适的价格很重要,再怎么夸大都不过分。价格提高1%意味着经营利润平均可以增长8.7%(当然,假设销量没有损失)。不过我们估计,在许多公司每年制定的成千上万个定价决策中,多达30%未能给出最合适的价格——这意味着收入大量流失。而且考虑到如今海量数据为公司提供了难得的机会,可以做出合理得多的定价决策,这种现状尤其令人不安。对那些能够井然有序地应对复杂的大数据的公司而言,这蕴含着巨大价值。

将数据转化为利润的四个步骤

想制定更合适的价格,关键是完全明白现在可供公司使用的数据。这就需要放大目标,而不是缩小目标。正如综合性能源和化工企业沙索(Sasol)集团副总裁兼营销和销售总经理汤姆·奥布赖恩(Tom O’Brien)提及这种做法时说:“销售团队知道价格,还可能知道销量,但这种做法需要了解更多信息:极其精细的数据,实际上来自每一张发票,按产品、客户和包装分门别类。”

事实上,将大数据成功应用于B2B环境方面最激动人心的一些例子实际上不仅仅着眼于定价,还涉及一家公司的商业引擎的其他方面。比如说,“动态交易评分”(dynamic deal scoring)提供了单笔交易层面的价格指导,还提供了决策逐级上报点、激励机制、绩效评分及更多方面,立足于一系列相似的盈/亏交易。使用较小的、相关的交易样本很有必要,因为与任何一笔交易息息相关的因素会有变化,这导致一系列总体交易成为毫无用处的衡量基准。我们已见过这种方法应用于技术行业,取得了巨大成功。将销售利润率提高了4到8个百分点(相对于同一家公司的对照组)。

想获得足够精细的数据,公司就要做好这四项工作

倾听数据。制定最合理的价格不是牵涉数据的挑战(公司通常已经坐拥庞大的数据宝库),而是牵涉分析的挑战。最出色的B2C公司知道如何解释自己拥有的海量数据,并见机行事,但B2B公司往往一味管理数据,而不是利用数据推动决策。优秀的分析工具可以帮助公司确定经常被忽视的因素(比如更宏观的经济形势、产品偏好以及销售代表的洽谈),揭示什么因素左右针对每个客户群和产品的价格。

提高自动化。人工分析数千种孝顷产品太耗费时间和财力。自动化系统可以识别狭小的客户群,确定什么因素左右每个客户群的价值,并且拿来与历史交易数据进行比较。这样一来,公司就可以根据数据,为产品群和客户群制定有针对性的价格。自动化还大大简化了复制和调整分析的工作,因此没必要每次都从头开始分析。

培养技能、树立信心。实施新价格既在运营方面带来了挑战,又在沟通携族方面带来了挑战。成功的公司非常注重深思熟虑的变革计划,帮助销售队伍了解并接受新的定价方法。公司需要与销售代表们齐心协力,解释为什么实行建议价,这巧隐陆套价格体系是如何运作的,那样销售代表就会非常信任价格,从而竭力说服顾客。同样重要的是制定一套明确清晰的沟通方法,为价格给出一个理由,从而着重突出价值,然后针对具体顾客给出相应的理由。全面的洽谈培训也至关重要,以便让销售代表获得信心和工具,那样与客户面对面交流时,能拿出颇有说服力的理由。最优秀的领导陪同销售代表会见最难拿下的客户,专注于迅速见效,那样销售代表就能树立起信心,积极奉行新的定价方法。林德集团旗下瑞士PanGas AG公司的总经理罗伯特·克里格(Robert Krieger)说:“表明领导层支持这种新的定价方法这个立场,至关重要。为此,我们采取的做法就是领导层与销售代表一起拜见难缠的客户。我们不仅能够帮助销售代表,还能够阐明为什么制定新价格。”

积极管理绩效。想改善绩效管理,公司就需要借助实用的绩效指标支持销售队伍。最大的影响来自确保销售一线对于客户带来的利润了然于胸;销售和营销部门拥有合适的分析技能,得以发现机会,并牢牢抓住机会。还需要将权力下放给销售队伍,让他们自行调整价格,而不是依赖集中式团队。这不仅需要创业理念,还需要在针对特定的客户制定价格策略时有一定的创造力。在改变定价策略和绩效衡量标准的同时,可能还要改变激励机制。

我们已经看到了这一幕:软件、化工、建材和电信等众多行业的公司利用大数据,帮助制定更合理的定价决策,因而收到显着成效。这些公司都有数量众多的库存单位(SKU)和交易,还有一大批高度分散的客户;重新制定价格后,都发现利润率提高了3%到8%,这些价格是在极其精细的产品数据层面制定的。仅举一例,一家欧洲建材公司为几种有所选择的产品制定合适的价格后,利润增幅高达20%。如果公司想制定合适的价格,就应该充分利用大数据,并投入足够的资源来支持销售代表,否则它们会发现自己在为此付出高昂的代价:利润流失。

转载请注明:数据分析 » 如何实现大数据利润最大利润化

量化分析师的python_python 金融量化分析_python金融大数据分析

量化分析师的Python_python 金融量化分析_python金融大数据分析

一、SciPy概述
前篇已经大致介绍了NumPy,接下来让我们看看SciPy能做些什么。NumPy替我们搞定了向量和矩阵的相关操作,基本上算是一个高级的科学计算器。SciPy基于NumPy提供了更为丰富和高级的功能扩展,在统计、优化、插值、数值积分、时频转换等方面提供了大量的可用函数,基本覆盖了基础科学计算相关的问题。

在量化分析中,运用最广泛的是统计和优化的相关技术,本篇重点介绍SciPy中的统计和优化模块,其他模块在随后系列文章中用到时再做详述。

本篇会涉及到一些矩阵代数,如若感觉不适,可考虑跳过第三部分或者在理解时简单采用一维的标量代替高维的向量。

首先还是导入相关的模块,我们使用的是SciPy里面的统计和优化部分:

In[1]:

import numpy as npimport scipy.stats as statsimport scipy.optimize as opt

二、统计部分2.1 生成随机数

我们从生成随机数开始,这样方便后面的介绍。生成n个随机数可用rv_continuous.rvs(size=n)或rv_discrete.rvs(size=n),其中rv_continuous表示连续型的随机分布,如均匀分布(uniform)、正态分布(norm)、贝塔分布(beta)等;rv_discrete表示离散型的随机分布,如伯努利分布(bernoulli)、几何分布(geom)、泊松分布(poisson)等。我们生成10个[0, 1]区间上的随机数和10个服从参数$a = 4$,$b = 2$的贝塔分布随机数:

In[2]:

rv_unif = stats.uniform.rvs(size=10)print rv_unifrv_beta = stats.beta.rvs(size=10, a=4, b=2)print rv_beta

[ 0.20630272 0.25929204 0.16859206 0.92573462 0.16383319 0.3475617 0.83792048 0.79574153 0.37945051 0.23439682][ 0.71216492 0.85688464 0.70310131 0.3783662 0.69507561 0.78626586 0.54529967 0.4261079 0.26646767 0.8519046 ]

在每个随机分布的生成函数里,都内置了默认的参数,如均匀分布的上下界默认是0和1。可是一旦需要修改这些参数,每次生成随机都要敲这么老长一串有点麻烦,能不能简单点?SciPy里头有一个Freezing的功能,可以提供简便版本的命令。SciPy.stats支持定义出某个具体的分布的对象,我们可以做如下的定义,让beta直接指代具体参数$a = 4$和$b = 2$的贝塔分布。为让结果具有可比性,这里指定了随机数的生成种子,由NumPy提供。

In[3]:

np.random.seed(seed=2015)rv_beta = stats.beta.rvs(size=10, a=4, b=2)print "method 1:"print rv_betanp.random.seed(seed=2015)beta = stats.beta(a=4, b=2)print "method 2:"print beta.rvs(size=10)

method 1:[ 0.43857338 0.9411551 0.75116671 0.92002864 0.62030521 0.56585548 0.41843548 0.5953096 0.88983036 0.94675351]method 2:[ 0.43857338 0.9411551 0.75116671 0.92002864 0.62030521 0.56585548 0.41843548 0.5953096 0.88983036 0.94675351]

2.2 假设检验

好了,现在我们生成一组数据,并查看相关的统计量(相关分布的参数可以在这里查到:http://docs.scipy.org/doc/scipy/reference/stats.html):

In[4]:

norm_dist = stats.norm(loc=0.5, scale=2)n = 200dat = norm_dist.rvs(size=n)print "mean of data is: " + str(np.mean(dat))print "median of data is: " + str(np.median(dat))print "standard deviation of data is: " + str(np.std(dat))

mean of data is: 0.705195138069median of data is: 0.658167882933standard deviation of data is: 2.08967006905

假设这个数据是我们获取到的实际的某些数据,如股票日涨跌幅,我们对数据进行简单的分析。最简单的是检验这一组数据是否服从假设的分布,如正态分布。这个问题是典型的单样本假设检验问题,最为常见的解决方案是采用K-S检验( Kolmogorov-Smirnov test)。单样本K-S检验的原假设是给定的数据来自和原假设分布相同的分布,在SciPy中提供了kstest函数,参数分别是数据、拟检验的分布名称和对应的参数:

In[5]:

mu = np.mean(dat)sigma = np.std(dat)stat_val, p_val = stats.kstest(dat, 'norm', (mu, sigma))print 'KS-statistic D = %6.3f p-value = %6.4f' % (stat_val, p_val)

KS-statistic D = 0.045 p-value = 0.8195

假设检验的$p$-value值很大(在原假设下,$p$-value是服从[0, 1]区间上的均匀分布的随机变量,可参考http://en.wikipedia.org/wiki/P-value ),因此我们接受原假设,即该数据通过了正态性的检验。在正态性的前提下,我们可进一步检验这组数据的均值是不是0。典型的方法是$t$检验($t$-test),其中单样本的$t$检验函数为ttest_1samp:

In[6]:

stat_val, p_val = stats.ttest_1samp(dat, 0)print 'One-sample t-statistic D = %6.3f, p-value = %6.4f' % (stat_val, p_val)

One-sample t-statistic D = 4.761, p-value = 0.0000

我们看到$p$-value$ < 0.05$,即给定显着性水平0.05的前提下,我们应拒绝原假设:数据的均值为0。我们再生成一组数据,尝试一下双样本的$t$检验(ttest_ind):

In[7]:

norm_dist2 = stats.norm(loc=-0.2, scale=1.2)dat2 = norm_dist2.rvs(size=n/2)stat_val, p_val = stats.ttest_ind(dat, dat2, equal_var=False)print 'Two-sample t-statistic D = %6.3f, p-value = %6.4f' % (stat_val, p_val)

Two-sample t-statistic D = 5.565, p-value = 0.0000

注意,这里我们生成的第二组数据样本大小、方差和第一组均不相等,在运用$t$检验时需要使用Welch’s $t$-test,即指定ttest_ind中的equal_var=False。我们同样得到了比较小的$p$-value$,在显着性水平0.05的前提下拒绝原假设,即认为两组数据均值不等。

stats还提供其他大量的假设检验函数,如bartlett和levene用于检验方差是否相等;anderson_ksamp用于进行Anderson-Darling的K-样本检验等。

2.3 其他函数

有时需要知道某数值在一个分布中的分位,或者给定了一个分布,求某分位上的数值。这可以通过cdf和ppf函数完成:

In[8]:

g_dist = stats.gamma(a=2)print "quantiles of 2, 4 and 5:"print g_dist.cdf([2, 4, 5])print "Values of 25%, 50% and 90%:"print g_dist.pdf([0.25, 0.5, 0.95])

quantiles of 2, 4 and 5:[ 0.59399415 0.90842181 0.95957232]Values of 25%, 50% and 90%:[ 0.1947002 0.30326533 0.36740397]

对于一个给定的分布,可以用moment很方便的查看分布的矩信息,例如我们查看$N(0, 1)$的六阶原点矩:

In[9]:

stats.norm.moment(6, loc=0, scale=1)

Out[9]:

15.000000000895332

describe函数提供对数据集的统计描述分析,包括数据样本大小,极值,均值,方差,偏度和峰度:

In[10]:

norm_dist = stats.norm(loc=0, scale=1.8)dat = norm_dist.rvs(size=100)info = stats.describe(dat)print "Data size is: " + str(info[0])print "Minimum value is: " + str(info[1][0])print "Maximum value is: " + str(info[1][1])print "Arithmetic mean is: " + str(info[2])print "Unbiased variance is: " + str(info[3])print "Biased skewness is: " + str(info[4])print "Biased kurtosis is: " + str(info[5])

Data size is: 100Minimum value is: -4.12414564687Maximum value is: 4.82577602489Arithmetic mean is: 0.0962913592209Unbiased variance is: 2.88719292463Biased skewness is: -0.00256548794681Biased kurtosis is: -0.317463421177

当我们知道一组数据服从某些分布的时候,可以调用fit函数来得到对应分布参数的极大似然估计(MLE, maximum-likelihood estimation)。以下代码示例了假设数据服从正态分布,用极大似然估计分布参数:

In[11]:

norm_dist = stats.norm(loc=0, scale=1.8)dat = norm_dist.rvs(size=100)mu, sigma = stats.norm.fit(dat)print "MLE of data mean:" + str(mu)print "MLE of data standard deviation:" + str(sigma)

MLE of data mean:-0.249880829912MLE of data standard deviation:1.89195303507

pearsonr和spearmanr可以计算Pearson和Spearman相关系数,这两个相关系数度量了两组数据的相互线性关联程度:

In[12]:

norm_dist = stats.norm()dat1 = norm_dist.rvs(size=100)exp_dist = stats.expon()dat2 = exp_dist.rvs(size=100)cor, pval = stats.pearsonr(dat1, dat2)print "Pearson correlation coefficient: " + str(cor)cor, pval = stats.pearsonr(dat1, dat2)print "Spearman's rank correlation coefficient: " + str(cor)

Pearson correlation coefficient: -0.0262911931014Spearman's rank correlation coefficient: -0.0262911931014

其中的$p$-value表示原假设(两组数据不相关)下,相关系数的显着性。

最后,在分析金融数据中使用频繁的线性回归在SciPy中也有提供,我们来看一个例子:

In[13]:

x = stats.chi2.rvs(3, size=50)y = 2.5 + 1.2 * x + stats.norm.rvs(size=50, loc=0, scale=1.5)slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)print "Slope of fitted model is:" , slopeprint "Intercept of fitted model is:", interceptprint "R-squared:", r_value**2

Slope of fitted model is: 1.44515601191Intercept of fitted model is: 1.91080684516R-squared: 0.798786910173

在前面的链接中,可以查到大部分stat中的函数,本节权作简单介绍,挖掘更多功能的最好方法还是直接读原始的文档。另外,StatsModels(http://statsmodels.sourceforge.net )模块提供了更为专业,更多的统计相关函数。若在SciPy没有满足需求,可以采用StatsModels。

三、优化部分

优化问题在投资中可谓是根本问题,如果手上有众多可选的策略,应如何从中选择一个“最好”的策略进行投资呢?这时就需要用到一些优化技术针对给定的指标进行寻优。随着越来越多金融数据的出现,机器学习逐渐应用在投资领域,在机器学习中,优化也是十分重要的一个部分。以下介绍一些常见的优化方法,虽然例子是人工生成的,不直接应用于实际金融数据,我们希望读者在后面遇到优化问题时,能够从这些简单例子迅速上手解决。

3.1 无约束优化问题

所谓的无约束优化问题指的是一个优化问题的寻优可行集合是目标函数自变量的定义域,即没有外部的限制条件。例如,求解优化问题 [

minimizef(x)=x24.8x+1.2

] 就是一个无约束优化问题,而求解 [

minimizef(x)=x24.8x+1.2subject tox≥0

]则是一个带约束的优化问题。更进一步,我们假设考虑的问题全部是凸优化问题,即目标函数是凸函数,其自变量的可行集是凸集。(详细定义可参考斯坦福大学Stephen Boyd教授的教材convex optimization,下载链接:http://stanford.e/~boyd/cvxbook )

我们以Rosenbrock函数 [ f(mathbf{x}) = sum{i=1}^{N-1} 100 (x_i – x{i-1}^2)^2 + (1 – x_{i-1})^2 ] 作为寻优的目标函数来简要介绍在SciPy中使用优化模块scipy.optimize。

首先需要定义一下这个Rosenbrock函数:

In[14]:

def rosen(x): """The Rosenbrock function""" return sum(100.0*(x[1:]-x[:-1]**2.0)**2.0 + (1-x[:-1])**2.0)

3.1.1 Nelder-Mead单纯形法

单纯形法是运筹学中介绍的求解线性规划问题的通用方法,这里的Nelder-Mead单纯形法与其并不相同,只是用到单纯形的概念。设定起始点$mathbf{x}_0 = (1.3, 0.7, 0.8, 1.9, 1.2)$,并进行最小化的寻优。这里‘xtol’表示迭代收敛的容忍误差上界:

In[15]:

x_0 = np.array([0.5, 1.6, 1.1, 0.8, 1.2])res = opt.minimize(rosen, x_0, method='nelder-mead', options={'xtol': 1e-8, 'disp': True})print "Result of minimizing Rosenbrock function via Nelder-Mead Simplex algorithm:"print res

Optimization terminated successfully. Current function value: 0.000000 Iterations: 436 Function evaluations: 706Result of minimizing Rosenbrock function via Nelder-Mead Simplex algorithm: status: 0 nfev: 706 success: True fun: 1.6614969876635003e-17 x: array([ 1., 1., 1., 1., 1.]) message: 'Optimization terminated successfully.' nit: 436

Rosenbrock函数的性质比较好,简单的优化方法就可以处理了,还可以在minimize中使用method=’powell’来指定使用Powell’s method。这两种简单的方法并不使用函数的梯度,在略微复杂的情形下收敛速度比较慢,下面让我们来看一下用到函数梯度进行寻优的方法。

3.1.2 Broyden-Fletcher-Goldfarb-Shanno法

Broyden-Fletcher-Goldfarb-Shanno(BFGS)法用到了梯度信息,首先求一下Rosenbrock函数的梯度:

[ begin{split} frac{partial f}{partial xj} &= sum{i=1}^N 200(xi – x{i-1}^2)(delta{i,j} – 2x{i-1}delta{i-1,j}) -2(1 – x{i-1})delta_{i-1,j} &= 200(xj – x{j-1}^2) – 400xj(x{j+1} – x_j^2) – 2(1 – x_j) end{split}] 其中当$i=j$时,$delta_{i,j} = 1$,否则$delta_{i,j} = 0$。

边界的梯度是特例,有如下形式: [ begin{split} frac{partial f}{partial x_0} &= -400x_0(x_1 – x_0^2) – 2(1 – x_0), frac{partial f}{partial x{N-1}} &= 200(x{N-1} – x_{N-2}^2) end{split}]

我们可以如下定义梯度向量的计算函数了:

In[16]:

def rosen_der(x): xm = x[1:-1] xm_m1 = x[:-2] xm_p1 = x[2:] der = np.zeros_like(x) der[1:-1] = 200*(xm-xm_m1**2) - 400*(xm_p1 - xm**2)*xm - 2*(1-xm) der[0] = -400*x[0]*(x[1]-x[0]**2) - 2*(1-x[0]) der[-1] = 200*(x[-1]-x[-2]**2) return der

梯度信息的引入在minimize函数中通过参数jac指定:

In[17]:

res = opt.minimize(rosen, x_0, method='BFGS', jac=rosen_der, options={'disp': True})print "Result of minimizing Rosenbrock function via Broyden-Fletcher-Goldfarb-Shanno algorithm:"print res

Optimization terminated successfully. Current function value: 0.000000 Iterations: 52 Function evaluations: 63 Gradient evaluations: 63Result of minimizing Rosenbrock function via Broyden-Fletcher-Goldfarb-Shanno algorithm: status: 0 success: True njev: 63 nfev: 63 hess_inv: array([[ 0.00726515, 0.01195827, 0.0225785 , 0.04460906, 0.08923649], [ 0.01195827, 0.02417936, 0.04591135, 0.09086889, 0.18165604], [ 0.0225785 , 0.04591135, 0.09208689, 0.18237695, 0.36445491], [ 0.04460906, 0.09086889, 0.18237695, 0.36609277, 0.73152922], [ 0.08923649, 0.18165604, 0.36445491, 0.73152922, 1.46680958]]) fun: 3.179561068096293e-14 x: array([ 1. , 0.99999998, 0.99999996, 0.99999992, 0.99999983]) message: 'Optimization terminated successfully.' jac: array([ 4.47207141e-06, 1.30357917e-06, -1.86454207e-07, -2.00564982e-06, 4.98799446e-07])

3.1.3 牛顿共轭梯度法(Newton-Conjugate-Gradient algorithm)

用到梯度的方法还有牛顿法,牛顿法是收敛速度最快的方法,其缺点在于要求Hessian矩阵(二阶导数矩阵)。牛顿法大致的思路是采用泰勒展开的二阶近似: [ f(mathbf{x}) approx f(mathbf{x}_0) + nabla f(mathbf{x}_0)(mathbf{x} – mathbf{x}_0) + frac{1}{2}(mathbf{x} – mathbf{x}_0)^Tmathbf{H}(mathbf{x}_0)(mathbf{x} – mathbf{x}_0) ] 其中$mathbf{H}(mathbf{x}_0)$表示二阶导数矩阵。若Hessian矩阵是正定的,函数的局部最小值可以通过使上面的二次型的一阶导数等于0来获取,我们有: [ mathbf{x}_{mathrm{opt}} = mathbf{x}_0 – mathbf{H}^{-1}nabla f ]

这里可使用共轭梯度近似Hessian矩阵的逆矩阵。下面给出Rosenbrock函数的Hessian矩阵元素通式:

[ begin{split} H{i,j} = frac{partial^2 f}{partial x_i partial x_j} &= 200(delta{i,j} – 2x{i-1}delta{i-1,j}) – 400xi(delta{i+1,j} – 2xidelta{i,j}) – 400delta{i,j}(x{i+1} – xi^2) + 2delta{i,j}, &= (202 + 1200xi^2 – 400x{i+1}) delta{i,j} – 400x_idelta{i+1,j} – 400x{i-1}delta{i-1,j} end{split}] 其中$i,j in [1, N-2]$。其他边界上的元素通式为: [ begin{split} frac{partial^2 f}{partial x_0^2} &= 1200x_0^2 – 400x_1 + 2, frac{partial^2 f}{partial x_0 partial x_1} = frac{partial^2 f}{partial x_1 partial x_0} &= -400x_0, frac{partial^2 f}{partial x{N-1} partial x{N-2}} = frac{partial^2 f}{partial x{N-2} partial x{N-1}} &= -400x_{N-2}, frac{partial^2 f}{partial x_{N-1}^2} &= 200. end{split}]

例如,当$N=5$时的Hessian矩阵为:

[ mathbf{H} =

[1200x20400x1+2400x0000400x0202+1200x21400x2400x1000400x1202+1200x22400x3400x2000400x2202+1200x23400x4400x3000400x3200]

]为使用牛顿共轭梯度法,我们需要提供一个计算Hessian矩阵的函数:

In[18]:

def rosen_hess(x): x = np.asarray(x) H = np.diag(-400*x[:-1],1) - np.diag(400*x[:-1],-1) diagonal = np.zeros_like(x) diagonal[0] = 1200*x[0]**2-400*x[1]+2 diagonal[-1] = 200 diagonal[1:-1] = 202 + 1200*x[1:-1]**2 - 400*x[2:] H = H + np.diag(diagonal) return H

In[19]:

res = opt.minimize(rosen, x_0, method='Newton-CG', jac=rosen_der, hess=rosen_hess, options={'xtol': 1e-8, 'disp': True})print "Result of minimizing Rosenbrock function via Newton-Conjugate-Gradient algorithm (Hessian):"print res

Optimization terminated successfully. Current function value: 0.000000 Iterations: 20 Function evaluations: 22 Gradient evaluations: 41 Hessian evaluations: 20Result of minimizing Rosenbrock function via Newton-Conjugate-Gradient algorithm (Hessian): status: 0 success: True njev: 41 nfev: 22 fun: 1.47606641102778e-19 x: array([ 1., 1., 1., 1., 1.]) message: 'Optimization terminated successfully.' nhev: 20 jac: array([ -3.62847530e-11, 2.68148992e-09, 1.16637362e-08, 4.81693414e-08, -2.76999090e-08])

对于一些大型的优化问题,Hessian矩阵将异常大,牛顿共轭梯度法用到的仅是Hessian矩阵和一个任意向量的乘积,为此,用户可以提供两个向量,一个是Hessian矩阵和一个任意向量$mathbf{p}$的乘积,另一个是向量$mathbf{p}$,这就减少了存储的开销。记向量$mathbf{p} = (p_1, ldots, p_{N-1})$,可有

[ mathbf{H(x)p} = begin{bmatrix} (1200x0^2 – 400x_1 + 2)p_0 -400x_0p_1 vdots -400x{i-1}p{i-1} + (202 + 1200x_i^2 – 400x{i+1})pi – 400x_ip{i+1} vdots -400x{N-2}p{N-2} + 200p_{N-1} end{bmatrix} ]

我们定义如下函数并使用牛顿共轭梯度方法寻优:

In[20]:

def rosen_hess_p(x, p): x = np.asarray(x) Hp = np.zeros_like(x) Hp[0] = (1200*x[0]**2 - 400*x[1] + 2)*p[0] - 400*x[0]*p[1] Hp[1:-1] = -400*x[:-2]*p[:-2]+(202+1200*x[1:-1]**2-400*x[2:])*p[1:-1] -400*x[1:-1]*p[2:] Hp[-1] = -400*x[-2]*p[-2] + 200*p[-1] return Hpres = opt.minimize(rosen, x_0, method='Newton-CG', jac=rosen_der, hessp=rosen_hess_p, options={'xtol': 1e-8, 'disp': True})print "Result of minimizing Rosenbrock function via Newton-Conjugate-Gradient algorithm (Hessian times arbitrary vector):"print res

Optimization terminated successfully. Current function value: 0.000000 Iterations: 20 Function evaluations: 22 Gradient evaluations: 41 Hessian evaluations: 58Result of minimizing Rosenbrock function via Newton-Conjugate-Gradient algorithm (Hessian times arbitrary vector): status: 0

转载请注明:数据分析 » 量化分析师的Python_python 金融量化分析_python金融大数据分析

阅读全文

与凸优化王书宁pdf相关的资料

热点内容
半圆形计算法 浏览:392
手机建立文件夹用什么软件 浏览:730
oss压缩上传 浏览:980
蓝色学校网站源码 浏览:827
androidgridview表格 浏览:604
压缩怎么eq闪 浏览:740
流密码算法openssl 浏览:262
怎么数黄豆个数python 浏览:799
混沌序列加密的结论 浏览:224
最新脱单app哪个好 浏览:638
如何用自己电脑做服务器做网页 浏览:140
服务器安全配置要考什么证书 浏览:633
ipadpro可以编程 浏览:541
外国的程序员和中国的程序员 浏览:153
抖音小店app如何联系客服 浏览:977
linux打开多个终端 浏览:502
linux中的命令 浏览:582
优化小米6相机算法 浏览:261
ak47pdf 浏览:151
人与文化pdf 浏览:642