r数据分析pdf

A. R语言基本数据分析

R语言基本数据分析
本文基于R语言进行基本数据统计分析，包括基本作图，线性拟合，逻辑回归，bootstrap采样和Anova方差分析的实现及应用。
不多说，直接上代码，代码中有注释。
1. 基本作图（盒图，qq图）
#basic plot
boxplot(x)
qqplot(x,y)
2. 线性拟合
#linear regression
n = 10
x1 = rnorm(n)#variable 1
x2 = rnorm(n)#variable 2
y = rnorm(n)*3
mod = lm(y~x1+x2)
model.matrix(mod) #erect the matrix of mod
plot(mod) #plot resial and fitted of the solution, Q-Q plot and cook distance
summary(mod) #get the statistic information of the model
hatvalues(mod) #very important, for abnormal sample detection
3. 逻辑回归

#logistic regression
x <- c(0, 1, 2, 3, 4, 5)
y <- c(0, 9, 21, 47, 60, 63) # the number of successes
n <- 70 #the number of trails
z <- n - y #the number of failures
b <- cbind(y, z) # column bind
fitx <- glm(b~x,family = binomial) # a particular type of generalized linear model
print(fitx)

plot(x,y,xlim=c(0,5),ylim=c(0,65)) #plot the points (x,y)

beta0 <- fitx$coef[1]
beta1 <- fitx$coef[2]
fn <- function(x) n*exp(beta0+beta1*x)/(1+exp(beta0+beta1*x))
par(new=T)
curve(fn,0,5,ylim=c(0,60)) # plot the logistic regression curve
3. Bootstrap采样

# bootstrap
# Application: 随机采样，获取最大eigenvalue占所有eigenvalue和之比，并画图显示distribution
dat = matrix(rnorm(100*5),100,5)
no.samples = 200 #sample 200 times
# theta = matrix(rep(0,no.samples*5),no.samples,5)
theta =rep(0,no.samples*5);
for (i in 1:no.samples)
{
j = sample(1:100,100,replace = TRUE)#get 100 samples each time
datrnd = dat[j,]; #select one row each time
lambda = princomp(datrnd)$sdev^2; #get eigenvalues
# theta[i,] = lambda;
theta[i] = lambda[1]/sum(lambda); #plot the ratio of the biggest eigenvalue
}

# hist(theta[1,]) #plot the histogram of the first(biggest) eigenvalue
hist(theta); #plot the percentage distribution of the biggest eigenvalue
sd(theta)#standard deviation of theta

#上面注释掉的语句，可以全部去掉注释并将其下一条语句注释掉，完成画最大eigenvalue分布的功能
4. ANOVA方差分析

#Application：判断一个自变量是否有影响 (假设我们喂3种维他命给3头猪，想看喂维他命有没有用)
#
y = rnorm(9); #weight gain by pig(Yij, i is the treatment, j is the pig_id), 一般由用户自行输入
#y = matrix(c(1,10,1,2,10,2,1,9,1),9,1)
Treatment <- factor(c(1,2,3,1,2,3,1,2,3)) #each {1,2,3} is a group
mod = lm(y~Treatment) #linear regression
print(anova(mod))
#解释：Df（degree of freedom）
#Sum Sq: deviance (within groups, and resials) 总偏差和
# Mean Sq: variance (within groups, and resials) 平均方差和
# compare the contribution given by Treatment and Resial
#F value: Mean Sq(Treatment)/Mean Sq(Resials)
#Pr(>F): p-value. 根据p-value决定是否接受Hypothesis H0：多个样本总体均数相等(检验水准为0.05)
qqnorm(mod$resial) #plot the resial approximated by mod
#如果qqnorm of resial像一条直线，说明resial符合正态分布，也就是说Treatment带来的contribution很小，也就是说Treatment无法带来收益（多喂维他命少喂维他命没区别）
如下面两图分别是
（左）用 y = matrix(c(1,10,1,2,10,2,1,9,1),9,1)和
（右）y = rnorm(9);
的结果。可见如果给定猪吃维他命2后体重特别突出的数据结果后，qq图种resial不在是一条直线，换句话说resial不再符合正态分布，i.e., 维他命对猪的体重有影响。

B. 《数据科学实战手册数据科学实战手册（R+Python）》pdf下载在线阅读，求百度网盘云资源

《数据科学实战手册数据科学实战手册（R+Python）》TonyOjeda(托尼·奥杰德)SeanPatrickMurphy(肖恩·派特里克·莫非)BenjaminBengfort(本杰明·班福特)电子书网盘下载免费在线阅读

链接：https://pan..com/s/1EqFNGdBQW46Nj8UdHnVLmA

提取码：bb2u

书名：数据科学实战手册
作者名：Tony Ojeda(托尼·奥杰德) / Sean Patrick Murphy(肖恩·派特里克·莫非) / Benjamin Bengfort(本杰明·班福特)
豆瓣评分：6.2
出版社：人民邮电出版社
出版年份：2016-8-1
页数：326
内容介绍：
这本书是基于R和Python的数据科学项目案例集锦，内容涵盖了基于数据科学的所有要素，包括数据采集、处理、清洗、分析、建模、可视化以及数据产品的搭建。案例包含了汽车数据分析、股票市场建模、社交网络分析、推荐系统、地理信息分析，以及Python代码的计算优化。通过手把手的案例解析，令读者知其然并知其所以然。业界的数据分析师、数据挖掘工程师、数据科学家都可以读一读。想要了解实际工作中如何用数据产生价值的在校学生，或者对数据科学感兴趣的人也值得一读。
作者介绍：
Tony Ojeda(托尼·奥杰德)，华盛顿DC数据社区的联合创始人，一位经验丰富的数据科学家和企业家，他在佛罗里达国际大学获得金融硕士学位，并且在德保罗大学获得了MBA学位。 Sean Patrick Murphy(肖恩·派特里克·莫非)，华盛顿DC数据社区的联合创始人，曾在约翰霍普金斯大学的应用物理实验室做了15年的高级科学家，他专注于机器学习、信号处理、高性能计算以及建模和模拟。现在他是旧金山、纽约和华盛顿DC多家公司的数据顾问。 Benjamin Bengfort(本杰明·班福特)，一位非常有经验的数据科学家和Python开发者。他曾在军方、业界和学术界工作过8年。他目前在马里兰大学派克学院攻读计算机博士学位，研究元识别和自然语言处理。他拥有北达科塔州立大学的计算机硕士学位，并是乔治城大学的客座教授。

C. 《数据分析实战》pdf下载在线阅读全文，求百度网盘云资源

《数据分析实战》（［ 日］ 酒卷隆治里洋平）电子书网盘下载免费在线阅读

资源链接：

链接:

提取码: vkkn

书名：数据分析实战

作者：［ 日］ 酒卷隆治里洋平

译者：肖峰

豆瓣评分：7.1

出版社：人民邮电出版社

出版年份：2017-6

页数：268

内容简介：

本书由实战经验丰富的两位数据分析师执笔，首先介绍了商业领域里通用的数据分析框架，然后根据该框架，结合8个真实的案例，详细解说了通过数据分析解决各种商业问题的流程，让读者在解决问题的过程中学习各种数据分析方法，包括柱状图、交叉列表统计、A/B测试、多元回归分析、逻辑回归分析、主成分分析、聚类、决策树分析、机器学习等。特别是书中使用的数据都是未经清洗的原始数据，能够让读者了解真实的数据分析流程，避免纸上谈兵。

作者简介：

作者简介：

酒卷隆治

浦和出身。环境学博士毕业。就职于株式会社DRECOM数据分析部门。擅长人类行动日志的分析。现主要从事社交游戏和在线服务的日志分析工作。

里洋平

种子岛出身。就职于株式会社DRECOM数据分析部门。擅长使用R语言进行数据分析，现主要从事数据分析环境的搭建和数据分析工作。合着有《数据科学养成读本》（技术评论社）、《R包使用手册》（东京图书）。

译者简介：

肖峰

日本东京工业大学计算机工学博士。曾在日本乐天株式会社乐天技术研究所从事研究工作。2013年回国后加入新浪，现任新浪个性化推荐团队算法负责人。拥有丰富的数据分析与建模能力。

D. 《多元统计分析及r语言建模王斌会》pdf下载在线阅读全文，求百度网盘云资源

《多元统计分析及r语言建模王斌会》网络网盘pdf最新全集下载:
链接：https://pan..com/s/1cZO-DK5ohWGhCOw2ZH9Oug

?pwd=sh1u 提取码：sh1u
简介：《多元统计分析及R语言建模（第五版）》重点介绍R语言在多元数据分析和统计建模方面的应用技巧，内容涉及多元数据的收集和整理、多元数据的直观显示、线性与非线性模型及广义线性模型、判别分析、聚类分析、主成分分析、因子分析、对应分析、典型相关分析等常见的主流多元统计分析方面的内容。

E. R语言数据分析实例一：离职率分析与建模预测

本文分析利用IBM离职员工数据进行分析。在对离职率的影响因素进行观察的基础至上，建立模型并预测哪些员工更易离职。

一般而言，数据分析分为三个步骤：数据收集与清洗、探索性分析和建模预测。本文的数据集是IBM用于研究员工预测的 模拟数据 ，数据十分完整，无需清洗。因此，本文主要分为三个部分：

通过对IBM离职员工数据实践，本文希望发掘出影响员工流失的因素，并对利用R语言进行数据分析过程进行复习，深化对数据分析工作意义的理解。

IBM离职员工数据集共有35个变量，1470个观测个案。部分需要重点关注的变量如下：

上述变量可以分为三个部分：

载入分析包和数据集

通过描述性统计可以初步观测到：

分析结果：

基于对数据的探索性分析，员工离职有多方面因素的影响，主要有：

1.工作与生活的不平衡——加班、离家远和出差等；
2.工作投入如果不能获得相匹配的回报，员工更倾向离职；
3.优先股认购等福利是员工较为关注的回报形式；
4.年龄、任职过的公司数量的因素也会影响员工离职率；

删除需要的变量：EmployeeCount, EmployeeNumber, Over18, StandardHours
变量重新编码：JobRole, EcationFiled

分析结果表明：

随机森林所得的AUC值为0.5612，小于决策树模型。

GBM模型得到的AUC值为0.5915

对于对于随机森林和GBM的方法，AUC值小于单一决策树模型的AUC值的情况较少见，这显然说明单一的树拟合得更好或者更稳定的情况。（一般需要得到AUC值大于0.75的模型）

当结果分类变量之间的比列是1：10或者更高的时候，通常需要考虑优化模型。本例中，离职变量的比列是1：5左右，但仍然可能是合理的，因为在决策树中看到的主要问题是预测那些实际离开的人（敏感度）。

加权旨在降低少数群体中的错误，这里是离职群体。

向上采样（up-sampling）指从多数类中随机删除实例。

向下采样（down-sampling）指从少数类中复制实例。

分析结果表明：
加权调整的模型表现最好，相比较于单纯的随机森林和GBM模型，AUC值从0.5612上升至0.7803，灵敏度也达到了0.7276。据此，后续将采用加权调整后的模型进行预测。

已经训练出一个表现较好的模型。将其应用于实践时，需要注意以下几个方面：

可以观察到影响员工流失的前5个因素是：

因此，在实践中就需要注意：

本例中对工作投入高、收入低的员工进行预测。

本例分析仍有需要足够完善的地方，还可以往更多更有意义的地方探索：

F. 《R语言实战（第2版）》pdf下载在线阅读，求百度网盘云资源

《R语言实战（第2版）》（[美] Robert I. Kabacoff）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1LGgzzjw4XSz159P0dCubFA

提取码：v2g0

书名：R语言实战（第2版）

作者：[美] Robert I. Kabacoff

译者：王小宁

豆瓣评分：9.1

出版社：人民邮电出版社

出版年份：2016-5

页数：556

内容简介：

本书注重实用性，是一本全面而细致的R指南，高度概括了该软件和它的强大功能，展示了使用的统计示例，且对于难以用传统方法处理的凌乱、不完整和非正态的数据给出了优雅的处理方法。作者不仅仅探讨统计分析，还阐述了大量探索和展示数据的图形功能。新版做了大量更新和修正，新增了近200页内容，介绍数据挖掘、预测性分析和高级编程。

作者简介：

作者简介：

Robert I. Kabacoff

R语言社区着名学习网站Quick-R的维护者，现为全球化开发与咨询公司Management研究集团研发副总裁。此前，Kabacoff博士是佛罗里达诺瓦东南大学的教授，讲授定量方法和统计编程的研究生课程。Kabacoff还是临床心理学博士、统计顾问，擅长数据分析，在健康、金融服务、制造业、行为科学、政府和学术界有20余年的研究和统计咨询经验。

译者简介：

王小宁

中国人民大学统计学院14级硕士，16级博士，统计之都副主编，中国人民大学数据挖掘中心分布式计算负责人，研究兴趣包括统计机器学习和缺失数据。

刘撷芯

中国人民大学统计学院13级硕士，爱荷华大学商学院16级博士，中国人民大学数据挖掘中心核心成员之一，研究兴趣包括统计机器学习和文本分析。

黄俊文

2014年毕业于中山大学数学系，2016年毕业于加州大学圣地亚哥分校统计学专业，统计之都成员，易易网创始人之一，目前关注计算机科学和统计学的结合与应用，包括机器学习方法等。他致力于成为一个有趣的人。

G. 《R语言统计分析软件教程》pdf下载在线阅读，求百度网盘云资源

《R语言统计分析软件教程》（王斌会）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/12y6dec_0PNz6SDSJQgJ1Lg

提取码：cemb

书名：R语言统计分析软件教程

作者：王斌会

豆瓣评分：6.8

出版年份：2006

内容简介：

随着计算机技术的迅速发展，现代统计方法解决问题能力的深度和广度都有了很大的拓展。而统计软件正是我们应用统计方法不可或缺的工具。统计软件随着计算机技术和统计技术的发展不断推陈出新，名目繁多，各具特色，令人有无所适从之感。随着全球对知识产权保护要求的不断提高，而开放源代码逐渐开始形成另一种市场，R语言正是在这个大背景下发展起来的，以S语言环境为基础的R语言由于其鲜明的特色一出现就受到了统计专业人士的青睐，成为国外大学里相当标准的统计软件。本书是一本介绍R语言软件基础应用的统计教科书，要求读者有一定的统计知识，并准备应用R语言解决实际问题。本书内容详实、结构清楚、实例丰富、图文并茂，并第一次在国内统计教学中引入大量随机模拟技术。其突出的特点是实用性强，既可作为高校统计学各专业的本科及研究生的教学用书，又可作为研究人员及各类数据分析人员学习的参考书。

H. 《基于R语言数据挖掘的统计与分析》pdf下载在线阅读全文，求百度网盘云资源

《基于R语言数据挖掘的统计与分析》网络网盘pdf最新全集下载:
链接：https://pan..com/s/1XUAtM1-Fb-igAVYq_nZtlQ

?pwd=ms2x 提取码：ms2x
简介：《基于R的统计分析与数据挖掘（统计数据分析与应用丛书）》聚焦当今备受国内外数据分析师和数据应用者关注的R语言，关注如何借助R实现统计分析和数据挖掘。

它既不是仅侧重理论讲解的统计分析和数据挖掘教科书，也不是仅侧重R编程操作的使用手册，而是以数据分析贯穿全书的两者的有机结合。

I. 《金融数据分析导论基于与R语言》pdf下载在线阅读全文，求百度网盘云资源

《金融数据分析导论基于与R语言》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1dgw3iy9GDNQVm24tErdmzg

?pwd=bvvt 提取码: bvvt
简介：本书由统计学领域着名专家所着，从基本的金融数据出发，讨论了这些数据的汇总统计和相关的可视化方法，之后分别介绍了商业、金融和经济领域中的基本时间序列分析和计量经济模型，

J. 《R语言与大数据编程实战》pdf下载在线阅读全文，求百度网盘云资源

《R语言与大数据编程实战》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1VfVGvlRcVRwfPleEqKLJkQ

?pwd=dj86 提取码: dj86
简介：本书是一本R语言入门读物，它旨在帮助读者迅速构建起与数据分析相关的知识体系，并学习如何使用R软件实现数据分析方法。