spark编程指南中文版

1. Spark核心编程进阶-yarn模式下日志查看详解

yarn模式下调试运行中的spark作业

在yarn模式下，spark作业运行相关的executor和ApplicationMaster都是运行在yarn的container中的
一个作业运行完了以后，yarn有两种方式来处理spark作业打印出的日志

这种方式的话，顾名思义，就是说，将散落在集群中各个机器上的日志，最后都给聚合起来，让我们可以统一查看
如果打开了日志聚合的选项，即yarn.log-aggregation-enable，container的日志会拷贝到hdfs上去漏哗，并从机器中删除

对于这种情况，可以使用yarn logs -applicationId <app ID>命令，来查看日志
yarn logs命令，会打印出application对应的所有container的日志出来，当然，因为日志是在hdfs上的，我们自然也可以通过hdfs的命令行来直接从hdfs中查看日志
日志在hdfs中的目录，可以通过查看yarn.nodemanager.remote-app-log-dir和yarn.nodemanager.remote-app-log-dir-suffix属性来获知

日志也可以通过spark web ui来查看executor的输出日志
但是此时需要启动History Server，需要让spark history server和maprece history server运行着
并且在yarn-site.xml文件中，仿枯配置yarn.log.server.url属性
spark history server web ui中的log url，会将你重定向到maprece history server上，去查看日志

如果没有打开聚合日志选项，那么日志默认就是散落在各个机器上的本次磁盘目录中的，在YARN_APP_LOGS_DIR目录下
根据hadoop版本的不同，通常在/tmp/logs目录下备搜洞，或者$HADOOP_HOME/logs/userlogs目录下
如果你要查看某个container的日志，那么就得登录到那台机器上去，然后到指定的目录下去，找到那个日志文件，然后才能查看

2. 科普Spark，Spark是什么，如何使用Spark

科普Spark，Spark是什么，如何使用Spark

1.Spark基于什么算法的分布式计算（很简单）

2.Spark与MapRece不同在什么地方

3.Spark为什么比Hadoop灵活

4.Spark局限是什么

5.什么情况下适合使用Spark

Spark与Hadoop的对比

Spark的中间数据放到内存中，对于迭代运算效率更高。

Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。

Spark比Hadoop更通用

Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Rece两种操作。比如map, filter, flatMap, sample, groupByKey, receByKey, union, join, cogroup, mapValues, sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count, collect, rece, lookup, save等多种actions操作。

这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型比Hadoop更灵活。

不过由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。

容错性

在分布式数据集计算时通过checkpoint来实现容错，而checkpoint有两种方式，一个是checkpoint data，一个是logging the updates。用户可以控制采用哪种方式来实现容错。

可用性

Spark通过提供丰富的Scala, Java，Python API及交互式Shell来提高可用性。

Spark与Hadoop的结合

Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapRece运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。

Spark的适用场景

Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小（大数据库架构中这是是否考虑使用Spark的重要因素）

由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。总的来说Spark的适用面比较广泛且比较通用。

运行模式

本地模式

Standalone模式

Mesoes模式

yarn模式

Spark生态系统

Shark ( Hive on Spark): Shark基本上就是在Spark的框架基础上提供和Hive一样的H iveQL命令接口，为了最大程度的保持和Hive的兼容性，Shark使用了Hive的API来实现query Parsing和 Logic Plan generation，最后的PhysicalPlan execution阶段用Spark代替Hadoop MapRece。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。同时，Shark通过UDF用户自定义函数实现特定的数据分析学习算法，使得SQL数据查询和运算分析能结合在一起，最大化RDD的重复使用。

Spark streaming: 构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms+）可以用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），RDD数据集更容易做高效的容错处理。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。

Bagel: Pregel on Spark，可以用Spark进行图计算，这是个非常有用的小项目。Bagel自带了一个例子，实现了Google的PageRank算法。

End.

3. 怎样给Spark传递函数

Spark的算子很大程度上是上通过向集群上的驱动程序传递函数来实现的，编写Spark应用的关键就是使用算子（或者称为转换），给Spark传递函数来实现。常用的向Spark传递函数的方式有两种（来自于Spark官方文档，Spark编程指南）：
第一种：匿名函数，处理的代码比较少的时候，可以采用匿名函数，直接写在算子里面：

?

1

myrdd.map(x => x+ 1)

第二种：全局单例对象中的静态方法：先定义object对象MyFunctions，以及静态方法：funcOne,然后传递MyFunctions.funcOne给RDD算子。

?

1
2
3
4
5
6
7
8

object MyFunctions {

def funcOne(s: String): String = { ... }

}

myRdd.map(MyFunctions.funcOne)

在业务员开发中，需要把RDD的引用传递给某一个类的实例的某个方法，传递给RDD的函数，为类实例的实例方法：

?

1
2
3
4
5
6
7

class MyClass {

def funcOne(s: String): String = { ... }

def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(funcOne }

}

在这个例子中，我们定义了一个类MyClass，类的实例方法doStuff中传入了一个RDD，RDD
算子中调用了类的另外一个实例方法funcOne,在我么New 一个MyClass
的实例并调用doStuff的方法的时候，需要讲整个实例对象发给集群，所以类MyClass必须可以序列化，需要extends
Serializable。

相似的，访问方法外部的对象变量也会引用整个对象，需要把整个对象发送到集群：

?

1
2
3
4
5
6

class MyClass {

val field = "Hello"

def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(x => field
+ x) <span style="font-size:9pt;line-height:1.5;">}</span>

?

1

}

为了避免整个对象都发送给集群，可以定义一个局部变量来保存外部对象field的引用，这种情况尤其在一些大对象里，可以避免整个对象发送到集群，提高效率。

?

1
2
3
4
5
6
7

def doStuff(rdd: RDD[String]): RDD[String] = {

val field_ = this.field

rdd.map(x => field_ + x)

}

Spark应用最终是要在集群中运行的，许多问题在单一的本地环境中无法暴露出来，有时候经常会遇到本地运行结果和集群运行结果不一致的问题，这就要求开
发的时候多使用函数式编程风格，尽量使的写的函数都为纯函数。纯函数的好处是：无状态,线程安全,不需要线程同步，应用程序或者运行环境
(Runtime)可以对纯函数的运算结果进行缓存,运算加快速度。

那么什么是纯函数了？

纯函数（Pure Function）是这样一种函数——输入输出数据流全是显式（Explicit）的。显式（Explicit）
的意思是，函数与外界交换数据只有一个唯一渠道——参数和返回值；函数从函数外部接受的所有输入信息都通过参数传递到该函数内部；函数输出到函数外部的所
有信息都通过返回值传递到该函数外部。如果一个函数通过隐式（Implicit）方式，从外界获取数据，或者向外部输出数据，那么，该函数就不是纯函数，
叫作非纯函数（Impure Function）。隐式（Implicit）的意思是，函数通过参数和返回值以外的渠道，和外界进行数据交换。比如，读取全局变量，修改全局变量，都叫作以隐式的方式和外界进行数据交换；比如，利用I/O API（输入输出系统函数库）读取配置文件，或者输出到文件，打印到屏幕，都叫做隐式的方式和外界进行数据交换。

在计算过程中涉及到对象的交互时，尽量选用无状态的对象，比如对于一个bean，成员变量都为val的，在需要数据交互的地方new 一个新的。

关于（commutative and associative）交换律和结合律。在传递给reudce,receByKey,以及其他的一些merge，聚合的操作中的函数必须要满足交换律和结合律，交换律和结合律就是我们数学上学过的：

a + b = b + a，a + b + c = a + (b + c)

定义的函数func(a,b)和f(b,a)应该得到相同的结果，f(f(a,b),c)和f(a,f(b,c))应该得到相同的结果。

最后说一下广播变量和累加器的使用。在程序中不要定义一个全局的变量，如果需要在多个节点共享一个数据，可以采用广播变量的方法。如果需要一些全局的聚合计算，可以使用累加器。

4. 《spark编程指南》pdf下载在线阅读全文，求百度网盘云资源

《spark编程指南》网络网盘pdf最新全集下载:
链接：https://pan..com/s/1SpkSEHyL685IfMzG04Ag

5. 有什么关于 Spark 的书推荐

《大数据Spark企业级实战》本书共包括14章，每章的主要内容如下。

第一章回答了为什么大型数据处理平台都要选择SPARK

第二章回答了如何从头构建Hadoop集群的问题。

附录从spark的角度解释了Scala，并详细解释了Scala函数编程和面向对象编程。

6. spark编程 mysql得不到数据

“这里说明一点:本文提到的解决 Spark insertIntoJDBC找不到Mysql驱动的方法是针对单机模式(也就是local模式)。在集群环境下,下面的方法是不行的。

编程是编定程序的中文简称，就是让计算机代码解决某个问题，对某个计算体系规定一定的运算方式，使计算体系按照该计算方式运行，并最终得到相应结果的过程。

为了使计算机能够理解人的意图，人类就必须将需解决的问题的思路、方法和手段通过计算机能够理解的形式告诉计算机，使得计算机能够根据人的指令一步一步去工作，完成某种特定的任务。这种人和计算体系之间交流的过程就是编程。

在计算机系统中，一条机器指令规定了计算机系统的一个特定动作。

一个系列的计算机在硬件设计制造时就用了若干指令规定了该系列计算机能够进行的基本操作，这些指令一起构成了该系列计算机的指令系统。在计算机应用的初期，程序员使用机器的指令系统来编写计算机应用程序，这种程序称为机器语言程序。

以上内容参考：网络-编程