A. spark python脚本怎么执行
前段时间使用了一下google的博客空间，感觉也很一般，所以现在把那里的几篇文章转过来。
执行python脚本只需要对python文件做如下操作即可：
在python文件里第一行加上#!
/usr/bin/python，即你的python解释器所在的目录。另外还有一种写法是#!
/usr/bin/env
python
编辑完成python脚本文件后为它加上可执行权限。例如你的python脚本文件叫做runit.py，那么就在shell中输入如下命令：chmod
+x
runit.py
之后直接在shell中输入./runit.py就可以执行你的python程序了。
当然这是在Linux下的操作，如果想在windows下直接执行Python程序，就需要使用py2exe工具将python源程序编译成exe文件了。
B. spark 能执行udf 不能执行udaf，什么原因
科普SparkSpark何使用Spark 1.Spark基于算布式计算（简单） 2.Spark与MapRece同 3.Spark比Hadoop灵 4.Spark局限 5.情况适合使用Spark 图" class="illustration_alink"> Spark SparkUC Berkeley AMP lab所源类Hadoop MapRece通用并行计算框架Spark基于map rece算实现布式计算拥Hadoop MapRece所具优点；同于MapReceJob间输结保存内存再需要读写HDFSSpark能更适用于数据挖掘与机器习等需要迭代map rece算其架构图所示： 图" class="illustration_alink"> Spark与Hadoop比 Spark间数据放内存于迭代运算效率更高 Spark更适合于迭代运算比较MLDM运算Spark面RDD抽象概念 Spark比Hadoop更通用 Spark提供数据集操作类型种像Hadoop提供MapRece两种操作比map, filter, flatMap, sample, groupByKey, receByKey, union, join, cogroup, mapValues, sort,partionBy等种操作类型Spark些操作称Transformations同提供Count, collect, rece, lookup, save等种actions操作 些种数据集操作类型给给发层应用用户提供便各处理节点间通信模型再像Hadoop唯Data Shuffle种模式用户命名物化控制间结存储、区等说编程模型比Hadoop更灵 由于RDD特性Spark适用种异步细粒度更新状态应用例web服务存储或者增量web爬虫索引于种增量修改应用模型适合 容错性 布式数据集计算通checkpoint实现容错checkpoint两种式checkpoint datalogging the updates用户控制采用哪种式实现容错 用性 Spark通提供丰富Scala, javaPython API及交互式Shell提高用性 Spark与Hadoop结合 Spark直接HDFS进行数据读写同支持Spark on YARNSpark与MapRece运行于同集群共享存储资源与计算数据仓库Shark实现借用Hive几乎与Hive完全兼容 Spark适用场景 Spark基于内存迭代计算框架适用于需要操作特定数据集应用场合需要反复操作数越所需读取数据量越受益越数据量计算密集度较场合受益相较（数据库架构否考虑使用Spark重要素） 由于RDD特性Spark适用种异步细粒度更新状态应用例web服务存储或者增量web爬虫索引于种增量修改应用模型适合总说Spark适用面比较广泛且比较通用 运行模式 本模式 Standalone模式 Mesoes模式 yarn模式 Spark态系统 Shark ( Hive on Spark): Shark基本Spark框架基础提供HiveH iveQL命令接口程度保持Hive兼容性Shark使用HiveAPI实现query Parsing Logic Plan generationPhysicalPlan execution阶段用Spark代替Hadoop MapRece通配置Shark参数Shark自内存缓存特定RDD实现数据重用进加快特定数据集检索同Shark通UDF用户自定义函数实现特定数据析习算使SQL数据查询运算析能结合起化RDD重复使用 Spark streaming: 构建Spark处理Stream数据框架基本原理Stream数据间片断（几秒）类似batch批量处理式处理部数据Spark Streaming构建Spark面Spark低延迟执行引擎（100ms+）用于实计算另面相比基于Record其处理框架（Storm）RDD数据集更容易做高效容错处理外批量处理式使同兼容批量实数据处理逻辑算便些需要历史数据实数据联合析特定应用场合 Bagel: Pregel on Spark用Spark进行图计算非用项目Bagel自带例实现GooglePageRank算 End
C. 如何运行含spark的python脚本
2~spark$ bin/spark-submit first.py
-----------first.py-------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
lines = sc.textFile("first.py")
pythonLines = lines.filter(lambda line: "Python" in line)
print "hello python"
print pythonLines.first()
print pythonLines.first()
print "hello spark!"
---------------------------------------------------
hello python
pythonLines = lines.filter(lambda line: "Python" in line)
pythonLines = lines.filter(lambda line: "Python" in line)
hello spark!
到spark的安装目录下/bin 下面 spark-submit ***.py 即可
D. Spark UDF 函数怎么实现参数数量变化
def my_udf(A:String = "",B:Int = 0):Double{
}
给参数一个默认值即可
E. spark部署python脚本怎么部署三方库
1、Spark脚本提交/运行/部署
1.1 spark-shell（交互窗口模式）
运行Spark-shell需要指向申请资源的standalone spark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark://192.168.180.216:7077
spark-shell启动完后，可以在交互窗口中输入Scala命令，进行操作，其中spark-shell已经默认生成sc对象，可以用：
val user_rdd1 = sc.textFile(inputpath, 10)
读取数据资源等。
1.2 spark-shell（脚本运行模式）
上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark//192.168.180.216:7077 < test.scala
运行后会自动进入spark-shell交互窗口并且运行test.scala中的程序，运行完成后，会自动退出spark-shell。
如果程序退出终端后，Linux终端失效，可以试试：stty echo 命令
1.3 spark-submit （程序部署）
Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。可以指定集群资源master，executor/ driver的内存资源等。
sudo spark-submit --masterspark://192.168.180.216:7077 --executor-memory 5g --class mypackage.test workcount.jar hdfs://192.168.180.79:9000/user/input.txt
workcount .scala 代码打包workcount.jar，并将文件需要上传到spark的安装目录下面；
hdfs//192.168.180.79:9000/user/input.txt为输入参数；
F. 机器学习实践：如何将Spark与Python结合
可以学习一下林大贵这本书，从头到尾教你如何使用python+spark+hadoop实现常用的算法训练和部署。
《Python+Spark2.0+Hadoop机器学习与大数据实战_林大贵》
链接：https://pan..com/s/1VGUOyr3WnOb_uf3NA_ZdLA
提取码：ewzf
G. spark UDF 怎么实现参数数量可变，不传参时候，有默认值。见下图
这样写就行了，给参数一个默认值
def my_udf(A:String = "",B:Int = 0):{
}
H. 最新的spark支持python的什么版本
两种方法：
使用 spark-submit 解释执行python脚本
使用 python 解释执行python脚本
1. 使用Spark-submit解释执行python脚本
python脚本中需要在开头导入spark相关模块，调用时使用spark-submit提交，示例代码如下：
===========================================================
"""odflow.py"""
from pyspark import SparkContext
fileDir = "/TripChain3_Demo.txt"
# sc = SparkContext("local", "ODFlow")
sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")
lines = sc.textFile(fileDir)
# python不能直接写多行的lambda表达式，所以要封装在函数中
def toKV(line):
arr = line.split(",")
t = arr[5].split(" ")[1].split(":")
return (t[0]+t[1]+","+arr[11]+","+arr[18],1)
r1 = lines.map( lambda line : toKV(line) ).receByKey(lambda a,b: a+b)
# 排序并且存入一个（repartition）文件中
r1.sortByKey(False).saveAsTextFile("/pythontest/output")
===========================================================
发布命令为：
spark-submit \
--master spark://ITS-Hadoop10:7077 \
odflow.py
2. 使用 python 解释执行python脚本
直接用python执行会出现错误:
ImportError: No mole named pyspark
ImportError: No mole named py4j.java_gateway
缺少pyspark和py4j这两个模块，这两个包在Spark的安装目录里，需要在环境变量里定义PYTHONPATH，编辑~/.bashrc或者/etc/profile文件均可
vi ~/.bashrc # 或者 sudo vi /etc/profile
# 添加下面这一行
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
# 使其生效
source ~/.bashrc # 或者 sudo source /etc/profile
然后关闭终端，重新打开，用python执行即可
python odflow.py