1. spark部署python腳本怎麼部署三方庫
1、Spark腳本提交/運行/部署
1.1 spark-shell（交互窗口模式）
運行Spark-shell需要指向申請資源的standalone spark集群信息，其參數為MASTER，還可以指定executor及driver的內存大小。
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark://192.168.180.216:7077
spark-shell啟動完後，可以在交互窗口中輸入Scala命令，進行操作，其中spark-shell已經默認生成sc對象，可以用：
val user_rdd1 = sc.textFile(inputpath, 10)
讀取數據資源等。
1.2 spark-shell（腳本運行模式）
上面方法需要在交互窗口中一條一條的輸入scala程序；將scala程序保存在test.scala文件中，可以通過以下命令一次運行該文件中的程序代碼：
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark//192.168.180.216:7077 < test.scala
運行後會自動進入spark-shell交互窗口並且運行test.scala中的程序，運行完成後，會自動退出spark-shell。
如果程序退出終端後，Linux終端失效，可以試試：stty echo 命令
1.3 spark-submit （程序部署）
Spark提供了一個容易上手的應用程序部署工具bin/spark-submit，可以完成Spark應用程序在local、Standalone、YARN、Mesos上的快捷部署。可以指定集群資源master，executor/ driver的內存資源等。
sudo spark-submit --masterspark://192.168.180.216:7077 --executor-memory 5g --class mypackage.test workcount.jar hdfs://192.168.180.79:9000/user/input.txt
workcount .scala 代碼打包workcount.jar，並將文件需要上傳到spark的安裝目錄下面；
hdfs//192.168.180.79:9000/user/input.txt為輸入參數；
2. 如何在ipython或python中使用Spark
在ipython中使用spark
說明：
spark 1.6.0
scala 2.10.5
spark安裝路徑是/usr/local/spark；已經在.bashrc中配置了SPARK_HOME環境變數。
方法一
/usr/local/Spark/bin/pyspark默認打開的是Python，而不是ipython。通過在pyspark文件中添加一行，來使用ipython打開。
cp pyspark ipyspark
vi ipyspark
# 在最前面添加
IPYTHON=1
# 啟動
ipyspark
方法二：
通過為spark創建一個ipython 配置的方式實現。
# 為spark創建一個ipython 配置
ipython profile create spark
# 創建啟動配置文件
cd ~/.config/ipython/profile_spark/startup
vi 00-pyspark-setup.py
在00-pyspark-setup.py中添加如下內容：
import os
import sys
# Configure the environment
if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '/srv/spark'
# Create a variable for our root path
SPARK_HOME = os.environ['SPARK_HOME']
# Add the PySpark/py4j to the Python Path
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "pyspark"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "lib", "py4j-0.9-src.zip"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))
啟動ipython
ipython –profile spark
測試程序
在ipython中輸入一下命令，如果下面的程序執行完後輸出一個數字，說明正確。
from pyspark import SparkContext
sc = SparkContext( 'local', 'pyspark')
def isprime(n):
"""
check if integer n is a prime
"""
# make sure n is a positive integer
n = abs(int(n))
# 0 and 1 are not primes
if n < 2:
return False
# 2 is the only even prime number
if n == 2:
return True
# all other even numbers are not primes
if not n & 1:
return False
# for all odd numbers
for x in range(3, int(n**0.5)+1, 2):
if n % x == 0:
return False
return True
# Create an RDD of numbers from 0 to 1,000,000
nums = sc.parallelize(xrange(1000000))
# Compute the number of primes in the RDD
print 逗Result: 地, nums.filter(isprime).count()
方法三
將上面的程序放入test.py文件，執行命令python test.py。發現錯誤。因為沒有將pyspark路徑加入PYTHONPATH環境變數。
在~/.bashrc或/etc/profile中添加如下內容:
# python can call pyspark directly
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/pyspark:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
執行如下命令：
# 使配置生效
source ~/.bashrc
# 測試程序
python test.py
此時，已經能夠運行了。
3. 如何在spark集群中裝python
前段時間使用了一下google的博客空間，感覺也很一般，所以現在把那裡的幾篇文章轉過來。 執行python腳本只需要對python文件做如下操作即可： 在python文件里第一行加上#! /usr/bin/python，即你的python解釋器所在的目錄
4. spark python腳本怎麼執行
前段時間使用了一下google的博客空間，感覺也很一般，所以現在把那裡的幾篇文章轉過來。
執行python腳本只需要對python文件做如下操作即可：
在python文件里第一行加上#!
/usr/bin/python，即你的python解釋器所在的目錄。另外還有一種寫法是#!
/usr/bin/env
python
編輯完成python腳本文件後為它加上可執行許可權。例如你的python腳本文件叫做runit.py，那麼就在shell中輸入如下命令：chmod
+x
runit.py
之後直接在shell中輸入./runit.py就可以執行你的python程序了。
當然這是在Linux下的操作，如果想在windows下直接執行Python程序，就需要使用py2exe工具將python源程序編譯成exe文件了。
5. 最新的spark支持python的什麼版本
兩種方法：
使用 spark-submit 解釋執行python腳本
使用 python 解釋執行python腳本
1. 使用Spark-submit解釋執行python腳本
python腳本中需要在開頭導入spark相關模塊，調用時使用spark-submit提交，示例代碼如下：
===========================================================
"""odflow.py"""
from pyspark import SparkContext
fileDir = "/TripChain3_Demo.txt"
# sc = SparkContext("local", "ODFlow")
sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")
lines = sc.textFile(fileDir)
# python不能直接寫多行的lambda表達式，所以要封裝在函數中
def toKV(line):
arr = line.split(",")
t = arr[5].split(" ")[1].split(":")
return (t[0]+t[1]+","+arr[11]+","+arr[18],1)
r1 = lines.map( lambda line : toKV(line) ).receByKey(lambda a,b: a+b)
# 排序並且存入一個（repartition）文件中
r1.sortByKey(False).saveAsTextFile("/pythontest/output")
===========================================================
發布命令為：
spark-submit \
--master spark://ITS-Hadoop10:7077 \
odflow.py
2. 使用 python 解釋執行python腳本
直接用python執行會出現錯誤:
ImportError: No mole named pyspark
ImportError: No mole named py4j.java_gateway
缺少pyspark和py4j這兩個模塊，這兩個包在Spark的安裝目錄里，需要在環境變數里定義PYTHONPATH，編輯~/.bashrc或者/etc/profile文件均可
vi ~/.bashrc # 或者 sudo vi /etc/profile
# 添加下面這一行
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
# 使其生效
source ~/.bashrc # 或者 sudo source /etc/profile
然後關閉終端，重新打開，用python執行即可
python odflow.py
6. 機器學習實踐：如何將Spark與Python結合
可以學習一下林大貴這本書，從頭到尾教你如何使用python+spark+hadoop實現常用的演算法訓練和部署。
《Python+Spark2.0+Hadoop機器學習與大數據實戰_林大貴》
鏈接：https://pan..com/s/1VGUOyr3WnOb_uf3NA_ZdLA
提取碼：ewzf
7. xgboost4j-spark 怎麼安裝使用
xgboost4j-spark 怎麼安裝使用
1.windows server 2008是64位
2.先安裝python 64位，版本選用2.7.10
3.安裝numpy和scipy，版本都是64位，兼容python 2.7，這兩個擴展包都選用http://www.lfd.uci.e/~gohlke/pythonlibs/下的wheel文件，原因是安裝時候不報錯，其他安裝方法，比如直接pip install scipy，easy_install numpy，會爆出各種莫名其妙的錯誤；
4.安裝visual studio 2010或者2013均可，我開始裝的是visual studio2015，各種按鈕下拉框找不著，很麻煩；
5.安裝vs2013後，直接將xgboost下windows文件夾中xgboost.sln導入solution,在vs上方選擇好x64和release兩個選項，在build下拉菜單中選擇rebuild，最後出現 ========== Build: 3 succeeded, 0 failed, 0 up-to-date, 0 skipped ==========, 表明已經編譯成功，不過我編譯時候出了一個差錯，說找不到jni.h文件，是fatal error，不過細看下應該是生成javawrapper時候出錯，結果會導致無法以java方式調用xgboost，不過這些都是小事，我沒打算用java調用xgboost；
6.dos下，進入xgboost\python-package目錄下，輸入命令python setup.py install,開始往c:\python27\lib\site-packages中裝內容
7.然後import xgboost，導入成功
至此，一切搞定
8. 如何運行含spark的python腳本
2~spark$ bin/spark-submit first.py
-----------first.py-------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
lines = sc.textFile("first.py")
pythonLines = lines.filter(lambda line: "Python" in line)
print "hello python"
print pythonLines.first()
print pythonLines.first()
print "hello spark!"
---------------------------------------------------
hello python
pythonLines = lines.filter(lambda line: "Python" in line)
pythonLines = lines.filter(lambda line: "Python" in line)
hello spark!
到spark的安裝目錄下/bin 下面 spark-submit ***.py 即可
9. python怎麼引入sparksession
~spark$bin/spark-submitfirst.py-----------first.py-------------------------------frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local").setAppName("MyApp")sc=SparkContext(conf=conf)lines=sc.textFile("first.py")pythonLines=lines.filter(lambdaline:"Python"inline)print"hellopython"printpythonLines.first()printpythonLines.first()print"hellospark!"---------------------------------------------------hellopythonpythonLines=lines.filter(lambdaline:"Python"inline)pythonLines=lines.filter(lambdaline:"Python"inline)hellospark!到spark的安裝目錄下/bin下面spark-submit***.py即可