㈠ 如何在python IDE spyder 中集成運行spark
local：本地單進程模式，用於本地開發測試Spark代碼
standalone：分布式集群模式，Master-Worker架構，Master負責調度，Worker負責具體Task的執行
on yarn/mesos：運行在yarn/mesos等資源管理框架之上，yarn/mesos提供資源管理，spark提供計算調度，並可與其他計算框架(如MapRece/MPI/Storm)共同運行在同一個集群之上 (使用cloudera搭建的集群就是這種情況)
on cloud(EC2)：運行在AWS的EC2之上。
㈡ 機器學習實踐：如何將Spark與Python結合
可以學習一下林大貴這本書，從頭到尾教你如何使用python+spark+hadoop實現常用的演算法訓練和部署。
《Python+Spark2.0+Hadoop機器學習與大數據實戰_林大貴》
鏈接：https://pan..com/s/1VGUOyr3WnOb_uf3NA_ZdLA
提取碼：ewzf
㈢ 如何運行含spark的python腳本
2~spark$ bin/spark-submit first.py
-----------first.py-------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
lines = sc.textFile("first.py")
pythonLines = lines.filter(lambda line: "Python" in line)
print "hello python"
print pythonLines.first()
print pythonLines.first()
print "hello spark!"
---------------------------------------------------
hello python
pythonLines = lines.filter(lambda line: "Python" in line)
pythonLines = lines.filter(lambda line: "Python" in line)
hello spark!
到spark的安裝目錄下/bin 下面 spark-submit ***.py 即可
㈣ 如何運行含spark的python腳本
1、Spark腳本提交/運行/部署1.1spark-shell（交互窗口模式）運行Spark-shell需要指向申請資源的standalonespark集群信息，其參數為MASTER，還可以指定executor及driver的內存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell啟動完後，可以在交互窗口中輸入Scala命令，進行操作，其中spark-shell已經默認生成sc對象，可以用：valuser_rdd1=sc.textFile(inputpath,10)讀取數據資源等。1.2spark-shell（腳本運行模式）上面方法需要在交互窗口中一條一條的輸入scala程序；將scala程序保存在test.scala文件中，可以通過以下命令一次運行該文件中的程序代碼：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077
㈤ python開發spark環境該如何配置，又該如何操作
1）輸入：welcome="Hello!"回車
再輸入：printwelcome或者直接welcome回車就可以看到輸出Hello!
2）
[html]viewplain
welcome="hello"
you="world!"
printwelcome+you
輸出：helloworld!
以上使用的是字元串，變數還有幾種類型：數，字元串，列表，字典，文件。其他的和別的語言類似，下面先講下列表：
3）
[html]viewplain
my_list=[]//這個就產生了一個空的列表。然後給它賦值
my_list=[1,2]
printmy_list
my_list.append(3)
printmy_list
4）字典：
[html]viewplain
contact={}
contact["name"]="shiyuezhong"
contact["phone"]=12332111
5）結合列表和字典：
[html]viewplain
contact_list=[]
contact1={}
contact1['name']='shiyuezhong'
contact1['phone']=12332111
contact_list.append(contact1)
contact2={}
contact2['name']='buding'
contact2['phone']=88888888
contact_list.append(contact2)
㈥ spark python腳本怎麼執行
前段時間使用了一下google的博客空間，感覺也很一般，所以現在把那裡的幾篇文章轉過來。
執行python腳本只需要對python文件做如下操作即可：
在python文件里第一行加上#!
/usr/bin/python，即你的python解釋器所在的目錄。另外還有一種寫法是#!
/usr/bin/env
python
編輯完成python腳本文件後為它加上可執行許可權。例如你的python腳本文件叫做runit.py，那麼就在shell中輸入如下命令：chmod
+x
runit.py
之後直接在shell中輸入./runit.py就可以執行你的python程序了。
當然這是在Linux下的操作，如果想在windows下直接執行Python程序，就需要使用py2exe工具將python源程序編譯成exe文件了。
㈦ 如何在pycharm中配置Spark
打開pycharm,導入已有的或者新建工程。
創建新的run configurition。
選擇edit configurition。
設置環境，創建PYTHONPATH和SPARK_HOME
配置路徑，都可以在Spark安裝路徑下找到：
選擇 File->setting->你的project->project structure
右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路徑（這兩個文件都在Spark中的python文件夾下，自己找一下）
保存，ok
㈧ 最新的spark支持python的什麼版本
兩種方法：
使用 spark-submit 解釋執行python腳本
使用 python 解釋執行python腳本
1. 使用Spark-submit解釋執行python腳本
python腳本中需要在開頭導入spark相關模塊，調用時使用spark-submit提交，示例代碼如下：
===========================================================
"""odflow.py"""
from pyspark import SparkContext
fileDir = "/TripChain3_Demo.txt"
# sc = SparkContext("local", "ODFlow")
sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")
lines = sc.textFile(fileDir)
# python不能直接寫多行的lambda表達式，所以要封裝在函數中
def toKV(line):
arr = line.split(",")
t = arr[5].split(" ")[1].split(":")
return (t[0]+t[1]+","+arr[11]+","+arr[18],1)
r1 = lines.map( lambda line : toKV(line) ).receByKey(lambda a,b: a+b)
# 排序並且存入一個（repartition）文件中
r1.sortByKey(False).saveAsTextFile("/pythontest/output")
===========================================================
發布命令為：
spark-submit \
--master spark://ITS-Hadoop10:7077 \
odflow.py
2. 使用 python 解釋執行python腳本
直接用python執行會出現錯誤:
ImportError: No mole named pyspark
ImportError: No mole named py4j.java_gateway
缺少pyspark和py4j這兩個模塊，這兩個包在Spark的安裝目錄里，需要在環境變數里定義PYTHONPATH，編輯~/.bashrc或者/etc/profile文件均可
vi ~/.bashrc # 或者 sudo vi /etc/profile
# 添加下面這一行
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
# 使其生效
source ~/.bashrc # 或者 sudo source /etc/profile
然後關閉終端，重新打開，用python執行即可
python odflow.py
㈨ python的機器學習可以放到spark上面跑嗎
可以的。python編寫好的演算法，或者擴展庫的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分演算法都有。