⑴ 如何在ipython或python中使用Spark
安裝python
安裝spark
進入spark安裝文件夾, 有個 python子文件夾, 將python子文件夾里的pyspark子文件夾復制到python 的site-packages文件夾下
在ipython中或者python中:
import pyspark
⑵ python spark 怎麼打包jar
基於eclipse的Spark IDE
以WordCount為例：
package com.lxw.test
import org.apache.spark.{SparkConf, SparkContext}
import SparkContext._
object WordCount {
def main (args: Array[String]) {
if(args.length < 2) {
println("Usage: WordCount ")
System.exit(1)
}
val hdfsIn = args(0);
val hdfsOut = args(1);
val sc = new SparkContext(new SparkConf().setAppName("WordCount"))
val srcData = sc.textFile(hdfsIn)
val result = srcData.flatMap(_.split("\\s+")).map((_,1)).receByKey(_+_)
result.saveAsTextFile(hdfsOut)
}
}
在eclipse中將程序打成普通的Java jar包即可。
在Spark的一台Client機器上使用spark-submit來提交運行jar包：
$SPARK_HOME/bin/spark-submit \ --name "lxw1234-wordcount" \ --master spark://192.168.1.130:7077 \ --executor-memory 1G \ --class com.lxw.test.WordCount \ /home/lxw1234/lxw-spark.jar /logs/site/2015-05-14/ /tmp/lxwoutput
⑶ 如何運行含spark的python腳本
~spark$ bin/spark-submit first.py
-----------first.py-------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
lines = sc.textFile("first.py")
pythonLines = lines.filter(lambda line: "Python" in line)
print "hello python"
print pythonLines.first()
print pythonLines.first()
print "hello spark!"
---------------------------------------------------
hello python
pythonLines = lines.filter(lambda line: "Python" in line)
pythonLines = lines.filter(lambda line: "Python" in line)
hello spark!
到spark的安裝目錄下/bin 下面 spark-submit ***.py 即可
⑷ 安裝了aconnada是不是就不用自己配置spark環境變數了
不是，anconada是python的一個發行版本，包含了非常多的科學包及其依賴項，spark是內存計算框架，不是一個東西，pyspark的環境變數依賴包還是需要的
⑸ 用Intellij idea 編寫Scala程序Spark2.0.0 依賴jar包如何解決
在「File|Project Structure|Libraries」窗體中點擊綠色+號，選擇「Java」，在彈出的窗體中選擇「Spark」的安裝目錄，定位到Spark\jars目錄，點擊「OK」，把全部jar文件引入到項目中。網上和目前出版的書中講解是spark2.0以下版本，採用的是把sparkle核心文件（如：「spark-assembly-1.3.0-hadoop2.4.0.jar」）拷貝到Interllij IDEA安裝目錄下的Lib目錄下，再使用Spark。由於Spark2.1.0已經取消了該文件，因此無法用原先的方法。
⑹ spark部署python腳本怎麼部署三方庫
1、Spark腳本提交/運行/部署
1.1 spark-shell（交互窗口模式）
運行Spark-shell需要指向申請資源的standalone spark集群信息，其參數為MASTER，還可以指定executor及driver的內存大小。
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark://192.168.180.216:7077
spark-shell啟動完後，可以在交互窗口中輸入Scala命令，進行操作，其中spark-shell已經默認生成sc對象，可以用：
val user_rdd1 = sc.textFile(inputpath, 10)
讀取數據資源等。
1.2 spark-shell（腳本運行模式）
上面方法需要在交互窗口中一條一條的輸入scala程序；將scala程序保存在test.scala文件中，可以通過以下命令一次運行該文件中的程序代碼：
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark//192.168.180.216:7077 < test.scala
運行後會自動進入spark-shell交互窗口並且運行test.scala中的程序，運行完成後，會自動退出spark-shell。
如果程序退出終端後，Linux終端失效，可以試試：stty echo 命令
1.3 spark-submit （程序部署）
Spark提供了一個容易上手的應用程序部署工具bin/spark-submit，可以完成Spark應用程序在local、Standalone、YARN、Mesos上的快捷部署。可以指定集群資源master，executor/ driver的內存資源等。
sudo spark-submit --masterspark://192.168.180.216:7077 --executor-memory 5g --class mypackage.test workcount.jar hdfs://192.168.180.79:9000/user/input.txt
workcount .scala 代碼打包workcount.jar，並將文件需要上傳到spark的安裝目錄下面；
hdfs//192.168.180.79:9000/user/input.txt為輸入參數；
⑺ python開發spark環境該如何配置，又該如何操作
1）輸入：welcome="Hello!"回車
再輸入：printwelcome或者直接welcome回車就可以看到輸出Hello!
2）
[html]viewplain
welcome="hello"
you="world!"
printwelcome+you
輸出：helloworld!
以上使用的是字元串，變數還有幾種類型：數，字元串，列表，字典，文件。其他的和別的語言類似，下面先講下列表：
3）
[html]viewplain
my_list=[]//這個就產生了一個空的列表。然後給它賦值
my_list=[1,2]
printmy_list
my_list.append(3)
printmy_list
4）字典：
[html]viewplain
contact={}
contact["name"]="shiyuezhong"
contact["phone"]=12332111
5）結合列表和字典：
[html]viewplain
contact_list=[]
contact1={}
contact1['name']='shiyuezhong'
contact1['phone']=12332111
contact_list.append(contact1)
contact2={}
contact2['name']='buding'
contact2['phone']=88888888
contact_list.append(contact2)
⑻ 機器學習實踐：如何將Spark與Python結合
可以學習一下林大貴這本書，從頭到尾教你如何使用python+spark+hadoop實現常用的演算法訓練和部署。
《Python+Spark2.0+Hadoop機器學習與大數據實戰_林大貴》
鏈接：https://pan..com/s/1VGUOyr3WnOb_uf3NA_ZdLA
提取碼：ewzf
⑼ 如何在spark集群中裝python
前段時間使用了一下google的博客空間，感覺也很一般，所以現在把那裡的幾篇文章轉過來。 執行python腳本只需要對python文件做如下操作即可： 在python文件里第一行加上#! /usr/bin/python，即你的python解釋器所在的目錄