⑴ 如何運行含spark的python腳本
1、Spark腳本提交/運行/部署1.1spark-shell（交互窗口模式）運行Spark-shell需要指向申請資源的standalonespark集群信息，其參數為MASTER，還可以指定executor及driver的內存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell啟動完後，可以在交互窗口中輸入Scala命令，進行操作，其中spark-shell已經默認生成sc對象，可以用：valuser_rdd1=sc.textFile(inputpath,10)讀取數據資源等。1.2spark-shell（腳本運行模式）上面方法需要在交互窗口中一條一條的輸入scala程序；將scala程序保存在test.scala文件中，可以通過以下命令一次運行該文件中的程序代碼：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077
⑵ 在windows中spark的本地模式如何配置
1、在Spark中採用本地模式啟動pyspark的命令主要包含以下參數：master：這個參數表示當前的pyspark要連接到哪個master，如果是local[*]，就是使用本地模式啟動pyspark，其中，中括弧內的星號表示需要使用幾個CPU核心(core)。
2、肯定第一步是配置spark環境：包括linux系統的安裝，java，ssh，Hadoop，Scala，spark的安裝與環境變數設置。雖說簡單，但對於初學者說，尤其是沒有使用過linux系統的，還是有些挑戰。其中遺漏一些細節問題，都會出錯。
3、SparkonYarn模式備註：Yarn的連接信息在Hadoop客戶端的配置文件中指定。通過spark-env.sh中的環境變數HADOOPCONFDIR指定Hadoop配置文件路徑。
4、最後的PhysicalPlanexecution階段用Spark代替HadoopMapRece。通過配置Shark參數，Shark可以自動在內存中緩存特定的RDD，實現數據重用，進而加快特定數據集的檢索。