spark編程

A. Spark使用的語言是什麼

Spark的框架使用Scala語言編寫的，簡潔而優雅；
Spark的開發目前主要可以使用三種語言：Scala、java、Python

B. 怎樣成為Spark高手

1.熟練掌握Scala語言
Spark框架是採用Scala語言編寫的，精緻而優雅。要想成為Spark高手，你就必須閱讀Spark的源代碼，就必須掌握Scala;
雖然說現在的Spark可以採用多語言Java、Python等進行應用程序開發，但是最快速的和支持最好的開發API依然並將永遠是Scala方式的API，所以你必須掌握Scala來編寫復雜的和高性能的Spark分布式程序;
尤其要熟練掌握Scala的trait、apply、函數式編程、泛型、逆變與協變等;
2.精通Spark平台API
掌握Spark中面向RDD的開發模式，掌握各種transformation和action函數的使用;
掌握Spark中的寬依賴和窄依賴以及lineage機制;
掌握RDD的計算流程，例如Stage的劃分、Spark應用程序提交給集群的基本過程和Worker節點基礎的工作原理等。

3.深入Spark內核
此階段主要是通過Spark框架的源碼研讀來深入Spark內核部分：
通過源碼掌握Spark的任務提交過程;
通過源碼掌握Spark集群的任務調度;
尤其要精通DAGScheler、TaskScheler和Worker節點內部的工作的每一步的細節;
4.掌握基於Spark的核心框架
Spark作為雲計算大數據時代的集大成者，在實時流處理、圖技術、機器學習、NoSQL查詢等方面具有顯著的優勢，我們使用Spark的時候大部分時間都是在使用其上的框架例如Shark、Spark Streaming等：
Spark Streaming是非常出色的實時流處理框架，要掌握其DStream、transformation和checkpoint等;
Spark的離線統計分析功能，Spark1.0.0版本在Shark的基礎上推出了SparkSQL，離線統計分析的功能的效率有顯著的提升，需要重點掌握;
對於Spark的機器學習和GraphX等要掌握其原理和用法;

5.做商業級別的Spark項目
通過一個完整的具有代表性的Spark項目來貫穿Spark的方方面面，包括項目的架構設計、用到的技術的剖析、開發實現、運維等，完整掌握其中的每一個階段和細節，這樣就可以讓您以後可以從容面對絕大多數Spark項目。

C. 學習Spark需要哪些基礎知識

花一周時間看一下scala，了解一下函數式編程的特性，然後看spark官網教程或者《learning spark》(這本書還沒有出版，但是網上有前五章的預覽版)。

spark目前的資料非常少，有用的中文資料更是寥寥無幾，一定要去英文網站上看。

根據我做完一個spark項目的經驗，spark目前還有很多bug，處理特別多的數據時經常會出錯。

D. Spark 中用 Scala 和 java 開發有什麼區別

Scala相對於Java的優勢是巨大的。熟悉Scala之後再看Java代碼，有種讀匯編的感覺…… 如果僅僅是寫Spark應用，並非一定要學Scala，可以直接用Spark的Java API或Python API。但因為語言上的差異，用Java開發Spark應用要羅嗦許多。好在帶lambda的Java 8出來之後有所改善。 在Spark應用開發上，學Scala主要好處有二： 開發效率更高，代碼更精簡； 使用Spark過程中出現異常情況，在排查時如果對Spark源碼比較熟悉，可以事半功倍

E. spark學習需要什麼編程語言

spark是scala開發的。應該需要學習下scala。

F. spark編程 mysql得不到數據

「這里說明一點:本文提到的解決 Spark insertIntoJDBC找不到Mysql驅動的方法是針對單機模式(也就是local模式)。在集群環境下,下面的方法是不行的。

編程是編定程序的中文簡稱，就是讓計算機代碼解決某個問題，對某個計算體系規定一定的運算方式，使計算體系按照該計算方式運行，並最終得到相應結果的過程。

為了使計算機能夠理解人的意圖，人類就必須將需解決的問題的思路、方法和手段通過計算機能夠理解的形式告訴計算機，使得計算機能夠根據人的指令一步一步去工作，完成某種特定的任務。這種人和計算體系之間交流的過程就是編程。

在計算機系統中，一條機器指令規定了計算機系統的一個特定動作。

一個系列的計算機在硬體設計製造時就用了若干指令規定了該系列計算機能夠進行的基本操作，這些指令一起構成了該系列計算機的指令系統。在計算機應用的初期，程序員使用機器的指令系統來編寫計算機應用程序，這種程序稱為機器語言程序。

以上內容參考：網路-編程

G. spark shell的互動式編程環境是怎麼實現的

cloudera manager裝好的spark,直接執行spark-shell進入命令行後，寫入如下語句：
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

你會發現沒法執行通過，因為cm裝的原生的spark是不支持spark hql的，我們需要手動進行一些調整：
第一步，將編譯好的包含hive的JAR包上傳到hdfs上配置的默認的spark的sharelib目錄：/user/spark/share/lib

第二步：在你要運行spark-shell腳本的節點上的/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/lib/spark/lib/目錄下面，下載這個jar到這個目錄：hadoop fs -get hdfs://n1:8020/user/spark/share/lib/spark-assembly-with-hive-maven.jar（具體路徑替換成你自己的）。然後這個目錄下面原來會有個軟鏈接spark-assembly.jar指向的是spark-assembly-1.2.0-cdh5.3.0-hadoop2.5.0-cdh5.3.0.jar，我們把這個軟鏈接刪除掉重新創建一個同名的軟鏈接：ln -s spark-assembly-with-hive-maven.jar spark-assembly.jar，指向我們剛下載下來的那個JAR包，這個JAR包會在啟動spark-shell腳本時裝載到driver program的classpath中去的，sparkContext也是在driver中創建出來的，所以需要將我們編譯的JAR包替換掉原來的spark-assembly.jar包，這樣在啟動spark-shell的時候，包含hive的spark-assembly就被裝載到classpath中去了。
第三步：在/opt/cloudera/parcels/CDH/lib/spark/conf/目錄下面創建一個hive-site.xml。/opt/cloudera/parcels/CDH/lib/spark/conf目錄是默認的spark的配置目錄，當然你可以修改默認配置目錄的位置。

H. 有哪些值得推薦的 Scala/Spark 編程 IDE

至於比較，官方網上只提到了3個IDE，一個是eclipse一個是netbeans還一個就是idea，你說選啥。
至於原因，你用用就知道了。這三個IDE我都用過，當然並不是寫Scala而是寫Java。一開始學的時候用的是Eclipse，之後用了幾次Netbeans之後就把Eclipse拋棄了，再然後接觸了Idea之後我就把另外兩個都卸載了。現在寫Scala就順理成章的繼續用Idea。雖然沒有試過用另外兩個寫Scala是什麼樣子，但是總體不會有什麼變化，只不過是裝了一個插件而已。

I. spark編程語言

如果條件許可，公司提供Spark集群機器，在Spark集群機器上進行開發和學習是最好的； 如果條件不允許，在亞馬遜雲計算平台上構建Spark集群環境也是一種非常理想的選擇； 如果純粹是學習使用，安裝單機版的Spark也是可以的

J. Spark支持通過GO語言編寫程序嗎

最新官方api介面，沒有go，所以不支持。