hadoop能搭建在python中嗎

『壹』 hadoop支持什麼開發語言

hadoop支持C++，java開發語言。

Hadoop帶有用Java語言編寫的框架，因此運行在 linux 生產平台上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++。MapRece是處理大量半結構化數據集合的編程模型。編程模型是一種處理並結構化特定問題的方式。

例如，在一個關系資料庫中，使用一種集合語言執行查詢，如SQL。告訴語言想要的結果，並將它提交給系統來計算出如何產生計算。還可以用更傳統的語言(C++，Java)，一步步地來解決問題。這是兩種不同的編程模型，MapRece就是另外一種。

(1)hadoop能搭建在python中嗎擴展閱讀

特點

1、確定哪些數據屬於企業的敏感數據。根據公司的隱私保護政策，以及相關的行業法規和政府規章來綜合確定。

2、確保數據保護方案同時採用了隱藏和加密技術，尤其是如果我們需要將敏感數據在Hadoop中保持獨立的話。

3、確保需要加密的時候有合適的技術(比如Java、Pig等)可被部署並支持無縫解密和快速訪問數據。

『貳』 如何將數據從Hadoop資料庫使用Python問題，怎麼解決

大講台hadoop在線學習為你解 通過使用MapRece的方式，使Hadoop可以直接訪問Oracle，並將相關的數據寫入到HDFS文件當中。從而可以順利地將Oracle中的數據遷移到Hadoop文件系統中。

『叄』 hadoop 機器學習 python什麼關系

機器學習是一系列演算法。這些演算法通常需要大數據，大量的計算 。

hadoop是一種使用多台伺服器穩定的進行大規模數據批量處理的軟體框架。 其核心是hdfs和map rece。

python是一個通用語言，支持廣泛，上手容易。當然大數據中的機器學習演算法也是很早就可以用pyhon來編寫。

python編寫的機器學習演算法，可以自己用gearman或者是自己建立的分布式計算 系統完成多台PC伺服器共同計算 。 當然也可以通過hadoop的stream介面，將python程序運行在hadoop的框架里。

這也是一種成功 的商業模式。

『肆』 如何使用Python為Hadoop編寫一個簡單的MapRece程序

在這個實例中，我將會向大家介紹如何使用Python 為 Hadoop編寫一個簡單的MapRece
程序。
盡管Hadoop 框架是使用Java編寫的但是我們仍然需要使用像C++、Python等語言來實現Hadoop程序。盡管Hadoop官方網站給的示常式序是使用Jython編寫並打包成Jar文件，這樣顯然造成了不便，其實，不一定非要這樣來實現，我們可以使用Python與Hadoop 關聯進行編程，看看位於/src/examples/python/WordCount.py 的例子，你將了解到我在說什麼。

我們想要做什麼？

我們將編寫一個簡單的 MapRece 程序，使用的是C-Python，而不是Jython編寫後打包成jar包的程序。
我們的這個例子將模仿 WordCount 並使用Python來實現，例子通過讀取文本文件來統計出單詞的出現次數。結果也以文本形式輸出，每一行包含一個單詞和單詞出現的次數，兩者中間使用製表符來想間隔。

先決條件

編寫這個程序之前，你學要架設好Hadoop 集群，這樣才能不會在後期工作抓瞎。如果你沒有架設好，那麼在後面有個簡明教程來教你在Ubuntu Linux 上搭建（同樣適用於其他發行版linux、unix）

如何使用Hadoop Distributed File System (HDFS)在Ubuntu Linux 建立單節點的 Hadoop 集群

如何使用Hadoop Distributed File System (HDFS)在Ubuntu Linux 建立多節點的 Hadoop 集群

Python的MapRece代碼

使用Python編寫MapRece代碼的技巧就在於我們使用了 HadoopStreaming 來幫助我們在Map 和 Rece間傳遞數據通過STDIN (標准輸入)和STDOUT (標准輸出).我們僅僅使用Python的sys.stdin來輸入數據，使用sys.stdout輸出數據，這樣做是因為HadoopStreaming會幫我們辦好其他事。這是真的，別不相信！

Map: mapper.py

將下列的代碼保存在/home/hadoop/mapper.py中，他將從STDIN讀取數據並將單詞成行分隔開，生成一個列表映射單詞與發生次數的關系：
注意：要確保這個腳本有足夠許可權（chmod +x /home/hadoop/mapper.py）。

#!/usr/bin/env python

import sys

# input comes from STDIN (standard input)
for line in sys.stdin:
# remove leading and trailing whitespace
line = line.strip()
# split the line into words
words = line.split()
# increase counters
for word in words:
# write the results to STDOUT (standard output);
# what we output here will be the input for the
# Rece step, i.e. the input for recer.py
#
# tab-delimited; the trivial word count is 1
print '%s\\t%s' % (word, 1)在這個腳本中，並不計算出單詞出現的總數，它將輸出 "<word> 1" 迅速地，盡管<word>可能會在輸入中出現多次，計算是留給後來的Rece步驟（或叫做程序）來實現。當然你可以改變下編碼風格，完全尊重你的習慣。

Rece: recer.py

將代碼存儲在/home/hadoop/recer.py 中，這個腳本的作用是從mapper.py 的STDIN中讀取結果，然後計算每個單詞出現次數的總和，並輸出結果到STDOUT。
同樣，要注意腳本許可權：chmod +x /home/hadoop/recer.py

#!/usr/bin/env python

from operator import itemgetter
import sys

# maps words to their counts
word2count = {}

# input comes from STDIN
for line in sys.stdin:
# remove leading and trailing whitespace
line = line.strip()

# parse the input we got from mapper.py
word, count = line.split('\\t', 1)
# convert count (currently a string) to int
try:
count = int(count)
word2count[word] = word2count.get(word, 0) + count
except ValueError:
# count was not a number, so silently
# ignore/discard this line
pass

# sort the words lexigraphically;
#
# this step is NOT required, we just do it so that our
# final output will look more like the official Hadoop
# word count examples
sorted_word2count = sorted(word2count.items(), key=itemgetter(0))

# write the results to STDOUT (standard output)
for word, count in sorted_word2count:
print '%s\\t%s'% (word, count)
測試你的代碼（cat data | map | sort | rece）

我建議你在運行MapRece job測試前嘗試手工測試你的mapper.py 和 recer.py腳本，以免得不到任何返回結果
這里有一些建議，關於如何測試你的Map和Rece的功能：
——————————————————————————————————————————————
\r\n
# very basic test
hadoop@ubuntu:~$ echo "foo foo quux labs foo bar quux" | /home/hadoop/mapper.py
foo 1
foo 1
quux 1
labs 1
foo 1
bar 1
——————————————————————————————————————————————
hadoop@ubuntu:~$ echo "foo foo quux labs foo bar quux" | /home/hadoop/mapper.py | sort | /home/hadoop/recer.py
bar 1
foo 3
labs 1
——————————————————————————————————————————————

# using one of the ebooks as example input
# (see below on where to get the ebooks)
hadoop@ubuntu:~$ cat /tmp/gutenberg/20417-8.txt | /home/hadoop/mapper.py
The 1
Project 1
Gutenberg 1
EBook 1
of 1
[...]
(you get the idea)

quux 2

quux 1

——————————————————————————————————————————————

在Hadoop平台上運行Python腳本

為了這個例子，我們將需要三種電子書：

The Outline of Science, Vol. 1 (of 4) by J. Arthur Thomson\r\n
The Notebooks of Leonardo Da Vinci\r\n
Ulysses by James Joyce
下載他們，並使用us-ascii編碼存儲 解壓後的文件，保存在臨時目錄，比如/tmp/gutenberg.

hadoop@ubuntu:~$ ls -l /tmp/gutenberg/
total 3592
-rw-r--r-- 1 hadoop hadoop 674425 2007-01-22 12:56 20417-8.txt
-rw-r--r-- 1 hadoop hadoop 1423808 2006-08-03 16:36 7ldvc10.txt
-rw-r--r-- 1 hadoop hadoop 1561677 2004-11-26 09:48 ulyss12.txt
hadoop@ubuntu:~$

復制本地數據到HDFS

在我們運行MapRece job 前，我們需要將本地的文件復制到HDFS中：

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -FromLocal /tmp/gutenberg gutenberg
hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -ls
Found 1 items
/user/hadoop/gutenberg <dir>
hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -ls gutenberg
Found 3 items
/user/hadoop/gutenberg/20417-8.txt <r 1> 674425
/user/hadoop/gutenberg/7ldvc10.txt <r 1> 1423808
/user/hadoop/gutenberg/ulyss12.txt <r 1> 1561677

執行 MapRece job

現在，一切准備就緒，我們將在運行Python MapRece job 在Hadoop集群上。像我上面所說的，我們使用的是
HadoopStreaming 幫助我們傳遞數據在Map和Rece間並通過STDIN和STDOUT，進行標准化輸入輸出。

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-0.19.1-streaming.jar
-mapper /home/hadoop/mapper.py -recer /home/hadoop/recer.py -input gutenberg/*
-output gutenberg-output
在運行中，如果你想更改Hadoop的一些設置，如增加Rece任務的數量，你可以使用「-jobconf」選項：

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-0.19.1-streaming.jar
-jobconf mapred.rece.tasks=16 -mapper ...

一個重要的備忘是關於Hadoop does not honor mapred.map.tasks
這個任務將會讀取HDFS目錄下的gutenberg並處理他們，將結果存儲在獨立的結果文件中，並存儲在HDFS目錄下的
gutenberg-output目錄。
之前執行的結果如下：

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-0.19.1-streaming.jar
-mapper /home/hadoop/mapper.py -recer /home/hadoop/recer.py -input gutenberg/*
-output gutenberg-output

additionalConfSpec_:null
null=@@@userJobConfProps_.get(stream.shipped.hadoopstreaming
packageJobJar: [/usr/local/hadoop-datastore/hadoop-hadoop/hadoop-unjar54543/]
[] /tmp/streamjob54544.jar tmpDir=null
[...] INFO mapred.FileInputFormat: Total input paths to process : 7
[...] INFO streaming.StreamJob: getLocalDirs(): [/usr/local/hadoop-datastore/hadoop-hadoop/mapred/local]
[...] INFO streaming.StreamJob: Running job: job_200803031615_0021
[...]
[...] INFO streaming.StreamJob: map 0% rece 0%
[...] INFO streaming.StreamJob: map 43% rece 0%
[...] INFO streaming.StreamJob: map 86% rece 0%
[...] INFO streaming.StreamJob: map 100% rece 0%
[...] INFO streaming.StreamJob: map 100% rece 33%
[...] INFO streaming.StreamJob: map 100% rece 70%
[...] INFO streaming.StreamJob: map 100% rece 77%
[...] INFO streaming.StreamJob: map 100% rece 100%
[...] INFO streaming.StreamJob: Job complete: job_200803031615_0021

[...] INFO streaming.StreamJob: Output: gutenberg-output hadoop@ubuntu:/usr/local/hadoop$

正如你所見到的上面的輸出結果，Hadoop 同時還提供了一個基本的WEB介面顯示統計結果和信息。
當Hadoop集群在執行時，你可以使用瀏覽器訪問 http://localhost:50030/ ，如圖：

檢查結果是否輸出並存儲在HDFS目錄下的gutenberg-output中：

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -ls gutenberg-output
Found 1 items
/user/hadoop/gutenberg-output/part-00000 <r 1> 903193 2007-09-21 13:00
hadoop@ubuntu:/usr/local/hadoop$

可以使用dfs -cat 命令檢查文件目錄

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -cat gutenberg-output/part-00000
"(Lo)cra" 1
"1490 1
"1498," 1
"35" 1
"40," 1
"A 2
"AS-IS". 2
"A_ 1
"Absoluti 1
[...]
hadoop@ubuntu:/usr/local/hadoop$

注意比輸出，上面結果的(")符號不是Hadoop插入的。

轉載僅供參考，版權屬於原作者。祝你愉快，滿意請採納哦

『伍』 只懂Python能不能完全駕馭Hadoop

因為hadoop是分布式系統，計算是在所有節點上並行處理的，這意味著，無論你用何種語言，都必須在所有計算節點上安裝該語言的解釋器。例如，你想用nodejs寫maprece是可以的，但你必須要在每台nodemanager上安裝v8引擎才可以用。而python是安裝linux操作系統時就會自動被安裝的，因此不需要單獨安裝就可以讓節點參與計算，這樣會省很多事。

同時，python語法結構清晰，腳本可維護性高，也是一大優勢。

python也包含很多數據分析和挖掘的庫包可以直接引用，如num.py。

此外，如果不想在所有伺服器安裝其他腳本語言的解釋器的話，也可以將可運行的解釋器和你的計算腳本一起放在hadoop的distributed cache中運行。
想更好的學習python請關注微信公眾號「Python基礎教程」！

『陸』 如何使用Python為Hadoop編寫一個簡單的MapRece程序

我們將編寫一個簡單的 MapRece 程序，使用的是C-Python，而不是Jython編寫後打包成jar包的程序。
我們的這個例子將模仿 WordCount 並使用Python來實現，例子通過讀取文本文件來統計出單詞的出現次數。結果也以文本形式輸出，每一行包含一個單詞和單詞出現的次數，兩者中間使用製表符來想間隔。

先決條件

編寫這個程序之前，你學要架設好Hadoop 集群，這樣才能不會在後期工作抓瞎。如果你沒有架設好，那麼在後面有個簡明教程來教你在Ubuntu Linux 上搭建（同樣適用於其他發行版linux、unix）

如何使用Hadoop Distributed File System (HDFS)在Ubuntu Linux 建立單節點的 Hadoop 集群

如何使用Hadoop Distributed File System (HDFS)在Ubuntu Linux 建立多節點的 Hadoop 集群

Python的MapRece代碼

使用Python編寫MapRece代碼的技巧就在於我們使用了 HadoopStreaming 來幫助我們在Map 和 Rece間傳遞數據通過STDIN (標准輸入)和STDOUT (標准輸出).我們僅僅使用Python的sys.stdin來輸入數據，使用sys.stdout輸出數據，這樣做是因為HadoopStreaming會幫我們辦好其他事。這是真的，別不相信！

『柒』 用python 寫hadoop 需要怎麼配置環境

不用專門配置python,CHD里已經有了，可以輸入python來試一試。

可以直接調用.py文件來實現MapRece功能。

『捌』 python和hadoop有什麼聯系

沒聯系
python 是一門動態語言,
hadoop是一個分布式計算的框架, 是用java寫的.
他們是兩個層次的東西.
如果說非要有聯系, 就是python可以應用hadoop框架, 做分布式計算的開發.
但是語言和框架, 是可以自己拼裝的. java也可以使用hadoop開發分布式計算,
python也可以用spark開發分布式計算, 他們是松耦合的, 可以自己根據需求搭配

『玖』 python寫的程序能夠在hadoop上跑嗎

sudo apt-get install python-dev
一般安裝系統的時候其實python已經自帶了，這步基本可以不用做，OK，我們繼續往下走吧，安裝python-opencv ,稍後我們需要用到opencv的庫，一行指令即可，這也是小編特別喜歡linux的原因：
sudo apt-get install python-opencv
完成之後我們開始操作吧，首先同樣的我們打開攝像頭露個臉唄，不多說，上代碼， vim pythonpractice.py 打開vim，以下代碼即可（友情提示python是有嚴格的縮進的，下面我都是四個空格縮進，各位不要復制錯了）:lo
lmport cv2
import numpy as np#添加模塊和矩陣模塊cap=cv2.VideoCapture(0)
＃打開攝像頭，若打開本地視頻，同opencv一樣，只需將0換成("×××.avi")
while(1): # get a frame
ret, frame = cap.read() # show a frame
cv2.imshow("capture", frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
breakcap.release()
cv2.destroyAllWindows()#釋放並銷毀窗口123456789101112

保存退出
python pythonpractice.py
小臉蛋即可出現在你的屏幕上了，下面稍微添加幾行有意思的代碼吧，實現藍色背景檢測，我這有瓶藍色脈動，正好做個小實驗。
import cv2
import numpy as np
cap = cv2.VideoCapture(0)# set blue threshlower_blue=np.array([78,43,46])
upper_blue=np.array([110,255,255])while(1): # get a frame and show
ret, frame = cap.read()
cv2.imshow('Capture', frame) # change to hsv model
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) # get mask
mask = cv2.inRange(hsv, lower_blue, upper_blue)
cv2.imshow('Mask', mask) # detect blue
res = cv2.bitwise_and(frame, frame, mask=mask)
cv2.imshow('Result', res)
if cv2.waitKey(1) & 0xFF == ord('q'):
breakcap.release()
cv2.destroyAllWindows()12345678910111213141516

同樣python pythonpractice.py 運行一下，可以把手機換成藍色背景檢測以下，下面時間就交給各位理解了，代碼很簡單，只有簡單的幾行程序。小編只是想說明以下，一定要學以致用，任何一種編程語言都是倒騰兩天就直接上手的，按部就班的學習語法，那樣不知何時才能出師了，祝各位玩得high在機器視覺上

『拾』 hadoop自動化部署 shell還是python比較好

性能方面：很明顯地，Python的執行效率要高於shell，有一個很充分的理由就是shell本身的各種進程間IPC通信要造成相當大的開銷。而Python底層是用C實現的，其性能可以接近於C，但具體相同功能的Python代碼量卻要比C短上很多倍！因此，按照性能排序：C > Python > shell，按照開發效率排序：shell > Python > C。