導航:首頁 > 編程語言 > 統計詞頻java
統計詞頻java
發布時間：2024-07-17 02:01:29『壹』 簡述Hadoop的MapRece與Googl的MapRecc 之間的關系
江湖傳說永流傳：谷歌技術有"三寶"，GFS、MapRece和大表（BigTable）！
谷歌在03到06年間連續發表了三篇很有影響力的文章，分別是03年SOSP的GFS，04年OSDI的MapRece，和06年OSDI的BigTable。SOSP和OSDI都是操作系統領域的頂級會議，在計算機學會推薦會議里屬於A類。SOSP在單數年舉辦，而OSDI在雙數年舉辦。
那麼這篇博客就來介紹一下MapRece。
1. MapRece是幹啥的
因為沒找到谷歌的示意圖，所以我想借用一張Hadoop項目的結構圖來說明下MapRece所處的位置，如下圖。
這幅圖描述了MapRece如何處理詞頻統計。由於map worker數量不夠，首先處理了分片1、3、4，並產生中間鍵值對；當所有中間值都准備好了，Rece作業就開始讀取對應分區，並輸出統計結果。
6. 用戶的權利
用戶最主要的任務是實現map和rece介面，但還有一些有用的介面是向用戶開放的。
an input reader。這個函數會將輸入分為M個部分，並且定義了如何從數據中抽取最初的鍵值對，比如詞頻的例子中定義文件名和文件內容是鍵值對。
a partition function。這個函數用於將map函數產生的中間鍵值對映射到一個分區里去，最簡單的實現就是將鍵求哈希再對R取模。
a compare function。這個函數用於Rece作業排序，這個函數定義了鍵的大小關系。
an output writer。負責將結果寫入底層分布式文件系統。
a combiner function。實際就是rece函數，這是用於前面提到的優化的，比如統計詞頻時，如果每個<w, "1">要讀一次，因為rece和map通常不在一台機器，非常浪費時間，所以可以在map執行的地方先運行一次combiner，這樣rece只需要讀一次<w, "n">了。
map和rece函數就不多說了。
7. MapRece的實現
目前MapRece已經有多種實現，除了谷歌自己的實現外，還有著名的hadoop，區別是谷歌是c++，而hadoop是用java。另外斯坦福大學實現了一個在多核/多處理器、共享內存環境內運行的MapRece，稱為Phoenix（介紹），相關的論文發表在07年的HPCA，是當年的最佳論文哦！
與統計詞頻java相關的資料
- pythonmysql資料庫連接池
- php音樂播放器代碼
- java獲取資源文件
- phpsql參數化
- java啟動類
- ubuntu1204安裝php
- php獲取頁面所有鏈接
- php裡面寫js
- ajax調用java後台方法
- PHP秒殺原理
- 學java游戲開發
- phpcgiexe退出
- emacs編譯python
- web容器java
- java16進製表示
- java觀察者設計模式
- ug三軸編程閥體
- 少兒編程題綱
- php程序員工作經歷
- python爬蟲實踐下載教程
- c開發游戲編程
- java編碼http
- php相加函數
- 普通車床內孔編程實例
- 如何創建一個php文件
- python黑客編程視頻
- php表示空格
- python和c語言哪個簡單
- phpmysql實例開發下載
- 有關編程手機游戲
- kuka機器人專家編程
- php抓取cookies
- php如何使用curl
- php函數庫下載
- plc編程軟體mac
- python畫圖書
- pythonsnowflake
- 簡明python教程40版
- 簡明python教程在線
- python輸出如何不換行
- 大型直傘齒輪編程
- python數據分析量化投資分析