程序員分享大數據生態組件

㈠ 如何進入大數據領域，學習路線是什麼

分享大數據學習路線：

第一階段為javaSE+MYSQL+JDBC

主要學習一些Java語言的概念，如字元、流程式控制制、面向對象、進程線程、枚舉反射等，學習MySQL資料庫的安裝卸載及相關操作，學習JDBC的實現原理以及Linux基礎知識，是大數據剛入門階段。

第二階段為分布式理論簡介

主要講解CAP理論、數據分布方式、一致性、2PC和3PC、大數據集成架構。涉及的知識點有Consistency一致性、Availability可用性、Partition tolerance分區容忍性、數據量分布、2PC流程、3PC流程、哈希方式、一致性哈希等。

第三階段為數據存儲與計算（離線場景）

主要講解協調服務ZK(1T)、數據存儲hdfs(2T)、數據存儲alluxio(1T)、數據採集flume、數據採集logstash、數據同步Sqoop(0.5T)、數據同步datax(0.5T)、數據同步mysql-binlog(1T)、計算模型MR與DAG(1T)、hive(5T)、Impala(1T)、任務調度Azkaban、任務調度airflow等。

第四部分為數倉建設

主要講解數倉倉庫的歷史背景、離線數倉項目-伴我汽車（5T）架構技術解析、多維數據模型處理kylin（3.5T）部署安裝、離線數倉項目-伴我汽車升級後加入kylin進行多維分析等；

第五階段為分布式計算引擎

主要講解計算引擎、scala語言、spark、數據存儲hbase、redis、ku，並通過某p2p平台項目實現spark多數據源讀寫。

第六階段為數據存儲與計算（實時場景）

主要講解數據通道Kafka、實時數倉druid、流式數據處理flink、SparkStreaming，並通過講解某交通大數讓你可以將知識點融會貫通。

第七階段為數據搜索

主要講解elasticsearch，包括全文搜索技術、ES安裝操作、index、創建索引、增刪改查、索引、映射、過濾等。

第八階段為數據治理

主要講解數據標准、數據分類、數據建模、圖存儲與查詢、元數據、血緣與數據質量、Hive Hook、Spark Listener等。

第九階段為BI系統

主要講解Superset、Graphna兩大技術，包括基本簡介、安裝、數據源創建、表操作以及數據探索分析。

第十階段為數據挖掘

主要講解機器學習中的數學體系、Spark Mlib機器學習演算法庫、python scikit-learn機器學習演算法庫、機器學習結合大數據項目。

對大數據分析有興趣的小夥伴們，不妨先從看看大數據分析書籍開始入門！B站上有很多的大數據教學視頻，從基礎到高級的都有，還挺不錯的，知識點講的很細致，還有完整版的學習路線圖。也可以自己去看看，下載學習試試。

㈡ 好程序員分享Python之五分鍾了解Django框架設計

Python編程語言的持續火爆，在最新Tiobe編程語言排行榜中位列第五，熱度持續增加，尤其是在 AI 和 大數據時代，Python是 AI 和大數據時代的第一開發語言。這已經是一個不爭的事實了，唯一的懸念就是誰能坐上第二把交椅了。
問題1:什麼是軟體框架? 舉個簡單的例子，對於一個公司來說，公司中有各個職能部門，每個部門各司其職，通過部門之間的配合來完成工作，這些部門就形成了一個公司的組織架構。從某種意義上來說，公司就是一種框架。那麼對應到軟體設計上來說，軟體框架是由其中的各個模塊組成的，每個模塊負責特定的功能，模塊與模塊之間相互協作來完成軟體開發。 一個公司，它是針對某一市場而成立的，而軟體框架的設計，也是針對某一類軟體問題而設計的，其目的主要是提高軟體開發效率
問題2：Django的簡介和設計思想? Django是用python語言寫的開源web開發框架，並遵循MVC設計。勞倫斯出版集團為了開發以新聞內容為主的網站，而開發出來了這個框架，於2005年7月在BSD許可證下發布。Django的主要目的是簡便、快速的開發資料庫驅動的網站。它強調代碼復用，多個組件可以很方便的以「插件」形式服務於整個框架，Django有許多功能強大的第三方插件，你甚至可以很方便的開發出自己的工具包。這使得Django具有很強的可擴展性。它還強調快速開發原則。
問題3：MVC簡介 MVC的全拼為Model-View-Controller，最早在20世紀80年代為程序語言Smalltalk發明的一種軟體設計模式，是為了將傳統的輸入(input)、處理(processing)、輸出(output)任務運用到圖形化用戶交互模型中而設計的。 現MVC是一種架構設計模式，是一種設計理念。是為了達到分層設計的目的，從而使代碼解耦，便於維護和代碼的復用。MVC是3個單詞的縮寫，全稱：Model-View-Controller(模型-視圖-控制器)。MVC就是提供一種規則，讓你把相同類型的代碼放在一起，這樣就形成了層次，從而達到分層解耦、復用、便於測試和維護的目的。
當前主流的開發語言如Java、PHP、Python中都有MVC框架。 Web MVC各部分的功能 M全拼為Model，主要封裝對資料庫層的訪問，對資料庫中的數據進行增、刪、改、查操作。 V全拼為View，用於封裝結果，生成頁面展示的html內容。 C全拼為Controller，用於接收請求，處理業務邏輯，與Model和View交互，返回結果
問題4：Django框架遵循MVC設計，並且有一個專有名詞：MVT MVT各部分的功能: M全拼為Model，與MVC中的M功能相同，負責和資料庫交互，進行數據處理。 V全拼為View，與MVC中的C功能相同，接收請求，進行業務處理，返回應答。 T全拼為Template，與MVC中的V功能相同，負責封裝構造要返回的html。

㈢ 常見的大數據分析工具有哪些

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體：大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;
3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash

㈣ 大數據開發怎麼學習

按照下面五個階段開始學習，循序漸進!
階段一、大數據基礎——java語言基礎方面
(1)Java語言基礎
Java開發介紹、熟悉Eclipse開發工具、Java語言基礎、Java流程式控制制、Java字元串、Java數組與類和對象、數字處理類困枯殲與核心技術、I/O與反射、多線程、Swing程序與集合類

需要大數據學習教程，關汪沖注我主頁有資料
(2) HTML、CSS與JavaScript
PC端網站布局、HTML5+CSS3基礎、WebApp頁面布局、原生JavaScript交互功能開發、Ajax非同步交互、jQuery應用
(3)JavaWeb和資料庫
資料庫、JavaWeb開發核心、JavaWeb開發內幕
階段二、 Linux&Hadoop生態體系
Linux體系、Hadoop離線計算大綱、分布式資料庫Hbase、數據倉庫Hive、數據遷移工具Sqoop、Flume分布式日誌框架
階段三、 分布式計算框架和Spark&Strom生態體系
(1)分布式計算框架
Python編程語言、Scala編程語言、Spark大數據處理、Spark—Streaming大數據處理、Spark—Mlib機器學習、Spark—GraphX 圖計算、實戰一：基於Spark的推薦系統(某一線公司真實項目)、實戰二：新浪網(www.sina.com.cn)
(2)storm技術架構體系
Storm原理與基礎、消息隊列kafka、Redis工具、zookeeper詳解、實戰一：日誌告警系統項目、實戰二：猜你喜歡推薦系統實戰
階段四敗老、 大數據項目實戰(一線公司真實項目)
數據獲取、數據處理、數據分析、數據展現、數據應用
階段五、 大數據分析 —AI(人工智慧)
Data Analyze工作環境准備&數據分析基礎、數據可視化、Python機器學習
1、Python機器學習2、圖像識別&神經網路、自然語言處理&社交網路處理、實戰項目：戶外設備識別分析
以上就是分享的大數據自學課程，祝願每一位小夥伴都能成為真正的大數據技術人才!
學習大數據，就來北京尚學堂，多年的大數據授課經驗，扎實的課程理論助你在大數據方面快人一步。

㈤ 2021年最受程序員歡迎的開發工具TOP 50名單出爐-

對於每一個開發者而言，開發工具就相當於他們的武器，選擇一個合適的工具能夠幫助我們在工作時事半功倍，在互聯網逐漸發展成熟的今天，越來越多的開發工具供我們選擇，但其中總有一些更好用的，如何選擇成為了一大難題。

從而頒布了2021年StackShare第八屆頂級工具獎，快來看看有沒有你青睞的開發工具吧。

年度最佳新興工具

1.FastAPI

FastAPI 是一個使用 Python3.6+ 構建 Web API 的高性能框架。根據框架創建者的說法，FastAPI 性能與 NodeJS 或 Golang 相當。

2.GitHub Copilot

作為一款 AI 結對編程工具，Copilot 的主要定位是提供類似 IntelliSense/IntelliCode 的代碼補全與建議功能，但在實際表現上有望超越同樣由微軟合作夥伴 OpenAI 開發的 Codex AI 系統。

3.FiglamFigma

Figma 是一個 基於瀏覽器 的協作式 UI 設計工具，從推出至今越來越受到 UI 設計師的青睞，也有很多的設計團隊投入了Figma 的懷抱，

4.Logtail

Logtail是日誌服務提供的日誌採集Agent，用於採集阿里雲ECS、自建IDC、其他雲廠商等伺服器上的日誌。本文介紹Logtail的功能、優勢、使用限制及配置流程等信息。

5.Coder

開發人員工作區平台·

6.Charts.csscss

Charts.css 是用於數據可視化的開源 CSS 框架，幫助用戶理解數據，幫助開發人員使用簡單的 CSS 類將數據轉換為漂亮的圖表。·

7.Counter

簡單並且免費的網路分析·

8.React Query

React Query是一個庫，可為任何類型的非同步數據提供ReactJS狀態管理功能。根據他們的官方文件，·

9.vscode.dev

將VS Code引入瀏覽器，構建一個可以在瀏覽器中完全無伺服器運行的開發工具。

10.BookStack

BookStack 是一個開源的、基於 Laravel + Vue.js 構建的知識管理和服務平台。具有簡單但功能強大的所見即所得編輯器，允許團隊輕松創建詳細且有用的文檔。·

11.ThunderClient

Thunder Client 為我們提供了一款輕量級、易用、整潔、簡單的 Rest API 客戶端擴展。·我們可以利用 Thunder Client 在編輯器內快速測試代碼庫的 API 端點，從而最大限度地減少頁面的切換。它可以替代 Postman，作為常用的無腳本測試工具。

12.Quod AI

Quod AI Code Search是一個由人工智慧驅動的Chrome擴展，可以自動從Git存儲庫或Jira問題中搜索代碼。

它使用問題的標題和描述，並自動在你的Git存儲庫中找到匹配的內容。

13.Dendron

Dendron 是典型的開源社區編程思維的解決方案，雖然初看起來有一點學習曲線，但從根本上是給了使用者最大的自由發揮空間，同時又提供了最強大和最徹底的工具生態支持。·

14.Notion API

把概念和你每天使用的工具聯系起來·

15.Github1s

只需1秒，就可以用VS Code方式來看GitHub代碼。·

16.Ocean

容器的無伺服器基礎架構引擎·

17.Magic

快速構建應用程序，可定製，無密碼登錄

·

18.Jina

更簡單的一種在雲上構建神經搜索的方法，

19.Focalboard

一款開源、本地存儲、免費的類 Notion 應用Focalboard 的自我定位是「Trello、Notion 和 Asana 的開源、自託管替代品」。·

20.zx

更好地編寫腳本的工具（By Google）

21.OpenSearh

OpenSearch是阿里雲開放搜索簡稱，為解決用戶結構化數據搜索需求的託管服務，支持數據結構、搜索排序、數據處理自由定製。·

22.Querybook

一個可以發現、創建和共享數據分析、查詢以及表的大數據IDE（通過Pinterest），

23.MangoDB

MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。MongoDB就是資料庫，是NoSQL類型的資料庫

24.TooIJet

Retool的開源替代品·

25.Kitemaker

Kitemaker是為團隊而非經理創建的超快速問題跟蹤器。為遠程團隊創建的Jira的快速替代方案·

26.Appflowy

Appflowy 是一款使用 Flutter 和 Rust 構建的開源筆記軟體，它支持Windows、macOS和Linux，可以免費下載使用

27.Kubegres

Kubegres 是一個 Kubernetes Operator，用來部署並維護 PostgreSql 集群，提供開箱即用的數據復制和故障轉移功能，簡化 PostgreSql 集群生命周期管理，降低數據復制的復雜性

28.Lightning Web Components

Lightning Web Components,業內簡稱LWC,是Salesforce於Spring 19發布的一款新型Lightning Component，快速的企業級Web組件基礎

29.Judo

用無代碼構建原生應用體驗

30.Apache APISIX

Apache APISIX Apache APISIX是一個動態、實時、高性能的API網關。提供了豐富的流量管理功能，如負載均衡、動態上游、canary釋放、斷路、認證、可觀察性等。

31.Control

提供免費的加速、自動化安全性以及SOC2合規

32.Remix

專注於Web技術和現代 用戶體驗的框架

33.NocoDB

免費並且開源的Airtable替代方案

34.JetBrainsQodana

評估你擁有的、合同或購買的代碼的完整性

35.TabnineAI

只能代碼編寫

36.Coolify

一個開源的，自適應的Heroku和Netlify的替代品

37.Penpot

開源設計和原型平台

38.Portman

Postman介紹：postman是一個開源的介面測試工具，無論是做單個介面的測試還是整套測試腳本的撥測都非常方便。

39.Devops Stack

持續部署Kubernetes環境

40.Slidev

面向開發人員的演示幻燈片

41.ReScript

ReScript 是一門針對 JavaScript 程序員的新語言，特別是對 TypeScript 和 Flow 的類型安全感興趣的程序員。ReScript 的語法和 JavaScript 非常相似

42.Fig

自定完成終端

43.FlutterFlow

Flutterflow 是一個在線低碼平台,使人們在視覺上以人們在視覺上構建本機移動應用程序。

44.Porter

運行在你自己的雲中的Heroku

45.SigmaOS

在 SigmaOS 中，你會看到完全不同的瀏覽器布局，它更像是一個工作台

46.VictoeiaMetrics DB

快速、低成本的監控解決方案和時間序列資料庫

47.CloudflarePages

JAMstack平台為前端開發者提供協作和部署網站的平台

48. Devbook

面向開發者的搜索引擎

49.Front Matter

直接在VS Code中管理靜態站點

50.Supacase UI

用於企業儀表的React組件庫

以上可以說是集結了開發行業中的所有「神器」，不僅能助力程序員高效工作，也是今後走向開發崗位小夥伴們的加薪工具。小夥伴可以從中挑選適合自己的工具~

㈥ 一文看懂大數據的技術生態圈

一文看懂大數據的技術生態圈

大數據本身是個很寬泛的概念，Hadoop生態圈（或者泛生態圈）基本上都是為了處理超過單機尺度的數據處理而誕生的。你可以把它比作一個廚房所以需要的各種工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。你可以用湯鍋直接當碗吃飯喝湯，你可以用小刀或者刨子去皮。但是每個工具有自己的特性，雖然奇怪的組合也能工作，但是未必是最佳選擇。

大數據，首先你要能存的下大數據。傳統的文件系統是單機的，不能橫跨不同的機器。HDFS（Hadoop Distributed FileSystem）的設計本質上是為了大量的數據能橫跨成百上千台機器，但是你看到的是一個文件系統而不是很多文件系統。比如你說我要獲取/hdfs/tmp/file1的數據，你引用的是一個文件路徑，但是實際的數據存放在很多不同的機器上。你作為用戶，不需要知道這些，就好比在單機上你不關心文件分散在什麼磁軌什麼扇區一樣。HDFS為你管理這些數據。存的下數據之後，你就開始考慮怎麼處理數據。雖然HDFS可以為你整體管理不同機器上的數據，但是這些數據太大了。一台機器讀取成T上P的數據（很大的數據哦，比如整個東京熱有史以來所有高清電影的大小甚至更大），一台機器慢慢跑也許需要好幾天甚至好幾周。對於很多公司來說，單機處理是不可忍受的，比如微博要更新24小時熱博，它必須在24小時之內跑完這些處理。那麼我如果要用很多台機器處理，我就面臨了如何分配工作，如果一台機器掛了如何重新啟動相應的任務，機器之間如何互相通信交換數據以完成復雜的計算等等。這就是MapRece / Tez / Spark的功能。MapRece是第一代計算引擎，Tez和Spark是第二代。MapRece的設計，採用了很簡化的計算模型，只有Map和Rece兩個計算過程（中間用Shuffle串聯），用這個模型，已經可以處理大數據領域很大一部分問題了。那什麼是Map什麼是Rece？考慮如果你要統計一個巨大的文本文件存儲在類似HDFS上，你想要知道這個文本里各個詞的出現頻率。你啟動了一個MapRece程序。Map階段，幾百台機器同時讀取這個文件的各個部分，分別把各自讀到的部分分別統計出詞頻，產生類似（hello, 12100次），（world，15214次）等等這樣的Pair（我這里把Map和Combine放在一起說以便簡化）；這幾百台機器各自都產生了如上的集合，然後又有幾百台機器啟動Rece處理。Recer機器A將從Mapper機器收到所有以A開頭的統計結果，機器B將收到B開頭的詞彙統計結果（當然實際上不會真的以字母開頭做依據，而是用函數產生Hash值以避免數據串化。因為類似X開頭的詞肯定比其他要少得多，而你不希望數據處理各個機器的工作量相差懸殊）。然後這些Recer將再次匯總，（hello，12100）＋（hello，12311）＋（hello，345881）= （hello，370292）。每個Recer都如上處理，你就得到了整個文件的詞頻結果。這看似是個很簡單的模型，但很多演算法都可以用這個模型描述了。Map＋Rece的簡單模型很黃很暴力，雖然好用，但是很笨重。第二代的Tez和Spark除了內存Cache之類的新feature，本質上來說，是讓Map/Rece模型更通用，讓Map和Rece之間的界限更模糊，數據交換更靈活，更少的磁碟讀寫，以便更方便地描述復雜演算法，取得更高的吞吐量。有了MapRece，Tez和Spark之後，程序員發現，MapRece的程序寫起來真麻煩。他們希望簡化這個過程。這就好比你有了匯編語言，雖然你幾乎什麼都能幹了，但是你還是覺得繁瑣。你希望有個更高層更抽象的語言層來描述演算法和數據處理流程。於是就有了Pig和Hive。Pig是接近腳本方式去描述MapRece，Hive則用的是SQL。它們把腳本和SQL語言翻譯成MapRece程序，丟給計算引擎去計算，而你就從繁瑣的MapRece程序中解脫出來，用更簡單更直觀的語言去寫程序了。有了Hive之後，人們發現SQL對比Java有巨大的優勢。一個是它太容易寫了。剛才詞頻的東西，用SQL描述就只有一兩行，MapRece寫起來大約要幾十上百行。而更重要的是，非計算機背景的用戶終於感受到了愛：我也會寫SQL！於是數據分析人員終於從乞求工程師幫忙的窘境解脫出來，工程師也從寫奇怪的一次性的處理程序中解脫出來。大家都開心了。Hive逐漸成長成了大數據倉庫的核心組件。甚至很多公司的流水線作業集完全是用SQL描述，因為易寫易改，一看就懂，容易維護。自從數據分析人員開始用Hive分析數據之後，它們發現，Hive在MapRece上跑，真雞巴慢！流水線作業集也許沒啥關系，比如24小時更新的推薦，反正24小時內跑完就算了。但是數據分析，人們總是希望能跑更快一些。比如我希望看過去一個小時內多少人在充氣娃娃頁面駐足，分別停留了多久，對於一個巨型網站海量數據下，這個處理過程也許要花幾十分鍾甚至很多小時。而這個分析也許只是你萬里長征的第一步，你還要看多少人瀏覽了跳蛋多少人看了拉赫曼尼諾夫的CD，以便跟老闆匯報，我們的用戶是猥瑣男悶騷女更多還是文藝青年／少女更多。你無法忍受等待的折磨，只能跟帥帥的工程師蟈蟈說，快，快，再快一點！於是Impala，Presto，Drill誕生了（當然還有無數非著名的交互SQL引擎，就不一一列舉了）。三個系統的核心理念是，MapRece引擎太慢，因為它太通用，太強壯，太保守，我們SQL需要更輕量，更激進地獲取資源，更專門地對SQL做優化，而且不需要那麼多容錯性保證（因為系統出錯了大不了重新啟動任務，如果整個處理時間更短的話，比如幾分鍾之內）。這些系統讓用戶更快速地處理SQL任務，犧牲了通用性穩定性等特性。如果說MapRece是大砍刀，砍啥都不怕，那上面三個就是剔骨刀，靈巧鋒利，但是不能搞太大太硬的東西。這些系統，說實話，一直沒有達到人們期望的流行度。因為這時候又兩個異類被造出來了。他們是Hive on Tez / Spark和SparkSQL。它們的設計理念是，MapRece慢，但是如果我用新一代通用計算引擎Tez或者Spark來跑SQL，那我就能跑的更快。而且用戶不需要維護兩套系統。這就好比如果你廚房小，人又懶，對吃的精細程度要求有限，那你可以買個電飯煲，能蒸能煲能燒，省了好多廚具。上面的介紹，基本就是一個數據倉庫的構架了。底層HDFS，上面跑MapRece／Tez／Spark，在上面跑Hive，Pig。或者HDFS上直接跑Impala，Drill，Presto。這解決了中低速數據處理的要求。那如果我要更高速的處理呢？如果我是一個類似微博的公司，我希望顯示不是24小時熱博，我想看一個不斷變化的熱播榜，更新延遲在一分鍾之內，上面的手段都將無法勝任。於是又一種計算模型被開發出來，這就是Streaming（流）計算。Storm是最流行的流計算平台。流計算的思路是，如果要達到更實時的更新，我何不在數據流進來的時候就處理了？比如還是詞頻統計的例子，我的數據流是一個一個的詞，我就讓他們一邊流過我就一邊開始統計了。流計算很牛逼，基本無延遲，但是它的短處是，不靈活，你想要統計的東西必須預先知道，畢竟數據流過就沒了，你沒算的東西就無法補算了。因此它是個很好的東西，但是無法替代上面數據倉庫和批處理系統。還有一個有些獨立的模塊是KV Store，比如Cassandra，HBase，MongoDB以及很多很多很多很多其他的（多到無法想像）。所以KV Store就是說，我有一堆鍵值，我能很快速滴獲取與這個Key綁定的數據。比如我用身份證號，能取到你的身份數據。這個動作用MapRece也能完成，但是很可能要掃描整個數據集。而KV Store專用來處理這個操作，所有存和取都專門為此優化了。從幾個P的數據中查找一個身份證號，也許只要零點幾秒。這讓大數據公司的一些專門操作被大大優化了。比如我網頁上有個根據訂單號查找訂單內容的頁面，而整個網站的訂單數量無法單機資料庫存儲，我就會考慮用KV Store來存。KV Store的理念是，基本無法處理復雜的計算，大多沒法JOIN，也許沒法聚合，沒有強一致性保證（不同數據分布在不同機器上，你每次讀取也許會讀到不同的結果，也無法處理類似銀行轉賬那樣的強一致性要求的操作）。但是丫就是快。極快。每個不同的KV Store設計都有不同取捨，有些更快，有些容量更高，有些可以支持更復雜的操作。必有一款適合你。除此之外，還有一些更特製的系統／組件，比如Mahout是分布式機器學習庫，Protobuf是數據交換的編碼和庫，ZooKeeper是高一致性的分布存取協同系統，等等。有了這么多亂七八糟的工具，都在同一個集群上運轉，大家需要互相尊重有序工作。所以另外一個重要組件是，調度系統。現在最流行的是Yarn。你可以把他看作中央管理，好比你媽在廚房監工，哎，你妹妹切菜切完了，你可以把刀拿去殺雞了。只要大家都服從你媽分配，那大家都能愉快滴燒菜。你可以認為，大數據生態圈就是一個廚房工具生態圈。為了做不同的菜，中國菜，日本菜，法國菜，你需要各種不同的工具。而且客人的需求正在復雜化，你的廚具不斷被發明，也沒有一個萬用的廚具可以處理所有情況，因此它會變的越來越復雜。

以上是小編為大家分享的關於一文看懂大數據的技術生態圈的相關內容，更多信息可以關注環球青藤分享更多干貨