linuxatlas

① linux系統下快速啟動MySQL服務linux啟動mysql

Linux是開發和系統管理人員最普遍使用的操作系統之一，在Linux系統上啟動MySQL服務非常容易。本文將介紹如何在Linux系統中快速啟動MySQL服務的步驟。
首先，下載安裝MySQL，可以通過atlastic源或者源碼方式安裝，如下代碼：
sudo add-apt-repository ‘deb [arch=amd64]
https://www.atlastic.com/ubuntu bionic main’
sudo apt-get update
apt-get install mysql-server
安裝完成後，應該會有一個message提示，讓輸入一個root用戶的密碼，這個密碼是在之後登錄MySQL伺服器時使用。
其次，使用以下命令啟動MySQL服務：
sudo systemctl start mysql
接著，可以使用以下命令來檢查MySQL服務狀態：
sudo systemctl status mysql
在Linux系統上，默認情況下MySQL服務會自動啟動，如果想要阻止MySQL服務自動啟動，可以使用以下命令：
sudo systemctl disable mysql
最後，可以通過以下命令登錄MySQL：
mysql -u root -p
輸入剛才設置的root用戶的密碼即可登錄MySQL伺服器。
以上就是在Linux系統中如何快速啟動MySQL服務的步驟，只需要幾條命令，就可以完成MySQL服務的安裝和配置。啟動MySQL服務後，就可以開始使用MySQL了。

② 怎樣使用「虛擬存儲器」

不管你用的是MS WINDOWS系列操作系統，或者是LINUX或者UNIX，加上我用過的IRIX(一種64位的UNIX，專用於SGI圖形工作站)，虛擬內存或者是交換文件（實際上英文名解釋來說都是Swap file）都是由操作系統本身提供的驅動程序，無需使用者額外安裝驅動或第三方驅動程序。

在微軟的WINDOWS 2000以上操作系統中，微軟的虛擬機管理器程序VMM(Virtual Machine Manager) 是位於最底層的操作系統部件(VMM 包含了所有基本的系統功能，如任務調度、虛擬內存操作、程序裝入及終止、任務間通訊等，此外，還負責處理主要的中斷及例外情況）。目前，個人電腦上安裝最多的Windows XP也使用操作系統自帶的虛擬內存管理器(VMM)技術和驅動程序來管理虛擬內存（4GB以下的系統都需要設置虛擬內存），無需用戶再安裝額外的虛擬內存驅動程序了，呵呵~~~

附：上面提到的「4GB以下的系統都需要設置虛擬內存」的更多說明

系統虛擬內存簡而言之就是為了避免物理內存容量不足，系統在硬碟中設置的名為PageFile.Sys的可作為內存使用的大容量文件，通常也叫做頁面文件。合理的分配虛擬內存，可以讓它輔助物理內存更好的改善系統性能。反之，系統性能降低。

Windows XP個人版使用了32位的內存模型，這樣可以允許內存存的地址空間達到4GB．也就是說Windows XP最大支持4GB的物理內存。前端的2GB空間只能被操作系統使用，底端的2GB內存則由操作系統和應用程序共同使用。當內存不夠時，Windows XP使用虛擬內存管理器(VMM)技術來管理虛擬內存，也就是說4GB以下的系統都需要設置虛擬內存。

正確設置虛批內存的方法是：右擊「我的電腦→屬性→高級」，在「性能」區域選擇「設置」，彈出「性能選項」窗口，在「高級」選項卡點擊「虛擬內存」區域的「更改」按鈕，在「虛擬內存」對話框中我們可以設置硬碟的頁面文件的「初始大小」和「最大值」。根據你的磁碟剩餘空間和速度來設置不同分區的虛擬內存，建議只對系統盤和鄰近分區設置頁面文件。填完後記住點擊「設置」完成。

對於虛擬內存「初始大小」的大小，微軟的標準是設置為物理內存的1.5倍；對於最佳的「最大值」大小，我們只需觀察到系統運行大型應用程序時的虛擬內存使用峰值即可。觀察的方法是：打開「Windows任務管理器」，在「性能」選項卡界面左下角的「認可用量」部分中，可以看到當前峰值的數字是多少。如果多次觀察這個數字均為最大值，那麼就把這個值(單位KB)設為最大值即可，記住將此值除以1024轉換為MB後再填入。

③ Atlas系列-編譯部署-Atlas2.1.0獨立部署

本文將為您詳細介紹如何獨立部署 Atlas 2.1.0 版本，依賴組件包括 solr、hbase、zookeeper、hive、hadoop、kafka。我們將採用 Docker 容器與 Linux 環境進行部署。如果您在 Atlas 的編譯部署過程中遇到問題，本指南將提供解決方案。

部署流程如下：

部署環境

1. Linux 環境：若無 Linux 環境，可通過 Docker 構建。如已安裝 Linux，推薦使用 CentOS 鏡像，本文作者最初在 Windows 環境下進行部署，並製作了一個 CentOS 鏡像。構建步驟如下：

1. 拉取鏡像

2. 運行容器

2. Zookeeper 環境搭建：使用 Docker 方式搭建 Zookeeper，配置步驟包括：

1. 拉取 Docker 鏡像

2. 運行容器

3. Hadoop 環境搭建：同樣採用 Docker 方式搭建 Hadoop，步驟如下：

1. 拉取鏡像

2. 建立 Hadoop 用的內部網路

3. 創建並啟動 Master 容器，映射埠，如 10000 埠用於 Hiveserver2，以便後續客戶端通過 beeline 連接 Hive

4. 創建 Slave 容器

5. 修改 hosts 文件，將 Master 和 Slave 的 IP 地址映射到容器內部

6. 啟動 Hadoop，格式化 HDFS，並啟動全部服務

7. 訪問 Web 查看服務狀態，如 hdfs: localhost:9870 和 yarn: localhost:8088

4. 部署 Hive：由於 Hive 鏡像與 Hadoop 鏡像整合，使用已啟動的 Hadoop 鏡像進行部署：

1. 進入 Master 容器

2. 修改配置文件，添加相關環境變數

3. 執行源命令生效

4. 完成資料庫配置，確保與 Hive 配置文件中的分隔符一致，並關閉 SSL 驗證

5. 上傳 MySQL 驅動到 Hive 的 lib 目錄，調整 jar 包配置，確保 slf4j 和 guava 包版本一致

6. 初始化元資料庫，完成 Hive 的安裝與啟動

7. 修改 Hadoop 許可權配置

8. 啟動 Hiveserver2

9. Hbase 搭建：由於使用 Docker 遇到問題，改為在容器外搭建 Hbase 環境。步驟包括：

1. 拉取容器

2. 創建並運行容器

3. 進入容器

4. 修改 Hbase 配置

5. 啟動 Hbase

6. 訪問 Web 界面地址 localhost:16010

10. Solr 搭建：使用 Docker 方式搭建 Solr，步驟如下：

1. 拉取鏡像

2. 運行容器

3. 創建 collection

4. 訪問 Web 界面地址 localhost:8983

11. Atlas 獨立部署：Atlas 2.1.0 版本獨立部署依賴外部組件，不同於集成部署。步驟包括：

1. 從 Apache Atlas 下載源碼，如 apache-atlas-2.1.0-server.tar.gz

2. 使用 Docker 鏡像環境進行編譯，選擇之前構建的基礎環境

3. 將源碼復制到容器內

4. 修改 pom.xml 文件以適應環境依賴

5. 執行編譯命令

6. 解壓 /distro/target/apache-atlas-2.1.0-bin.tar.gz 文件

7. 進入 bin 目錄，啟動應用

至此，Atlas 2.1.0 版本獨立部署完成，可訪問 localhost:21000 查看部署結果。

④ 大數據核心技術有哪些

大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架，主要分為下面幾個方面：數據採集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。

一、數據採集與預處理

對於各種來源的數據，包括移動互聯網數據、社交網路的數據等，這些結構化和非結構化的海量數據是零散的，也就是所謂的數據孤島，此時的這些數據並沒有什麼意義，數據採集就是將這些數據寫入數據倉庫中，把零散的數據整合在一起，對這些數據綜合起來進行分析。數據採集包括文件日誌的採集、資料庫日誌的採集、關系型資料庫的接入和應用程序的接入等。在數據量比較小的時候，可以寫個定時的腳本將日誌寫入存儲系統，但隨著數據量的增長，這些方法無法提供數據安全保障，並且運維困難，需要更強壯的解決方案。

Flume NG作為實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據，同時，對數據進行簡單處理，並寫到各種數據接收方(比如文本，HDFS，Hbase等)。Flume NG採用的是三層架構：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來消費（收集）數據源到channel組件中，channel作為中間臨時存儲，保存所有source的組件信息，sink從channel中讀取數據，讀取成功之後會刪除channel中的信息。

NDC，Netease Data Canal，直譯為網易數據運河系統，是網易針對結構化資料庫的數據實時遷移、同步和訂閱的平台化解決方案。它整合了網易過去在數據傳輸領域的各種工具和經驗，將單機資料庫、分布式資料庫、OLAP系統以及下游應用通過數據鏈路串在一起。除了保障高效的數據傳輸外，NDC的設計遵循了單元化和平台化的設計哲學。

Logstash是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據、轉換數據，然後將數據發送到您最喜歡的 「存儲庫」 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用的數據來源捕捉事件，能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

Sqoop，用來將關系型資料庫和Hadoop中的數據進行相互轉移的工具，可以將一個關系型資料庫(例如Mysql、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型資料庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapRece 作業（極其容錯的分布式並行計算）來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。

流式計算是行業研究的一個熱點，流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析，可以對存在於社交網站、新聞等的數據信息流進行快速的處理並反饋，目前大數據流分析工具有很多，比如開源的strom，spark streaming等。

Strom集群結構是有一個主節點（nimbus）和多個工作節點（supervisor）組成的主從結構，主節點通過配置靜態指定或者在運行時動態選舉，nimbus與supervisor都是Storm提供的後台守護進程，之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology（包括topology的發布、任務指派、事件處理時重新指派任務等）。supervisor進程等待nimbus分配任務後生成並監控worker（jvm進程）執行任務。supervisor與worker運行在不同的jvm上，如果由supervisor啟動的某個worker因為錯誤異常退出（或被kill掉），supervisor會嘗試重新生成新的worker進程。

當使用上游模塊的數據進行計算、統計、分析時，就可以使用消息系統，尤其是分布式消息系統。Kafka使用Scala進行編寫，是一種分布式的、基於發布/訂閱的消息系統。Kafka的設計理念之一就是同時提供離線處理和實時處理,以及將數據實時備份到另一個數據中心，Kafka可以有許多的生產者和消費者分享多個主題，將消息以topic為單位進行歸納；Kafka發布消息的程序稱為procer，也叫生產者，預訂topics並消費消息的程序稱為consumer，也叫消費者；當Kafka以集群的方式運行時，可以由一個服務或者多個服務組成，每個服務叫做一個broker，運行過程中procer通過網路將消息發送到Kafka集群，集群向消費者提供消息。Kafka通過Zookeeper管理集群配置，選舉leader，以及在Consumer Group發生變化時進行rebalance。Procer使用push模式將消息發布到broker，Consumer使用pull模式從broker訂閱並消費消息。Kafka可以和Flume一起工作，如果需要將流式數據從Kafka轉移到hadoop，可以使用Flume代理agent，將Kafka當做一個來源source，這樣可以從Kafka讀取數據到Hadoop。

Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置，那麼對這個地方的配置感興趣的所有的都可以獲得變更，省去了手動拷貝配置的繁瑣，還很好的保證了數據的可靠和一致性，同時它可以通過名字來獲取資源或者服務的地址等信息，可以監控集群中機器的變化，實現了類似於心跳機制的功能。

二、數據存儲

Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。

HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用伺服器，來增加計算和存儲能力。

Phoenix，相當於一個Java中間件，幫助開發工程師能夠像使用JDBC訪問關系型資料庫一樣訪問NoSQL資料庫HBase。

Yarn是一種Hadoop資源管理器，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成：一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。

Mesos是一款開源的集群管理軟體，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。

Redis是一種速度非常快的非關系資料庫，可以存儲鍵與5種不同類型的值之間的映射，可以將存儲在內存的鍵值對數據持久化到硬碟中，使用復制特性來擴展性能，還可以使用客戶端分片來擴展寫性能。

Atlas是一個位於應用程序與MySQL之間的中間件。在後端DB看來，Atlas相當於連接它的客戶端，在前端應用看來，Atlas相當於一個DB。Atlas作為服務端與應用程序通訊，它實現了MySQL的客戶端和服務端協議，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節，同時為了降低MySQL負擔，它還維護了連接池。Atlas啟動後會創建多個線程，其中一個為主線程，其餘為工作線程。主線程負責監聽所有的客戶端連接請求，工作線程只監聽主線程的命令請求。

Ku是圍繞Hadoop生態圈建立的存儲引擎，Ku擁有和Hadoop生態圈共同的設計理念，它運行在普通的伺服器上、可分布式規模化部署、並且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Ku不但提供了行級的插入、更新、刪除API，同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲，既可以進行隨機讀寫，也可以滿足數據分析的要求。Ku的應用場景很廣泛，比如可以進行實時的數據分析，用於數據可能會存在變化的時序數據應用等。

在數據存儲過程中，涉及到的數據表都是成千上百列，包含各種復雜的Query，推薦使用列式存儲方法，比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項，顯著減少磁碟上的存儲。

三、數據清洗

MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算，」Map（映射）」和」Rece（歸約）」，是它的主要思想。它極大的方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統中。

隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越復雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。

Oozie是用於Hadoop平台的一種工作流調度引擎，提供了RESTful API介面來接受用戶的提交請求(提交工作流作業)，當提交了workflow後，由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業)，然後向Oozie提交Workflow，Oozie以非同步方式將作業(MR作業)提交給Hadoop。這也是為什麼當調用Oozie 的RESTful介面提交作業之後能立即返回一個JobId的原因，用戶程序不必等待作業執行完成（因為有些大作業可能會執行很久(幾個小時甚至幾天)）。Oozie在後台以非同步方式，再將workflow對應的Action提交給hadoop執行。

Azkaban也是一種工作流的控制引擎，可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認證、調度以及對工作流執行過程中的監控等；Azkaban Executor Server用來調度工作流和任務，記錄工作流或者任務的日誌。

流計算任務的處理平台Sloth，是網易首個自研流計算平台，旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平台，其特點是易用、實時、可靠，為用戶節省技術方面（開發、運維）的投入，幫助用戶專注於解決產品本身的流計算需求。

四、數據查詢分析

Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapRece。可以將Hive理解為一個客戶端工具，將SQL操作轉換為相應的MapRece jobs，然後在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapRece程序的過程，它的出現可以讓那些精通SQL技能、但是不熟悉MapRece 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。

Hive是為大數據批量處理而生的，Hive的出現解決了傳統的關系型資料庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->rece->map->shuffle->rece…的模型。如果一個Query會被編譯成多輪MapRece，則會有更多的寫中間結果。由於MapRece執行框架本身的特點，過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中，用戶只需要創建表，導入數據，編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。

Impala是對Hive的一個補充，可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop，用來進行大數據實時查詢分析。通過熟悉的傳統關系型資料庫的SQL風格來操作大數據，同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapRece批處理，而是通過使用與商用並行關系資料庫中類似的分布式查詢引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹，而不是一連串的MapRece任務，相比Hive沒了MapRece啟動時間。

Hive 適合於長時間的批處理查詢分析，而Impala適合於實時互動式SQL查詢，Impala給數據人員提供了快速實驗，驗證想法的大數據分析工具，可以先使用Hive進行數據轉換處理，之後使用Impala在Hive處理好後的數據集上進行快速的數據分析。總的來說：Impala把執行計劃表現為一棵完整的執行計劃樹，可以更自然地分發執行計劃到各個Impalad執行查詢，而不用像Hive那樣把它組合成管道型的map->rece模式，以此保證Impala有更好的並發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問題有一定的限制。

Spark擁有Hadoop MapRece所具有的特點，它將Job中間輸出結果保存在內存中，從而不需要讀取HDFS。Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。

Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。

Solr用Java編寫、運行在Servlet容器（如Apache Tomcat或Jetty）的一個獨立的企業級搜索應用的全文搜索伺服器。它對外提供類似於Web-service的API介面，用戶可以通過http請求，向搜索引擎伺服器提交一定格式的XML文件，生成索引；也可以通過Http Get操作提出查找請求，並得到XML格式的返回結果。

Elasticsearch是一個開源的全文搜索引擎，基於Lucene的搜索伺服器，可以快速的儲存、搜索和分析海量的數據。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。

還涉及到一些機器學習語言，比如，Mahout主要目標是創建一些可伸縮的機器學習演算法，供開發人員在Apache的許可下免費使用；深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟體庫TensorFlow等，常用的機器學習演算法比如，貝葉斯、邏輯回歸、決策樹、神經網路、協同過濾等。

五、數據可視化

對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。主流的BI平台比如，國外的敏捷BI Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數（可點擊這里免費試用）等。

在上面的每一個階段，保障數據的安全是不可忽視的問題。

基於網路身份認證的協議Kerberos，用來在非安全網路中，對個人通信以安全的手段進行身份認證，它允許某實體在非安全網路環境下通信，向另一個實體以一種安全的方式證明自己的身份。

控制許可權的ranger是一個Hadoop集群許可權框架，提供操作、監控、管理復雜的數據許可權，它提供一個集中的管理機制，管理基於yarn的Hadoop生態圈的所有數據許可權。可以對Hadoop生態的組件如Hive，Hbase進行細粒度的數據訪問控制。通過操作Ranger控制台，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表、欄位許可權。這些策略可以為不同的用戶和組來設置，同時許可權可與hadoop無縫對接。