⑴ 統計模型和大數據模型所使用的主要演算法有什麼異同
以每24小時作為一份時間（而非自然日），根據用戶的配置有兩種工作模式：帶狀模式中，用戶僅定義開始日期時，從開始日期（含）開始，每份時間1個分片地無限增加下去；環狀模式中，用戶定義了開始日期和結束日期時，以結束日期（含）和開始日期（含）之間的時間份數作為分片總數（分片數量固定），以類似取模的方式路由到這些分片里。
1. DBLE 啟動時，讀取用戶在 rule.xml 配置的 sBeginDate 來確定起始時間
2. 讀取用戶在 rule.xml 配置的 sPartionDay 來確定每個 MySQL 分片承載多少天內的數據
3. 讀取用戶在 rule.xml 配置的 dateFormat 來確定分片索引的日期格式
4. 在 DBLE 的運行過程中，用戶訪問使用這個演算法的表時，WHERE 子句中的分片索引值（字元串），會被提取出來嘗試轉換成 java 內部的時間類型
5. 然後求分片索引值與起始時間的差，除以 MySQL 分片承載的天數，確定所屬分片
1. DBLE 啟動時，讀取用戶在 rule.xml 配置的起始時間 sBeginDate、終止時間 sEndDate 和每個 MySQL 分片承載多少天數據 sPartionDay
2. 根據用戶設置，建立起以 sBeginDate 開始，每 sPartionDay 天一個分片，直到 sEndDate 為止的一個環，把分片串聯串聯起來
3. 讀取用戶在 rule.xml 配置的 defaultNode
4. 在 DBLE 的運行過程中，用戶訪問使用這個演算法的表時，WHERE 子句中的分片索引值（字元串），會被提取出來嘗試轉換成 Java 內部的日期類型
5. 然後求分片索引值與起始日期的差：如果分片索引值不早於 sBeginDate（哪怕晚於 sEndDate），就以 MySQL 分片承載的天數為模數，對分片索引值求模得到所屬分片；如果分片索引值早於 sBeginDate，就會被放到 defaultNode 分片上
與MyCat的類似分片演算法對比
中間件
DBLE
MyCat
分片演算法種類 date 分區演算法 按日期（天）分片
兩種中間件的取模範圍分片演算法使用上無差別
開發注意點
【分片索引】1. 必須是字元串，而且 java.text.SimpleDateFormat 能基於用戶指定的 dateFormat 來轉換成 java.util.Date
【分片索引】2. 提供帶狀模式和環狀模式兩種模式
【分片索引】3. 帶狀模式以 sBeginDate（含）起，以 86400000 毫秒（24 小時整）為一份，每 sPartionDay 份為一個分片，理論上分片數量可以無限增長，但是出現 sBeginDate 之前的數據而且沒有設定 defaultNode 的話，會路由失敗（如果有 defaultNode，則路由至 defaultNode）
【分片索引】4. 環狀模式以 86400000 毫秒（24 小時整）為一份，每 sPartionDay 份為一個分片，以 sBeginDate（含）到 sEndDate（含）的時間長度除以單個分片長度得到恆定的分片數量，但是出現 sBeginDate 之前的數據而且沒有設定 defaultNode 的話，會路由失敗（如果有 defaultNode，則路由至 defaultNode）
【分片索引】5. 無論哪種模式，分片索引欄位的格式化字元串 dateFormat 由用戶指定
【分片索引】6. 無論哪種模式，劃分不是以日歷時間為准，無法對應自然月和自然年，且會受閏秒問題影響
運維注意點
【擴容】1. 帶狀模式中，隨著 sBeginDate 之後的數據出現，分片數量的增加無需再平衡
【擴容】2. 帶狀模式沒有自動增添分片的能力，需要運維手工提前增加分片；如果路由策略計算出的分片並不存在時，會導致失敗
【擴容】3. 環狀模式中，如果新舊 [sBeginDate,sEndDate] 之間有重疊，需要進行部分數據遷移；如果新舊 [sBeginDate,sEndDate] 之間沒有重疊，需要數據再平衡
配置注意點
【配置項】1. 在 rule.xml 中，可配置項為 <propertyname="sBeginDate"> 、 <propertyname="sPartionDay"> 、 <propertyname="dateFormat"> 、 <propertyname="sEndDate"> 和 <propertyname="defaultNode">
【配置項】2.在 rule.xml 中配置 <propertyname="dateFormat">，符合 java.text.SimpleDateFormat 規范的字元串，用於告知 DBLE 如何解析sBeginDate和sEndDate
【配置項】3.在 rule.xml 中配置 <propertyname="sBeginDate">，必須是符合 dateFormat 的日期字元串
【配置項】4.在 rule.xml 中配置 <propertyname="sEndDate">，必須是符合 dateFormat 的日期字元串；配置了該項使用的是環狀模式，若沒有配置該項則使用的是帶狀模式
【配置項】5.在 rule.xml 中配置 <propertyname="sPartionDay">，非負整數，該分片策略以 86400000 毫秒（24 小時整）作為一份，而 sPartionDay 告訴 DBLE 把每多少份放在同一個分片
【配置項】6.在 rule.xml 中配置 <propertyname="defaultNode"> 標簽，非必須配置項，不配置該項的話，用戶的分片索引值沒落在 mapFile 定義
⑵ smartbi緙虹偣
Smartbi鍦ㄥ姛鑳戒笂緙哄皯璇稿傛櫤鑳藉浘琛ㄦ帹鑽愮瓑鍏堣繘鎬х殑鍔熻兘鏀鎾戱紝鍦ㄥぇ鏁版嵁鎬ц兘涓婁篃琛ㄧ幇涓鑸錛屼駭鍝佺殑UI鐣岄潰姣旇緝鍙よ侊紝鍙鑳芥槸楠ㄥ瓙閲岀殑Excel鍩哄洜瀵艱嚧銆
Smartbi榪樻槸鏈夎稿氬己澶х殑鍔熻兘鐨勶紝姣斿傦細1.鐩磋傜殑鏁版嵁澶勭悊錛岄氳繃灝佽匛TL綆楁硶錛屽皢鎶鏈鍒嗙伙紝鍙浠ュ疄鐜頒笟鍔′漢鍛樿繘琛岃嚜鍔〦TL鎿嶄綔銆2.鍙瑙嗗寲鐨鏈哄櫒瀛︿範寤烘ā錛岀畝鍗曢檷浣庝簡鏈哄櫒瀛︿範鐨勪嬌鐢ㄩ棬妲涳紝澶уぇ鑺傜渷浜嗘垚鏈銆3.鏅鴻兘浜や簰鐨勮嚜鐒惰璦鍒嗘瀽錛屾瀬澶х殑綆鍖栦簡鏁版嵁鍒嗘瀽鐨勮繃紼嬨
⑶ 常見的大數據分析工具有哪些
大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體：大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;
3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash
⑷ 澶ф暟鎹鎸栨帢鎶鏈娑夊強鍝浜涘唴瀹
澶ф暟鎹鎸栨帢鎶鏈娑夊強鐨勪富瑕佸唴瀹規湁錛氭ā寮忚窡韙錛屾暟鎹娓呯悊鍜屽噯澶囷紝鍩轟簬鍒嗙被鐨勬暟鎹鎸栨帢鎶鏈錛屽紓甯稿兼嫻嬶紝鍏寵仈錛岃仛綾匯
鍩轟簬澶х幆澧冧笅鐨勬暟鎹鐗圭偣錛屾寲鎺樻妧鏈涓庡瑰簲錛
1.鏁版嵁鏉ユ簮澶, 澶ф暟鎹鎸栨帢鐨勭爺絀跺硅薄寰寰涓嶅彧娑夊強涓涓涓氬姟緋葷粺, 鑲瀹氭槸澶氫釜緋葷粺鐨勮瀺鍚堝垎鏋, 鍥犳,闇瑕佸己澶х殑ETL鎶鏈, 灝嗗氫釜緋葷粺鐨勬暟鎹鏁村悎鍒頒竴璧, 騫朵笖, 澶氫釜緋葷粺鐨勬暟鎹鍙鑳芥爣鍑嗕笉鍚, 闇瑕佹竻媧椼
2.鏁版嵁鐨勭淮搴﹂珮, 鏁村悎璧鋒潵鐨勬暟鎹灝變笉鍙浼犵粺鏁版嵁鎸栨帢鐨勯偅涓浜涚淮搴︿簡, 鍙鑳芥垚鐧句笂鍗冪淮, 榪欓渶瑕侀檷緇存妧鏈浜嗐
3.澶ф暟鎹閲忕殑璁＄畻, 鍦ㄥ崟鍙版湇鍔″櫒涓婃槸璁＄畻涓嶄簡鐨, 榪欏氨闇瑕佺敤鍒嗗竷寮忚＄畻, 鎵浠ヨ佹帉鎻″悇縐嶅垎甯冨紡璁＄畻妗嗘灦, 鍍廻adoop, spark涔嬬被, 闇瑕佹帉鎻℃満鍣ㄥ︿範綆楁硶鐨勫垎甯冨紡瀹炵幇銆
鏁版嵁鎸栨帢錛氱洰鍓嶏紝榪橀渶瑕佹敼榪涘凡鏈夋暟鎹鎸栨帢鍜屾満鍣ㄥ︿範鎶鏈錛涘紑鍙戞暟鎹緗戠粶鎸栨帢銆佺壒寮傜兢緇勬寲鎺樸佸浘鎸栨帢絳夋柊鍨嬫暟鎹鎸栨帢鎶鏈錛涚獊鐮村熀浜庡硅薄鐨勬暟鎹榪炴帴銆佺浉浼兼ц繛鎺ョ瓑澶ф暟鎹鋙嶅悎鎶鏈錛涚獊鐮寸敤鎴峰叴瓚ｅ垎鏋愩佺綉緇滆屼負鍒嗘瀽銆佹儏鎰熻涔夊垎鏋愮瓑闈㈠悜棰嗗煙鐨勫ぇ鏁版嵁鎸栨帢鎶鏈銆
鎯充簡瑙ｆ洿澶氬ぇ鏁版嵁鎸栨帢鎶鏈錛岃峰叧娉–DA鏁版嵁鍒嗘瀽璇劇▼銆侰DA錛圕ertified Data Analyst錛夛紝鍗斥淐DA 鏁版嵁鍒嗘瀽鈥濓紝鏄鍦ㄦ暟瀛楃粡嫻庡ぇ鑳屾櫙鍜屼漢宸ユ櫤鑳芥椂浠ｈ秼鍔誇笅錛岄潰鍚戝叏琛屼笟鐨勪笓涓氭潈濞佸浗闄呰祫鏍艱よ瘉錛屾棬鍦ㄦ彁鍗囧叏姘戞暟瀛楁妧鑳斤紝鍔╁姏浼佷笟鏁板瓧鍖栬漿鍨嬶紝鎺ㄥ姩琛屼笟鏁板瓧鍖栧彂灞曘傚浗瀹跺彂灞曟垬鐣ョ殑瑕佹眰錛屽矖浣嶄漢鎵嶇殑緙哄彛浠ュ強甯傚満瑙勬ā鐨勫甫鍔錛岄兘浠庝笉鍚屾柟闈浣撶幇浜嗘暟鎹鍒嗘瀽甯堣亴涓氱殑閲嶈佹с傚ぇ鏁版嵁鎸栨帢鎶鏈鐨勫︿範錛屾湁鍒╀簬鎻愰珮浜哄湪鑱屽満鐨勪俊瑾夊害錛屽炲姞鑱屽満絝炰簤鍔涳紝鎻愰珮鑷宸辯殑緇忔祹鍦頒綅銆鐐瑰嚮棰勭害鍏嶈垂璇曞惉璇銆