⑴ 统计模型和大数据模型所使用的主要算法有什么异同
以每24小时作为一份时间（而非自然日），根据用户的配置有两种工作模式：带状模式中，用户仅定义开始日期时，从开始日期（含）开始，每份时间1个分片地无限增加下去；环状模式中，用户定义了开始日期和结束日期时，以结束日期（含）和开始日期（含）之间的时间份数作为分片总数（分片数量固定），以类似取模的方式路由到这些分片里。
1. DBLE 启动时，读取用户在 rule.xml 配置的 sBeginDate 来确定起始时间
2. 读取用户在 rule.xml 配置的 sPartionDay 来确定每个 MySQL 分片承载多少天内的数据
3. 读取用户在 rule.xml 配置的 dateFormat 来确定分片索引的日期格式
4. 在 DBLE 的运行过程中，用户访问使用这个算法的表时，WHERE 子句中的分片索引值（字符串），会被提取出来尝试转换成 java 内部的时间类型
5. 然后求分片索引值与起始时间的差，除以 MySQL 分片承载的天数，确定所属分片
1. DBLE 启动时，读取用户在 rule.xml 配置的起始时间 sBeginDate、终止时间 sEndDate 和每个 MySQL 分片承载多少天数据 sPartionDay
2. 根据用户设置，建立起以 sBeginDate 开始，每 sPartionDay 天一个分片，直到 sEndDate 为止的一个环，把分片串联串联起来
3. 读取用户在 rule.xml 配置的 defaultNode
4. 在 DBLE 的运行过程中，用户访问使用这个算法的表时，WHERE 子句中的分片索引值（字符串），会被提取出来尝试转换成 Java 内部的日期类型
5. 然后求分片索引值与起始日期的差：如果分片索引值不早于 sBeginDate（哪怕晚于 sEndDate），就以 MySQL 分片承载的天数为模数，对分片索引值求模得到所属分片；如果分片索引值早于 sBeginDate，就会被放到 defaultNode 分片上
与MyCat的类似分片算法对比
中间件
DBLE
MyCat
分片算法种类 date 分区算法 按日期（天）分片
两种中间件的取模范围分片算法使用上无差别
开发注意点
【分片索引】1. 必须是字符串，而且 java.text.SimpleDateFormat 能基于用户指定的 dateFormat 来转换成 java.util.Date
【分片索引】2. 提供带状模式和环状模式两种模式
【分片索引】3. 带状模式以 sBeginDate（含）起，以 86400000 毫秒（24 小时整）为一份，每 sPartionDay 份为一个分片，理论上分片数量可以无限增长，但是出现 sBeginDate 之前的数据而且没有设定 defaultNode 的话，会路由失败（如果有 defaultNode，则路由至 defaultNode）
【分片索引】4. 环状模式以 86400000 毫秒（24 小时整）为一份，每 sPartionDay 份为一个分片，以 sBeginDate（含）到 sEndDate（含）的时间长度除以单个分片长度得到恒定的分片数量，但是出现 sBeginDate 之前的数据而且没有设定 defaultNode 的话，会路由失败（如果有 defaultNode，则路由至 defaultNode）
【分片索引】5. 无论哪种模式，分片索引字段的格式化字符串 dateFormat 由用户指定
【分片索引】6. 无论哪种模式，划分不是以日历时间为准，无法对应自然月和自然年，且会受闰秒问题影响
运维注意点
【扩容】1. 带状模式中，随着 sBeginDate 之后的数据出现，分片数量的增加无需再平衡
【扩容】2. 带状模式没有自动增添分片的能力，需要运维手工提前增加分片；如果路由策略计算出的分片并不存在时，会导致失败
【扩容】3. 环状模式中，如果新旧 [sBeginDate,sEndDate] 之间有重叠，需要进行部分数据迁移；如果新旧 [sBeginDate,sEndDate] 之间没有重叠，需要数据再平衡
配置注意点
【配置项】1. 在 rule.xml 中，可配置项为 <propertyname="sBeginDate"> 、 <propertyname="sPartionDay"> 、 <propertyname="dateFormat"> 、 <propertyname="sEndDate"> 和 <propertyname="defaultNode">
【配置项】2.在 rule.xml 中配置 <propertyname="dateFormat">，符合 java.text.SimpleDateFormat 规范的字符串，用于告知 DBLE 如何解析sBeginDate和sEndDate
【配置项】3.在 rule.xml 中配置 <propertyname="sBeginDate">，必须是符合 dateFormat 的日期字符串
【配置项】4.在 rule.xml 中配置 <propertyname="sEndDate">，必须是符合 dateFormat 的日期字符串；配置了该项使用的是环状模式，若没有配置该项则使用的是带状模式
【配置项】5.在 rule.xml 中配置 <propertyname="sPartionDay">，非负整数，该分片策略以 86400000 毫秒（24 小时整）作为一份，而 sPartionDay 告诉 DBLE 把每多少份放在同一个分片
【配置项】6.在 rule.xml 中配置 <propertyname="defaultNode"> 标签，非必须配置项，不配置该项的话，用户的分片索引值没落在 mapFile 定义
⑵ smartbi缂虹偣
Smartbi鍦ㄥ姛鑳戒笂缂哄皯璇稿傛櫤鑳藉浘琛ㄦ帹钻愮瓑鍏堣繘镐х殑锷熻兘鏀鎾戯纴鍦ㄥぇ鏁版嵁镐ц兘涓娄篃琛ㄧ幇涓鑸锛屼骇鍝佺殑UI鐣岄溃姣旇缉鍙よ侊纴鍙鑳芥槸楠ㄥ瓙閲岀殑Excel锘哄洜瀵艰嚧銆
Smartbi杩樻槸链夎稿氩己澶х殑锷熻兘镄勶纴姣斿傦细1.鐩磋傜殑鏁版嵁澶勭悊锛岄氲繃灏佽匛TL绠楁硶锛屽皢鎶链鍒嗙伙纴鍙浠ュ疄鐜颁笟锷′汉锻樿繘琛岃嚜锷〦TL镎崭綔銆2.鍙瑙嗗寲镄链哄櫒瀛︿範寤烘ā锛岀亩鍗曢檷浣庝简链哄櫒瀛︿範镄勪娇鐢ㄩ棬妲涳纴澶уぇ鑺傜渷浜嗘垚链銆3.鏅鸿兘浜や簰镄勮嚜铹惰瑷鍒嗘瀽锛屾瀬澶х殑绠鍖栦简鏁版嵁鍒嗘瀽镄勮繃绋嬨
⑶ 常见的大数据分析工具有哪些
大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash
⑷ 澶ф暟鎹鎸栨帢鎶链娑夊强鍝浜涘唴瀹
澶ф暟鎹鎸栨帢鎶链娑夊强镄勪富瑕佸唴瀹规湁锛氭ā寮忚窡韪锛屾暟鎹娓呯悊鍜屽嗳澶囷纴锘轰簬鍒嗙被镄勬暟鎹鎸栨帢鎶链锛屽纾甯稿兼娴嬶纴鍏宠仈锛岃仛绫汇
锘轰簬澶х幆澧冧笅镄勬暟鎹鐗圭偣锛屾寲鎺樻妧链涓庡瑰簲锛
1.鏁版嵁𨱒ユ簮澶, 澶ф暟鎹鎸栨帢镄勭爷绌跺硅薄寰寰涓嶅彧娑夊强涓涓涓氩姟绯荤粺, 镶瀹氭槸澶氢釜绯荤粺镄勮瀺钖埚垎鏋, 锲犳,闇瑕佸己澶х殑ETL鎶链, 灏嗗氢釜绯荤粺镄勬暟鎹鏁村悎鍒颁竴璧, 骞朵笖, 澶氢釜绯荤粺镄勬暟鎹鍙鑳芥爣鍑嗕笉钖, 闇瑕佹竻娲椼
2.鏁版嵁镄勭淮搴﹂珮, 鏁村悎璧锋潵镄勬暟鎹灏变笉鍙浼犵粺鏁版嵁鎸栨帢镄勯偅涓浜涚淮搴︿简, 鍙鑳芥垚锏句笂鍗幂淮, 杩欓渶瑕侀檷缁存妧链浜嗐
3.澶ф暟鎹閲忕殑璁＄畻, 鍦ㄥ崟鍙版湇锷″櫒涓婃槸璁＄畻涓崭简镄, 杩椤氨闇瑕佺敤鍒嗗竷寮忚＄畻, 镓浠ヨ佹帉鎻″悇绉嶅垎甯冨纺璁＄畻妗嗘灦, 镀廻adoop, spark涔嬬被, 闇瑕佹帉鎻℃満鍣ㄥ︿範绠楁硶镄勫垎甯冨纺瀹炵幇銆
鏁版嵁鎸栨帢锛氱洰鍓嶏纴杩橀渶瑕佹敼杩涘凡链夋暟鎹鎸栨帢鍜屾満鍣ㄥ︿範鎶链锛涘紑鍙戞暟鎹缃戠粶鎸栨帢銆佺壒寮傜兢缁勬寲鎺樸佸浘鎸栨帢绛夋柊鍨嬫暟鎹鎸栨帢鎶链锛涚獊镰村熀浜庡硅薄镄勬暟鎹杩炴帴銆佺浉浼兼ц繛鎺ョ瓑澶ф暟鎹铻嶅悎鎶链锛涚獊镰寸敤鎴峰叴瓒ｅ垎鏋愩佺绣缁滆屼负鍒嗘瀽銆佹儏镒熻涔夊垎鏋愮瓑闱㈠悜棰嗗烟镄勫ぇ鏁版嵁鎸栨帢鎶链銆
𨱍充简瑙ｆ洿澶氩ぇ鏁版嵁鎸栨帢鎶链锛岃峰叧娉–DA鏁版嵁鍒嗘瀽璇剧▼銆侰DA锛圕ertified Data Analyst锛夛纴鍗斥淐DA 鏁版嵁鍒嗘瀽钬濓纴鏄鍦ㄦ暟瀛楃粡娴庡ぇ鑳屾櫙鍜屼汉宸ユ櫤鑳芥椂浠ｈ秼锷夸笅锛岄溃钖戝叏琛屼笟镄勪笓涓氭潈濞佸浗闄呰祫镙艰よ瘉锛屾棬鍦ㄦ彁鍗囧叏姘戞暟瀛楁妧鑳斤纴锷╁姏浼佷笟鏁板瓧鍖栬浆鍨嬶纴鎺ㄥ姩琛屼笟鏁板瓧鍖栧彂灞曘傚浗瀹跺彂灞曟垬鐣ョ殑瑕佹眰锛屽矖浣崭汉镓岖殑缂哄彛浠ュ强甯傚満瑙勬ā镄勫甫锷锛岄兘浠庝笉钖屾柟闱浣撶幇浜嗘暟鎹鍒嗘瀽甯堣亴涓氱殑閲嶈佹с傚ぇ鏁版嵁鎸栨帢鎶链镄勫︿範锛屾湁鍒╀簬鎻愰珮浜哄湪镵屽満镄勪俊瑾夊害锛屽炲姞镵屽満绔炰簤锷涳纴鎻愰珮镊宸辩殑缁忔祹鍦颁綅銆镣瑰嚮棰勭害鍏嶈垂璇曞惉璇銆