hadoop源码学习

㈠ Hadoop 请教学习顺序

虽然从事Hadoop方面工作，但是不是高手，毕竟只有一年经历而已。
分享下本人的学习经历吧。
了解Hadoop运行机制，可以学习Hadoop权威指南或者Hadoop实战；
了解Hadoop运行流程，看懂HADOOP_HOME/bin/下面主要执行脚本。
查看core-default.xml/hdfs-default.xml/mapred-default.xml等默认配置
文件，及core-site.xml/hdfs-site.xml/mapred-site.xml等相关文件，学会
如何进行参数优化，以及掌握如何配置读取压缩文件，默认的gzip，及
自定义的lzo，学会自定义Combiner/Patitioner等，掌握各种输入输出
格式的区别及应用场景，学会自定义输入输出格式，其次学习MapRece算法，
比如In-Map-Combing，相对频度计算，Pairs算法，Strips算法等。掌握好
maprece编程。
在这其中，需要好好阅读HADOOP_HOME/src/目录下的Hadoop源码，
这个就是开源最大的好处。说的比较乱，但是就凑合着借鉴下吧

㈡ hadoop hdfs 源码怎么看

在使用Hadoop的过程中，很容易通过FileSystem类的API来读取HDFS中的文件内容，读取内容的过程是怎样的呢？今天来分析客户端读取HDFS文件的过程，下面的一个小程序完成的功能是读取HDFS中某个目录下的文件内容，然后输出到控制台，代码如下：

[java] view plain
public class LoadDataFromHDFS {
public static void main(String[] args) throws IOException {
new LoadDataFromHDFS().loadFromHdfs("hdfs://localhost:9000/user/wordcount/");
}

public void loadFromHdfs(String hdfsPath) throws IOException {
Configuration conf = new Configuration();

Path hdfs = new Path(hdfsPath);

FileSystem in = FileSystem.get(conf);
//in = FileSystem.get(URI.create(hdfsPath), conf);//这两行都会创建一个DistributedFileSystem对象

FileStatus[] status = in.listStatus(hdfs);
for(int i = 0; i < status.length; i++) {
byte[] buff = new byte[1024];
FSDataInputStream inputStream = in.open(status[i].getPath());
while(inputStream.read(buff) > 0) {
System.out.print(new String(buff));
}
inputStream.close();
}
}
}

FileSystem in = FileSystem.get(conf)这行代码创建一个DistributedFileSystem，如果直接传入一个Configuration类型的参数，那么默认会读取属性fs.default.name的值，根据这个属性的值创建对应的FileSystem子类对象，如果没有配置fs.default.name属性的值，那么默认创建一个org.apache.hadoop.fs.LocalFileSystem类型的对象。但是这里是要读取HDFS中的文件，所以在core-site.xml文件中配置fs.default.name属性的值为hdfs://localhost:9000，这样FileSystem.get(conf)返回的才是一个DistributedFileSystem类的对象。 还有一种创建DistributedFileSystem这种指定文件系统类型对像的方法是使用FileSystem.get(Configuration conf)的一个重载方法FileSystem.get(URI uri, Configuration)，其实调用第一个方法时在FileSystem类中先读取conf中的属性fs.default.name的值，再调用的FileSystem.get(URI uri, Configuration)方法。

㈢ 大数据工程师需要学习哪些

大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学习大数据可以按照路线图的顺序，

学大数据关键是找到靠谱的大数据培训机构，你可以深度了解机构的口碑情况，问问周围知道这家机构的人，除了口碑再了解机构的以下几方面：

1.师资力量雄厚

要想有1+1>2的实际效果，很关键的一点是师资队伍，你接下来无论是找个工作还是工作中出任哪些的人物角色，都越来越爱你本身的技术专业大数据技术性，也许的技术专业大数据技术性则绝大多数来自你的技术专业大数据教师，一个好的大数据培训机构必须具备雄厚的师资力量。

2. 就业保障完善

实现1+1>2效果的关键在于能够为你提供良好的发展平台，即能够为你提供良好的就业保障，让学员能够学到实在实在的知识，并向大数据学员提供一对一的就业指导，确保学员找到自己的心理工作。

3. 学费性价比高

一个好的大数据培训机构肯定能给你带来1+1>2的效果，如果你在一个由专业的大数据教师领导并由大数据培训机构自己提供的平台上工作，你将获得比以往更多的投资。

希望你早日学有所成。

㈣ 有哪些好的hadoop学习资料

1."Hadoop.Operations.pdf.zip"http://vdisk.weibo.com/s/vDOQs6xMAQH62
2."Hadoop权威指南(中文版)(带书签).pdf"Hadoop权威指南(中文版)(带书签).pdf
3."[Hadoop权威指南(第2版)].pdf"[Hadoop权威指南(第2版)].pdf
4."hadoop权威指南第3版2012.rar"hadoop权威指南第3版2012.rar

5.《Hadoop技术内幕：深入解析HadoopCommon和HDFS.pdf"《Hadoop技术内幕：深入解析Hadoop Common和HDFS.pdf
6."Hadoop技术内幕：深入解析MapRece架构设计与实现原理.pdf"Hadoop技术内幕：深入解析MapRece架构设计与实现原理.pdf

7."Hadoop实战.pdf"Hadoop实战.pdf
8."Hadoop实战-陆嘉恒(高清完整版).pdf"Hadoop实战-陆嘉恒(高清完整版).pdf
9."Hadoop实战(第2版).pdf"Hadoop实战(第2版).pdf
10."HadoopinAction.pdf"Hadoop in Action.pdf

11"Hadoop in practice.pdf"Hadoop in practice.pdf
12"HadoopThe.Definitive.Guide,3Ed.pdf"Hadoop The.Definitive.Guide,3Ed.pdf
13."O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf"O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf

14."hadoop入门实战手册.pdf"hadoop入门实战手册.pdf
15."Hadoop入门手册.chm"Hadoop入门手册.chm

16."windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc"windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc
17"在Windows上安装Hadoop教程.pdf"在Windows上安装Hadoop教程.pdf

18."Hadoop源代码分析(完整版).pdf"Hadoop源代码分析(完整版).pdf
19."hadoop-api.CHM"hadoop-api.CHM

20."HBase-Hadoop@小米.pptx" HBase-Hadoop@小米.pptx
21."但彬-Hadoop平台的大数据整合.pdf"但彬-Hadoop平台的大数据整合.pdf

22."QCon2013-罗李-Hadoop在阿里.pdf"QCon2013-罗李
23."网络hadoop计算技术发展.pdf"网络hadoop计算技术发展.pdf
24."QCon-吴威-基于Hadoop的海量数据平台.pdf"QCon-吴威-基于Hadoop的海量数据平台.pdf
25."8步安装好你的hadoop.docx"8步安装好你的hadoop.docx
26."hadoop运维经验分享.ppsx"hadoop运维经验分享.ppsx

27."PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar"PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar
28."Hadoop2.0基本架构和发展趋势.pdf"Hadoop 2.0基本架构和发展趋势.pdf
29."Hadoop与大数据技术大会PPT资料.rar"Hadoop与大数据技术大会PPT资料.rar
30."Hadoop2011云计算大会.rar"Hadoop2011云计算大会.rar

㈤ Hadoop常见问题解答

Hadoop常见问题解答
（1）Hadoop适不适用于电子政务？为什么？
电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求，而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足，就需要借助海量数据处理平台，例如Hadoop技术，因此可以利用Hadoop技术来构建电子政务云平台。

总结一下，任何系统没有绝对的适合和不适合，只有当需求出现时才可以决定，在一个非常小的电子政务系统上如果没有打数据处理以及计算分析需求时就不需要hadoop这样的技术，而实际上，商用的电子政务平台往往涉及到大规模的数据和大量的计算分析处理需求，因此就需要Hadoop这样的技术来解决。（2）hadoop对于实时在线处理有优势吗？
直接使用hadoop进行实时处理时没有优势的，因为Hadoop主要解决的是海量批处理作业计算问题，但是可以使用基于Hadoop的分布式NOSQL系统HBase系统以及相关实时处理系统：
1. 基于Hadoop的HBase可以做到实时处理以及相关需求的实时计算，主要解决海量<key,value>相关查询计算等需求。
2. 可以考虑Spark计算，Spark是基于共现内存RDD的系统，比Hadoop更快，时候迭代式计算，例如数据挖掘，机器学习算法等。
3. 还有Storm，Storm是一个免费开源、分布式、高容错的实时计算系统，Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
4. 考虑S4， S4是Yahoo!在2010年10月开源的一套通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据（continuous unbounded streams of data）的应用。
你可以依据实际的需求来选择合适的系统。
（3）Hadoop存储海量数据没有问题，但是如何能够做到海量数据的实时检索？
1,可以结合开源的搜索引擎Apache Lucene，Solr 或ElasticSearch
2,海量数据的实时检索可以考虑HBase，建议可以使用hadoop将数据构建成以查询key为键的数据集，然后将<key, value>集合写入Hbase表中，Hbase会自动以key为键进行索引，在数十亿甚至以上的级别下，查询key的value响应时间也估计再10毫秒内。
如果检索条件是多个组合的情况下，可以适当的设计多个hbase表格，这样的检索也是很快的，同时Hbase也是支持二级索引。在符合条件下查询，Hbase也是支持MapRece的，如果对响应时间要求不高的情况下，可以考虑将hive和Hbase系统结合来使用。
如果数据量不是很大的情况下也可以考虑支持类似SQL的NOSLQ系统。
（4）能不能给点hadoop的学习方法以及学习规划，hadoop系统有点庞大，感觉无从学起?
首先搞清楚什么是hadoop以及hadoop可以用来做什么？
然后，可以从最经典的词频统计程序开始，初步了解MapRece的基本思路和处理数据的方式。
接着，就可以正式学习hadoop的基本原理，包括HDFS和MapRece，先从整体，宏观核心原理看，先别看源码级别。
进一步，就可以深入HDFS和MapRece和模块细节，这个时候可以结合源码深入理解，以及实现机制。
最后就是需要实战了，可以结合自己的项目或者相关需求来完成一些hadoop相关应用。
（5） 大的文件拆分成很多小的文件后，怎样用Hadoop进行高效的处理这些小文件？以及怎样让各个节点尽可能的负载均衡？
1. 怎样用Hadoop进行高效的处理这些小文件？
你这个问题提的很好，hadoop在处理大规模数据时是很高效的，但是处理大量的小文件时就会因为系统资源开销过大而导致效率较低，针对这样的问题，可以将小文件打包为大文件，例如使用SequcenFile文件格式，例如以文件签名为key，文件内容本身为value写成SequcenFile文件的一条记录，这样多个小文件就可以通过SequcenFile文件格式变为一个大文件，之前的每个小文件都会映射为SequcenFile文件的一条记录。
2. 怎样让各个节点尽可能的负载均衡？
在hadoop集群中负载均衡是非常关键的，这种情况的导致往往是因为用户的数据分布的并不均衡，而计算资源槽位数确实均衡分布在每个节点，这样在作业运行时非本地任务会有大量的数据传输，从而导致集群负载不均衡，因此解决不均衡的要点就是将用户的数据分布均衡，可以使用hadoop内置的balancer脚本命令。
对于因为资源调度导致的不均衡则需要考虑具体的调度算法和作业分配机制。
(6)c/c++ 程序员如何入门Hadoop到深入了解，并在Linux服务器上布置运用，有没有方向性的指导?
针对C/C++用户，Hadoop提供了hadoop streaming接口和pipes接口，hadoop streaming接口以标准输入和标准输出作为用户程序和hadoop框架交互的中间件，pipes这是专门针对C/C++语言的接口，以socket作为同学中介。
从使用上建议从streaming入手，pipes相比streaming问题比较多，而且pipes调试不容易。
(7)现在企业中使用Hadoop版本主要是1.x还是2.x？
目前网络，腾讯，阿里为主的互联网公司都是以hadoop 1.X为基准版本的，当然每个公司都会进行自定义的二次开发以满足不同的集群需求。
2.X在网络内部还没有正式使用，还是以1.X为主，不过网络针对1.X的问题开发了HCE系统（Hadoop C++ Expand系统）
补充，Hadoop2.x在其他公司应用的很多，比如京东
(8)以后想从事大数据方面工作，算法要掌握到什么程度，算法占主要部分吗?
首先，如果要从事大数据相关领域的话，hadoop是作为工具来使用的，首先需要掌握使用方法。可以不用深入到hadoop源码级别细节。
然后就是对算法的理解，往往需要设计到数据挖掘算法的分布式实现，而算法本身你还是需要理解的，例如常用的k-means聚类等。
(9)现在spark，storm越来越火，谷歌也发布了Cloud Dataflow，是不是Hadoop以后主要应该学习hdfs和yarn，而且以后Hadoop程序员的主要做的就是把这些东西打包，只提供接口让普通的程序员也能使用，就像Cloudera和Google一样?
这位同学，你多虑了，hadoop和spark, strom是解决不同的问题，不存在哪个好那个坏，要学习Hadoop还是以主流的hadoop-1.X为版本，2.X最主要的就是多了yarn框架，很好理解的。
如果你是hadoop本身研发建议都看，如果你是hadoop应用相关研发，看主流的1.X就行，我的书《Hadoop核心技术》是以主流的1.X为版本讲解的，有兴趣可以看看。
(10)小白问一句，大数据处理都是服务器上安装相关软件吗，对程序有什么影响呢，集群、大数据是属于运维的工作内容还是攻城狮的呢?
传统的程序只能运行在单机上，而大数据处理这往往使用分布式编程框架编写，例如hadoop maprece，只能运行在hadoop集群平台上。
运维的责任：保证集群，机器的稳定性和可靠性
hadoop系统本身研发：提高Hadoop集群的性能，增加新功能。
大数据应用：把hadoop作为工具，去实现海量数据处理或者相关需求。
(11)学习hadoop该怎么入手呢？应该做一些什么样的项目呢？
可以参考我上面的几个回答，可以从最简单词频统计程序入手，然后学习理解HDFS和MapRece的基本原理和核心机制，如果仅仅把Hadoop作为一个工具来使用的话这样就可以了，最重要的就是实战了，可以尝试使用Hadoop处理一些数据，例如做日志分析，数据统计，排序，倒排索引等典型应用。
(12)100个以上hadoop节点，一般怎么开发，运维？任务很多的情况下任务资源怎么分配，任务执行顺序是定时脚本还是别的什么方式控制?
1. 首先大数据的应用开发和hadoop集群的规模是没有关系，你指的是集群的搭建和运维吗，对于商用的hadoop系统来说涉及到很多东西，建议参考《hadoop核心技术》实战篇 “第10章Hadoop集群搭建 ” 章节。
2. 任务的分配是有hadoop的调度器的调度策略决定的，默认为FIFO调度，商业集群一般使用多队列多用户调度器，可以参考参考《hadoop核心技术》高级篇 “第9章Hadoop作业调度系统” 章节。
3. 任务的执行顺序是有用户控制的，你自然可以定时启动，也可以手动启动。
(13)基于Hadoop做开发，是否必须会使用Java，使用其他开发语言是否无法更好的融入整个Hadoop的开发体系?
基于Hadoop做开发可以使用任何语言，因为hadoop提高了streaming编程框架和pipes编程接口，streaming框架下用户可以使用任何可以操作标准输入输出的计算机语言来开发hadoop应用。
(14)在rece阶段老是卡在最后阶段很长时间，在网上查的说是有可能是数据倾斜，我想问这个有啥解决方法吗?
1,你这个就是数据倾斜啊 好多数据都集中在一个rece里 其他rece里分配的数据比较少 默认情况下决定哪些数据分配到哪个rece是由rece个数和partiiton分区决定的 默认是对key进行hash运算 一般情况下用mapreuce倾斜很少 除非你用的HIVE
2,rece分为3个子阶段：shuffle、sort和rece，如果rece整个过程耗时较长，建议先看一下监控界面是卡在哪个阶段，如果是卡在shuffle阶段往往是网络阻塞问题，还有就是某rece数据量太大，也就是你所说的数据倾斜问题，这种问题往往因为某个key的value太多，解决方法是：第一，默认的partiiton可能不适合你的需求，你可以自定义partiiton；第二就是在map端截断，尽量让达到每个rece端的数据分布均匀。
(15)非大数据的项目能否用hadoop?
非大数据项目是否可以用Hadoop的关键问题在于是否有海量数据的存储，计算，以及分析挖掘等需求，如果现有系统已经很好满足当前需求那么就没有必要使用Hadoop，没有必要使用并不意味这不能使用Hadoop，很多传统系统能做的Hadoop也是可以做的，例如使用HDFS来代替LINUX NFS，使用MapRece来代替单服务器的统计分析相关任务，使用Hbase代替Mysql等关系数据库等，在数据量不大的情况下通常Hadoop集群肯定比传统系统消耗更多的资源。
(16)hadoop maprece 和第三方资源管理调度系统如何集成？
Hadoop的调度器设计的一个原则就是可插拔式调度器框架，因此是很容易和第三方调度器集成的，例如公平调度器FairScheler和容量调度器CapacityScheler，并配置mapred-site.xml的maprece.jobtracker.taskscheler以及调度器本身的配置参数，例如公平调度器控制参数则需要编辑fair- scheler.xml进行配置，具体可以参考我的新书《Hadoop核心技术》实战篇第十章节10.11的集群搭建实例中的10.10.9 配置第三方调度器，同时可以进一步深入学习第9章 Hadoop作业调度系统，在这一章中会详细介绍各种第三方调度器以及使用配置方法。

㈥ Hadoop入门需要哪些知识

如果是掌握hadoop的使用，java基础好就可以，看看hadoop权威指南。
想深入学习源码的话，就需要些网络编程的知识了。

大讲台国内首个it在线自适应学习平台。中国的knewton，世界的自适应学习，网络“大讲台”。
具体步骤：
1.选择一个Hadoop的版本，然后阅读文档了解Hadoop：What's Hadoop, Why Hadoop exists；
2.安装Hadoop，三种方式都试下；
3.在Hadoop文档里面有Hadoop Command的资料，I.hdfs command，尽量试试这两方面的命令；
4.Hadoop Files，看看Hadoop文件的概念，关注它的分布式特点，然后看Rece函数输出文件；
5.自己写WordCount与Advanced WordCount；
6.写Sort程序；
7.使用RandomTextWriter；
8.模仿SequenceFileInputFormat、SequenceFileOutputFormat、写自己的；
9.yahoo有一个Hadoop的教程，英文版的，里面的内容很好；
10.《hadoop权威指南》当参考书，自己就可以实战了！

㈦ 如何通过eclipse查看，阅读hadoop2.4源码

1.导入查看hadoop源码

(1)选择Existing Projects into Workspace

(2)选择源码路径

(3)查看源码

这样我们就完成了全部的内容。

2.阅读hadoop源码

其中比较常用的：

Open Call Hierarchy：

用Open Call
Hierarchy可以查看方法的调用层次。如果想知道一个方法在别的什么地方被调用了，这个功能就很好用了，实际中也很常用，比如要重构一个方法时，想
知道他对其它什么地方可能有影响，就可以用这个功能。在方法名上点击右键，选择Open Type
Hierarchy即可，快捷键是Ctrl+Alt+H。可以在Call Hierarchy窗口看到方法的调用层次的导航。

Open Type Hierarchy：

用Open Type Hierarchy可以查看类的继承关系，可以在Hierarchy窗口看到继承层次的导航。在方法或类名上点击右键，选择Open
Type Hierarchy即可，快捷键是F4。

介绍完毕，这里在介绍一些其他的跟踪源码的方法：

1、 用Open Declaration可以查看类、方法和变量的声明。这是最常用的一个功能了，如果在要追踪的对象上点右键，选择Open
Declaration，可以跳转到其声明的地方。这个功能有个快捷键是F3，当然你也可以按住Ctrl键，鼠标移过去会变成一个小手，单击就可以了。

2、用Open Super
Implemention可以查看当前方法在父类中的实现或接口中的声明(前提是该方法是对父类或接口中相应方法的重写)，在方法名上点击右键，选择Open Super
Implemention即可。

3、 最后介绍一个超级好用的功能，叫Open
Implemention，就是可以跳转到某个调用的方法的具体实现的地方去。为什么说这个是超级好用呢?用过Spring的人都知道，现在都提倡面向接
口编程，所以，如果使用Open
Declaration来追踪一个方法的调用的话，只会看到该方法在接口中的声明，而看不该方法在具体类中的实现，当然，可以使用Call
Hierarchy先得到该方法的整个的调用层次，然后再导航到具体的实现处，但操作有些麻烦了。

有了Open Implemention，就可以直接看到实现的代码了，在方法名上点击右键，选择Open
Implemention就可以了!只是要享受这个功能，可安装一个Eclipse插件，这里就不在详细介绍了。

㈧ 大数据开发工程师要学习哪些课程

1.大数据工程师工作中会做什么？

集群运维：安装、测试、运维各种大数据组件
数据开发：细分一点的话会有ETL工程师、数据仓库工程师等
数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等
这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。
2.集群运维
数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。
因此这就要求数据工程师了解各种大数据的组件。
由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。
由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。
3. ETL
ETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapRece;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。
4.系统开发
我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。
需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。
如何入门？
前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。
1.了解行业情况
刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。
2.选择学习途径
如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。
在选择具体的学习途径时，要慎重一点，有几个选择：
自学
报班
找人指点
别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。
3.学习路线
学习路线，下面是一个大致的建议：
第一阶段
先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。
学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。
接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。
Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。
第二阶段
到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。
数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。
用户画像和特征工程：这一部分越早了解越好。
一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。
第三阶段
下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行
分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。
数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。
各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

㈨ hadoop 源代码 从哪里可以找到啊怎么下载，说详细一点谢谢

你可以用SVN软件在这里同步到最新的代码：
http://svn.apache.org/repos/asf/hadoop
其实你同步你研究领域的分支就可以了，全同步实在太大了。
SVN软件可以用Tortoise SVN，使用方法一下就可以了。
当然也可以到cloudera或Yahoo!的hadoop官网的download链接去下载。

㈩ 基于hadoop分布式云盘的页面怎么设计的

在学习了hadoop2.2一个月以来，我重点是在学习hadoop2.2的HDFS。即是hadoop的分布式系统，看了很久的源代码看的我真的想吐啊，感觉看源码还是没什么劲，于是心血来潮看到可网络的网盘挺有意思（其实我一直都在用网络的网盘)对里面的功能的实现很好奇，于是我就突发奇想，能不能用hadoop来做个呢？答案是肯定的。于是我就开始了，但是实际中，没有人用hadoop来做网盘，因为hadoop不适合存放小文件。当然办法总是有的，比如小文件可以存入HBase中。hadoop2.2.0这个版本与hadoop1的版本有不同，且在源码上也有很大的差别。引入了Yarn这个资源管理框架，目前YARN可以管理的资料类型包括了CPU和内存，未来可能会加入对磁盘和网络等类型的支持。目前YARN可以支持的框架包括：MapRece（批处理框架）、Storm（流式处理框架，项目为Stormon YARN，主要由Hortonworks在推进。正式版本未出但可用，yahoo和淘宝等在内部已经大规模使用）、Spark（内存处理框架，项目为Spark on YARN，主要由Cloudera在推进。正式版本未出但可用，淘宝等在内部也已经大规模使用）。
正在YARN上开发且未来比较靠谱的框架有：Tez（DAG框架，继承自MapRece，性能有巨大提升）、Hoya（将HBase运行在YARN上，主要由Hortonworks在推进）。
二、设计与实现

采用了Struts2+tomcat7+mysql+Ajax+hadoop2.2来部署架构整个系统。
2.1 架构

Struts2确实在网页的开发阶段比起单纯的jsp和servlet又更上一层楼。本人也只是了解Struts2那么一点。发现有项目驱动可能学习某个知识点更快，你们说呢？tomcat是众所周知的，用作web服务器。mysql在这里我只用作登录验证。Ajax则主要是负责在上传的时候显示进度条的作用。hadoop2.2主要提供HDFS分布式存储。并且用到了其相关的Jar。

其实无论是网络的网盘，还是360网盘，还是华为网盘，其无非都是类似于像Hadoop这样的做分布式存储，前台展现给客户。分布式存储有的是用openstack。还有的像淘宝的TFS，华为的自己开发的云端系统，华为OceanStor CloudStor CSS云存储等等吧。。
2.2 本系统实现的功能

（1）显示用户系统下所有文件列表
（2）实现上传、下载、重命名、删除文件功能
（3）实现客户端音频(多数格式的)音乐播放功能<暂不支持视频播放>
（4）实现在线图片预览的功能
（5）实现在线文本文档的浏览功能
三、Hadoop2.2分布式云盘的界面

1、欢迎页面

2、登录页面

3、系统主界面

4、文件上传界面

5、图片预览

6、音乐播放

7、文本预览

四、总结

作为研究生，本应该研究研究理论性的东西，说实话，理论这东西不读个博士什么的我个人觉得在短暂的这两年多时间里，可能研究不出什么玩意来。纯属个人意见，呵呵。这个系统还是有一些BUG的。以后有时间还的继续修改。我还是对大数据很感兴趣，但是如何操纵大数据呢？光靠Hadoop是远远不够的，还可以结合数据挖掘，数据仓库，算法等去捣鼓捣鼓可能有效。这个系统算作本人的个人作品吧，麻雀虽小，但还是五脏俱全。主要是一段时间不写点程序，有点不舒服的感觉。呵呵。另外我想说hadoop2源码太多了，哎，慢慢看吧，不结合实战练习的话，没多大效果我觉得。现在还有很多课要上，恩多论文要看。在过两个月，所有的课程终于结束了