flume源码下载

A. flume 出现sink.AbstractRpcSink.start(AbstractRpcSink.java:294)] Unable to create Rpc client

1、到官方网上下载apache-flume-1.4.0-bin.tar.gz
2、解压安装包
tar -zxvf apache-flume-1.4.0-bin.tar.gz
3、配置环境变量
export FLUME_HOME=/root/install/apache-flume-1.4.0-bin
export PATH=$PATH:$FLUME_HOME/bin
4、让配置文件生效
source /etc/profile
5、编写一个测试案例
（1）在$FLUME_HOME/conf/目录下新建文件example-conf.properties，其内容如下

[python] view plain
<span style="font-size:18px;"><span style="font-size:18px;"># Describe the source
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1</span></span>
（2）在conf目录下新建一个源文件file-test.txt并向其中写入数据
[html] view plain
<span style="font-size:18px;"><span style="font-size:18px;">echo "hello world" >file-test.txt</span></span>
（3）启动agent代理

[html] view plain
<span style="font-size:18px;"><span style="font-size:18px;">flume-ng agent -n a1 -f example-conf.properties</span></span>

（4）另开一个窗口启动avro-client客户端向agent代理发送数据(以下的localhost目前照这个例子还不能写成ip地址)
[html] view plain
<span style="font-size:18px;"><span style="font-size:18px;">flume-ng avro-client -H localhost -p 44444 -F file-test.txt</span></span>

从上图输出结果可以看出avro-client客户端发来的数据已经被agent代理接收到，在本例中的配置中，设置的sink类型为logger，其输出结果会保存在日志中

B. 如何用Flume实现实时日志收集系统

方法/步骤 dell网站下载dset系统日志收集工具。尽量使用最新版本的dset工具。 双击开始运行，下一步。这个不是安装程序哦。 点NEXT接受协议后，您可以看到如下的这个界面：1.第一项，可以创建日志信息文件，将这个文件发邮件给戴尔技术工程师，或者您自行分析，可以帮助了解机器的运行状态。2.第二个选项安装DSET软件。3.第三个选项获取日志并且清除原有记录日志，可以解决状态灯不正常但机器使用正常的情况。 选择next（只选择第一个选项,其它的SKIP的都不要选择,否则会无法抓取到日志)。 运行后会看到如下界面，大约几分钟至十几分钟的时间。 日志收集后产生的文件名和保存的路径如下图红色部分.也可以通过搜索dset*.zip查找。 获得机器的日志压缩文件，解压密码为“dell”将此文件解压后，可以看到详细的硬件、系统信息。

C. Flume-ng如何实现监控一个文件变化的目录大神们帮帮忙

bg4.png
不需要修改源码这些里面flume对于监控目录的文件会自动上传，并且对于正在上传的这个文件会被重命名。所以你在追加内容，可能会产生问题。

D. 如何用maven编译flume的源码

方法 源码下载 http://www.neoye.com/3446.html apache-flume-1.5.2-src.tar.gz 解压至C盘根目录 建议放到C盘根目录中，测试时我是放到这里，其它目录不保证可以顺利通过，可参考测试。 运行mvn 进入c:\apache-flume-1.5.2目录

E. flume source 可以进行代码检验吗

这上面便是httpsource源码了，可以看到主要是5个类：HTTPBadRequestException，HTTPSource，，HTTPSourceHandler，JSONHandler。
分别的作用是：
HTTPBadRequestException：定义一些http异常，常用的比如404。
：主要定义一些source的常量，来自于配置文件。比如：port,host等等
HTTPSourceHandler：一个接口，作为handler模板。
JSONHandler：提供的默认实现Handler,选择是[“header”:,"body":]这种格式，笔者对此很不习惯，其实里面提供了好几种event模式，不知道为嘛要选择这种。
HTTPSource：这个就是主类了，里面有类似于main方法的start方法。
其实本质上httpSource就是一个嵌入了jetty的服务器，通过接受post请求（目前写死了只处理post请求）。将数据转换为event往下发。所以，修改很简单。
你只需要在添加一个contextPath参数：

F. 如何编译Flume-NG源码之最新1.5.2版本

方法

源码下载
http://www.neoye.com/3446.html apache-flume-1.5.2-src.tar.gz
解压至C盘根目录
建议放到C盘根目录中，测试时我是放到这里，其它目录不保证可以顺利通过，可参考测试。
运行mvn
进入c:\apache-flume-1.5.2目录，运行mvn install -DskipTests -Dtar注意：网上有其它参考材料说要先将注释掉hbase和hadoop-test相关的依赖，我没这样做，没问题。
可能根据环境不同有差异。不过大家遇到与hbase和hadoop-test相关的错误可以进行参考更正。
部分代码参考
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase</artifactId>
<version>${hbase.version}</version>
<classifier>tests</classifier>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-test</artifactId>
<version>${hadoop.version}</version>
</dependency>
典型问题1处理[重点]
1、error reading error in opening zip file
[ERROR] error: error reading
/org/elasticsearch/elasticsearch/0.90.1/elasticsearch-0.90.1.jar;
error in opening zip file
[ERROR] -> [Help 1]
出现这个错误可能是已经下载的这个jar存在问题。到本地库中找到对应的jar所在位置，然后将其删除，重新运行mvn命令可解决。以上这个错误不一定是elasticsearch的jar找不到，其他jar也可能出现这个问题。
典型问题2处理[重点]
flume-ng-morphline-solr-sink出现问题，对应的kite-morphline没有找到依赖。要使用这个flume-ng-morphline-solr-sink做些文章的，所以这里出问题必须解决。
[ERROR] Failed to execute goal on project flume-ng-morphline-solr-sink: Could no
t resolve dependencies for project org.apache.flume.flume-ng-sinks:flume-ng-morp
hline-solr-sink:jar:1.5.2: Failed to collect dependencies for [org.apache.flume:
flume-ng-core:jar:1.5.2 (compile), org.slf4j:slf4j-api:jar:1.6.1 (compile), org.
kitesdk:kite-morphlines-all:pom:0.12.0 (compile?), org.slf4j:jcl-over-slf4j:jar:
1.6.1 (provided), org.apache.solr:solr-test-framework:jar:4.3.0 (test), org.kite
sdk:kite-morphlines-solr-core:jar:tests:0.12.0 (test), junit:junit:jar:4.10 (tes
t)]: Failed to read artifact descriptor for org.kitesdk:kite-morphlines-all:pom:
0.12.0: Could not transfer artifact org.kitesdk:kite-morphlines-all:pom:0.12.0 f
rom/to cdh.repo (https://repository.cloudera.com/artifactory/cloudera-repos): Co
nnection to https://repository.cloudera.com refused: Connection timed out: conne
ct -> [Help 1]
提示的错误是连接cloudera的中央库超时了，看似是网络问题。其实解决了网络问题还有另外一个重大问题就是版本对应不上。查看了一下flume-ng-morphline-solr-sink的pom.xml文件，对应查找的kite.version是0.12.0版本。但其实cloudera的中央库上也没有这个版本了。所以解决办法是： A、将kite.version的版本改成0.15.0.修改进入源码根目录找到pom.xml文件，找到<kite.version>0.15.0</kite.version>将0.12.0修改成0.15.0 B、找到<dependenciesManagement>标签，将下面代码插入到dependency中。
<dependency>
<groupId>org.kitesdk</groupId>
<artifactId>kite-morphlines-all</artifactId>
<version>${kite.version}</version>
<exclusions>
<exclusion>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
</exclusion>
</exclusions>
<type>pom</type>
<optional>true</optional>
</dependency>
C:\apache-flume-1.5.2-src\flume-ng-sinks\flume-ng-morphline-solr-sink目录，打开pom.xml文件，将所有${kite.version}替换成0.15.0。上一步的目的是如果工程引用了org.kitesdk的话，则不使用这个版本。可以自定义其引用的版本。我在实际应用中就遇到了这两个主要的问题。当然其中还有一些主要是repository连接不上的问题（公司比较烂，网络有限制）。想各种办法从网上先down下来再上传到私服解决。最后提示”Build Success”编译成功了，见下图。

编译成eclipse工程
mvn eclipse:eclipse至此，使用eclipse导入工程即可进行开发了。
我这里还遇到了两个flume-dataset-sink的单体测试中有一个方法编译不过去的问题。因为我没用到这个sink所以也没去解决。另一个问题是可能在install时可能会遇到Missing artifact jdk.tools:jdk.tools:jar:1.6的问题。
解决办法：在flume-ng-morphline-solr-sink的pom.xml文件中添加一个依赖。
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.7</version>
<scope>system</scope>
<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
至于jdk的版本和系统路径根据实际的开发环境的环境变量而定，其他都没问题。

G. 如何编写Flume-ng-morphline-avro-sink

找到flume源码所在路径:
(C:\apache-flume-1.5.2-src\flume-ng-sinks)，拷贝一份flume-ng-morphline-solr-sink目录到同级文件夹，将目录名称修改成flume-ng-morphline-avro-sink。
2
修改flume-ng-morphline-avro-sink
目录下的pom.xml文件。修改<artifactId>标签中内容为flume-ng-morphline-avro-sink。修改<name>标签中内容为Flume NG Morphline Avro Sink。注释掉<properties>标签中的<solr.version>和<solr.expected.version>两个标签内容。因为是原Solr中的内容，这里用不到。
3
在eclipse中打开flume-ng-sinks/pom.xml文件
一、 在Overview标签页中的Moles点击Add，找到flume-ng-morphline-avro-sink并选中确定，将新建的morphline-avro-sink添加到Moles中。这样在该pom文件的“pom.xml”标签页中就可以看到多了一个flume-ng-morphline-avro-sink。

H. 《Flume构建高可用、可扩展的海量日志采集系统》pdf下载在线阅读，求百度网盘云资源

《Flume》（【美】Hari Shreedharan（哈里•史瑞德哈伦））电子书网盘下载免费在线阅读

链接：

书名：Flume

作者：【美】Hari Shreedharan（哈里•史瑞德哈伦）

译者：马延辉

豆瓣评分：7.2

出版社：电子工业出版社

出版年份：2015-8-1

页数：232

内容简介：

《Flume：构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解，分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时，分别讨论Source、Channel 和Sink 三种核心组件，不仅仅阐述每个组件的基本概念，而且结合实际的编程案例，深入、全面地介绍每个组件的详细用法，并且这部分内容也是整个Flume 框架的重中之重。之后，讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容，它们为Flume 提供灵活的扩展支持。最后，介绍了Flume 的高级使用，如何使用Flume 软件开发工具集（SDK）和Embedded Agent API，如何设计、部署和监控Flume 生产集群。

作者简介：

Hari Shreedharan是Cloudera的一名软件工程师，他工作于Apache Spark、Apache Flume和Apache Sqoop。他也是Flume项目的一个提交者和PMC成员，帮助项目的方向做决定。

I. 如何编译及运行flume源码

and the dog. "Is the water good?"

J. apache-flume-1.6.0-src.tar和apache-flume-1.6.0-bin.tar的区别

Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力