个人技术分享

大数据面试题之Flume

kafka作为flume的source，扮演生产者角色。kafka作为flume的sink，扮演消费者角色。可见Kafka集成flume生产者成功。可见Kafka集成flume消费者成功。往被监控文件输入数据。查看Kafka消费者。查看flume监控台。

由此可见当我们操作hive的时候 hive.log 就更新,由于我们监控了hive.log文件所以当有新数据追加到hive.log的时候 就会监听到 并打印到控制台。参数-n 表示jvm进程名 -c表示本次启动读取的配置文件conf目录下的文件 -f 表示具体执行的文件。a1.channels.c1.capacity = 1000 #1000个event。【2】创建文件 flume-taildir-hdfs.conf。#记录最后监控文件的断点的文件，此文件位置可不改。#文件的滚动与 Event 数量无关。

吐血整理，亲身体验

/键入implements Interceptor{} 光标定位到Interceptor alt + enter键选择导入类导入flume的Interceptor即可 import org.apache.flume.interceptor.Interceptor;打开四个窗口，前三个分别运行flume1.conf、flume2.conf、flume3.conf 配置的进程。注意位置是将来打包文件存放的位置，即我们打包好的文件在这/export/data个目录下寻找。# 接收c1中的数据。