这篇文章主要介绍Flume如何安装部署,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境
上传安装包到数据源所在节点上
然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz,最终解压到的位置是:/home/tuzq/software/apache-flume-1.6.0-bin
然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME
2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)
3、指定采集方案配置文件,在相应的节点上启动flume agent
vi netcat-logger.conf(这个是我们自己定义的采集方案的配置文件)
#定义这个agent中各组件的名字 ##表示agent中的source组件 a1.sources = r1 ##表示的是下沉组件sink a1.sinks = k1 ##agent内部的数据传输通道channel,用于从source将数据传递到sink a1.channels = c1 #描述和配置source组件:r1 ##netcat用于监听一个端口的 a1.sources.r1.type = netcat ##配置的绑定地址,这个机器的hostname是hadoop1,所以下面也可以配置成hadoop1 a1.sources.r1.bind = localhost ##配置的绑定端口 a1.sources.r1.port = 44444 #描述和配置sink组件:k1 a1.sinks.k1.type = logger ##描述和配置channel组件,此处使用时内存缓存的方式
以上是“Flume如何安装部署”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。