本篇文章为大家展示了如何进行flume1.6.0 和kafka整合，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
一、启动kafka，使用默认配置
①启动zookeeper，bin/-server-start.sh -daemon config/server.properties
②启动kafka：bin/kafka-server-start.sh -daemon config/server.properties
③创建主题：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider
④启动消费者：bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning
二、配置flume并启动
flume的详细配置可以看我前面的关于flume的详细配置
将flume（1.6.0，自定义sink会在后面博客补充）的sink改为：
agent1.sinks.log-sink1.channel = ch2
agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink
agent1.sinks.log-sink1.topic = spider
agent1.sinks.log-sink1.brokerList = 192.168.57.133:9092
agent1.sinks.log-sink1.requiredAcks = 1
agent1.sinks.log-sink1.batchSize = 1
启动flume
三、测试
这里的测试类还是使用上一次log4j整合flume的例子，运行测试类，如果看到下面输出，则表示整合成功
上述内容就是如何进行flume1.6.0 和kafka整合，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
