#
太平洋保险集团“家园项目”大数据平台DSG应用（oracle&kafka） 项目背景根据太平洋保险集团的IT建设规划，在2017年年底，需要完成“一个太保，共同的家园”项目（简称家园项目）
1、kafka 安装 安装JDK tar xvf jdk1.8.0_231.tar.gz -C /usr/local && cd /usr/local ln -sv jdk1.8
kafka是一个高吞吐速度的消息中间件，可以部署在廉价的主机上。速度快的原因有两个:1.从写数据方面:写入的数据按顺序写入到磁盘;memory mapped files磁盘读写的快慢取决于你怎么使用它
基于binlog的离线分析平台的一些初步实践 参考文档： http://quarterback.cn/%e9%80%9a%e8%bf%87kafka-nifi%e5%bf%ab%e9%80%9f%e6
用ELK打造强大的日志分析平台，具体拓扑结构如下：在这里我们将进行kafka+filebeat+ELK5.4的部署各软件版本jdk-8u131-linux-i586.tar.gz filebeat-5
Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化 ja
有序列化就会有反序列化，反序列化的操作是在Kafka Consumer中完成的，使用起来只需要配置一下key.deserializer和value.deseriaizer。对应上面自定义的Compan
Kafka为什么速度快、吞吐量大 Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高
部署Flume在Window环境中，Kafka部署在Linux上，从Flume发送事件到Kafka始终有一下错误，经过长时间在网上搜索终于把问题解决，解决办法1：修改kafka中配置项，#advert
1、启动：nohup ./bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &2、删除
