温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

开源大数据索引项目hive-solr的示例分析

发布时间:2021-12-10 11:48:19 来源:亿速云 阅读:189 作者:小新 栏目:云计算

这篇文章主要介绍开源大数据索引项目hive-solr的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!



最新更新: 
(1)添加了对solrcloud集群的支持 
(2)修复了在反序列时对于hive中null列和空值的处理bug 
(3)优化了在构建索引时对于null值和空值的忽略 

一些测试: 

数据量:约一千二百万,8个字段,其中一个是大文本,2个是分词字段,索引前数据体积约20G 

索引总耗时:约15分钟 

索引后体积:每个shard约6G,共约18G 

Hive:限制最大并发map数为30个,怕影响Hbase服务,注意使用Hive建完索引后,需要手动commit一次,使内存索引flush到磁盘上 

批处理:每个map里面10万数据,批量处理提交一次,不commit,这个值根据情况设定,太大了容易solrcloud容易丢数据,太小了会影响速度 

solrcloud集群版本为5.1使用3台机器,每台一个shard,无副本,jetty的内存给了10G 

CPU:24核,注意大文本分词字段非常耗cpu 

solr的jvm参数调整: 
(1) 调大 SurvivorRatio 区占比,降低survivor区的内存空间 
(2)调小NewRatio区占比,增大新生代的内存空间 
(3)调大永久代MaxPermSize内存至256M 
(4)调整MaxTenuringThreshold=0 ,使大对象加速进入老年代,避免在survivor和eden区来回拷贝,使用YGC次数变多 
其他参数还是默认配置 

solr服务端配置: 
(1)关闭自动commit 
(2)设置ramBufferSizeMB为1000 ,约等1G 
(3)设置maxBufferedDocs等-1,禁用maxBufferDocs 
(4)设置mergeFactor为100 

以上是“开源大数据索引项目hive-solr的示例分析”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI