温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

CDH4,lily,hbase solr indexer增量更新失败的一种情形解决办法

发布时间:2020-06-30 13:40:43 来源:网络 阅读:1045 作者:wisyou 栏目:关系型数据库

运维监控到消息无法增量更新索引。经定位发现hbase solr indexer未生效。

 

以前测试环境下通常是因为这个hbase-solr-indexer进程当掉了造成的。但是这一次不一样。

 

检查sepimpl的源码,发现它是伪装了一个HbaseRegionServer,把自己作为slave,然后借助HBasereplication机制,让log复制过来。它再通过write ahead log获取增量更新内容。

 

猜测是这种机制被断掉了。检查zookeeper

ls /ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

发现这个记录

[datanode10.bjpuc1.quanshi.com,50475,1428377032454]

 

检查hbase

ls /hbase/rs

[datanode8.app.company.com,60020,1427557044871,datanode3.app.company.com,60020,1428140476654, datanode6.app.company.com,60020,1427557034896,datanode10.app.company.com,60020,1427557054164,datanode1.app.company.com,60020,1427556940973,datanode7.app.company.com,60020,1427557039934,datanode4.app.company.com,60020,1427557024791, datanode9.app.company.com,60020,1427557048966,datanode2.app.company.com,60020,1427557014498,datanode11.app.company.com,60020,1427557059497,datanode5.app.company.com,60020,1427557029513]

 

 

因此怀疑两者的同步出现问题。于是让君福帮助重建了一次增量更新配置。办法是删除原来的hbase-solr-indexer的配置,再重新add-indexer。

ls/ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

[datanode10.app.company.com,2074,1428455398626]

 

问题得到解决。


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI