本篇内容介绍了“solr同步mysql的方法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
这里创建了一个表,加上了测试数据,注意这里有一个字段来记录更新时间 update_date
我们首先介绍全量同步,再介绍增量同步
我的 solr 版本是 7.5 的,new_core是我创建的 core,打开 solrconfig.xml,增加如下配置
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
然后在当前 conf 目录下创建 data-config.xml
<dataConfig>
<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.0.131:3306/hongone" user="root" password="***"/>
<document>
<entity name="ho_front_message" pk="id" transformer="DateFormatTransformer"
query="SELECT id, content,object_id,type,update_date,create_date FROM ho_front_message"
>
<field column="id" name="id"/>
<field column="object_id" name="objectId"/>
<field column="content" name="content"/>
<field column="type" name="type"/>
<field column="enable_flag" name="enableFlag"/>
<field column="update_date" name="updateDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
<field column="create_date" name="createDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
</entity>
</document>
</dataConfig
注意:修改 mysql 连接地址和数据库名和用户名和密码
entity 标签下
-name:表名
-pk:主键名
-query:查询语句,全量同步下会同步当前表中哪些数据
-field:表子段映射,注意时间格式
以上需要同步的表子段,需要配置到 managed-schema.xml ,对于已有的字段,不需要添加,例如 id 字段
<!--ho_front_message-->
<field name="type" type="string" indexed="true" stored="true"/>
<field name="objectId" type="string" indexed="true" stored="true"/>
<field name="enableFlag" type="string" indexed="true" stored="true"/>
<field name="createDate" type="pdate" indexed="true" stored="true"/>
<field name="updateDate" type="pdate" indexed="true" stored="true"/>
<!--ho_front_message-->
注意 type="pdate" 因为我的 solr 是7.5 版本的
选择 full-import 全量导入
勾选 clean 表示导入之前会清空数据
entity 选择我们在data-config.xml创建的
可以看到数据已经查询出来了
修改 data-config.xml
<dataConfig>
<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.0.131:3306/hongone" user="root" password="***"/>
<document>
<entity name="ho_front_message" pk="id" transformer="DateFormatTransformer"
query="SELECT id, content,object_id,type,update_date,create_date FROM ho_front_message"
deltaQuery="select id from ho_front_message where update_date > '${dih.last_index_time}'"
deltaImportQuery="select * from ho_front_message where id='${dih.delta.id}'"
deletedPkQuery="select id from ho_front_message where enable_flag='0'"
>
<field column="id" name="id"/>
<field column="object_id" name="objectId"/>
<field column="content" name="content"/>
<field column="type" name="type"/>
<field column="enable_flag" name="enableFlag"/>
<field column="update_date" name="updateDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
<field column="create_date" name="createDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
</entity>
</document>
</dataConfig>
deltaQuery:增量索引查询主键ID
deltaImportQuery:增量索引查询导入的数据
deletedPkQuery:此操作值查询那些数据库里伪删除的数据的ID(enable_flag=0的数据)
配置完后后,打开数据库修改其中一条记录的值和update_date
update ho_front_message set content='xxxx' ,update_date=now() where id='xxx'
导入增量数据,勾选 delta-import
再次查询看看增量数据是否正确
删除数据就是把某条数据的 enable_flag=0 ,再操作一下增量导入
“solr同步mysql的方法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!
亿速云「云数据库 MySQL」免部署即开即用,比自行安装部署数据库高出1倍以上的性能,双节点冗余防止单节点故障,数据自动定期备份随时恢复。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/u/3387320/blog/3078490