Solr 8.11入门教程(3)数据库导入数据

数据库导入数据

生产环境下我们一般需要从数据库中导入数据。

准备测试数据

建一个solrtest的表

CREATE TABLE `solrtest` (
 `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
 `name` varchar(255) DEFAULT NULL COMMENT '姓名',
 `age` tinyint(3) DEFAULT NULL COMMENT '年龄',
 `description` varchar(1000) DEFAULT NULL COMMENT '介绍',
 `createTime` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
 `updateTime` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8

导入几条数据

insert into `solrtest`(`id`,`name`,`age`,`description`,`createTime`,`updateTime`) values 
(1,'张三',21,'大家好，欢迎大家来到这里','2022-09-26 10:23:21','2022-09-26 10:23:24'),
(2,'李四',22,'欢迎欢迎','2022-09-26 10:23:27','2022-09-26 10:23:29'),
(3,'王五',23,'热烈欢迎','2022-09-26 10:23:37','2022-09-26 10:23:39');

配置导入处理器

官方文档上说，数据导入处理器9.0就会移除。这个功能将被合并到第三方插件dataimporthandler中。

The Data Import Handler is deprecated and will be removed in 9.0.

This functionality is being migrated to a new 3rd party plugin available at https://github.com/rohitbemax...

See the section Package Manager for information about Solr’s plugin framework.

—— 以上内容摘自官方文档：https://solr.apache.org/guide...

在solrconfig.xml中存在一些requestHandler，首先检查solrconfig.xml中是否存在名字为dataimport的requestHandler。
通过查询，如果没有发现名字为dataimport的requestHandler，则需要手动添加。为了以后便于维护此文件，我们就在requestHandler最后，约为1296行处，添加如下内容：

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
 <lst name="defaults">
 <str name="config">db-data-config.xml</str>
 </lst>
</requestHandler>

配置数据库导入文件

然后配置db-data-config.xml文件，下面以mysql为例，将mysql的jar包添加到server\solr-webapp\webapp\WEB-INF\lib目录或server\lib\ext目录下，注意先创建对应的表。
其中updateTimestamp为timeStamp格式的字段,name字段转换为solr中的dd字段。

~$ cd solr-8.11.2/server/solr/mytest/conf
~$ touch db-data-config.xml

<dataConfig>
 <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/test" user="root" password="123" />
 <document>
 <!-- deltaQuery返回值为id即${dih.delta.id}中的id，这两处名称需要一致 --> 
 <entity name="test" pk="id"
 query="select id,name as dd,age,description,createTime,updateTime from solrtest"
 deltaImportQuery="select id,name as dd from solrtest where id='${dih.delta.id}'"
 deltaQuery="select id from solrtest where updateTimestamp > STR_TO_DATE('${dih.last_index_time}','%Y-%m-%d %T')">
 <!-- name字段转换为solr中的dd字段 -->
 <field column="name" name="dd"/>
 </entity>
 </document>
</dataConfig>

• query是获取全部数据的SQL
• deltaImportQuery是获取增量数据时使用的SQL
• deltaQuery是获取pk的SQL

• parentDeltaQuery是获取父Entity的pk的SQL

  在conf文件夹下有个dataimport.properties文件，用来记录每个表（entity）索引最后更新的时间。

  Mon Sep 26 12:10:14 CST 2022

  test.last_index_time=2022-09-26 12\:10\:13
  last_index_time=2022-09-26 12\:10\:13

${dih.last_index_time} 可以在deltaQuery语句中使用，DIH（DataImportHandler）

这里需要注意的是tinyint(1)类型的字段导入时默认会转换为boolean类型的，这时需要使用mysql的convert(columnName,SIGNED)函数进行处理，其中第一个参数为需要转换的列，第2个参数为转换成的类型，这里使用SIGNED意思为整型

添加jar包

把用到的数据库驱动jar包（jdbc，自己准备）放到server/solr-webapp/webapp/WEB-INF/lib目录下，我这里用的是mysql-connector-java-8.0.29.jar

复制jar包

~$ cp solr-8.11.2
~$ cp dist/solr-dataimporthandler-8.11.2.jar server/solr-webapp/webapp/WEB-INF/lib

重启solr，然后就可以导入数据了

导入数据

执行成功后可以查询到

可以看到右侧已经有数据了。

参考文档

1. 官方文档