档案软件模糊检索不准？Elasticsearch分词配置实战

一、排查核心：分词器是根本原因

档案软件检索不准确，绝大多数情况是因为底层的搜索引擎（通常是Elasticsearch）在建立索引时，使用的分词器无法正确识别档案领域的专有名词。例如，输入“建设项目档案”，标准分词器可能会将其切分为“建设”、“项目”、“档案”三个词，导致用户搜索“建设项目”时无法精确匹配。要解决这个问题，必须更换为支持中文细粒度切分的IK分词器，并配置自定义词库。

二、第一步：安装IK分词器插件

在操作前，请确保你的Elasticsearch版本已安装。IK分词器的版本必须与Elasticsearch版本严格一致。以下以Linux环境、Elasticsearch 7.17.0版本为例，Windows环境请去bin目录执行对应bat文件。

1. 执行安装命令

进入Elasticsearch安装目录，执行以下插件安装命令：

cd /usr/share/elasticsearch
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.0/elasticsearch-analysis-ik-7.17.0.zip

2. 重启服务生效

安装完成后，必须重启Elasticsearch服务使插件生效：

systemctl restart elasticsearch

3. 验证插件是否加载

通过以下命令检查插件列表，确认analysis-ik已存在：

elasticsearch-plugin list

三、第二步：验证分词效果差异

在配置自定义词库前，先通过Kibana的Dev Tools或curl命令对比标准分词器与IK分词器的效果。这里测试句子：“XX市城市建设档案馆竣工文件”。

1. 使用标准分词器测试

GET /_analyze
{
"analyzer": "standard",
"text": "XX市城市建设档案馆竣工文件"
}

你会发现“档案馆”被拆成了“档案”和“馆”，导致搜索全称时匹配度下降。

2. 使用IK分词器测试

GET /_analyze
{
"analyzer": "ik_max_word",
"text": "XX市城市建设档案馆竣工文件"
}

IK分词器会输出更细粒度的词，如“城市建设”、“档案馆”、“竣工文件”。如果此时“XX市城市建设档案馆”仍被拆散，说明需要配置自定义主词库。

四、第三步：配置本地自定义词库

档案系统中存在大量特定名词（如“归档章”、“卷内备考表”），这些词默认会被拆开。我们需要将它们作为一个整体录入词库。

1. 创建自定义词典文件

进入IK分词器的配置目录（通常在plugins目录下），创建一个名为custom.dic的文件：

cd /usr/share/elasticsearch/plugins/analysis-ik/config
vim custom.dic

2. 录入专有名词

在文件中每行输入一个词，保存并退出。内容示例如下：

XX市城市建设档案馆
建设工程竣工档案
卷内备考表
归档章
电子文件归档

3. 修改IK配置文件

编辑同目录下的IKAnalyzer.cfg.xml文件，将自定义词典配置进去：

IK Analyzer 扩展配置

custom.dic

修改完成后，再次重启Elasticsearch服务：

systemctl restart elasticsearch

五、第四步：配置同义词与停用词

解决“搜‘合同’找不到‘协议’”的问题，需要配置同义词过滤器。这需要修改索引的Settings配置。

1. 创建同义词文件

在Elasticsearch的config目录下创建synonym.txt：

cd /usr/share/elasticsearch/config
vim synonym.txt

输入同义词规则，使用逗号分隔，=> 表示标准化映射：

合同,协议
电脑,计算机
档案,文件

2. 创建索引时指定分析器

以下是一个完整的索引创建JSON示例，包含了自定义分词器和同义词过滤器。请直接复制并在Kibana Dev Tools中执行：

PUT /archive_index
{
"settings": {
"analysis": {
"filter": {
"my_synonym_filter": {
"type": "synonym",
"synonyms_path": "synonym.txt"
}
},
"analyzer": {
"ik_synonym_analyzer": {
"type": "custom",
"tokenizer": "ik_max_word",
"filter": [
"my_synonym_filter"
]
}
}
}
},
"mappings": {
"properties": {
"title": {
"type": "text",
"analyzer": "ik_synonym_analyzer",
"search_analyzer": "ik_smart"
},
"content": {
"type": "text",
"analyzer": "ik_synonym_analyzer",
"search_analyzer": "ik_smart"
}
}
}
}

注意：这里将`analyzer`设为`ik_synonym_analyzer`以保证索引时包含同义词，`search_analyzer`设为`ik_smart`以保证搜索时的智能切分。

六、第五步：对现有数据进行重建索引

修改分词配置后，已有的数据不会自动更新分词结果，必须执行Reindex操作。这是让配置生效的关键一步，不可省略。

1. 创建临时索引

假设原索引名为`old_archive`，按照第五步的配置创建新索引`new_archive`。

2. 执行数据迁移

使用Reindex API将旧数据迁移到新索引并应用新的分词规则：

POST /_reindex
{
"source": {
"index": "old_archive"
},
"dest": {
"index": "archive_index"
}
}

观察返回结果中的`"total"`字段，确认所有文档已迁移。

3. 切换索引别名

为了避免修改前端代码，建议使用索引别名。将别名指向新索引：

POST /_aliases
{
"actions": [
{
"remove": {
"index": "old_archive",
"alias": "archive_production"
},
"add": {
"index": "archive_index",
"alias": "archive_production"
}
}
]
}

七、第六步：优化查询语句

即便分词配置正确，错误的查询语句也会导致结果不准。档案软件应使用`match`或`multi_match`查询，而不是`term`查询。

正确的查询示例：

GET /archive_production/_search
{
"query": {
"multi_match": {
"query": "建设协议",
"fields": ["title^2", "content"],
"operator": "and"
}
}
}

参数解释： `fields`: 指定搜索字段，`title^2`表示标题权重加倍。 `operator`: 设为`and`表示搜索词必须全部包含，提升准确率；设为`or`则提升召回率。档案检索建议根据场景动态调整。

八、常见问题排查

如果按照上述步骤操作后检索仍不准，请检查以下两点：

1. 文件编码问题

确保`custom.dic`和`synonym.txt`的文件编码必须是UTF-8。在Linux下可以使用`file -i filename`命令检查编码。如果编码不对，Elasticsearch会忽略该配置文件且不报错。

2. 权限问题

Elasticsearch运行用户（通常是elasticsearch）必须对config目录下的自定义文件有读取权限。执行以下命令修复权限：

chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/config/
chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/analysis-ik/