Elasticsearch：如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本

共有 92 个国家和地区的代表队参加了去年的平昌冬奥会。共有 49 个国家和地区的代表队参加了去年的平昌冬季残奥会。 Elastic 的员工遍布全球 34 个国家/地区。在很多国家/地区内，很多人都会使用自己的母语撰写邮件。现在，您希望通过韩语关键字“올림픽대회”来搜索一封邮件。

https://www.elastic.co/guide/en/elasticsearch/guide/current/language-intro.html 对处理以多种语言编写的文档时会遇到的问题进行了说明，但其中所使用的示例大部分均为欧洲语言，也无需任何任何自定义插件。本文介绍了适用于韩文、日文和中文的自定义插件（语言分析工具），并且介绍了一种使用多字段来对多语言文本进行索引和查询的方法。

标准分析工具：默认分析工具

需要使用语言分析工具方能进行全文本搜索。默认情况下，均采用标准分析工具，然而其可能并非最佳选择，对中文、日文和韩文文本来说，尤为如此。我们在下面分别针对韩文、日文和中文提供了标准分析工具的应用示例。这些文字是关于平昌奥运会的节选。

韩文

POST _analyze
{"analyzer": "standard","text": "제23회 동계올림픽대회는 대한민국 강원도 평창에서 2018년 2월 9일부터 25일까지 17일간 개최됩니다. 대한민국 평창은 세 번의 도전 끝에 지난 2011년 7월 6일 열린 제123차 IOC 총회에서 과반 표를 획득하며 2018년 동계올림픽 개최지로 선정되었습니다. 이로써 대한민국에서는 1988년 서울 올림픽 이후 30년 만에, 평창에서 개∙폐회식과 대부분의 설상 경기가 개최되며, 강릉에서는 빙상 종목 전 경기가, 그리고 정선에서는 알파인 스키 활강 경기가 개최될 예정입니다."
}
=>
{"tokens": [{"token": "제23회","start_offset": 0,"end_offset": 4,"type": "<ALPHANUM>","position": 0},{"token": "동계올림픽대회는","start_offset": 5,"end_offset": 13,"type": "<HANGUL>","position": 1},
…

韩语是一种黏着性语言，名词（例如“동계올림픽대회”）后面通常都跟有后置词（例如“는”）。 若要实现更佳的搜索效果，应当将后置词分隔开来或者将其删掉，但是标准分析工具却无法做到这一点，因为它会将名词与后置词作为一个整体来看待。

日文

POST _analyze
{"analyzer": "standard","text": "第23回冬季オリンピック大会は大韓民国江原道平昌で2018年2月9日から25日までの17日間、開催されます。大韓民国・平昌は三度の挑戦の末、2011年7月7日に開かれた第123回IOC総会で過半数票を獲得し、2018年冬季オリンピック及びパラリンピックの開催地に選ばれました。これにより1988年ソウルオリンピック開催後30年の時を経てついに、大韓民国で最初の冬季パラリンピックの舞台が繰り広げられます。平昌で開・閉会式とほぼ全ての雪上競技が開催され、江陵では氷上種目全競技が、そして旌善ではアルペンスキー滑降競技が開催される予定です。"
}
=>
{"tokens": [{"token": "第","start_offset": 0,"end_offset": 1,"type": "<IDEOGRAPHIC>","position": 0},{"token": "23","start_offset": 1,"end_offset": 3,"type": "<NUM>","position": 1},{"token": "回","start_offset": 3,"end_offset": 4,"type": "<IDEOGRAPHIC>","position": 2},{"token": "冬","start_offset": 4,"end_offset": 5,"type": "<IDEOGRAPHIC>","position": 3},{"token": "季","start_offset": 5,"end_offset": 6,"type": "<IDEOGRAPHIC>","position": 4},{"token": "オリンピック","start_offset": 6,"end_offset": 12,"type": "<KATAKANA>","position": 5},{"token": "大","start_offset": 12,"end_offset": 13,"type": "<IDEOGRAPHIC>","position": 6},{"token": "会","start_offset": 13,"end_offset": 14,"type": "<IDEOGRAPHIC>","position": 7},{"token": "は","start_offset": 14,"end_offset": 15,"type": "<HIRAGANA>","position": 8},
…

日语也是一种黏着性语言，名词（例如“冬季オリンピック大会”）后面通常都跟有后置词（例如“は”）。 同理，若要实现更佳的搜索效果，应当将后置词分隔开来或者将其删掉，但是标准分析工具却无法做到这一点，因为它会将名词与后置词作为一个整体来看待。 更糟的是，日语名词形式不一，有的为日文汉字，有的为假名，但是标准分析工具却会将每个日文汉字字符作为一个单独的符号。

中文

POST _analyze
{"analyzer": "standard","text": "第23届冬季奥运会将于2018年2月9日-25日在韩国江原道平昌展开。韩国平昌在第三次申奥之后，于2011年7月6日召开的第123届国际奥委会全会上被选定为2018年冬季奥运会的主办地。由此，韩国自1988年举办首尔夏季奥运会以后，时隔30年，将首次举办冬季奥运会。该届冬奥会的开·闭幕式以及大部分的雪上运动将在平昌进行，而所有冰上运动将在江陵、高山滑雪滑降比赛则将在旌善进行。"
}
=>
{"tokens": [{"token": "第","start_offset": 0,"end_offset": 1,"type": "<IDEOGRAPHIC>","position": 0},{"token": "23","start_offset": 1,"end_offset": 3,"type": "<NUM>","position": 1},{"token": "届","start_offset": 3,"end_offset": 4,"type": "<IDEOGRAPHIC>","position": 2},{"token": "冬","start_offset": 4,"end_offset": 5,"type": "<IDEOGRAPHIC>","position": 3},{"token": "季","start_offset": 5,"end_offset": 6,"type": "<IDEOGRAPHIC>","position": 4},{"token": "奥","start_offset": 6,"end_offset": 7,"type": "<IDEOGRAPHIC>","position": 5},{"token": "运","start_offset": 7,"end_offset": 8,"type": "<IDEOGRAPHIC>","position": 6},{"token": "会","start_offset": 8,"end_offset": 9,"type": "<IDEOGRAPHIC>","position": 7},
...

同理，标准分析工具并不知道“冬季奥运会”的具体含义，会将所有字符分割开来，而不会将其视为一个整体。

针对具体语言的分析工具：自定义插件

借助适用于具体语言的分析工具，我们可以获得更佳的搜索体验。日文、中文和韩文的热门分析工具分别是 kuromoji、smartcn 和 openkoreantext-analyzer。您首先必须在每个节点上安装这些插件，然后才能运行下列示例。请注意：由于 openkoreantext-analyzer 未在 Elastic 仓库中进行托管，所以您必须使用完整的 URL，或者首先将其下载下来并进行安装。

韩文

POST _analyze
{"analyzer": "openkoreantext-analyzer","text": "제23회 동계올림픽대회는 대한민국 강원도 평창에서 2018년 2월 9일부터 25일까지 17일간 개최됩니다. 대한민국 평창은 세 번의 도전 끝에 지난 2011년 7월 6일 열린 제123차 IOC 총회에서 과반 표를 획득하며 2018년 동계올림픽 개최지로 선정되었습니다. 이로써 대한민국에서는 1988년 서울 올림픽 이후 30년 만에, 평창에서 개∙폐회식과 대부분의 설상 경기가 개최되며, 강릉에서는 빙상 종목 전 경기가, 그리고 정선에서는 알파인 스키 활강 경기가 개최될 예정입니다."
}
=>
{"tokens": [{"token": "제","start_offset": 0,"end_offset": 1,"type": "Noun","position": 0},{"token": "23회","start_offset": 1,"end_offset": 4,"type": "Number","position": 1},{"token": "동계올림픽","start_offset": 5,"end_offset": 10,"type": "Noun","position": 2},{"token": "대회","start_offset": 10,"end_offset": 12,"type": "Noun","position": 3},
...

现在，您可以看到所有后置词均已删除。

日文

POST _analyze
{"analyzer": "kuromoji","text": "第23回冬季オリンピック大会は大韓民国江原道平昌で2018年2月9日から25日までの17日間、開催されます。大韓民国・平昌は三度の挑戦の末、2011年7月7日に開かれた第123回IOC総会で過半数票を獲得し、2018年冬季オリンピック及びパラリンピックの開催地に選ばれました。これにより1988年ソウルオリンピック開催後30年の時を経てついに、大韓民国で最初の冬季パラリンピックの舞台が繰り広げられます。平昌で開・閉会式とほぼ全ての雪上競技が開催され、江陵では氷上種目全競技が、そして旌善ではアルペンスキー滑降競技が開催される予定です。"
}
=>
{"tokens": [{"token": "第","start_offset": 0,"end_offset": 1,"type": "word","position": 0},{"token": "23","start_offset": 1,"end_offset": 3,"type": "word","position": 1},{"token": "回","start_offset": 3,"end_offset": 4,"type": "word","position": 2},{"token": "冬季","start_offset": 4,"end_offset": 6,"type": "word","position": 3},{"token": "オリンピック","start_offset": 6,"end_offset": 12,"type": "word","position": 4},{"token": "大会","start_offset": 12,"end_offset": 14,"type": "word","position": 5},
...

所有后置词均已删掉，并且日文汉字并未被分解得支离破碎。

中文

POST _analyze
{"analyzer": "smartcn","text": "第23届冬季奥运会将于2018年2月9日-25日在韩国江原道平昌展开。韩国平昌在第三次申奥之后，于2011年7月6日召开的第123届国际奥委会全会上被选定为2018年冬季奥运会的主办地。由此，韩国自1988年举办首尔夏季奥运会以后，时隔30年，将首次举办冬季奥运会。该届冬奥会的开·闭幕式以及大部分的雪上运动将在平昌进行，而所有冰上运动将在江陵、高山滑雪滑降比赛则将在旌善进行。"
}
=>
{"tokens": [{"token": "第","start_offset": 0,"end_offset": 1,"type": "word","position": 0},{"token": "23","start_offset": 1,"end_offset": 3,"type": "word","position": 1},{"token": "届","start_offset": 3,"end_offset": 4,"type": "word","position": 2},{"token": "冬季","start_offset": 4,"end_offset": 6,"type": "word","position": 3},{"token": "奥运会","start_offset": 6,"end_offset": 9,"type": "word","position": 4},
...

您现在可以看到组成词语的各个汉字仍在一起，并未被继续分解。

现在，我们就可以分析韩文、日文和中文文本了。让我给您演示一下如何针对韩语、日语和中文文本进行索引和查询，详见如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 2 部分：多字段。