lucene-analyzers添加自定义词库

在Lucene中，`lucene - analyzers` 是用于文本分析的组件，添加自定义词库可以让分词器按照自定义的词汇进行分词。以 `IKAnalyzer` 为例，以下是添加自定义词库的步骤和代码示例。 步骤 1. 引入 `IKAnalyzer` 依赖。 2. 创建自定义词库文件。 3. 配置 `IKAnalyzer` 使用自定义词库。 代码示例 ```java import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.wltea.analyzer.lucene.IKAnalyzer; import java.io.IOException; import java.io.StringReader; import java.util.ArrayList; import java.util.List; public class CustomDictionaryExample { public static void main(String[] args) { // 创建使用自定义词库的IKAnalyzer实例 // true表示使用智能分词模式 Analyzer analyzer = new IKAnalyzer(true); // 待分词的文本 String text = "这是一个使用自定义词库的示例"; try { // 获取TokenStream TokenStream tokenStream = analyzer.tokenStream(null, new StringReader(text)); // 获取词元属性 CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class); // 重置TokenStream tokenStream.reset(); // 存储分词结果 List<String> tokens = new ArrayList<>(); // 遍历TokenStream while (tokenStream.incrementToken()) { // 将分词结果添加到列表中 tokens.add(charTermAttribute.toString()); } // 关闭TokenStream tokenStream.end(); tokenStream.close(); // 输出分词结果 System.out.println("分词结果: " + tokens); } catch (IOException e) { e.printStackTrace(); } finally { // 关闭分词器 analyzer.close(); } } } ``` 自定义词库配置 1. 在项目的 `resources` 目录下创建 `ext.dic` 文件，文件内容如下： ``` 自定义词库 ``` 2. 修改 `IKAnalyzer.cfg.xml` 文件（如果没有则创建），添加自定义词库配置： ```xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 扩展配置</comment> <!--用户可以在这里配置自己的扩展字典 --> <entry key="ext_dict">ext.dic</entry> <!--用户可以在这里配置自己的扩展停止词字典--> <entry key="ext_stopwords"></entry> </properties> ``` 依赖引入 如果使用Maven，在 `pom.xml` 中添加以下依赖： ```xml <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-analyzers-common</artifactId> <version>8.11.2</version> </dependency> <dependency> <groupId>com.janeluo</groupId> <artifactId>ikanalyzer</artifactId> <version>2012_u6</version> </dependency> ``` 我在以往的开发过程中，碰到过以下几点需要格外小心处理的地方： 1. 自定义词库文件的编码格式要与项目编码格式一致，否则可能会出现乱码问题。 2. 确保 `IKAnalyzer.cfg.xml` 文件的路径和配置正确，否则自定义词库不会生效。 3. 当使用完 `TokenStream` 后，要及时调用 `reset()`、`end()` 和 `close()` 方法，避免资源泄漏。 [2026-01-19 11:44:21 | AI写代码神器 | 865点数解答]