使用IK分词器完成对分词器工具类的封装

以下是使用IK分词器完成对分词器工具类的封装的示例代码：

import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

import java.io.IOException;
import java.io.StringReader;
import java.util.ArrayList;
import java.util.List;

public class TokenizerUtils {

    public static List<String> tokenize(String text) {
        List<String> tokens = new ArrayList<>();
        StringReader reader = new StringReader(text);
        IKSegmenter segmenter = new IKSegmenter(reader, true);
        
        try {
            Lexeme lexeme;
            while ((lexeme = segmenter.next()) != null) {
                tokens.add(lexeme.getLexemeText());
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            reader.close();
        }
        
        return tokens;
    }

}

在这个示例代码中，我们封装了一个TokenizerUtils工具类，其中的tokenize方法使用了IK分词器对输入的文本进行分词，返回分词结果列表。

使用示例：

public class Main {

    public static void main(String[] args) {
        String text = "我爱中国";
        List<String> tokens = TokenizerUtils.tokenize(text);
        
        for (String token : tokens) {
            System.out.println(token);
        }
    }

}

输出结果：

我
爱
中国

以上代码完成了对IK分词器的封装，可以通过调用TokenizerUtils.tokenize(text)方法来实现分词功能