锐客网

  1. 首页 > 睿知 > it技术 > >

分词代码java 分词 java( 三 )

IT技术方法


Analyzer analyzer = new StandardAnalyzer();
Reader r = new StringReader(testString);
StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
System.err.println("=====standard analyzer====");
Token t;
while ((t = sf.next()) != null) {
System.out.println(t.termText());
}
} catch (Exception e) {
e.printStackTrace();
}
}
public static void testCJK(String testString) {
try {
Analyzer analyzer = new CJKAnalyzer();
Reader r = new StringReader(testString);
StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
System.err.println("=====cjk analyzer====");
【分词代码java 分词 java】Token t;
while ((t = sf.next()) != null) {
System.out.println(t.termText());
}
} catch (Exception e) {
e.printStackTrace();
}
}
public static void testChiniese(String testString) {
try {
Analyzer analyzer = new ChineseAnalyzer();
Reader r = new StringReader(testString);
TokenFilter tf = (TokenFilter) analyzer.tokenStream("", r);
System.err.println("=====chinese analyzer====");
Token t;
while ((t = tf.next()) != null) {
System.out.println(t.termText());
}
} catch (Exception e) {
e.printStackTrace();
}
}
public static String transJe(String testString, String c1, String c2) {
String result = "";
try {
Analyzer analyzer = new MIK_CAnalyzer();
Reader r = new StringReader(testString);
TokenStream ts = (TokenStream) analyzer.tokenStream("", r);
Token t;
while ((t = ts.next()) != null) {
result += t.termText() + ",";
}
} catch (Exception e) {
e.printStackTrace();
}
return result;
}
public static void main(String[] args) {
try {
String testString = "中文分词的方法其实不局限于中文应用分词代码java ， 也被应用到英文处理分词代码java，如手写识别分词代码java，单词之间的空格就很清楚分词代码java，中文分词方法可以帮助判别英文单词的边界";
System.out.println("测试的语句"+testString);
String sResult[] = transJe(testString, "gb2312", "utf-8").split(",");
for (int i = 0; isResult.length; i++) {
System.out.println(sResult[i]);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
jar包
lucene-analyzers-2.4.1.jar
lucene-core-2.4.1.jar
IKAnalyzer2.0.2OBF.jar
java语言中文分词程序怎么编写分词程序正现可以提供两种思路:
1.String或是StringBuffer(建议用) 中分词代码java的indexOf("中华")方法分词代码java，查找给定的的字符串中是否有给定词表中的词 。
2.借鉴编译原理中的状态装换的思想 。
先编写一个状态机分词代码java ， 用于测试给定字符串中的词是否满足词表中的内容 。
写在最后分词代码java：1)建议使用第一种方法，因为在java 内部实现的查找操作其实 和分词代码java你想得思路是相同的 ， 不过他的效率会高些 。
2)如果个人的编程能力比较强或是不考虑效率只是想实现专有的分词算法 。可以使用第二种方法 。
3)以上的两种方法都可以使用多线程来提高程序的效率 。
分词代码java的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于分词 java、分词代码java的信息别忘了在本站进行查找喔 。

推荐阅读


上一篇：电脑华硕启动怎么设置u盘启动不了，华硕电脑开机设置u盘启动

下一篇：如何添加会动的ppt，怎么做会动的ppt