imdict智能词典所采用的智能中文分词程序

imdict-chinese-analyzer 是 imdict智能词典 的智能中文分词模块，算法基于隐马尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中文分词程序的重新实现（基于Java），可以直接为lucene搜索引擎提供*简体中文*分词支持。 Apache Lucene的中文分词 Apache Lucene是java实现的一个高效的文本搜索引擎软件，它适用于几乎所有要求全文检索的应用项目，尤其是跨平台应用。对英文的处理已经非常完善，但在中文方面仍然非常欠缺，目前lucene的contribution中，中日韩语言只有一个分析器（cjk analyzer），还是按中日韩文字来逐个切分的，无论从索引效率还是搜索准确度上都很难符合要求。 为什么需要智能分词 中文与西方语言最大的区别就在于语句的词汇之间没有明显的分词界限，但是计算机自然语言处理是按词汇来进行分析的，因此中文分词的效果直接影响中文检索和自然语言处理的准确性。例如： “我购买了道具和服装”，如果采用比较简单的正向最大匹配算法，分词结果是“我 购买 了 道具 和服 装”，明显偏离了原句的意思；而采用基于HMM的智能分词模型，能够综合分析句子的结构、各个词的频率以及各个词汇之间的跳转频率，从而能产生最优化的分词结果：“我 购买 了 道具 和 服装” imdict-chinese-analyzer的特性 1. 完全Unicode支持 分词核心模块完全采用Unicode编码，无须各种汉字编码的转换，极大的提升了分词的效率。 2. 提升搜索效率 根据imdict智能词典的实践，在有智能中文分词的情况下，

chinese-analyzer
.classpath
.project
test.txt
src
org
apache
lucene
analysis
cn
SmartChineseAnalyzer.java
test