搜索结果: 1-4 共查到“计算机科学技术 自动分词”相关记录4条 . 查询时间(0.068 秒)
汉语文本自动分词算法的研究
自动分词 分词算法 字典 歧义切分
2010/1/28
分析了中文分词词典的机制，提出了一种改进的整词分词字典结构，并针对机械分词算法的特点，将其与概率算法相结合，探讨了一种中文自动分词概率算法。采用哈希及二分法对词典进行分词匹配。实验表明，该算法具有较高的分词效率和准确率，对于消去歧义词也有较好的性能。
面向中文自动分词的可扩展式电子词典研究
词典结构 自动分词 Hash
2009/7/14
在中文自动分词及词性标注系统中，电子词典是系统的重要组成部分，也是影响系统性能的重要因素之一。介绍了电子词典应该具备的查询功能及常用的组织结构，给出了一种结构为系统词典+用户词典的可扩展式电子词典机制。其系统词典是基于首字Hash散列的逐字二分词典结构，用户词典采用基于首字Hash散列的链接表词典结构，具有很强的扩展性和实用性。
利用覆盖歧义检测法和统计语言模型进行汉语自动分词
统计语言模型 覆盖歧义检测法 自动分词
2009/4/27
该文探讨了利用覆盖歧义检测法和统计语言模型进行汉语自动分词的问题。采用了多次迭代的方法来进行汉语词层面统计语言模型的训练。该方法能够得到更优化的语言模型。该文详细介绍了统计语言模型的训练过程,给出了语言模型复杂度随迭代次数增加而减小的实验结果。还给出了在不同的统计语言模型阶数下切分正确率变化的情况,分析了切分正确率变化的原因。
基于无指导学习策略的无词表条件下的汉语自动分词
汉语自动分词 无指导学习 汉字Bigram 互信息与t-测试的组合
2007/11/1
探讨了基于无指导学习策略和无词表条件下的汉语自动分词方法，以期对研制开放环境下健壮的分词系统有所裨益.全部分词知识源自从生语料库中自动获得的汉字Bigram.在字间互信息和t-测试差的基础上，提出了一种将两者线性叠加的新的统计量md，并引入了峰和谷的概念，进而设计了相应的分词算法.大规模开放测试结果显示，该算法关于字间位置的分词正确率为85.88%，较单独使用互信息或t-测试差分别提高了247%...