统计与规则相结合的新词识别算法研究
新词识别问题的解决方案主要有两种,一种是基于概率统计的,另一种是基于规则的。本文在两者的基础上,实现统计与规则相结合的新词识别检测问题。首先从熟语料中构建N元组候选词库,然后对候选词库分别进行规则过滤,互信息过滤以及位置成词率过滤,再经过N元组重叠标记得到各自不同的新词表。最后综合三种方法,实现统计与规则相结合的新词识别算法,实验结果表明新词识别准确率达到88%。
用户评论
qq_31137 2018-12-18 16:33:21
坑爹啊,下下来是个sln文件!我还以为是篇文章,而且这文章刚我在网上搜到了,根本不值这5分好吧,差评