中文信息处理中的分词问题

在中文信息处理的众多应用领域中, 从最底层的键盘、 语音和字符识别等各类 汉字输入方法, 到最高层的各种汉语理解系统, 都不可能完全摆脱汉语文本分词处理的困 扰。 分词问题已成为当前中文信息处理的一个瓶颈。 没有一种公认的分词标准, 是人和 计算机共同面临的困难。 如果在这个问题上不能尽快达成共识, 那么在词表和带标注的 语料库等重要信息资源上就不可能做到共享与复用, 势必造成重复开发的严重浪费。 当 务之急是制定一份与分词规范相配合的汉语通用词表。