论文研究基于信息熵理论的特征权重算法研究.pdf

文本表示是使用分类算法处理文本时必不可少的环节，文本表示方法的选择对最终的分类精度起着至关重要的作用。针对经典的特征权重计算方法TFIDF（TermFrequencyandInvertedDocumentFrequency）中存在的不足，提出了一种基于信息熵理论的特征权重算法ETFIDF（EntropybasedTFIDF）。ETFIDF不仅考虑特征项在文档中出现的频率及该特征项在训练集中的集中度，而且还考虑该特征项在各个类别中的分散度。实验结果表明，采用ETFIDF计算特征权重可以有效地提高文本分类性能，对ETFIDF与特征选择的关系进行了较详细的理论分析和实验研究。实验结果表