基于最优互信息的特征选取

电子信息和通信论文基于最优互信息的特征选取摘要本文提出一种新的多层神经网络的特征提取的方法。基于所提出的每个特征的评价函数值,此方法能够给出所有特征的排序。该方法在人造数据集和真实数据集上进行了实验。实验结果表明OMI能够准确地高效地在各种数据集上鉴别出最优特征集。关键词特征选取;特征排序;神经网络;多层神经网络1引言随着信息科学技术的快速发展,在工业界和学术界有着更复杂和更大的多变量建模问题。研究人员发现当不相关和冗余的特征向量剔除之后,模式识别技术的性能将显着的提高。由此,特征提取成为了数据预处理和数据挖掘技术的重要的步骤之一。具体来讲,特征提取有助于在线计算,加强系统的可读性,以及提高系统的预测性能。一般来讲,特征选择有两大步骤:计算评价函数值和特征子集搜寻[1]。评价函数要能反映出特征向量与数据类信息的匹配度信息,以及分类器性能变化的信息。而就特征子集搜寻来讲,为了避免繁冗的无遗漏搜寻,一些被大多数学者认可的搜寻方法被广泛采用,例如:前向选择,后向删除,双向搜寻等等[2]。与完全搜寻和随即搜寻相比,这三种顺序的搜寻方法都能简单而快速的执行。在构造输入数据和输出数据的复杂映射方面,由于多层神经网络(MLP)的卓越性能,因而MLP被广泛的采用。本文采用MLP来作为分类器,来展示各种特征选取方法在各个数据集上的分类性能。2最优互信息根据Shannon信息理论,一个随机变量C的不确定性可以由熵H(C)来估计。对于两个随机变量X和C,条件熵可以估计当变量X已知时,变量C的不确定性。而互信息可以估计变量C和变量X的相互依赖性。从而,H(C),和三者有如下的关系[3]:,等价于(1)训练分类模型的目的是最小化已知训练数据与类属性数据的不