机器学习算法总结3:k近邻法

k近邻法(k-NN)是一种基本分类与回归方法。算法思想:给定一个数据集,对新的输入实例,在训练数据集中找到与其最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为哪个类。 k近邻的特殊情况是k=1的情形,称为最近邻算法。 k近邻算法没有显式的学习过程。 1.模型:k近邻法使用的模型对应于对特征空间的划分。 k近邻法中,当训练集、k值、距离度量(如欧式距离)及分类决策规则确定后,对于任何一个新的输入实例,它所属的类唯一地确定。 模型的三个基本要素:k值的选择、距离度量以及分类决策规则。 (1)k值的选择 k值较小,意味着整体模型变得复杂,容易发生过拟合;k值较大,意味着整体模型变