机器学习算法与Python实践之（一）k近邻（KNN）zouxy09@qq.comhttp://blog.csdn.net/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书的过程来学习了。 一、kNN算法分析
1.原理概述 K-近邻算法（KNN）概述 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。 KNN是通过测量不同特征值之间的距离进行分类。它的的思
kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。简单的分类就是待分类的数据与哪条已分类的数据相同，那么它们就属于同一个类别，但是现实中多数数据不可能完全相同，如果用这种方法，就可能导致待分类的数据找不到已经分类的相同的数据。 kNN算法从已经分类的数据中找到距离最接近的K个记录，然后取所占分类最多的那个类别。 实现的算法步骤：读取数据文件[1]，这里面包含测试集和训练集数据归一，主要是为了使每个属性对结果的影响相同从数据文
一、KNN算法概述：1.KNN算法的工作原理是：（1）存在一个训练样本集，并且知道样本集中每一数据与所属分类的对应关系，即每个数据都存在分类标签。 （2）若此时输入不带标签的新数据之后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后用算法提取出样本集中特征最相似数据的分类标签。 （3）最后，选择K个（可根据实际情况自由选择不大于20的整数）最相似数据中出现次数最多的分类，作为新数据的分类。2.KNN算法优缺点：（1）优点：精度高、对异常值不敏感、无数据输入假定。&n