【分类器】- KNN

一、分类算法中的学习概念

因为分类算法都是有监督学习，故分为以下2种学习。

1、急切学习：在给定的训练元组之后、接受到测试元组之前就构造好分类模型。

算法有：贝叶斯、基于规则的分类（决策树）、向后传播分类、SVM（支持向量机）、基于关联规则挖掘的分类。

2、懒惰学习：直到给定一个测试元组才开始构造分类模型。也称为基于实例的学习法。

算法有：KNN。

二、KNN的特点

优点：实现方便、支持增量学习、能对超多边形的复杂决策空间建模

缺点：计算量开销大、大规模存储支持。

三、KNN算法原理

非常简单、就是在测试元组中找和训练元组向量空间上最接近的K个点中，类别最多的那个分类。

向量空间距离无非那么几种：欧式、闵科夫斯基、曼哈顿等。

四、KNN算法的细节

1、注意属性在向量空间的规范化、规范化公式和聚类[0,1]规范化公式一样。

2、比较的属性如果是2元变量或者分类变量，设定好差值。（注意最大差区间仍要在规范化空间内部）

3、确实属性值的处理：

① 分类（2元变量）变量直接设置差值为规范化空间的最大值。

② 数值类型属性若：

Ⅰ：2个元组对应属性均缺失，差值直接为规范化空间最大值。

Ⅱ：如果只有一个缺失，另一个取值为V，则距离差值为|1-V| 和

|0-V| 的最大值（即Max（|规范化空间的上下界-V|））

4、确定K的值：通过对样本的实验（多次和人工结合），取出误差最小的分类结果。

5、对噪声的处理：在训练的过程中对噪声的元组直接Kill掉。

五、KNN算法的单机实现

1、准备训练数据、对数据预处理和训练：（具体实验和人工干预具体分析）

2、存储训练数据的结果

3、预处理测试数据

4、通过训练数据得到参数K

5、维护一个大小为K的PriorityQueue用于存储最近的KNNNode

6、随机从训练元组中选出K个元素计算好测试元素和这个训练元素的距离并且记录训练元组的组编号放入优先队列（优先堆）中。

7、遍历整个训练元组数据集合，如果测试距离小于优先队列的对头元素的距离。则移除对头、并且压入这个新的KNNNode，然后从新保持优先队列顺序。

8、遍历完成后，计算最大的分组的组号。则测试元组属于这个分组。

六、KNN算法的分布式实现

MAHOUT源码稍后补充。

转载于:https://www.cnblogs.com/lixusign/archive/2012/06/13/2548242.html

【分类器】- KNN相关推荐

python分类器knn、svm_[转载]MatLab分类器大全(svm,knn,随机森林等)
train_data是训练特征数据, train_label是分类标签. Predict_label是预测的标签. MatLab训练数据, 得到语义标签向量 Scores(概率输出). 1.逻辑回归( ...
python-k近邻分类器-KNN
K近邻分类器,通过计算待分类数据点,与已有数据集点的所有数据点的距离.取距离最小的前K个点,根据"少数服从多数"的原则,将这个数据点划分为出现次数最多的那个类别. sklean库s ...
【cs231n作业笔记】一：KNN分类器
安装anaconda,下载assignment作业代码作业代码数据集等2018版基于python3.6 下载提取码4put 本课程内容参考: cs231n官方笔记地址贺完结!CS231n官方笔记授 ...
matlab中的分类器使用小结（SVM、KNN、RF、AdaBoost、Naive Bayes、DAC）
1.前言目前了解到的MATLAB分类器有:K近邻,随机森林,朴素贝叶斯,集成学习方法,鉴别分析,支持向量机.现将其主要函数使用方法总结如下,更多细节需参考MATLAB 帮助文件. 设: 训练样本:t ...
初学者教程：KNN分类器
作者|Rashida Nasrin Sucky 编译|VK 来源|Towards Data Science KNN分类器是一种非常流行的监督机器学习技术.本文将用一个例子来解释KNN分类器什么是监督 ...
KNN 分类算法原理代码解析
作者 | Charmve 来源 | 迈微AI研习社 k-最近邻算法是基于实例的学习方法中最基本的,先介绍基x`于实例学习的相关概念. 基于实例的学习已知一系列的训练样例,很多学习方法为目标函数建立起 ...
通过KNN算法，确定球星的风格（很水）
KNN算法,故名思议,K个最邻近值的分类算法.监督学习中的一种,典型的懒人算法,通过计算所有的预测样本到学习样本的距离,选取其中K个最小值加入样本组中,样本组中的样本隶属于那个分类的个数最多,那么我们 ...
knn实战：如何对手写数字进行识别？
在 Python 的 sklearn 工具包中有 KNN 算法.KNN 既可以做分类器,也可以做回归. 如果是做分类,你需要引用: from sklearn.neighbors import KNei ...
[机器学习-sklearn] KNN(k近邻法)学习与总结
KNN 学习与总结引言一,KNN 原理二,KNN算法介绍三, KNN 算法三要素 1 距离度量 2. K 值的选择四, KNN特点 KNN算法的优势和劣势 KNN算法优点 KNN算法缺点五 ...
knn算法java版_KNN算法的实现详解
#!/usr/bin/env python #-*-coding:utf-8-*- #knn 的具体实现 import csv import random import math import ope ...

【分类器】- KNN

【分类器】- KNN相关推荐

最新文章

热门文章