本文源自微信公众号【Python编程和深度学习】原文链接：机器学习系列(一)K-近邻算法(KNN，K-Nearest-Neighbor)，欢迎扫码关注鸭！

目录

一、算法概述
二、Python代码
三、Matlab 代码

一、算法概述

K-近邻算法是最简单的分类器，没有显式的学习过程或训练过程，是懒惰学习(Lazy Learning),数据集事先已经有了分类标签和数据特征值，对测试数据可以直接处理，其处理机制就是通过测量不同特征值之间的距离来进行分类，简单说就是如果测试样本在特征空间中的k个最邻近的样本中，大多数样本属于某个类别，则该测试样本也划分到这个类别，KNN里的K就是最邻近的K个数据样本。

要确定绿圆属于哪个类别，如果k=3，在其最近的3个样本中红色三角形数量最多，绿圆属于红色三角形类别，如果k=5，在其最近的5个样本中蓝色矩形数量最多，绿圆属于蓝色矩形类别，可见k的选择很重要。

当k很小时，结果很容易受噪声影响，容易发生过拟合。当k很大时，与测试样本差别很大的样本也会对预测结果产生影响，k通常取奇数，避免产生相等占比的情况。

我们在计算相邻样本的距离时一般采用欧式距离或者曼哈顿距离，公式如下：
欧式距离：
麦哈顿距离：
详细的算法过程：
1)计算测试数据与各个训练数据之间的距离；
2)按照距离的递增关系进行排序；
3)选取距离最小的K个点；
4)确定前K个点所在类别的出现频率；
5)返回前K个点中出现频率最高的类别作为测试数据的预测分类。
KNN的缺点：
当样本数据量很大时，需要大量的存储空间，而且计算距离也会耗时，不适用于随机分布的数据和样本不均衡的数据。

二、Python代码

#!/usr/bin/env python# -*- coding:utf-8 -*-import csvimport randomimport mathimport operator

# 加载数据集def loadDataset(filename, split, trainingSet = [], testSet = []):    with open(filename, 'r') as csvfile:        lines = csv.reader(csvfile)        dataset = list(lines)        for x in range(len(dataset)-1):            for y in range(4):                dataset[x][y] = float(dataset[x][y])            if random.random() #将数据集随机划分                trainingSet.append(dataset[x])            else:                testSet.append(dataset[x])

# 计算点之间的距离，多维度的def euclideanDistance(instance1, instance2, length):    distance = 0    for x in range(length):        distance += pow((instance1[x]-instance2[x]), 2)    return math.sqrt(distance)

# 获取k个邻居def getNeighbors(trainingSet, testInstance, k):    distances = []    length = len(testInstance)-1    for x in range(len(trainingSet)):        dist = euclideanDistance(testInstance, trainingSet[x], length)        distances.append((trainingSet[x], dist))   #获取到测试点到其他点的距离    distances.sort(key=operator.itemgetter(1))    #对所有的距离进行排序    neighbors = []    for x in range(k):   #获取到距离最近的k个点        neighbors.append(distances[x][0])        return neighbors

# 得到这k个邻居的分类中最多的那一类def getResponse(neighbors):    classVotes = {}    for x in range(len(neighbors)):        response = neighbors[x][-1]        if response in classVotes:            classVotes[response] += 1        else:            classVotes[response] = 1    sortedVotes = sorted(classVotes.items(), key=operator.itemgetter(1), reverse=True)    return sortedVotes[0][0]   #获取到票数最多的类别

#计算预测的准确率def getAccuracy(testSet, predictions):    correct = 0    for x in range(len(testSet)):        if testSet[x][-1] == predictions[x]:            correct += 1    return (correct/float(len(testSet)))*100.0def main():    #prepare data    trainingSet = []    testSet = []    split = 0.67    loadDataset(r'irisdata.txt', split, trainingSet, testSet)    print('Trainset: ' + repr(len(trainingSet)))    print('Testset: ' + repr(len(testSet)))    #generate predictions    predictions = []    k = 3    for x in range(len(testSet)):        # trainingsettrainingSet[x]        neighbors = getNeighbors(trainingSet, testSet[x], k)        result = getResponse(neighbors)        predictions.append(result)        print ('predicted=' + repr(result) + ', actual=' + repr(testSet[x][-1]))    print('predictions: ' + repr(predictions))    accuracy = getAccuracy(testSet, predictions)    print('Accuracy: ' + repr(accuracy) + '%')

if __name__ == '__main__':main()在实际使用时，可以用sklearn库，简单易用，例如

from sklearn import neighbors   //包含有kNN算法的模块knn = neighbors.KNeighborsClassifier()knn.fit(data, target)predictedLabel = knn.predict(testdata)

三、Matlab 代码

%% KNNclear allclc%% datatrainData = [1.0,2.0;1.2,0.1;0.1,1.4;0.3,3.5];trainClass = [1,1,2,2];testData = [0.5,2.3];k = 3;

%% distancerow = size(trainData,1);col = size(trainData,2);test = repmat(testData,row,1);dis = zeros(1,row);for i = 1:row    diff = 0;    for j = 1:col        diff = diff + (test(i,j) - trainData(i,j)).^2;    end    dis(1,i) = diff.^0.5;end

%% sortjointDis = [dis;trainClass];sortDis= sortrows(jointDis');sortDisClass = sortDis';

%% findclass = sort(2:1:k);member = unique(class);num = size(member);

max = 0;for i = 1:num    count = find(class == member(i));    if count > max        max = count;        label = member(i);    endenddisp('最终的分类结果为：');fprintf('%d\n',label)

部分转自：https://www.cnblogs.com/jyroy/p/9427977.html
https://www.cnblogs.com/ybjourney/p/4702562.html