参考：《机器学习实战》- Machine Learning in Action

一、 必备的包

实现此算法需要准备以下的包：

• matplotlib，用于绘图

• numpy，数组处理库

我一般是用pip安装，若不熟悉这些库，可以搜索一下它们的简单教程。

二、 基本思想

假设存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签。输入测试数据后，通过采用测量不同特征值之间的距离进行分类，即挑选前k个最相似的样本数据。最后，选择k个最相似数据中出现次数最多的分类，作为测试数据的分类结果。

伪代码：

计算已知类别数据集中的点与当前点的距离；

按照距离递增次序排序；

选取与当前点距离最小的k个点；

确定前k个点所在类别的出现频率；

返回频率最高的类别作为预测分类。

一般而言，计算距离会采用欧式距离。

三、 代码

背景：有一个约会网站，交往对象总结下来可以分成三种类型：不喜欢的人，魅力一般的人，极具魅力的人。若提供了样本为，三个特征：每年获得的飞行常客里程数，玩视频游戏所耗百分比，每周消费的冰淇淋升数，以及给出所属的类型。

样本文件为：datingTestSet.txt

代码如下：

# -*- coding:utf-8 -*-

from numpy import *

import matplotlib

import matplotlib.pyplot as plt

#---简单的二维分类器---#

def createDataSet():

group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

labels = ['A','A','B','B']

return group, labels

def classify0(inX, dataSet, labels, k):

dataSetSize = dataSet.shape[0] #得到行数

diffMat = tile(inX, (dataSetSize,1)) - dataSet #沿维度重复

sqDiffMat = diffMat**2 #矩阵每个元素平方

sqDistances = sqDiffMat.sum(axis=1) #将每行相加

distance = sqDistances**0.5 #开方

sortedDistIndicies = distance.argsort()

classCount = {}

for i in range(k):

voteIlabel = labels[sortedDistIndicies[i]]

classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

sortedClassCount = sorted(classCount.items(), \

key=lambda item:item[1], reverse=True) #参数1是可迭代对象，参数2表示用第2个域的值，参数3表示降序

return sortedClassCount[0][0]

#---社交网络分类---#

#文件处理

def file2matrix(filename):

fr = open(filename)

arrayOfLines = fr.readlines()

numberOfLines = len(arrayOfLines)

returnMat = zeros((numberOfLines, 3))

classLabelVector = []

index = 0

for line in arrayOfLines:

line = line.strip()

listFromLine = line.split('\t')

returnMat[index,:] = listFromLine[0:3]

if listFromLine[-1].startswith('large'):

classLabelVector.append(3)

elif listFromLine[-1].startswith('small'):

classLabelVector.append(2)

else:

classLabelVector.append(1)

index += 1

return returnMat, classLabelVector

#对数据进行归一化处理

def autoNorm(dataSet):

minVals = dataSet.min(0) #得到每个特征的最小值

maxVals = dataSet.max(0) #得到每个特征的最大值

ranges = maxVals - minVals

normDataSet = zeros(shape(dataSet))

m = dataSet.shape[0] #得到行数

normDataSet = dataSet - tile(minVals, (m,1))

normDataSet = normDataSet/tile(ranges, (m,1))

return normDataSet, ranges, minVals

#对模型进行测试

def datingClassTest():

hoRatio = 0.10

datingDataMat, datingLabels = file2matrix('datingTestSet.txt')

normMat, ranges, minVals = autoNorm(datingDataMat)

m = normMat.shape[0]

numTestVecs = int(m*hoRatio)

errorCount = 0.0

for i in range(numTestVecs):

classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:], \

datingLabels[numTestVecs:m],3)

print "the classifier came back with: %d, the real answer is: %d" \

% (classifierResult, datingLabels[i])

if classifierResult != datingLabels[i]:

errorCount += 1.0

print "the total error rate is: %f" % (errorCount/float(numTestVecs))

#约会网站预测函数

def classifyPerson():

resultList = ['not at all', 'in small doses', 'in large doses']

PercentTats = float(raw_input('PercentTats of time spent playing video games?'))

ffMiles = float(raw_input('frequent flier miles earned per year?'))

iceCream = float(raw_input('liters of ice cream consumed per year?'))

datingDataMat, datingLabels = file2matrix('datingTestSet.txt')

normMat, ranges, minVals = autoNorm(datingDataMat)

inArr = array([ffMiles, PercentTats, iceCream])

classifierResult = classify0((inArr - minVals)/ranges, normMat, datingLabels, 3)

print "You will probably like this person: ", \

resultList[classifierResult - 1]

if __name__ == '__main__':

#datingClassTest()

#classifyPerson()

testVector = img2vector('testDigits/0_13.txt')

print testVector[0,0:31]