机器学习心得（三）——softmax回归

在上一篇文章中，主要以二分类为例，讲解了logistic回归模型原理。那么对于多分类问题，我们应该如何处理呢？当然，选择构建许多二分类器进行概率输出自然是一个不错的思路，但是softmax函数为我们解决多分类问题提供了一个更好的方法。记得上周看一篇讲RNN的博客时，看示意图一时没有想明白softmax层的意义所在，于是傻逼兮兮的请教了五道口某机器学习大佬，大佬一语道破天机，让我意识到了softmax层作为全连接层对隐层输出进行分类的功能所在（如下图，博主地址）。

softmax回归

如同logistic回归原理一样，均可以视为一种映射关系：x->z->y，只不过softmax回归是进行多分类的而已。下面给出softmax回归的假设函数。

我们的目的很简单，就是对于每一个输入的x，假设函数都能输出x属于每一个类别的概率。如图所示，右侧的函数构造即可满足我们的要求。其中，分母项是为了归一化，使得概率之和为1.

代价函数

值得一提的是，1{y(i) = j}的意思是指，当yi等于j时，值取1.

然而，这个代价函数通常会加入惩罚项，使其变成一个严格凸函数，易于迭代进行优化：

求导之后：

值得一提的是，在实际应用中经常使用最大似然与交叉熵作为其代价函数。

softmax函数于logistic函数的关系

logistic回归可以视为softmax进行二分类时的特例，即当类别数为2时，softmax 回归退化为 logistic 回归，由于数学学的不好，所以就不多推导了。

代码实现

好了，东西都已经讲完了，那么可以上代码了，当然，这次还是用tensorflow来做的。记得昨天老师居然很吃惊我的机器能跑tf，为了证明我的电脑真的很可以，所以这次我要用我的副电脑苏菲pro跑一波mnist数据。

# -*- coding: utf-8 -*-
"""
Created on Sun Apr  1 17:19:07 2018@author: DZF_zuishuai
"""import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data#导入mnist
mnist = input_data.read_data_sets("MNIST_data/", one_hot = True)x = tf.placeholder("float", [None, 784]) #
w = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x,w) + b)# loss
y_ = tf.placeholder("float", [None, 10])#定义交叉熵
cross_entropy = -tf.reduce_sum(y_*tf.log(y))# 随机梯度下降
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)# 初始化
init = tf.initialize_all_variables()# Session
sess = tf.Session()
sess.run(init)# 迭代
for i in range(1000):batch_xs, batch_ys = mnist.train.next_batch(100)sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})if i % 50 == 0:correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))print ("Setp: ", i, "Accuracy: ",sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))