tensorflow笔记（曹健老师）：mnist数据集手写数字识别

分为三部分:前向传播，反向传播，数据测试。适应一下简单的结构化编程

第一部分：前向传播（mnist_forward.py）

#前向传播，两层神经网络
import tensorflow as tf
import numpy as np
input_data = 784
output_data = 10
layer_data = 50
def get_weight(shape,reg):w = tf.Variable(tf.truncated_normal(shape = shape,stddev=0.1))if reg != None: tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(reg)(w))return w
def get_bais(shape):b = tf.Variable(tf.zeros(shape))return b
def forward(x,reg):w1 = get_weight([input_data,layer_data],reg)b1 = get_bais([layer_data])y1 = tf.nn.relu(tf.matmul(x,w1)+b1)w2 = get_weight([layer_data,output_data],reg)b2 = get_bais(output_data)y = tf.matmul(y1,w2)+b2return y

第二部分：反向传播(mnist_backward.py)

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import mnist_forward
import osbatch_size = 200
learning_rate_base = 0.1
learning_rate_decay = 0.99
regularizer = 0.0001
steps = 50000
moving_average_decay = 0.99
model_save_path = "./model/"
model_name = "mnist_model"def backward(mnist):x = tf.placeholder(tf.float32,[None,mnist_forward.input_data])y_ = tf.placeholder(tf.float32,[None,mnist_forward.output_data])y = mnist_forward.forward(x,regularizer)global_step = tf.Variable(0,trainable=False)ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))cem = tf.reduce_mean(ce)loss = cem + tf.add_n(tf.get_collection('losses'))learning_rate = tf.train.exponential_decay(learning_rate_base,global_step,mnist.train.num_examples/batch_size,learning_rate_decay,staircase=True)train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step = global_step)ema = tf.train.ExponentialMovingAverage(moving_average_decay,global_step)ema_op = ema.apply(tf.trainable_variables())with tf.control_dependencies([train_step,ema_op]):train_op = tf.no_op(name='train')saver = tf.train.Saver()with tf.Session() as sess:init = tf.global_variables_initializer()sess.run(init)for i in range(steps):xs,ys = mnist.train.next_batch(batch_size)_,loss_value,step = sess.run([train_op,loss,global_step],feed_dict={x:xs,y_:ys})if (i+1) % 1000 == 0:print('after %d steps,loss on training batch is %g' %(step,loss_value))saver.save(sess,os.path.join(model_save_path,model_name),global_step = global_step)
def main():mnist = input_data.read_data_sets("./data/", one_hot=True)backward(mnist)
if __name__ == '__main__':main()

部分训练结果：

第三部分：进行测试(mnist_test.py)

#coding utf-8
import time
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import mnist_forward
import mnist_backward
test_interval_secs = 5def test(mnist):with tf.Graph().as_default() as g:x = tf.placeholder(tf.float32,[None,mnist_forward.input_data])y_ = tf.placeholder(tf.float32,[None,mnist_forward.output_data])y = mnist_forward.forward(x,None)ema = tf.train.ExponentialMovingAverage(mnist_backward.moving_average_decay)ema_restore = ema.variables_to_restore()saver = tf.train.Saver(ema_restore)correct_prediction = tf.equal(tf.arg_max(y,1),tf.arg_max(y_,1))accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))while True:with tf.Session() as sess:ckpt = tf.train.get_checkpoint_state(mnist_backward.model_save_path)if ckpt and ckpt.model_checkpoint_path:saver.restore(sess,ckpt.model_checkpoint_path)global_step = ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1]accuracy_store = sess.run(accuracy,feed_dict={x:mnist.test.images,y_:mnist.test.labels})print("after %s training steps,test accuary = %g"%(global_step,accuracy_store))else:print('no checkpoint found')time.sleep(test_interval_secs)
def main():mnist = input_data.read_data_sets("./data/",one_hot=True)test(mnist)
if __name__=='__main__':main()

部分测试结果（反向传播与test函数同时执行）：

代码是在pycharm中执行的：

数据下载到data文件中，模型保存到model文件夹中（并不会全部保存，而是会保存最后更新的几个模型）

tensorflow笔记（曹健老师）：mnist数据集手写数字识别相关推荐

[Pytorch系列-41]：卷积神经网络 - 模型参数的恢复/加载 - 搭建LeNet-5网络与MNIST数据集手写数字识别
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
MNIST数据集手写数字识别
1 数据集介绍 MNIST 包括6万张28x28的训练样本,1万张测试样本,很多教程都会对它"下手"几乎成为一个 "典范",可以说它就是计算机视觉里面的Hell ...
Python深度学习之分类模型示例，MNIST数据集手写数字识别
MNIST数据集是机器学习领域中非常经典的一个数据集,由60000个训练样本和10000个测试样本组成,每个样本都是一张28 * 28像素的灰度手写数字图片. 我们把60000个训练样本分成两部分,前 ...
MNIST数据集手写数字识别（一）
MNIST数据集是初步学习神经网络的很好的数据集,也是拿来教学,不可多得的好教材,有很多知识点在里面.官网下载地址,可以自己手动下载,当然也可以通过下面的代码自动下载[urllib.request(3 ...
MNIST数据集手写数字识别（二）
上一篇对MNIST数据集有了一些了解,数据集包含着60000张训练图片与标签值和10000张测试图片与标签值的数据集,数据集有了,现在我们来构造神经网络,预测下对这测试的10000张图片的正确识别率, ...
PyTorch：MNIST数据集手写数字识别
MNIST 包括6万张28x28的训练样本,1万张测试样本,很多教程都会对它"下手"几乎成为一个 "典范",可以说它就是计算机视觉里面的Hello World. ...
MNIST数据集手写数字识别（CNN）
基于tensorflow+RNN的MNIST数据集手写数字分类
2018年9月25日笔记 tensorflow是谷歌google的深度学习框架,tensor中文叫做张量,flow叫做流. RNN是recurrent neural network的简称,中文叫做循环 ...
MNIST数据集手写数字分类
参考 MNIST数据集手写数字分类 - 云+社区 - 腾讯云目录 0.编程环境 1.下载并解压数据集 2.完整代码 3.数据准备 4.数据观察 4.1 查看变量mnist的方法和属性 4.2 对 ...

tensorflow笔记（曹健老师）：mnist数据集手写数字识别

tensorflow笔记（曹健老师）：mnist数据集手写数字识别相关推荐

最新文章

热门文章