Lenet神经网络实现

手写字体识别模型LeNet5诞生于1994年，是最早的卷积神经网络之一。LeNet5通过巧妙的设计，利用卷积、参数共享、池化等操作提取特征，避免了大量的计算成本，最后再使用全连接神经网络进行分类识别，这个网络也是最近大量神经网络架构的起点。虽然现在看来Lenet基本实际用处不大，而且架构现在基本也没人用了，但是可以作为神经网络架构的一个很好的入门基础。

Lenet神经网络架构图如下：

LeNet5由7层CNN（不包含输入层）组成，上图中输入的原始图像大小是32×32像素。下面分别介绍每一层的含义。

input: 在原始的架构中，神经网络的输入是一张 32*32的灰度图像，不过这里我们选用的dataset是cifar10，是RGB图像，也就是（32*32*3），3表示通道是3通道，即RGB三颜色。
conv1: 第一层是一个卷积层啦，卷积核(kernel size)大小 5*5,步长(stride)为 1 ，不进行padding，所以刚才的输入图像，经过这层后会输出6张 28*28 的特征图(feature map)。
maxpooling2: 接下来是一个降采样层，用的是maxpooling哦，stride为 2 , kernel size为 2*2 ，恩，所以很明显subsampling之后，输出6张 14*14的feature map。
conv3: 第三层又是一个卷积层，kernel size和stride均与第一层相同，不过最后要输出16张feature map。
maxpooling4:第四层，恩，又是一个maxpooling。
fc5：对，第五层开始就是全连接(fully connected layer)层了，把第四层的feature map摊平，然后做最直白的举证运算，输入是120个结点。
fc6：输出是84个结点。
output：我们的dataset是cifar10,刚好也是10类哦，所以就是接一个softmax分成10类。

下面是基于Keras的简单代码实现

import keras
import numpy as np
from keras import optimizers
from keras.datasets import cifar10
from keras.models import Sequential
from keras.layers import Conv2D, Dense, Flatten, MaxPooling2D
from keras.callbacks import LearningRateScheduler, TensorBoard
from keras.preprocessing.image import ImageDataGenerator
from keras.regularizers import l2batch_size    = 128
epochs        = 200
iterations    = 391
num_classes   = 10
weight_decay  = 0.0001
mean          = [125.307, 122.95, 113.865]
std           = [62.9932, 62.0887, 66.7048]def build_model():model = Sequential()model.add(Conv2D(6, (5, 5), padding='valid', activation = 'relu', kernel_initializer='he_normal', kernel_regularizer=l2(weight_decay), input_shape=(32,32,3)))model.add(MaxPooling2D((2, 2), strides=(2, 2)))model.add(Conv2D(16, (5, 5), padding='valid', activation = 'relu', kernel_initializer='he_normal', kernel_regularizer=l2(weight_decay)))model.add(MaxPooling2D((2, 2), strides=(2, 2)))model.add(Flatten())model.add(Dense(120, activation = 'relu', kernel_initializer='he_normal', kernel_regularizer=l2(weight_decay) ))model.add(Dense(84, activation = 'relu', kernel_initializer='he_normal', kernel_regularizer=l2(weight_decay) ))model.add(Dense(10, activation = 'softmax', kernel_initializer='he_normal', kernel_regularizer=l2(weight_decay) ))sgd = optimizers.SGD(lr=.1, momentum=0.9, nesterov=True)model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])return modeldef scheduler(epoch):if epoch < 100:return 0.01if epoch < 150:return 0.005return 0.001if __name__ == '__main__':# load data(x_train, y_train), (x_test, y_test) = cifar10.load_data()y_train = keras.utils.to_categorical(y_train, num_classes)y_test = keras.utils.to_categorical(y_test, num_classes)x_train = x_train.astype('float32')x_test = x_test.astype('float32')# data preprocessing  [raw - mean / std]for i in range(3):x_train[:,:,:,i] = (x_train[:,:,:,i] - mean[i]) / std[i]x_test[:,:,:,i] = (x_test[:,:,:,i] - mean[i]) / std[i]# build networkmodel = build_model()print(model.summary())# set callbacktb_cb = TensorBoard(log_dir='./lenet_dp_da_wd', histogram_freq=0)change_lr = LearningRateScheduler(scheduler)cbks = [change_lr,tb_cb]# using real-time data augmentationprint('Using real-time data augmentation.')datagen = ImageDataGenerator(horizontal_flip=True,width_shift_range=0.125,height_shift_range=0.125,fill_mode='constant',cval=0.)datagen.fit(x_train)# start train model.fit_generator(datagen.flow(x_train, y_train,batch_size=batch_size),steps_per_epoch=iterations,epochs=epochs,callbacks=cbks,validation_data=(x_test, y_test))# save modelmodel.save('lenet_dp_da_wd.h5')

Lenet神经网络实现相关推荐

LeNet 神经网络
文章目录 1. LeNet 简介 2. LeNet 的 PyTorch 实现 1. LeNet 简介 LeNet 原是 LeNet1 - LeNet5 这系列网络的合称,但现在所说的 LeNet ...
c语言实现图片卷积_卷积神经网络(CNN)Python的底层实现——以LeNet为例
本文介绍了如何使用Python从底层实现一个简单但经典的卷积神经网络结构--LeNet,并用它完成MNIST手写数字识别任务. 具体的完整代码以及代码的使用方法,可以光顾我的Github Profes ...
[人工智能-深度学习-33]：卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
Tensorflow系列 | TensorFlow 实战卷积神经网络之 LeNet
编译 | fendouai 编辑 | 安可 [导读]:前几篇文章中我们介绍了一些机器学习.深度学习入门资源项目合集,本篇则是对继五大卷积神经网络原理介绍之后的实战延续,同样来自fendouai老师.下 ...
NNDL 实验六卷积神经网络（3）LeNet实现MNIST 手动算子部分
手写体数字识别是计算机视觉中最常用的图像分类任务,让计算机识别出给定图片中的手写体数字(0-9共10个数字).由于手写体风格差异很大,因此手写体数字识别是具有一定难度的任务. 我们采用常用的手写数字识 ...
利用LeNet识别十种动物和水果
简介: ※利用经典的LeNet深度学习网络,可以完成对于智能车竞赛中智能视觉组对搬运物品分类的要求.虽然实际比赛中还会包含有五种交通工具,那么利用LeNet仍然是可以完成小类别的识别与定位的.仅仅使 ...
[Kaggle] Digit Recognizer 手写数字识别（卷积神经网络）
文章目录 1. 使用 LeNet 预测 1.1 导入包 1.2 建立 LeNet 模型 1.3 读入数据 1.4 定义模型 1.5 训练 1.6 绘制训练曲线 1.7 预测提交 2. 使用 VGG16 ...
TensorFlow神经网络（八）卷积神经网络之Lenet-5
一.Lenet神经网络基本结构 [注]内容来自MOOC人工智能实践TensorFlow笔记课程第七讲第2课注意,最后将第二池化层后的输出拉直送入全连接层. Lenet神经网络特点: ① 卷积.池化. ...
[Pytorch系列-35]：卷积神经网络 - 搭建LeNet-5网络与CFAR10分类数据集
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...

Lenet神经网络实现

Lenet神经网络实现相关推荐

最新文章

热门文章