第五章 TensorFlow工具库（下）

01.TensorFlow与自定义预估器

1.1 预估器

预估器也是一种高级API，其优点为：

不必编写大量样板文件代码
灵活，模型允许替换默认行为
可以通过两种可能的方式构建模型：
预制预估器：预先定义的估算器，旨在生成特定类型的模型
自定义预估器：允许使用model_fn函数，可完全掌握模型的创建方式

1.2 自定义预估器

在之前的案例中我们使用了TensorFlow里面自带的深度神经网络分类器tf.estimator.DNNClassifier().这些TensorFlow自带的Estimator称为预制估算器Pre-made Estimator（预创制的Estimator）。

classifier = tf.estimator.DNNClassifier(feature_columns = feature_columns,hidden_units = [10,10],n_classes = 3,madel_dir = models_path,config = ckpt_config)

和自定义输入函数input_fn一样,TensorFlow允许我们自己创建更加灵活的Estimator，自定义Estimator是tf.estimator.Estimator()方法生成，和预制估算器一样使用。

1.2.1 结构概览

自定义Estimator应该具有DNNClassifier一样的功能

创建的时候接收一些参数，如feature_columns、hidden_units、n_classes等
具有train()、evaluate()和predict()三个方法来训练、评价和预测
则其语法格式为：

tf.estimator.Estimator(model_fn, # 模型函数mode_dir = None, # 存储目录config = None, # 设置参数对象params = None, # 超参数，将传递给model_fn使用warm_start_from = None # 热启动目录路径)

模型函数model_fn是唯一没有设置默认值得参数，它也是自定义Estimator最关键的部分，包含了最核心的算法。model_fn是一个能进行运算的函数，伪代码为：

my_model(feature, # 输入的特征数据lables, # 输入的标签数据mode, # train、evaluate、或predictparams # 超参数，对应上面Estimator传来的参数)

1.2.2 神经网络layers

下图model_fn运作流程，以iris为例。

从上图可以看到结构：

输入层Input Layer，数据从这里输入
隐藏层Hidden Layer，2层，每层包含多个节点，数据流经这里，被推测规律
输出层Output Layer，将推测结果整理显示
我们并不需要手工实现隐层的算法和工作原理，TensorFlow已经设计好了相关算法，我们只需要创建好网络层，并按顺序连接起来即可。

1.2.3 编写model_fn

如上例预制估算器DNNClassifier中的参数对应自定义Estimator的参数，这些参数都会被Estimator打包放在params超参数中，传递给model_fn，下面伪代码是在model_fn内创建网络层。

improt tensorflow as tf# 自定义模型函数
def my_model_fn(features,labels,model,params):# 输入层，feature_columns对应Classifier(feature_columns = ...)net  = tf.feature_column.input_layer(features,params['feature_columns'])# 隐藏层，hidden_units对应Classifier(unit = [10,10]),2层各含10个节点for units in params['hidden_units']:net = tf.layers.dense(net,units = units,activation = tf.nn.relu)# 输出层，n_classes对应3中鸢尾花logits = tf.layers.dense(net,params['n_classes'],activation = None)

1.2.4 训练(train)、评价（evaluate）和预测（predict）

训练：深度学习模型 = 模型表示 + 优化
评估：指标

tf.layer：op封装好的层次板块
tf.losses：损失函数板块
tf.train.AdamOptimizer：优化器板块
tf.metrics：评估指标板块
tf.summary：信息总结，给tensorflow作可视化积累日志文件
tf.estimator.EstimatorSpec：不同阶段返回的对象
- For mode == ModeKeys.TRAIN：required fields are loss and train_op.
- For mode == ModeKeys.EVAL：required fields are loss
- For mode == ModeKeys.PREDICT：required fields are predictions
  前面我们知道，自定义的估算分类器必须能够用来执行my_classifier.train()、my_classifier.evaluate()和my_classifier.predict()三个方法。但实际上，它们都是model_fn这个函数的分身，上面my_model中的mode包含train、evaluate和predict。示例代码

 my_model(...,...,"TRAIN",...) # 如果是"EVAL"就执行评价，"PREDICT"就执行预测

修改my_model代码来实现三个功能：

improt tensorflow as tf# 自定义模型函数
def my_model_fn(features,labels,model,params):# 输入层，feature_columns对应Classifier(feature_columns = ...)net  = tf.feature_column.input_layer(features,params['feature_columns'])# 隐藏层，hidden_units对应Classifier(unit = [10,10]),2层各含10个节点for units in params['hidden_units']:net = tf.layers.dense(net,units = units,activation = tf.nn.relu)# 输出层，n_classes对应3中鸢尾花logits = tf.layers.dense(net,params['n_classes'],activation = None)# 预测predicted_classes = tf.argmax(logits,1) # 预测的结果中最大值即种类if mode = tf.estimator.ModeKeys.PREDICT:predictions = {'class_ids': predicted_classes[:,tf.newaxis], # 拼成[[3],[2]]格式'probabilities':tf.nn.softmax(logits), # 把[-1.3,2.6,-0.9]规则化到0-1范围，表示可能性'logits':logits # [-1.3,2.6,-0.9]}return tf.estimator.EstimatorSpec(mode,predictions = predictions)# 训练if mode = tf.estimator.ModeKeys.TRAIN:# 优化函数，用来优化损失函数optimizer = tf.train.AdagradOptimizer(learning_rate = 0.1)# 执行优化train_op = optimizer。minimize(loss,global_step = tf.train.get_global_step())return tf.estimator.EstimatorSpec(mode,loss = loss,train_op = train_op)# 评价accuracy = tf.metrics.accuracy(labels = labels,predictions = predicted_classes,name = 'acc_op' # 计算精度)metrics = {'accuracy':accuracy}tf.summary.scalar('accuracy':accuracy[1]) # 可视化使用if mode = tf.estimator.ModeKeys.EVAL：return tf.estimator.EstimatorSpec(mode,loss = loss,eval_metric_ops = metrics)

注意，请将预测Predict放在最先编写，否则会引发后续错误。
则创建自定义分类器：

classifier = tf.eatimator.Estimator(model_fn = my_model, # 注意这里,调用my_modelparams = {'feature_columns':feature_columns,'hidden_units':[10,10],'n_classes':3,})

02.基于TensorFlow自定义CNN预估器

2.1 Estimator的优势

学习流程
- Estimator封装了对训练、评估和预测的控制，用户无需不断的为新的任务重复编写代码，可以专注于对网络结构的控制。
网络结构
- Estimator的网络结构在model_fn中独立定义的
- 用户创建的任何网络结构都可以在Estimator的控制下使用
- 可允许用户使用别人定义好的model_fn
数据导入
- Estimator的数据导入也是有input_fn独立定义的
- 可仅通过改变input_fn的定义，来使用相同的网络结构学习不同的数据

2.2代码详解

核心主要是Estimator的构建，其它的则是简单的CNN搭建，在此就不列出代码了（因为没有现成的，不想从视频中搬过来……）。

03.基于TensorFlow自定义RNN预估器

3.1 代码详解

核心主要是Estimator的构建，其它的则是简单的CNN搭建，在此就不列出代码了（因为没有现成的，主要不想从视频中搬过来……）。