深度学习|《Estimator工程实现》系列三（模型导出示例）深度学习|Tensorflow

【深度学习|《Estimator工程实现》系列三（模型导出示例）】本人原文简书博客地址为: https://www.jianshu.com/p/72058da4d7f7
使用场景利用estimator进行完模型训练后，我们需要将模型导出成pb文件，以便日后服务部署。在部署serving之前，我们需要先将模型导出成 standard SavedModel format。
利用estimator 进行模型导出，只需要指明模型的输入和输出，然后导出即可。主要涉及到的方法为：serving_input_receiver_fn(), export_outputs, tf.estimator.Estimator.export_savedmodel
博客中所构建代码，之后会上传至github中，方便大家使用estimator 进行模型导出服务。
1. serving_input_receiver_fn()官方API描述在训练期间，input_fn()摄取数据并准备供模型使用。在服务时，类似地， serving_input_receiver_fn()接受推理请求并为模型准备它们。此功能具有以下用途：

要向图表添加占位符，服务系统将使用推理请求进行提供。
添加将输入格式的数据转换Tensor为模型预期的功能所需的任何其他操作。

该函数返回一个tf.estimator.export.ServingInputReceiver对象，该对象将占位符和结果特征打包Tensor在一起。
2. serving_input_receiver_fn()实现示例 tensorflow 提供了好几种serving_input_fn()。在这里我使tf.estimator.export.ServingInputReceiver进行构建输入方法。
在代码中，features指代传入到model_fn()的 feature dict。也就是传入的特征字典。其中的images对应本人使用的模型中对应的images tensor。而receiver_tensors 指代我们要传入的数据字典。中间可以添加功能块，对传入的数据tensor进行处理，转换成model_fn中需要的feature。

def raw_serving_input_fn(): serialized_tf_example = tf.placeholder(tf.float32, shape=[None, FLAGS.train_image_size,FLAGS.train_image_size,3], name="images") features = {"images": serialized_tf_example} receiver_tensors = {'predictor_inputs': serialized_tf_example} return tf.estimator.export.ServingInputReceiver(features, receiver_tensors)

3. export_outputs官方API描述编写自定义时model_fn，必须填充返回值的export_outputs元素tf.estimator.EstimatorSpec。这是 {name: output}描述在服务期间要导出和使用的输出签名的单词。
在进行单个预测的通常情况下，此dict包含一个元素，并且它name是无关紧要的。在多头模型中，每个头部由该词典中的条目表示。在这种情况下name，您可以选择一个字符串，用于在服务时请求特定的头部。
每个output值必须是一个ExportOutput对象，例如 tf.estimator.export.ClassificationOutput，tf.estimator.export.RegressionOutput，或 tf.estimator.export.PredictOutput。
4. export_outputs实现示例订好好输出的字典后，我们需要将该输出字典传入到tf.estimator.EstimatorSpec的export_outputs,以确定该estimator的导出模型的输出内容。

predictions = {'pred_x_ratio': pred_x_ratio, 'pred_y_ratio': pred_y_ratio, 'pred_v': visiable_pre_argmax}output = {'serving_default': tf.estimator.export.PredictOutput(predictions)} if mode == tf.estimator.ModeKeys.PREDICT: return tf.estimator.EstimatorSpec( mode=mode, predictions=predictions, loss=None, train_op=None, export_outputs=output )

5. 执行模型导出通过export_savedmodel导出模型即可。

estimator.export_savedmodel(export_dir_base, serving_input_receiver_fn, strip_default_attrs=True)

6. 检查输出的模型结构进入导出的模型文件夹路径，通过官方提供的指令查看图输出结果

saved_model_cli show --dir . --all curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \ sudo apt-key add -

本人模型的输出图结果如下，对应着以上的输入输出定义结果。

MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:signature_def['serving_default']: The given SavedModel SignatureDef contains the following input(s): inputs['predictor_inputs'] tensor_info: dtype: DT_FLOAT shape: (-1, 384, 384, 3) name: images:0 The given SavedModel SignatureDef contains the following output(s): outputs['pred_v'] tensor_info: dtype: DT_INT64 shape: (-1, 24) name: Identity_2:0 outputs['pred_x_ratio'] tensor_info: dtype: DT_FLOAT shape: (-1, 24) name: Reshape_1:0 outputs['pred_y_ratio'] tensor_info: dtype: DT_FLOAT shape: (-1, 24) name: Reshape_2:0 Method name is: tensorflow/serving/predict

参考文档：
https://tensorflow.google.cn/versions/r1.9/guide/saved_model?hl=en#using_savedmodel_with_estimators