谈谈TensorFlow工业级别的API——Estimator

简介

正如TensorFlow的官网所示:TensorFlow 提供一个包含多个 API 层的编程堆栈其架构图如下。用户可以任意选择不同级别的API进行自己模型的构建。而本篇文章就最高级别的API——Estimator进行一个简短的介绍。

《谈谈TensorFlow工业级别的API——Estimator》

使用Estimator的流程大致如下:

  • 构建输入数据流
  • 定义特征列
  • 创建Estimator实例
  • 训练模型,进行预测

创建输入数据流

tf.data API 构建输入数据流的流程如下图所示。

《谈谈TensorFlow工业级别的API——Estimator》

大致分为三步:

  • 从数据源读入数据,api有 from_tensor_slices , from_generator 等。
  • 通过 tf.data.Dataset 中的函数处理读入数据,api有shuffle, repeat,batch等。
  • 生成一个数据流迭代器,api有 make_one_shot_iterator 等。

这里我们使用了 tf.data.Dataset.from_tensor_slices 函数读入数据。需要注意的是传给 tf.data.Dataset.from_tensor_slices 是一个第一维为字典,第二维为列表的元组,这里传入的这样数据格式是为了和Estimator中 feature_column 的输入格式对应。

定义特征列

这里通过 tf.feature_column.numeric_column 函数构建了Estimator中特征列,这里的 fea_col 要与输入数据流中的特征数据部分一致。

下图是 fea_col 的打印输出,key为x,shape为4的特征列和输入数据的 {"x":features} (features的维度为4)保持着一致。

《谈谈TensorFlow工业级别的API——Estimator》

创建Estimator实例

接着我们实例化的一个DNN分类器classifier。这里有4个重要的参数:

  • feature_columns即上一步定义的fea_col。
  • hidden_units很方便的帮我们构建了一个两层分别为10个神经元的神经网络。
  • model_dir定义的是模型checkpoint保存的位置,同时也会保存将tensorboard 可视化文件,方便可视化模型的结构和loss的走向。
  • n_classes定义类别。

下图是模型的结构图:

《谈谈TensorFlow工业级别的API——Estimator》

训练模型

接下来只需要把之前定义好的输入函数传给DNN分类器,同时定义好step,就可以将模型跑起来了。

下图是模型训练时的log记录。

《谈谈TensorFlow工业级别的API——Estimator》

接下来到项目文件夹下,运行 tensoboard --logdir ./model ,就可以通过localhost:6006访问到loss的可视化结果了,其效果如下图所示,loss咔咔往下掉,看起来效果还不错。

《谈谈TensorFlow工业级别的API——Estimator》

进行预测

这里通过 tf.estimator.inputs.numpy_input_fn() 函数构建预测数据的输入。需要传入三个参数:

  • x :很重要,数据格式与上面实例化Estimater中的 feature_columns 保持一致。
  • epoch:由于是预测,保持为 1就可以了。
  • shuffle :预测时保存为False 就可以了。

这里选择数据的前四个数据(label 都是0)做预测执行预测,调用 classifier.predict(predict_input_fn ) 就开始预测了。

下图是预测时的log日志,从日志中可以发现预测时使用的是模型的第7500步保存的模型。

《谈谈TensorFlow工业级别的API——Estimator》

预测结果如下图所示:预测结果4个预测数据的label都为0,全部预测正确。

《谈谈TensorFlow工业级别的API——Estimator》

结语

本篇文章,我们大致了解了如何使用tf.Estimater高级API,大致流程就是数据集的构建特征列的定义Estimater实例化,接下来就可以做模型的训练和预测了。唯一需要注意的是无论是训练时输入数据还是预测时的数据,其数据格式都要与特征列的格式保持一致。tf.Estimater极其适合工业生产应用,同时它也支持自己定义模型,所以不要忽视它的威力。

参考

https://tensorflow.google.cn/guide/premade_estimators

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注

1 × 2 =