简介
正如TensorFlow的官网所示：TensorFlow 提供一个包含多个 API 层的编程堆栈其架构图如下。用户可以任意选择不同级别的API进行自己模型的构建。而本篇文章就最高级别的API——Estimator进行一个简短的介绍。
使用Estimator的流程大致如下：
- 构建输入数据流
- 定义特征列
- 创建Estimator实例
- 训练模型，进行预测
创建输入数据流
tf.data API 构建输入数据流的流程如下图所示。
大致分为三步：
- 从数据源读入数据，api有 from_tensor_slices ， from_generator 等。
- 通过 tf.data.Dataset 中的函数处理读入数据，api有shuffle, repeat,batch等。
- 生成一个数据流迭代器，api有 make_one_shot_iterator 等。
这里我们使用了 tf.data.Dataset.from_tensor_slices 函数读入数据。需要注意的是传给 tf.data.Dataset.from_tensor_slices 是一个第一维为字典，第二维为列表的元组，这里传入的这样数据格式是为了和Estimator中 feature_column 的输入格式对应。
|
1 2 3 4 5 6 7 8 9 10 11 |
import os from sklearn.datasets import load_iris import tensorflow as tf def dataset_fn(): iris = load_iris() features = iris["data"] labels = iris["target"] dataset = tf.data.Dataset.from_tensor_slices(({"x":features},labels)) data = dataset.shuffle(150).repeat().batch(10) return data.make_one_shot_iterator().get_next() |
定义特征列
这里通过 tf.feature_column.numeric_column 函数构建了Estimator中特征列，这里的 fea_col 要与输入数据流中的特征数据部分一致。
|
1 |
fea_col = [tf.feature_column.numeric_column("x",shape=4)] |
下图是 fea_col 的打印输出，key为x，shape为4的特征列和输入数据的 {"x":features} (features的维度为4）保持着一致。
创建Estimator实例
接着我们实例化的一个DNN分类器classifier。这里有4个重要的参数：
- feature_columns即上一步定义的fea_col。
- hidden_units很方便的帮我们构建了一个两层分别为10个神经元的神经网络。
- model_dir定义的是模型checkpoint保存的位置，同时也会保存将tensorboard 可视化文件，方便可视化模型的结构和loss的走向。
- n_classes定义类别。
|
1 2 3 4 5 |
classifier = tf.estimator.DNNClassifier( feature_columns = fea_col, hidden_units=[10, 10], # Two hidden layers of 10 nodes each. model_dir="./model", n_classes=3) |
下图是模型的结构图：
训练模型
接下来只需要把之前定义好的输入函数传给DNN分类器，同时定义好step，就可以将模型跑起来了。
|
1 |
classifier.train(input_fn=lambda: dataset_fn(),steps=7500) |
下图是模型训练时的log记录。
接下来到项目文件夹下，运行 tensoboard --logdir ./model ，就可以通过localhost:6006访问到loss的可视化结果了，其效果如下图所示，loss咔咔往下掉，看起来效果还不错。
进行预测
这里通过 tf.estimator.inputs.numpy_input_fn() 函数构建预测数据的输入。需要传入三个参数：
- x ：很重要，数据格式与上面实例化Estimater中的 feature_columns 保持一致。
- epoch：由于是预测，保持为 1就可以了。
- shuffle ：预测时保存为False 就可以了。
|
1 2 3 4 5 6 |
import numpy as np pre_data = features[:4] predict_input_fn = tf.estimator.inputs.numpy_input_fn( x={"x": np.array(pre_data)},#很重要，与实例化Estimater中的feature_columns保持一致 num_epochs=1, shuffle=False) |
这里选择数据的前四个数据（label 都是0）做预测执行预测，调用 classifier.predict(predict_input_fn ) 就开始预测了。
|
1 2 |
predicted_classes = [p["classes"] for p in classifier.predict(predict_input_fn)] print(predicted_classes) |
下图是预测时的log日志，从日志中可以发现预测时使用的是模型的第7500步保存的模型。
预测结果如下图所示：预测结果4个预测数据的label都为0，全部预测正确。
结语
本篇文章，我们大致了解了如何使用tf.Estimater高级API，大致流程就是数据集的构建，特征列的定义，Estimater实例化，接下来就可以做模型的训练和预测了。唯一需要注意的是无论是训练时输入数据还是预测时的数据，其数据格式都要与特征列的格式保持一致。tf.Estimater极其适合工业生产应用，同时它也支持自己定义模型，所以不要忽视它的威力。