简介
TensorFlow 2.0 即将问世，很多API该删的删，该改的改。在这篇文章中我就2.0 版本中以下两点更新，为大家做一下预热(注意：笔者使用的是tensorflow1.9版)。
在tensorflow2.0中：
- 将使用 Keras 和 eager execution，帮助大家轻松构建模型。
- 删除了queue runner 以支持 tf.data，帮助大家更快，更方便的构建数据流。
当然还有很多其他的更新，这里笔者不做介绍。
导入tensorflow，开启eager模式
在2.0版本中，默认使用eager模式，所以将不用加 tfe.enable_eager_execution() 去开启eager模式。
|
1 2 3 4 5 |
import os from sklearn.datasets import load_iris import tensorflow as tf import tensorflow.contrib.eager as tfe tfe.enable_eager_execution() |
IRIS数据集
Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性。可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类。数据集格式如下：
5.1, 3.5, 1.4, 0.2, Iris-setosa
4.9, 3.0, 1.4, 0.2, Iris-setosa
…
7.0, 3.2, 4.7, 1.4, Iris-versicolor
6.4, 3.2, 4.5, 1.5, Iris-versicolor
…
6.3, 3.3, 6.0, 2.5, Iris-virginica
5.8, 2.7, 5.1, 1.9, Iris-virginica
使用tf.data.Dataset读入数据
本次实验中IRIS数据我直接从sklearn的dataset中获取。这里笔者定义了一个数据集的生成器，然后通过 tf.data.Dataset.from_generator 从生成器中读入数据，使用data类自带的shuffle，batch，repeat函数构建数据集。
- shuffle用来打乱数据,其中buffer_size越大，数据打乱的范围就越大;
- batch将数据流转化成一批一批的，需指定batch_size;
- repeat是将数据重复几次（和训练过程中的epoch一致）。比如，我的数据集是150个数据， data = data.repeat(2) 意味着构建一个300个数据的迭代器，迭代器里面数据用完了就会报 OutOfRangeError 错误。如果不指定就代构建一个无限循环的迭代器。这里笔者构建了一个无限循环的迭代器。
|
1 2 3 4 5 6 7 8 9 10 11 |
iris = load_iris() #the dataset has 150 labeled datas def generate_data(): for i,j in zip(iris["data"],iris["target"]): yield (i,j) #i is feature:[1.2, 3.1, 0.3, 6.2 ] ，j is label ：0 or 1 or 2 data = tf.data.Dataset.from_generator(generate_data,(tf.float32,tf.int32), (tf.TensorShape([4]), tf.TensorShape([]))) data = data.shuffle(150)# shuffle all data data = data.batch(10)# #data = data.repeat(2) data = data.repeat() iter_data = data.make_one_shot_iterator() |
从迭代器中拿出一个数据瞧一瞧：
|
1 |
feature_e,label_e = iter_data.get_next() |
feature_e 就是一个batch的特征数据，10个4维的特征向量。
label_e就是与之相对应的10个标签数据。如下图：
使用tf.keras构建模型
模型构建使用tf.keras API 很快构建一个三层，每层的神经元个数分别为10，10，3的神经网络。
|
1 2 3 4 5 |
model = tf.keras.Sequential([ tf.keras.layers.Dense(10, activation=tf.nn.relu, input_shape=(4,)), # input shape required tf.keras.layers.Dense(10, activation=tf.nn.relu), tf.keras.layers.Dense(3) ]) |
构建完模型后，我们把
feature_e 喂给它，输出结果如下图所示：
模型返回了10行3维的输出，此时你可以用
tf.nn.softmax 将输出转化为每一类对应的概率。不过tensoflow的loss function已经帮我们实现了这一步。
|
1 |
model(feature_e) |
接下来我们同测试一下神经网络的效果，还未训练就来测试，有没有搞错。确实，从预测结果来看效果很差，所以，我们需要让它学习起来。
|
1 2 |
print("Prediction: {}".format(tf.argmax(model(feature_e), axis=1))) print("Labels: {}".format(label_e)) |
定义损失函数，自动求梯度函数
有了模型之后，我们需要通过loss反向传播和梯度下降优化模型。所以定义了loss 函数和自动求梯度函数。
|
1 2 3 4 5 6 7 8 9 10 11 12 |
def loss(model,x,y): y_ = model(x) return tf.losses.sparse_softmax_cross_entropy(labels=y, logits=y_) def grad(model, inputs, targets): with tf.GradientTape() as tape: loss_value = loss(model, inputs, targets) return loss_value, tape.gradient(loss_value, model.trainable_variables) loss(model,feature_e,label_e) |
执行上方代码就可以得到模型在一个batch的数据上的loss。
|
1 |
grad(model,feature_e,label_e) |
通过上述代码，我们查看神经网络每个参数。从下图的运行结果，我们可以清晰地看到网络第一层shape为 [4，10] 的Weight和shape为 [10,] 的Bias的在loss函数中的梯度值。
|
1 2 |
with tf.GradientTape() as tape: loss_value = loss(model, inputs, targets) |
可以自动计算输入变量的梯度。
定义梯度下降优化器
定义了一个学习率为0.01的优化器，帮助我们优化损失函数，训练模型。
|
1 2 3 4 5 6 |
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01) global_step=tf.train.get_or_create_global_step() loss_value, grads = grad(model,data_e,label_e) optimizer.apply_gradients(zip(grads, model.variables),global_step) print("Step: {},Loss: {}".format(global_step.numpy(),loss_value.numpy())) |
其中 tf.train.get_or_create_global_step() 用来记录模型所执行的步数， optimizer.apply_gradients 用来优化模型参数。执行上述代码模型就做了一步优化。
定义模型训练函数
这里我们定义了
train_model 函数，需要传入dataset迭代器，神经网络模型，和优化器。
由于数据集的大小为150，batch_size为10，所以我将round_num设为15，这样一轮下来模型就把所有的数据全部看过一遍，也就是一个epoch。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
def train_model(training_dataset, model, optimizer): train_loss_results = [] train_accuracy_results = [] for epoch in range(202): epoch_loss_avg = tfe.metrics.Mean() epoch_accuracy = tfe.metrics.Accuracy() for round_num in range(15): feature,label = training_dataset.get_next() loss , gradients = grad(model,feature,label) optimizer.apply_gradients(zip(gradients, model.variables), global_step=tf.train.get_or_create_global_step()) epoch_loss_avg(loss) # add current batch loss epoch_accuracy(tf.argmax(model(data_), axis=1, output_type=tf.int32),label) if epoch % 50 == 0: print("Epoch {:03d}: Loss: {:.3f}, Accuracy: {:.3%}".format(epoch, epoch_loss_avg.result(), epoch_accuracy.result())) |
万事俱备，只欠东风，让神经网络跑起来。200个epoch，就让网络的准确率达到了百分之99。不要太开心，在这么少量的数据集上多半过拟合了。
|
1 |
train_model(iter_ ,model, optimizer) |
无所谓，至少这个神经网络应该比没训练之前强吧，我来验证一下，让训练过后的它再预测一遍。
|
1 2 |
print("Prediction: {}".format(tf.argmax(model(feature_e), axis=1))) print("Labels: {}".format(label_e)) |
哇，只错了一个，不得不说，它确实学乖了。
结语
这里我们通过一个iris数据集的小例子，简单的介绍了一下即将到来的tensorflow2.0的模型构建过程中，需要用到的新API—— tf.data 和 tf.keras 。和旧版的tf比，新的API是不是要好用的多。而且在eager动态图模式下，整个workflow已经完全抛弃了以前先定义静态图，再通过一个session去运行图的流程，确实方便了许多。同志们不要犹豫，拥抱tensorflow2.0，赶紧用起来吧。
参考
https://tensorflow.google.cn/tutorials/eager/custom_training_walkthrough