从tensorflow_datasets加载mnist数据集的问题

问题描述

我目前正在阅读《学习TensorFlow：构建深度学习系统指南》一书汤姆·霍普（Tom Hope），叶赫兹凯尔·雷舍夫（Yehezkel S. Resheff）和伊泰·里德（Itay Lieder）的著作。这是一本比较老的书，使用tensorflow 1.x版本和tensorflow.examples.tutorials.mnist中的mnist数据集。因为我已经安装了最新版本的tensorflow，所以我试图修改第4章中的代码，并且我接近使它运行，但是我在正确加载mnist进行训练时遇到了问题。这是我的代码修改后的代码：

import tensorflow_datasets as tfds
import tensorflow as tf
import numpy as np

from layers import conv_layer,max_pool_2x2,full_layer

tf.compat.v1.disable_eager_execution()

data_dir = '../data/'
MINIBATCH_SIZE = 50
STEPS = 5000


mnist = tfds.load(name='mnist',split=['train','test'],data_dir=data_dir)

x = tf.compat.v1.placeholder(tf.float32,shape=[None,784])
y_ = tf.compat.v1.placeholder(tf.float32,10])

x_image = tf.reshape(x,[-1,28,1])
conv1 = conv_layer(x_image,shape=[5,5,1,32])
conv1_pool = max_pool_2x2(conv1)

conv2 = conv_layer(conv1_pool,32,64])
conv2_pool = max_pool_2x2(conv2)

conv2_flat = tf.reshape(conv2_pool,7*7*64])
full_1 = tf.nn.relu(full_layer(conv2_flat,1024))

keep_prob = tf.compat.v1.placeholder(tf.float32)
full1_drop = tf.nn.dropout(full_1,rate=1-keep_prob)

y_conv = full_layer(full1_drop,10)

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_conv,labels=y_))
train_step = tf.compat.v1.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1),tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

with tf.compat.v1.Session() as sess:
    sess.run(tf.compat.v1.global_variables_initializer())

    for i in range(STEPS):
        batch = mnist.train.next_batch(MINIBATCH_SIZE)

        if i % 100 == 0:
            train_accuracy = sess.run(accuracy,Feed_dict={x: batch[0],y_: batch[1],keep_prob: 1.0})
            print("step {},training accuracy {}".format(i,train_accuracy))

        sess.run(train_step,keep_prob: 0.5})

    X = mnist.test.images.reshape(10,1000,784)
    Y = mnist.test.labels.reshape(10,10)
    test_accuracy = np.mean(
        [sess.run(accuracy,Feed_dict={x: X[i],y_: Y[i],keep_prob: 1.0}) for i in range(10)])

print("test accuracy: {}".format(test_accuracy))

此处提供原始代码供参考：

https://github.com/Hezi-Resheff/Oreilly-Learning-TensorFlow/blob/master/04__convolutional_neural_networks/mnist_cnn.py

运行修改后的代码时，出现此错误：

File "/home/af/Dokumenter/Programs/LearningTensorFlow/Chapter 4/mnist_cnn.py",line 43,in <module>
    batch = mnist.train.next_batch(MINIBATCH_SIZE)
AttributeError: 'list' object has no attribute 'train'

我现在从tensorflow_datasets加载mnist数据集时，现在不确定如何修改该行。任何建议或提示都将受到欢迎。

解决方法

mnist.train是类dataSet的实例，在您的情况下似乎缺少。可以在read_data_sets()函数here中看到，所以我的建议读取如下数据：

mnist = input_data.read_data_sets(DATA_DIR,one_hot=True)

在这种情况下，标签向量y的大小为[batchsize,10]（二维numpy数组）。但是，如果使用one_hot=False，则标签向量的大小将等于[batchsize]。

machine-learning mnist neural-network python tensorflow