问题描述
我试图在 TF2 模型的 batch_size
函数中获取 call()
。
但是,我无法得到它,因为我知道的所有方法都返回 None
或 Tensor 而不是维度元组。
这是一个简短的例子
import numpy as np
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.keras.models import Model
class MyModel(Model):
def __init__(self):
super(MyModel,self).__init__()
def call(self,x):
print(len(x))
print(x.shape)
print(tf.size(x))
print(np.shape(x))
print(x.get_shape())
print(x.get_shape().as_list())
print(tf.rank(x))
print(tf.shape(x))
print(tf.shape(x)[0])
print(tf.shape(x)[1])
return tf.random.uniform((2,10))
m = MyModel()
m.compile(optimizer="Adam",loss="sparse_categorical_crossentropy",metrics=['accuracy'])
m.fit(np.array([[1,2,3,4],[5,6,7,8]]),np.array([0,1]),epochs=1)
输出为:
Tensor("my_model_26/strided_slice:0",shape=(),dtype=int32)
(None,4)
Tensor("my_model_26/Size:0",4)
(None,4)
[None,4]
Tensor("my_model_26/Rank:0",dtype=int32)
Tensor("my_model_26/Shape_2:0",shape=(2,),dtype=int32)
Tensor("my_model_26/strided_slice_1:0",dtype=int32)
Tensor("my_model_26/strided_slice_2:0",dtype=int32)
1/1 [==============================] - 0s 1ms/step - loss: 3.1796 - accuracy: 0.0000e+00
在此示例中,我将 (2,4)
numpy 数组作为输入,将 (2,)
作为目标提供给模型。
但是如您所见,我无法在 batch_size
函数中获取 call()
。
我需要它的原因是我必须迭代 batch_size
的张量,这在我的真实模型中是动态的。
例如,如果数据集大小为 10,批大小为 3,则最后一批中的最后一个批大小将为 1。因此,我必须动态知道批大小。
有人可以帮我吗?
- TensorFlow 2.3.3
- CUDA 10.2
- python 3.6.9
解决方法
这是因为您正在使用 TensorFlow(这是强制性的,因为 Keras 现在在 TensorFlow 中),并且通过使用 TensorFlow,您需要了解将动态图“编译”为静态图。
简而言之,您的 call
方法(在幕后)使用 @tf.function
装饰器进行装饰。
这个装饰器:
- 跟踪python函数的执行
- 转换 TensorFlow 操作中的 python 操作(例如,
if a > b
变成tf.cond(tf.greater(a,b),something,something_else)
) - 创建一个
tf.Graph
(静态图) - 执行刚刚创建的静态图。
您的所有 print
调用都是在第一步(python 执行跟踪)期间执行的,这就是为什么即使您训练模型,您也只能看到 1 次输出。
也就是说,要获得张量的运行时(动态形状),您必须使用 tf.shape(x)
,批量大小仅为 batch_size = tf.shape(x)[0]
请注意,如果您想查看形状(使用打印),则不能使用打印,而必须使用tf.print
。
import numpy as np
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.models import Model
class MyModel(Model):
def __init__(self):
super(MyModel,self).__init__()
def call(self,x):
shape = tf.shape(x)
batch_size = shape[0]
tf.print(shape,batch_size)
return tf.random.uniform((2,10))
m = MyModel()
m.compile(
optimizer="Adam",loss="sparse_categorical_crossentropy",metrics=["accuracy"]
)
m.fit(np.array([[1,2,3,4],[5,6,7,8]]),np.array([0,1]),epochs=1)
有关静态和动态形状的更多信息:https://pgaleone.eu/tensorflow/2018/07/28/understanding-tensorflow-tensors-shape-static-dynamic/
有关 tf.function 行为的更多信息:https://pgaleone.eu/tensorflow/tf.function/2019/03/21/dissecting-tf-function-part-1/
注意:我写了这些文章。
,如果您想获得准确的数据和形状,您可以将 Eager run 变为 true,但这不是一个好的解决方案,因为它会使训练变慢。
这样设置:
m.compile(optimizer="Adam",metrics=['accuracy'],run_eagerly=True)
那么输出将是:
(2,4)
tf.Tensor(8,shape=(),dtype=int32)
(2,4)
(2,4)
[2,4]
tf.Tensor(2,dtype=int32)
tf.Tensor([2 4],shape=(2,),dtype=int32)
tf.Tensor(2,dtype=int32)
tf.Tensor(4,dtype=int32)