服务到tention_ocr模型时出错“错误”：“预期一个或两个输出张量，找到17”

问题描述

我正尝试在attention_ocr model镜像上为tensorflow/serving提供服务。

首先，我使用自己的数据集训练了该模型，并通过demo_inference.py

获得了不错的结果

因此，我将使用export_model.py导出训练有素的模型
python export_model.py --checkpoint=model.ckpt-111111 --export_dir=/tmp/mydir

然后，运行用于提供模型的docker容器。
docker run -it --rm -p 8501:8501 -v /tmp/mydir:/models/aocr -e MODEL_NAME=aocr --gpus all tensorflow/serving

这是我的python客户端脚本。

data_dir = '/root/src/models/research/attention_ocr/python/datasets/data/demo/'

data_files = os.listdir(data_dir)

with open(data_dir + "0.jpg","rb") as image_file:
    encoded_string = base64.b64encode(image_file.read())

## Some requests I tried ##
# predict_request = '{"examples": [{"inputs": ["%s"]}]}' % encoded_string
# predict_request = '{"examples": [{"inputs": "%s"}]}' % encoded_string
predict_request = '{"examples": [{"inputs": {"b64": ["%s"]}}]}' % encoded_string

r = requests.post('http://MY_IP_ADDR:8501/v1/models/aocr:classify',data=predict_request)
print(r.text)

结果.. "error": "Expected one or two output Tensors,found 17"

这是第一次使用tensorflow / serving。我无法处理此错误。

请帮助这个新手。.预先感谢。

解决方法

感谢您报告此问题。我代表您在Github上提交了一个错误（#9264）。问题是默认签名包括模型提供的所有端点。如果您想使用Serving的分类API，则需要修改export_model脚本，以仅导出分类API预期的2个张量（即预测和分数）。同时，您可以使用Predict API，它支持任意数量的输出张量。请注意，通过GRPC使用预测API时，您可以指定output_filter，但是RESTful API没有该选项，因此响应非常沉重，因为它会发回所有注意蒙版和原始图像。如果有人试图弄清楚如何进行推理，以下是对我有用的步骤。

导出模型：

wget http://download.tensorflow.org/models/attention_ocr_2017_08_09.tar.gz
tar -xzvf attention_ocr_2017_08_09.tar.gz
python model_export.py --checkpoint=model.ckpt-399731 \
  --export_dir=/tmp/aocr_b1 --batch_size=1

请注意，由于--batch_size=1中的错误，因此需要model_export.py。发送签名问题的PR时，我会解决的。

运行docker容器来提供模型。

sudo docker run -t --rm -p 8501:8501 \
  -v /tmp/aocr_b1:/models/aocr/1 -e MODEL_NAME=aocr tensorflow/serving

请注意，路径中必须包含版本号/models/aocr/1。如果您未附加/1，则服务器会抱怨找不到任何版本。

运行脚本

python send_serving_request.py --image_file=testdata/fsns_train_00.png

这是结果

Prediction: Rue de la Gare░░░░░░░░░░░░░░░░░░░░░░░
Confidence: 0.899479449

代码如下：

send_serving_request.py

from absl import app
from absl import flags
import base64
import json
import os
from PIL import Image
import numpy as np
import requests
import tensorflow as tf

flags.DEFINE_string('image_file',None,'Name of file containing image to request.')


def create_serialized_tf_example(image):
  """Create a serialized tf.Example proto for feeding the model."""
  example = tf.train.Example()
  example.features.feature['image/encoded'].float_list.value.extend(
      list(np.reshape(image,(-1))))
  return example.SerializeToString()


def main(_):
  pil_image = Image.open(flags.FLAGS.image_file)
  encoded_string = base64.b64encode(
      create_serialized_tf_example(np.asarray(pil_image)))
  predict_request = (
      b'{"instances": [{"inputs": {"b64": "%s"}}]}') % encoded_string
  r = requests.post(
      'http://localhost:8501/v1/models/aocr:predict',data=predict_request)
  data = json.loads(r.text)
  print('Prediction:',data['predictions'][0]['predicted_text'])
  print('Confidence:',data['predictions'][0]['normalized_seq_conf'])


if __name__ == '__main__':
  flags.mark_flag_as_required('image_file')
  app.run(main)

docker python tensorflow tensorflow-model-garden tensorflow-serving