botocore.response.StreamingBody 给出 JSONDecodeError

编程问答 2022-12-04

问题描述

我正在尝试加载由 lambda 调用返回的有效负载，但得到 JSONDecodeError 下面是我的 lambda 代码。

from datetime import datetime
Metadata={}
Metadata["execution_info"] = {
            "aws_lambda_request_id": "test","aws_lambda_instance_id": "test","started_timestamp": datetime.utcNow().isoformat()
            }
Metadata["execution_info"]["completed_timestamp"] = datetime.utcNow().isoformat()
def lambda_handler(event,context):
    return {
    "statusCode": 200,"headers": {
        "Content-Type": "application/json"
    },"body": json.dumps({
        "body": Metadata
    })
}

然后在我尝试加载响应时的调用函数中，如下所示

response=lambda_mock.invoke(
    FunctionName='test-lambda',InvocationType='RequestResponse'
)
response=json.load(response['Payload'])

它抛出

raise JSONDecodeError("Expecting value",s,err.value) from None
E           json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
/usr/local/lib/python3.8/json/decoder.py:355: JSONDecodeError

也试过这个 - response=json.loads(response['Payload'].read().decode("utf-8")) 但仍然是同样的错误。

这里出了什么问题？

更新 1-

print(response['Payload']) 给出

根本原因

我想我已经找到了问题所在。看起来模拟 lambda 正在返回错误数据。它返回预期的响应 + lambda 日志（开始请求/结束请求详细信息）。它以某种方式将它们结合起来并将它们作为一个单元返回。我不知道为什么会这样。

print(response['Payload'].read()) 在我的本地和容器中生成以下响应。奇怪的是，同样的代码会产生两种不同的输出。

本地

{'statusCode': 200,'headers': {'Content-Type': 'application/json'},'body': '{"body": {"execution_info": {"aws_lambda_request_id": "test","started_timestamp": "some-time","completed_timestamp": "some-time"}}}'}

容器

b'\x1b[32mSTART RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c Version: 1\x1b[0m\n\x1b[32mEND RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c\x1b[0m\n\x1b[32mREPORT RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c\tinit Duration: 432.19 ms\tDuration: 3.07 ms\tBilled Duration: 4 ms\tMemory Size: 1000 MB\tMax Memory Used: 23 MB\t\x1b[0m\n\n{"statusCode":200,"headers":{"Content-Type":"application/json"},"body":"{\\"body\\": {\\"execution_info\\": {\\"aws_lambda_request_id\\": \\"test\\",\\"aws_lambda_instance_id\\": \\"test\\",\\"started_timestamp\\": \\"some-time\\",\\"completed_timestamp\\": \\"some-time\\"}}}"}'

呸！ Moto 1.3.14 有这个错误。我本地的 moto 版本降级了，现在我遇到了同样的错误。

解决方法

该问题与 Moto 版本有关。 我在构建管道中使用 1.3.14，在本地使用最新版本。 旧版本有这个错误，它从你的模拟 lambda 返回错误的响应。 在我的构建管道中升级 moto 版本后，一切正常。

升级 moto 版本后，您可能会看到 docker not found。要解决此问题，请在 requirements.txt

中包含 moto[all]==2.0.5

有关更多详细信息，请参阅此线程：moto- docker not found issue

amazon-web-servicesbotobotocorejsonpython