如何创建任何AWS Lambda Python层？ XGBoost的使用示例

问题描述

我在为xgboost库创建lambda层时遇到麻烦。我正在跑步：

我从这里（https://github.com/alexeybutyrev/aws_lambda_xgboost）抓取xgboost的zip文件及其依赖项，并将其加载到层中。当我尝试测试lambda时，出现此错误：

Unable to import module 'lambda_function': No module named 'xgboost.core'

似乎__init__.py试图通过from .core import <stuff>引用core.py

以前有人在AWS Lambda上遇到此错误吗？

解决方法

编辑：正如@Marcin所说，提供的第一个答案适用于262 MB以下的软件包。

A。 Lambda层大小限制内的Python软件包

您还可以使用AWS sam cli和Docker（请参阅此link来安装SAM cli）来完成此操作，以在容器内构建软件包。基本上，您使用Python作为运行时初始化默认模板，然后在requirements.txt文件下指定软件包。我发现它比您提到的文章更容易。如果您想考虑它们以备将来使用，我让您采取步骤。

1。初始化默认的SAM模板

在要保留项目的任何文件夹下，您可以键入

sam init

这将提示一系列问题，为进行快速设置，我们将选择以下快速入门模板

1 - AWS Quick Start Templates

2 - Python 3.8

Project name [sam-app]: your_project_name

1 - Hello World Example

通过选择Hello World Example，它会生成带有lambda function文件的默认requirements.txt。现在，我们将使用所需包的名称进行编辑，在本例中为xgboost

2。指定要安装的软件包

cd your_project_name
code hello_world/requirements.txt

由于我使用Visual Studio Code作为编辑器，因此将在其上打开文件。现在，我可以指定xgboost包

your_python_package

这是安装Docker的原因。某些软件包像C++一样依赖annoy。因此，建议在容器内构建（如果您使用Windows）。现在，移至template.yaml文件所在的文件夹。然后，输入

sam build -u

3。邮编包

有些文件不希望包含在lambda层中，因为我们只想保留python库。因此，您可以删除以下文件

rm .aws-sam/build/HelloWorldFunction/app.py
rm .aws-sam/build/HelloWorldFunction/__init__.py
rm .aws-sam/build/HelloWorldFunction/requirements.txt

然后压缩文件夹的其余内容。

cp -r .aws-sam/build/HelloWorldFunction/ my_layer/
zip -r my_layer.zip my_layer/

由于我有Windows系统，因此zip命令应替换为 Compress-Archive my_layer/ my_layer.zip.

4。将图层上传到AWS

在AWS上，转到Lambda，然后选择Layers和Create Layer。现在，您可以上传.zip文件，如下图所示

请注意，对于50 MB以上的zip文件，您应该将.zip文件上传到s3存储桶并提供路径，例如https://s3:amazonaws.com//mybucket/my_layer.zip。

B。超出Lambda层限制的Python程序包

xgboost软件包本身超过300 MB，将引发以下错误

正如@Marcin所指出的那样，使用SAM cli的先前方法无法直接用于超过限制的Python层。在github上存在一个未解决的问题，该问题是在运行sam build -u时指定自定义docker镜像，以及可能的解决方案，以重新标记默认lambda/lambci镜像。

那么，我们该如何解决呢？我已经指出了一些有用的资源。

• 首先，在此Medium之后，@ Alex提出的repo code文章。
• 第二种alexeybutyrev方法通过应用strip命令来减小库的大小而起作用。可以在github repo下找到这种方法，并提供了说明。

,

所以我永远无法弄清楚为什么它以这种方式失败了。我发现有效的解决方案是创建一个运行amazon linux的EC2实例，在其中安装和压缩库，然后保存到S3。详细说明请参见此处：

https://medium.com/@lucashenriquessilva/how-to-create-a-aws-lambda-python-layer-db2830e08b12