AWS Glue 可以为数据调用 Step 函数吗？

问题描述

我有一个要求，AWS glue 需要为 ETL 过程中所需的数据调用/调用 Step 函数。整个过程如下：

1. glue 从 S3 读取 csv
2. glue 为 csv 文件中的每条记录调用 Step 函数
3. Step 函数有 2 个步骤/状态/任务，并为数据调用 2 个不同的 api（在 .net 核心中开发/在 aws eks 中部署）。 第一步的输出是第二步的输入。
4. glue 将使用 Step 函数的输出进行转换。

所以有 2 个问题要解决，从胶水调用 step 和调用 apis 的 step 函数。 请提出建议。

解决方法

这是一个非常广泛的问题。但简单的答案是，您可以使用胶水环境中的 boto3 库与步骤函数进行交互。您还可以在阶跃函数启动后提取其状态，并且还可以从函数调用中获取输出值。