AWS Glue 仅从 Dynamo DB 读取选定的记录

问题描述

以下代码正在读取完整的 dynamo DB 表。有什么办法，我们可以读取选定的行（给定一组有限的分区列值）

import sys
from pyspark.context import SparkContext
from awsglue.context import glueContext
from awsglue.job import Job
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv,["JOB_NAME"])
glue_context= glueContext(SparkContext.getorCreate())
job = Job(glue_context)
job.init(args["JOB_NAME"],args)

dyf = glue_context.create_dynamic_frame.from_options(
    connection_type="dynamodb",connection_options={
        "dynamodb.input.tableName": "test_source","dynamodb.throughput.read.percent": "1.0","dynamodb.splits": "100"
    }
)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）