Spark Structured Streaming with S3-SQS file source with Apache Spark

问题描述

问题陈述：我想使用 Spark Structured Streaming 从 S3 读取文件写入文件到 s3。我查看了 Spark 团队推荐的参考架构，推荐使用 S3 -> SNS -> SQS using S3-SQS file source。

问题：

1. S3-SQS 文件源： S3-SQS 文件源是否在 Apache Spark 中可用？是否需要使用apache Bahir的SQS实现https://github.com/apache/bahir/tree/master/sql-streaming-sqs
2. Auto Loader：本文推荐我们应该使用Auto Loader。 Apache Spark 是否提供 Auto Loader https://docs.databricks.com/spark/latest/structured-streaming/sqs.html

看起来 S3-SQS 文件连接器和自动加载器都是 DataBricks Spark 的一部分。 问题是我们应该如何使用 Apache Spark 实现这一点？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）