结构化流读取我的 MSK Kafka 失败,只保留删除 executorsId

问题描述

我将 AWS EMR 5.31.0 与 Spark 2.4.6 结合使用。 如所附图片的 RHSpic-1 所示,不知何故,我无法从结构化流中读取我的 AWS Kafka 之一。

首先,RHS 一直显示 ExecutionAllocationManager: Request to remove executorId... 并以 Errors... 结束,例如要求我增加 max.poll.interval.ms 或减少 max.poll.records,或者只是一条说明 OutOfDirectMemoryError: Failed to allocation xxx bytes of direct memory 而这个Kafka只有9094端口。

相反,LHS 显示从我的另一个 Kafka 成功读取,它打开了明文和 TLS。有日志信息 Transport Client Factory: Successful created connection to IP:xxx,其中 IP 是我的 Core 机器的价格 IPV4。

我的目标是让我的结构化流媒体能够读取 RHS Kafka。 附言我的 LHS 和 RHS 的结构化流媒体是相同的。 我就是不知道是什么让我的结构化流甚至无法从 Kafka 读取数据......

有人可以帮我吗?非常感谢。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)