问题描述
我将 AWS EMR 5.31.0 与 Spark 2.4.6 结合使用。 如所附图片的 RHSpic-1 所示,不知何故,我无法从结构化流中读取我的 AWS Kafka 之一。
首先,RHS 一直显示 ExecutionAllocationManager: Request to remove executorId
... 并以 Errors... 结束,例如要求我增加 max.poll.interval.ms
或减少 max.poll.records
,或者只是一条说明 OutOfDirectMemoryError: Failed to allocation xxx bytes of direct memory
而这个Kafka只有9094端口。
相反,LHS 显示从我的另一个 Kafka 成功读取,它打开了明文和 TLS。有日志信息 Transport Client Factory: Successful created connection to IP:xxx
,其中 IP 是我的 Core 机器的价格 IPV4。
我的目标是让我的结构化流媒体能够读取 RHS Kafka。 附言我的 LHS 和 RHS 的结构化流媒体是相同的。 我就是不知道是什么让我的结构化流甚至无法从 Kafka 读取数据......
有人可以帮我吗?非常感谢。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)