Flume - java.lang.OutOfMemoryError:与 Kafka 集成时的 Java 堆空间

问题描述

尝试使用 Flume 将一个小的 csv 数据转储到 Kafka 中,无论我在运行“flume-ng avro-client -H localhost -p 4141 -F test_all_num.csv”时尝试什么输入或配置,我总是收到以下错误:

enter image description here

当我运行“flume-ng agent -f kafkaSink.flm -n a1 -c /usr/local/Cellar/flume/1.9.0_1/libexec/conf”时,flume agent 似乎成功启动。

enter image description here

test_all_num.csv 是一个由 46 行以逗号分隔的数字组成的小型 csv 文件

下面是我的flume agent配置文件截图:

enter image description here

我尝试为通道添加容量限制(a1.channels.c1.capacity = 1000,a1.channels.c1.transactionCapacity = 100)但没有奏效。

在flume-env.sh 中编辑JAVA_OPTS 也尝试过,但似乎不起作用。下面是flume-env.sh文件的截图:

enter image description here

目前我有点卡住了。有人对这个问题有什么建议吗?任何帮助或指针将不胜感激,谢谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)