Flume Spark Streaming 到 Mysql 数据库

问题描述

我有 Spark Single 节点，我将使用 Apache Flume -> Spark -> MysqL 将数据流式传输到 MysqL， 我使用了 foreachPartition 方法，但数据插入速度变慢，Spark UI 中有一个队列。

是否有任何改进此数据插入的建议。我需要每秒处理 3000 行。

解决方法

请提供查询的详细配置信息。
您是否正在为 mysql 使用批量导入。