如何加快从 Talend 写入 Impala 的速度

编程问答 2022-05-02

问题描述

我正在使用 Talend Open Studio for Big Data (7.3.1)，我将各种来源的文件写入 Cloudera Impala (Cloudera QuickStart 5.13) 但这需要太多时间并且仅写入约 3300 行/秒（需要看看图片）。

csv to impala

oracle xe to impala

impala output settings

有没有办法将写入提高到 ~10000-100000 行/秒甚至更大？
我是否对负载使用了错误的方法？
还是我需要更好地配置 Impala/Talend？
欢迎任何建议！

更新
我安装 JDBC Impala 驱动程序：

enter image description here

但是 OutputFile 看起来没有为 Impala 配置：

enter image description here

错误：
组件 tDBOutput_1 (db_2_impala) 中的异常 org.talend.components.api.exception.ComponentException: UNEXPECTED_EXCEPTION:{message=[Cloudera]ImpalaJDBCDriver ERROR 处理查询/语句。错误代码：0，sql 状态：TStatus(statusCode:ERROR_STATUS,sqlState:HY000,errorMessage:AnalysisException: Impala 不支持修改非 Kudu 表：algebra_db.source_data_textfile_2 ),查询: DELETE FROM algebra_db.source_data_textfile_2.} at org.talend.components.jdbc.CommonUtils.newComponentException(CommonUtils.java:583)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

cloudera-quickstart-vmimpalatalend