Spark JDBC - 读取/更新/写入没有 int/long 主键的大表

问题描述

我正在尝试更新没有任何主键的大型 MysqL 表中的某些列。

如果尺寸很大，我如何处理这么大的桌子，例如6GB，我的executor内存只有2GB？

你认为 Spark-ODBC 会以某种方式帮助我吗？

如果我要创建表，它将有一个主键：

CREATE TABLE Persons (
    Personid varchar(255) NOT NULL,LastName varchar(255) NOT NULL,FirstName varchar(255) DEFAULT NULL,Email varchar(255) DEFAULT NULL,Age int(11) DEFAULT NULL,PRIMARY KEY (Personid)
) ENGINE = InnoDB DEFAULT CHARSET = latin1;

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）