问题描述
我正在使用 spark JDBC write 将数据从 hive 加载到 teradata 视图。我使用了 200 个 vcore 并将数据划分为 10000 个分区。
Spark 任务因以下错误而失败，导致阶段失败。有时应用程序成功完成但有一些重复的记录
由：java.sql.sqlException: [teradata Database] [teraJDBC 16.20.00.10] [Error 2631] [sqlState 40001] 事务因死锁而中止。
以下是我使用的代码：
val df = spark.sql("select * from hive table").distinct.repartition(10000).write.mode(overwrite) .option("truncate",Truncate).jdbc(url,dbTable,dproperties)
teradata 视图是使用“AS LOCKING ROW FOR ACCESS”创建的。该表还有一个唯一的 PI。
我无法弄清楚为什么某些 spark 任务会因死锁错误而失败，是否有办法阻止我的整个 spark 应用程序因任务失败而失败。
解决方法
尝试插入同一个表的数十个会话可能会导致死锁。即使视图定义了访问锁，也必须获得写锁才能将行插入到后备表中。