Matillion S3 负载组件问题

问题描述

我正在使用 Matillion ETL 工具通过 S3 加载组件将数据从 S3 存储桶加载到着陆表。

我有一个像下面这样的记录 000D3A8B328E|"Rila Borovets" AD||83634A3C|DDFS

归档分隔符是 |在加载此记录时,我收到以下错误错误代码:1214 分隔值缺少结束引号”

我想在不删除双引号的情况下加载来自源的值。 我有数百万条记录,很少有双引号,很少有双引号。我只有那些有双引号的记录有问题。

我如何处理这种情况。?

解决方法

您没有说明您在那里使用的是哪种 Matillion ETL 产品(可能是用于 Snowflake、Redshift 或 Delta Lake on Databricks 的 Matillion ETL)。

如果您的目标是 Sn​​owflake,请选择文件类型 CSV,那么您需要在 S3 加载组件中设置的唯一非默认参数是将字段分隔符更改为 |

如果您的目标是 Redshift,请选择 Data File Type Delimited,唯一的非默认参数是将 Delimiter 设置为 |