使用 GCP Data Fusion 将数据从 MySQL 复制到 BigQuery - 出现“日期”数据类型问题

问题描述

我想将 GCP Compute Engine 中保存的 MysqL 表复制到 GC BigQuery。 我提到了这个文件https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery。 所以我决定使用 GCP Data Fusion 来完成这项工作。

一切正常,数据在 Bigquery 中复制。 因此,我正在为此复制测试不同的数据类型支持

我在此复制管道中遇到的问题, 因此,每当我尝试为数据融合复制放置“日期”数据类型列时,整个表(包含“日期”列)都不会显示在 BigQuery 中

它使用与源相同的架构和 Bigquery 中也存在的“日期”数据类型创建表,并且我使用了 BigQuery 支持的相同日期格式。

我还查看了数据融合日志,它显示管道正在将数据完美地加载到 BigQuery 中,还使用插入更新从源 MysqL DB 中捕获添加MysqL 表中的新行 也是。 但不知何故,行没有进入 Bigquery。

是否有人使用“日期”列数据类型的数据融合复制? 这是 BigQuery 或 Data Fusion 的问题吗? 我需要在 BigQuery 中提供任何手动设置吗? 任何人都可以就此提供意见吗?

解决方法

我会将这个问题标记为“解决”。 由于问题在于数据融合,最新版本 6.4.1 现在支持 Datatime 数据类型,同时在 Bi​​gQuery 中进行复制。 我现在正在接收正确的日期和日期时间数据。

谢谢大家的帮助:)

,

我使用了以下包含日期字段的架构。

create table tutorials_tbl(tutorial_id INT NOT NULL AUTO_INCREMENT,tutorial_title VARCHAR(100) NOT NULL,tutorial_author VARCHAR(40) NOT NULL,submission_date DATE,PRIMARY KEY ( tutorial_id ));

当我运行复制管道时,我看到使用以下架构创建了 BQ 表:

enter image description here

我也看到了表中的事件:

enter image description here

你能分享输入表模式吗?您还可以检查 BQ 表下的 Job History 和 Query History 选项卡,看看是否有任何错误。 enter image description here