Azure Synapse Analytics管道-数据流

问题描述

我们正尝试使用Synapse管道(可从Synapse Workspace直接获得的Azure Data Factory的重新命名版本)将通用数据服务数据提取到Azure Synapse池中。

最初,我们使用CDS Export functionality将一些CDS实体导出到Data Lake Storage帐户中。此操作将导致基于 JSON (来自元数据)和 CSV (用于数据)文件创建一种文件系统。

现在,第二步,我们需要摄取和转换那些实体。此过程将逐步介绍here,并使用“映射数据流”管道任务。

我们的第一步是基于通用数据模型内联源设计数据流源组件

CDM Source

然后配置一些转换操作,并最终为数据持久化配置一个接收器。

问题: 无论您在处理哪个实体,或包含多少条记录。源组件将永远不会在其中看到任何记录。实际上,数据预览功能会向您显示一条消息:

输出数据

在每个CDS导出实体上都会发生这种情况。

类似地,触发管道将导致没有任何记录复制到目标的空运行。

解决方法 有趣的是,该问题似乎仅限于Synapse工作区管道,因为我们通过将相同的数据流配置为常规的Azure数据工厂管道来完全摆脱了这一问题。

我们找不到任何证据,但这似乎是一个普遍问题。你们中有人遇到过同样的问题吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)