问题描述
我们正尝试使用Synapse管道(可从Synapse Workspace直接获得的Azure Data Factory的重新命名版本)将通用数据服务数据提取到Azure Synapse池中。
最初,我们使用CDS Export functionality将一些CDS实体导出到Data Lake Storage帐户中。此操作将导致基于 JSON (来自元数据)和 CSV (用于数据)文件创建一种文件系统。
现在,第二步,我们需要摄取和转换那些实体。此过程将逐步介绍here,并使用“映射数据流”管道任务。
我们的第一步是基于通用数据模型内联源设计数据流源组件
然后配置一些转换操作,并最终为数据持久化配置一个接收器。
问题: 无论您在处理哪个实体,或包含多少条记录。源组件将永远不会在其中看到任何记录。实际上,数据预览功能会向您显示一条消息:
无输出数据
在每个CDS导出实体上都会发生这种情况。
类似地,触发管道将导致没有任何记录复制到目标的空运行。
解决方法: 有趣的是,该问题似乎仅限于Synapse工作区管道,因为我们通过将相同的数据流配置为常规的Azure数据工厂管道来完全摆脱了这一问题。
我们找不到任何证据,但这似乎是一个普遍问题。你们中有人遇到过同样的问题吗?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)