使用Azure数据工厂的CRM数据迁移

问题描述

正在尝试将数据从CRM在线迁移到Data Lake。

在ADF的“复制活动”中，我正在使用FetchXML从CRM（CDM）读取数据

FetchXML：

<fetch>
  <entity name="cdm_location">
    <attribute name="cdm_gisid" />
    <attribute name="cdm_locationid" />
    <attribute name="cdm_locationtype" />
    <attribute name="cdm_name" />
  </entity>
</fetch>

问题是ADF外观和上述源查询的Sample数据集，并确定要提取的列。在我的情况下，示例数据集中的列cdm_gisid是NULL，因此ADF将忽略该列。

FetchXML中是否有一种说法if column is null replace with 'Default Value'，以便ADF可以看到示例数据集中的列。

[Or]在ADF中有更好的方法从CDM中提取数据，从而使每一列都为空或不为空。

解决方法

您只需要使用可在复制活动的映射标签中定义的列映射。这是一个已知问题，在ADF / D365文档中推荐。

请参阅以下链接中的重要说明。 https://docs.microsoft.com/en-us/azure/data-factory/connector-dynamics-crm-office-365#dynamics-as-a-source-type