Azure Synapse 映射数据流 - 派生列中列名的动态映射

问题描述

在映射数据流活动中,我有一堆来自存储帐户未处理区域的表,我的目标是仅选择其中一些列用于下一个更处理区域。在选择列时,我需要将列名称转换为更直观的名称和/或小写名称。我打算使用参数来做到这一点,所以如果我需要进行调整,我只需要在一个地方更改它。

我管理了“简单”部分 - 将相关列名列入白名单并将这些列名小写。但是假设我想根据字典重命名列,其中列“abc”变为“def”而“ghi”变为“jkl”。我正在尝试使用列模式在派生列转换中执行此操作。我制作了一个地图参数(我不确定它的语法是否正确):

['abc'->'def','ghi' -> 'jkl']

我想我需要在翻译映射中找到匹配键的索引,然后用值数组中的正确索引替换它,但似乎没有一种简单的方法可以从函数提取索引可在 https://docs.microsoft.com/en-us/azure/data-factory/data-flow-expression-functions 购买。 这是我到目前为止的部分伪代码index):

replace($$,find(keys($translation),#item == $$),values($translation)[*index*(keys($translation),#item == $$)])

我已经被困在这个问题上太久了,所以我希望有人能给我一些关于如何继续的想法。

任何帮助将不胜感激。

解决方法

我创建了一个简单的数据流来测试。

源数据预览: enter image description here

参数: enter image description here

然后我在DerivedColumn转换中测试了serval表达式:

1.在列模式中,使用以下表达式replace($$,find(keys($translation),toString(#item) == $$),values($translation)[mapIf(keys($translation),toString(#item) == $$,#index)[1]]),这是行不通的。通过这个表达式mapIf(keys($translation),1 == 1,concat($$,$$)),我发现$$函数中的mapIf()不能工作(它返回abc和ghi,期望值是abcabc和ghighi)。我不确定这是一个错误还是 ADF 团队是这样设计的。

2.然后我没有使用列模式,只是添加列试试:replace(col1,toString(#item) == col1),toString(#item) == col1,#index)[1]])replace(col2,toString(#item) == col2),toString(#item) == col2,#index)[1]])

它可以得到正确的值: enter image description here

结论:

不要使用列模式,只添加列,然后使用这个表达式:replace(columnName,toString(#item) == columnName),toString(#item) == columnName,#index)[1]])

enter image description here