源文件结构将每天在Informatica云中更改

问题描述

要求是,源文件结构将每天/动态更改。我们如何在informatica中实现:

例如,

让我们考虑源是一个具有不同格式的平面文件,如带标题,不带标题,不同的元数据(今天的文件有4列,明天有7个不同的列,后天没有标题,另一个是每天的文件,其中包含记录数文件

我需要在一个informatica云映射中使用所有动态更改的文件。你能帮我这个忙吗?

解决方法

这是一个棘手的情况。我知道这不是一个完美的解决方案,但这是我的想法-
创建一个具有最多文本类型的列数(例如50)的源文件结构。读取文件,将过滤器应用于清理头数据等。然后使用路由器按照其结构对待文件-可能是filename可以提示您包含的内容。确定文件类型后,请根据列的数据类型对其进行处理,转换,然后将其加载到正确的目标中。
映射看起来像是源-> SQ-> EXP-> FIL-> RTR-> TGT1,TGT2

必须有一种模式来标识动态文件结构。 HTH ...

,

总结我对问题的理解:

  1. 您有随机数量的文件格式
  2. 您事先不知道文件格式
  3. 文件不包含确定格式的必要信息。

如果这是正确的,那么我认为这不是Informatica或任何其他工具,编码语言等可解决的问题。您没有足够的可用信息来定义解决方案。

唯一的解决方案是更改源文件。可能性包括:

  • 标准格式(或文件中包含少量信息的标准格式之一,可让您以编程方式确定所使用的格式)
  • 自记录文件类型,例如JSON