在Qlikview中，可以将“严格字段”串联吗？

问题描述

到目前为止，我已经使用qlikview几年了，我几乎每天都会面对的一个简单问题是，当我只需要其中的一些字段时，就需要将具有不同字段的表连接起来。

例如，假设我在单独的QVD上有以下表格

表1：

表2：

我只需要使用field_1，field_2和field_3制作一张决赛桌，但如果我这样做，则

我收到一个错误，指出table2上不存在field_2。当我处理少量表时我可以将null（）设置为field_2，但我知道该字段不存在，但是当我遍历500多个QVD时，其中一些具有该字段而有些则不是，我需要一种方法确定这个。

现在我有两种方法可以解决此问题：

我先用*加载qvd，然后使用FIELDNUMBER查看该字段是否存在，并将该字段放入要在加载时使用的变量中。

示例：

我正在创建一个空的启动器表，将字段设置为null并与负载串联在一起*这样就会生成缺少的字段（利用“使用null生成缺少的字段”）

示例：

这是非常糟糕的性能，因为当我只对几列感兴趣时，我会将整个文件加载到内存中，然后需要在以后删除它们。

有没有一种方法来进行串联，使其仅采用第一个表中已经存在的列，将缺失的列以null结束，而自动排除所有其他不需要的字段？

我尝试在使用*加载之前使用先前的加载，但是当其中一个字段不在qvd上时失败。有什么想法吗？

P.S .：我知道我所描述的方法可以解决问题，但是我正在寻找更好的解决方案，性能和速度方面的建议。

解决方法

在Qlik中连接两个表时，不需要字段匹配。您甚至可以将两个具有完全不同字段的表连接起来，Qlik不会抱怨。 Qlik只会为缺少的字段添加null。

看下面的脚本-我们有两个表Table1和Table2。

Table1的字段：field1，field2，field3
Table2的字段：field3，field4，field5

当从Table1加载所有字段并仅从field3连接Table2时，结果将是：

对于来自field1的行，

field2和null填充了Table2。

Table1:
Load * Inline [
  field1,field2,field3
  1,2,3     
  4,5,6
];

Table2:
Load * Inline [
  field3,field4,field5
  1,3
  4,6
];

NoConcatenate


ConcatenatedTable:
Load
  field1,field3
Resident
  Table1
;

Concatenate

Load
  field3
Resident
  Table2
;

Drop Tables Table1,Table2;

这是另一种方法，我没有足够大的数据集来测试其性能，但至少解决了在脚本中具有显式字段名称的问题，这可能是噩梦。

首先使用CrossTable加载所有文件，以解构结构：

for each file in FileList('<folder>\<files>*')

   RawTable:
   CrossTable(Field,Data,2)
   LOAD FileName() as FileName,RowNo() as RowId,*
   FROM
    [$(file)]
    (txt,utf8,no labels,embedded labels,delimiter is ',');

next file;

这将创建一个包含4个字段的表：原始文件名（FileName），该文件内的行号（RowId），列名（Field）及其值（Data）。

然后引导您的最终表包含对每个文件和每个已知行的引用：

DataTable:
LOAD
    DISTINCT FileName,RowId
Resident RawTable;

然后用文件中每个已知字段的唯一名称创建一个支持表：

FieldTable:
LOAD
    Distinct Field as KnownField 
Resident RawTable;

最后，魔术开始了，您逐场左移，将它们加入到DataTable中：

LET NumFields = NoOfRows('FieldTable');

FOR i = 0 to $(NumFields) - 1
    LET vField = Peek('KnownField',$(i),'FieldTable');

    TRACE $(vField);

    Left Join(DataTable)
    LOAD
        FileName,RowId,Data as $(vField)
    Resident RawTable
    WHERE Field = '$(vField)';  
NEXT;

最后只是清理一下：

DROP TABLE RawTable;
DROP TABLE FieldTable;

如果只想保留一部分字段，则可以在创建FieldTable时进行过滤。

要获得性能更高的解决方案，您可以先获取每个qvd的元数据以获取其包含字段，然后基于此设置qvd迭代逻辑。

这是为您提供qvd文件字段名的主要脚本：

LOAD
    "FieldName"
FROM [some.qvd]
(XmlSimple,table is [QvdTableHeader/Fields/QvdFieldHeader]);

concatenation performance qlikview