将多个变量存储到单个文件中

问题描述

我有几个日志，并对其进行了一些过滤。 结果我有几个变量，每个变量都是一些统计数据。然后将它们保存在这样的不同文件中：

STORE (FOREACH (GROUP A ALL) GENERATE COUNT(A)) INTO '$save_dir/A_result';
STORE (FOREACH (GROUP B ALL) GENERATE COUNT(B)) INTO '$save_dir/B_result';
STORE (FOREACH (GROUP C ALL) GENERATE COUNT(C)) INTO '$save_dir/C_result';

任何一行的结果-仅一个数字。 如何将它们联接或合并/合并为一个变量以存储到单个文件中，而不是三个不同的文件中？

我尝试过这种方法：

B_count = FOREACH (GROUP B ALL) GENERATE COUNT(B) as b1;
result_record = FOREACH (GROUP A all) GENERATE
                'my_results' AS name,COUNT(A) as a1,B_count.b1 as b1;
STORE result_record INTO '$save_dir/total';

但这不起作用。

解决方法

创建关系以存储各个计数，将它们全部合并到另一个关系中并将其存储到单个文件中

A_count = (FOREACH (GROUP A ALL) GENERATE COUNT(A));
B_count = (FOREACH (GROUP B ALL) GENERATE COUNT(B));
C_count = (FOREACH (GROUP C ALL) GENERATE COUNT(C));

D = UNION A_count,B_count,C_count;

STORE D INTO '$save_dir/total'

,

我使用@VK_217的想法做了这个：

A_count = FOREACH (GROUP A ALL) GENERATE COUNT(A);
B_count = FOREACH (GROUP B ALL) GENERATE COUNT(B);
C_count = FOREACH (GROUP C ALL) GENERATE COUNT(C);

D = UNION A_count,C_count;

Result = GROUP D BY 1; 
Result = FOREACH Result GENERATE FLATTEN(Result);
STORE Result INTO '$save_dir/total';

这将生成一个由3列的记录组成的文件。还行吧。 但是我仍然有几个问题：

• PIG可以按不同顺序写入结果。所以有时它是A_count / B_count / C_count，但有时是-C_count / A_count / B_count等。因此它使结果无用...
• 如果任何计数器等于0，则PIG不会写0。只需跳过这一行。
• 不知道如何将计数器名称添加到结果文件中。