如何检查元组是否包含 Apache Pig 中的元素？

问题描述

假设我有这个文件：

movie_id,title,genres
95004,Superman/Doomsday (2007),Action|Animation
136297,Mortal Kombat: The journey Begins (1995),Action
193565,Gintama: The Movie (2010),Action|Animation|Comedy|Sci-Fi
193573,love Live! The School Idol Movie (2015),Animation

我是这样加载的：

movies = LOAD 'movies.csv' USING PigStorage(',') AS (moviesId:int,title:chararray,genres: chararray);
movies = FOREACH movies GENERATE movieId,STRSPLIT(genres,'\\|') as genres;
describe a;       //a: {movieId: int,title: chararray,genres: ()}

dump a 结果示例：

...
(193581,Black Butler: Book of the Atlantic (2017),(Action,Animation,Comedy,Fantasy))
(193583,No Game No Life: Zero (2017),(Animation,Fantasy))
...

现在，如果我没理解错的话，字段流派是元组类型。问题是我如何进行查询，例如：“获取所有动作片？”。我不知道如何检查元组类型中是否存在特定元素。

我知道如何使用 Python UDF 函数执行此操作，但我想知道是否可以不使用它。也许我应该以不同的方式加载文件。

感谢您的帮助。

解决方法

如果您愿意将流派放入袋中而不是元组中（我认为这会更合适，因为流派的数量因唱片而异）。然后可以使用嵌套的 FOREACH 解决这个问题，方法是过滤特定类型的包，然后测试包是否为空。

movies = LOAD 'movies.csv' USING PigStorage(',') AS (moviesId:int,title:chararray,genres: chararray);
moviesSplit = FOREACH movies GENERATE movieId,title,TOKENIZE(genres,'|') as genres;

actionTest = FOREACH moviesSplit {
    action = FILTER genres by $0 == 'Action';
    GENERATE *,action;

actionMovies = FILTER actionTest BY NOT IsEmpty(action);