蜂巢：如何处理scd类型2而无需更新

问题描述

当前，在本地Hadoop环境中，我们正在使用具有事务属性的配置单元表。但是，随着我们转向AWS，我们还没有该功能。因此想了解如何在不进行更新的情况下处理SCD Type 2。

例如。 用于以下记录。

具有更新

在启用了事务属性的表中，当我获得记录更新时，我继续将end_date更改为current date，并以effective_date作为{{1 }}和current date设为end_date，如上表所示。因此，更容易找到我的12/31/9999（其中end_date =“ 12/31/9999”）。

但是，如果我无法更新过去的记录。我有两条记录相同的active record。如下表所示。

我的问题是。 如果我可以更新过去记录的end_date，

1. 如何获得历史停留时间？
2. 我如何获得活动记录？

没有更新

解决方法

首先，将所有日期转换为'yyyy-MM-dd'格式，以便它们都可以排序并且分析功能可以使用。然后，您可以使用lead(effective_date,'2019-01-01') over(partition by id order by effective_date)。对于id = 1和有效日期= 2019-01-01，它应该给您'2020-08-15'，您可以将此值分配为'2019-01-01'记录的结束日期。如果没有有效日期较大的记录，则将分配“ 9999-01-01”。转换之后，活动记录就是具有“ 9999-01-01”的记录。

假设日期已经转换为yyyy-MM-dd，这是重写表的方式（插入后）：

insert overwrite table your_table
select name,id,location,effective_date,lead(effective_date,'2019-01-01') over(partition by id order by effective_date) as end_date 
 from your_table

或者不先进行插入，就可以在子查询中将所有现有记录与新记录合并，然后计算潜在客户。

实际上，由于蜂巢中的非等价联接实现，因此不建议将SCD2用于历史数据重写。它实现为交叉联接+过滤器（或在dim.id = fact.id上复制联接（这将复制行）+事实（Fact.date = dim.effective_date-该应过滤一条记录）。如果由于过滤前的重复而导致维度和事实很大，则此连接非常昂贵。