问题描述
我有一个被提取到事实和维度中的平面文件资源。 一些维度也来自数据库资源。 转换过程是根据需要设置的（如果有新的/更新的平面文件）。 问题是，基于数据库资源的维度上的某些数据引用不存在或匹配，因此事实上的外键 id 值设置为默认值（如果没有匹配数据，则为零）。
如果所述维度（数据库资源）已更新，我该如何更新事实？ 这种场景的最佳实践/例程是什么？
这是示例插图
Flatfile source product list (db source)
-------------------------------- ------------------------------
| product name | year | volume | | prodcode | name |
-------------------------------- ------------------------------
| apple | 2020 | 1000 | | 001 | apple |
| watermelon | 2020 | 2000 | | 002 | mango |
-------------------------------- ------------------------------
事实/维度
production_fact dim_product
------------------------------- ---------------------------
| fk_product| fk_date| volume | | id | prodcode | name |
------------------------------- --------------------------|
| 2 | d001 | 1000 | | 1 | n/a | n/a |
| 1 | d001 | 2000 | | 2 | 001 | apple |
------------------------------- | 3 | 002 | mango |
---------------------------
如果产品列表会更新（003西瓜），我应该用新值替换dim_product第1行吗？
解决方法
根据您的示例，它应该是这样工作的：
注意：我希望 prodcode 在平面文件中，而不是产品名称。这真的是你的数据的样子吗？无论如何我会继续。
第一组数据到达。西瓜其实是维度，不是维度。
Flatfile source product list (db source)
-------------------------------- ------------------------------
| product name | year | volume | | prodcode | name |
-------------------------------- ------------------------------
| apple | 2020 | 1000 | | 001 | apple |
| watermelon | 2020 | 2000 | | 002 | mango |
-------------------------------- ------------------------------
我们加载了一个维度记录，但它没有任何属性值。 （正如我所说，我通常希望代码在事实输入数据中，但没关系，我们将进行描述）。这当然需要一些逻辑来找到实际上但不在维度中的维度。
production_fact dim_product
------------------------------- ------------------------------------------------
| fk_product| fk_date| volume | | id | prodcode | name | weight |colour |
------------------------------- ------------------------------------------------
| 2 | d001 | 1000 | | 1 | n/a | n/a | n/a | n/a |
| 4 | d001 | 2000 | | 2 | 001 | apple | 200mg | red |
------------------------------- | 3 | 002 | mango | 400mg | yellow|
| 4 | ? | watermelon | ? | ? |
------------------------------------------------
所以我们有维度 SK 4，它是一个合法的维度记录，只是它缺少大量属性。
稍后，维度到达。我们知道匹配的含义，因此我们更新了缺失数据的现有维度。
product list (db source)
-----------------------------------------------
| prodcode | name | weight |colour |
--------------------------------------|-------|
| 003 | watermelon | 1kg | green |
-----------------------------------------------
------------------------------------------------
| id | prodcode | name | weight |colour |
------------------------------------------------
| 1 | n/a | n/a | n/a | n/a |
| 2 | 001 | apple | 200mg | red |
| 3 | 002 | mango | 400mg | yellow|
| 4 | 003 | watermelon | 1kg | green |
------------------------------------------------
您希望避免更新大量事实。更新更小的维度是一个更好的主意
顺便说一句，这是一个类型 1 的维度。您可以对 SCD 采取相同的方法，只是您不会计算维度的第一个版本，而只是覆盖它。