DBT无法在与下游模型不同的模式中引用非临时上游模型

编程问答 2022-08-15

问题描述

我正在尝试运行引用现有上游表模型的下游模型。之所以失败，是因为下游模型试图在下游模式中找到上游模型。

也许与DBT Cloud中的环境/方案设置有关？也许我错过了一些简单的东西，但是我一生都找不到。

我已经在下面创建了最简单的副本。

主持人：DBT Cloud

数据库：雪花

环境：

  • upstream_model是在名为上游的dbt云环境中构建的，其架构='upstream_model'
  • downstream_model是在名为下游的dbt云环境中构建的，其架构='downstream_model'

DBT project structure

dbt_project.yml 

name: 'repro'
config-version: 2
require-dbt-version: 0.17.2
version: '2.0.0'

...

models:
    repro:
        repro_downstream:
          +materialized: ephemeral

        repro_upstream:
          +materialized: ephemeral

当上游模型实现='短暂'时，它将起作用并将上游模型用作CTE： Ephemeral materialization

当上游模型实现='table'时，它失败，因为它在上游模型的模式中查找上游模型： Create table fails

upstream.yml：

version: 2
models:
    - name: upstream_model

upstream_model.sql：

{{
    config(
        materialized='**table**'
    )
}}

With model as (
    SELECT 1
)
SELECT * FROM model

downstream.yml：

version: 2

models:
    - name: downstream_model

downstream_model.sql：

{{
    config(
        materialized='table'
    )
}}

With model as (
    SELECT * FROM
    {{ ref('upstream_model') }}
)

SELECT * FROM model

解决方法

感谢详细介绍复制案例。但是，我无法重现您所描述的错误。我看不到您要为schema + upstream_model设置自定义downstream_model的地方，我不知道这是问题所在，因为听起来您希望这两个模型都适用不同的模式。

以下对我来说很好：

upstream_model.sql ：

{{
    config(
        materialized='table',schema = 'upstream'
    )
}}

With model as (
    SELECT 1
)
SELECT * FROM model

downstream_model.sql 

{{
    config(
        materialized='table',schema = 'downstream'
    )
}}

With model as (
    SELECT * FROM
    {{ ref('upstream_model') }}
)

SELECT * FROM model

当我dbt run时：

  create  table "jerco"."dbt_jcohen_upstream"."upstream_model"
  as (
    

With model as (
    SELECT 1
)
SELECT * FROM model
  );

  create  table "jerco"."dbt_jcohen_downstream"."downstream_model"
  as (
    

With model as (
    SELECT * FROM
    "jerco"."dbt_jcohen_upstream"."upstream_model"
)

SELECT * FROM model
  );
,

以防万一其他人迷失了方向，我才知道我在错误地使用DBT Cloud环境。他们实际上并不支持环境之间进行对话的模型。因此，我需要将模型整合到一个环境中，然后使用“自定义模式”以及覆盖generate_schema_name宏来实现我的模式命名目标。

自定义架构：https://docs.getdbt.com/docs/building-a-dbt-project/building-models/using-custom-schemas/

dbt