问题描述
我使用 dbt documentation 中提供的宏。
{% macro generate_schema_name(custom_schema_name,node) -%}
{%- set default_schema = target.schema -%}
{%- if custom_schema_name is none -%}
{{ default_schema }}
{%- else -%}
{{ default_schema }}_{{ custom_schema_name | trim }}
{%- endif -%}
{%- endmacro %}
我将此宏放在我的 dbt 包中 dbt package。
最后我在另一个 dbt 项目 dbt project 中使用了这个 dbt 包。
这是我的 dbt 项目中的 dbt_project.yml :
name: 'covid_france'
version: '0.0.1'
config-version: 2
profile: 'default'
source-paths: ["models"]
analysis-paths: ["analysis"]
test-paths: ["tests"]
data-paths: ["data"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]
target-path: "target"
clean-targets:
- "target"
- "dbt_modules"
我的 dbt 包中的 dbt_project.yml :
name: 'covid_france'
version: '0.0.1'
config-version: 2
profile: 'default'
source-paths: ["models"]
analysis-paths: ["analysis"]
test-paths: ["tests"]
data-paths: ["data"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]
target-path: "target"
clean-targets:
- "target"
- "dbt_modules"
models:
covid_france:
stg:
materialized: table
schema: stg
ods:
materialized: table
process-airbyte-outputs:
schema: ods
unions:
schema: ods
prs:
materialized: view
当我尝试运行我的 dbt 项目时,它会导入 dbt 包,但不应用应该从自定义架构名称中删除主架构前缀(在 profiles.yml 中提供)的宏 例如:我的profiles.yml 中提供的架构是“prs”。我还有其他名为 ods 和 stg 的自定义模式。但是当 dbt 运行时,它会创建 prs、prs_ods 和 prs_stg。
当我直接在 dbt 项目中使用该宏时(而不是将它放在我在 dbt 项目中使用的 dbt 包中),该宏以前可以正常工作
先谢谢你!
解决方法
它说:
注意:dbt 会忽略作为安装在项目中的包的一部分的任何自定义 generate_schema_name 宏。
因此,解决方法是直接在您的项目中创建一个小的“垫片”或薄包装器,以调用包中的宏。
我认为您的包项目名称与您的实际项目名称(dbt_project.yml 文件的第 1 行)相同有点令人困惑,所以为了清楚起见,我将它们命名为不同的名称。
例如假设您将包重命名为 package_project_name
,使用包中已有的宏代码,但在您的项目中添加另一个宏,如
{% macro generate_schema_name(custom_schema_name,node) -%}
{{- package_project_name.generate_schema_name(custom_schema_name,node) }}
{%- endmacro %}
,
我相信您还需要定义作业的目标,因为宏取决于目标架构。 例如
dbt run --models my_model --target dev
在 dbt 云作业中,您可以定义为
"settings": {"threads": 1,"target_name": "prod"},