无法在使用 Pyspark 创建的 dbt 模型中显示注释

问题描述

我正在使用 dbt 在 Athena 中转换外部表，以便转换为整数、时间戳等。 dbt 使用 pyspark 配置文件运行，并成功创建了生成的模型。但是，在生成的 ddl 中没有注释，我需要显示它们（作为项目需要）。

举个例子，我有这个工作查询：

create table sbx_osgc.rfn_clientes  

using parquet


location 's3://ddpawsfssbx/refined/galpsys/osgc/clientes' comment ''

as

with ctl as ( select MAX(`DAY`) as MaxCtl from sbx_osgc.src_clientes ),final as ( select

to_timestamp(from_unixtime(D_EXTRACT/1000),'yyyy-MM-dd HH:mm:ss') as D_EXTRACT from sbx_osgc.src_clientes as t1 inner join ctl on t1.`DAY`=ctl.MaxCtl ) select * from final

我尝试通过在括号之间指定字段、数据类型和注释来显示注释。但是运行的时候报错。下面，我展示了使用的查询和出现的错误：

查询：

create table sbx_osgc.rfn_clientes

(D_EXTRACT timestamp comment 'abc')

using parquet

location 's3://ddpawsfssbx/refined/galpsys/osgc/clientes'
comment ''

as

with
ctl as (
select MAX(`DAY`) as MaxCtl
from sbx_osgc.src_clientes
),final
as (
select
to_timestamp(from_unixtime(D_EXTRACT/1000),'yyyy-MM-dd HH:mm:ss')
as D_EXTRACT
from sbx_osgc.src_clientes as t1
inner join ctl
on t1.`DAY`=ctl.MaxCtl
)
select *
from final

错误：

运行查询时出错： org.apache.spark.sql.catalyst.parser.ParseException：操作不允许：不能在 Create Table As Select 中指定架构 (CTAS) 语句（第 2 行，位置 0）

如果有人可以帮助我解决这个问题，我似乎无法通过 pyspark 或 dbt 在 CTA 中提供评论。

非常感谢您的时间。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-spark-sql dbt pyspark pyspark