无法在Ariflow DatabricksSubmitRunOperator中使用Jinja模板json字段

问题描述

我已使用 DatabricksSubmitRunoperator 为Databricks作业创建了一个气流滞后，并且将中的notebook_task_params保留为 Variables 中的json。我使用jinja模板来尝试访问它，以便它会在运行时选择json数据。但是当我触发DAG时，从airflow中的变量获取数据时，它似乎是字符串而不是json。

notebook_task = DatabricksSubmitRunoperator(
task_id='notebook_task',dag=dag,json={{var.json.notebook_task_params}})

在Variable中创建的键名称为 notebook_task_params ，其值为json。

    {
    'new_cluster': {
    'spark_version': '2.1.0-db3-scala2.11','node_type_id': 'r3.xlarge','aws_attributes': {
        'availability': 'ON_DEMAND'
    },'num_workers': 8
},'notebook_task': {
            'notebook_path': '/Users/[e-mail]/PrepareData',},}

DatabricksSubmitRunoperator期望参数 json 为json格式，但是从模板中获取时，它以 String 的形式获取。是否可以反序列化模板响应到json。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）