问题描述
我在databricks上使用pyspark运行我的ETL。我想使用apache气流，以便可以将我的ETL转换为多个单独的步骤（如气流中的节点），整个DAG都会生成我的最终ETL数据（出于调度和监视的原因）。如果要在本地执行，则可以将我的ETL转换为单个函数，并将它们传递给多个Pythonoperators，从而整个DAG将构成我的最终ETL。但是，当我对the following link进行研究时，我得出的结论是，数据块和气流集成仅提供运行笔记本（或jar）的方式。因此，我的问题是：产生与我所描述的结果类似的结果，这是将我的ETL的每个单独功能/部分放入单独的笔记本（＃节点=＃笔记本）的唯一方法，还是我可以按照上述方式创建可调用的python，但是以某种方式在databricks上运行它？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）