问题描述
我有一个 Airflow 管道，可将任务请求发送到 Azure Databricks。对于管道中的每个任务，都会在 Databricks 中创建一个新集群，这对于具有大量任务的管道来说非常耗时。我可以在 Databricks 中创建一个集群，并将其 id 赋予管道中的任务，以将其用作现有集群，从而解决为每个任务创建集群的问题。 但是，此解决方案的代价是所有任务都将其日志转储到同一文件中。 我的问题是有没有办法将每个任务的日志分开，以便轻松跟踪不同任务的进程或错误？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）