ADF V2管道自动化

问题描述

我需要实现以下要求的帮助:

一个ADF管道每两个小时运行一次(带有Tumbling窗口触发器),现在我需要再创建一个管道来执行维护工作。该管道计划每月运行一次(带计划触发器)。这是我要实现的要求:

  1. 现在,在运行第二条管道之前,我需要确保第一条管道未运行(基本上获取状态,如果正在运行则等待其完成),然后禁用与之关联的触发器。
  2. 运行第二个管道,完成后,启用与第一个管道相关联的触发器

请让我知道这是否可以在ADF中实现或需要某种自定义脚本来实现。

解决方法

首先,您的想法是可以实现的。

第二,如果要在Azure Datafactory中使用内置功能,则没有办法。

基本上,您需要使用azure函数(简单的httptrigger,不提供任何输入,然后您可以直接执行它。)来实现ADF无法做到的要求。根据您的描述,这两个管道的执行是互斥的,因此您可以使用sdk在azure函数中检查另一个管道的状态。如果另一个管道正在运行,请等待几秒钟,然后重新检查另一个管道的状态。(简而言之,将主要逻辑和代码放入azure函数中。)

简单的天蓝色函数:

https://docs.microsoft.com/en-us/azure/azure-functions/functions-bindings-http-webhook-trigger?tabs=csharp

使用SDK进行监视:

https://docs.microsoft.com/en-us/azure/data-factory/monitor-programmatically#net

(我提供的链接是C#,您可以选择其他受支持的语言。)

enter image description here

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...