在数据工厂中,Azure 事件触发器是否会等到复制完整文件?

问题描述

假设我将一个 10 GB 的文件复制到一个 ADLS 位置,并且该位置由 Azure 事件触发器监视。事件触发器是否会等待完整的 10 GB 文件被复制以触发事件或在文件开始复制时立即触发管道?。如果管道在文件开始复制时立即启动,我们如何延迟它以便管道可以等到完整文件被复制?

解决方法

据我所知,一旦整个文件根据事件触发器上传,就会触发 ADF。

enter image description here

ADF 触发器:

enter image description here

,

基于文档:https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger 创建文件(完全上传)后,触发器就会触发。

,

根据文档: 这取决于使用哪个 API 来复制文件。 如果是 Blob REST API

“在这种情况下,Microsoft.Storage.BlobCreated 事件在 CopyBlob 操作启动时触发,而不是在 Block Blob 完全提交时触发。” 如果是 Azure Data Lake Storage Gen 2 REST API

“当客户端使用 Azure Data Lake Storage Gen2 REST API 中提供的 CreateFile 和 FlushWithClose 操作时。”