通过Airflow将文件从GCS复制到Google云端硬盘

问题描述

我想实例化一个任务(通过气流),该任务会将Google云存储中存储桶中的文件复制到驱动器中。

我使用位于的专用运算符:

from airflow.contrib.operators.gcs_to_gdrive_operator import GcsToGDriveOperator

然后操作员:

copy_files = GcsToGDriveOperator(
        task_id="copy_files",source_bucket=GCS_BUCKET_ID,source_object='{}/{}/forecasted/*'.format(COUNTRY_TRIGRAM,PRED_START_RANGE),destination_object="content/drive/Shared Drives/FORECAST_TEST",gcp_conn_id="airflow_service_account_conn_w_drive"
    )

任务成功完成,但是不要将文件复制到“目标对象”中,这是我不确定要放入什么内容的部分。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)