Apache Airflow1.10.12：无法看到任何创建的tmp目录或文件

问题描述

TL; DR无论我做什么，我似乎都找不到在气流dag运行期间创建的临时文件。

你好乡亲，

我正在Ubuntu 20.04上使用Apache Airflow（1.10.12）系统。

我的过程很简单

下载FTP文件
将文件分成几行，并根据行中的内容收集到单独的文件中

对于“下载”步骤，我选择将文件下载到使用以下BashOperator创建的临时目录中：

 create_temp_dir_command = 'pwd ' \
                       '&& tmp_dir=$(mktemp -d -p /var/tmp ' \
                       '-t ftp-$(date +%Y-%m-%d-%H-%M-%s)-airflow-wexftp-XXXXXXXXXX) ' \
                       '&& echo $tmp_dir'
t2 = BashOperator(
   task_id='create_temp_dir',bash_command=create_temp_dir_command,xcom_push=True,dag=dag,)

因为我正在开发中，所以我想检查文件。但是，文件似乎永远不会在服务器上存在。我的日志如下：

INFO - Temporary script location: /tmp/airflowtmp_vhpdkgo/create_temp_dirxjyod2h5
INFO - Running command: pwd && tmp_dir=$(mktemp -d -p /var/tmp -t ci-$(date +%Y-%m-%d-%H-%M-%s)-airflow-wexftp-XXXXXXXXXX) && echo $tmp_dir
INFO - Output:
INFO - /tmp/airflowtmp_vhpdkgo
INFO - /var/tmp/ci-2020-10-16-11-18-48-airflow-wexftp-Ro0onvw0mq

当我尝试将列出的目录更改为任何时，在日志中，我发现它们不存在。我已经尝试检查下载到磁盘上的文件的大小，并且它们确实具有大小，因此它们确实存在。

为什么即使我在root shell中，这些目录也是如此不可见且无法访问？

非常感谢您的帮助。

编辑：我有一个单节点设置。因此，调度程序和工作程序是同一实例。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

airflow temp