如何为气流 DAG 任务或 python 代码安装依赖模块？ , 使用 kuberentesExecutor 时气流 DAG 中的“无法导入模块”

编程问答 2022-05-15

问题描述

我有一个气流 DAG“example_ml.py”，它有一个任务“train_ml_model”，这个任务正在调用/运行一个 python 脚本“training.py”。

-Dags/example_ml.py -Dags/training.py

当我运行 Dag 时，它无法导入执行训练脚本所需的模块。

Error in import sklearn module

DAG 任务的代码片段：

   train_model = Pythonoperator(
        task_id='train_model',python_callable=training,dag = dag
    )

PS：我使用的是 k8s 集群。 Airflow 运行在 k8s 集群中，executor 设置为 kubernetesExecutor。因此，当每个 DAG 被触发时，都会分配一个新的 Pod 来完成任务。

解决方法

你能提供更多细节吗？你是在本地计算机上运行这个吗？一个容器？你确定安装了这个包？正如您所评论的那样，该错误似乎与缺少包有关。创建要安装的任务可能无法解决问题。理想的情况是在您运行的任何气流上安装要求

,

我遇到了同样的问题，这就是我解决它的方法：

运行以下python代码

>>> import sys
>>> from pprint import pprint
>>> pprint(sys.path)

我得到这些路径

 '/home/.local/lib/python3.6/site-packages','/usr/local/lib/python3.6/dist-packages','/usr/lib/python3/dist-packages'

对我来说气流列在

'/usr/local/lib/python3.6/dist-packages'

因此，要找到该软件包，必须将其安装在此处。我用这个命令来安装我的包：

sudo python3 -m pip install -system [package-name] -t $(pwd)
airflowairflowairflow-operatorairflow-workerkubernetespodoperator