使用S3连接通过EKS进行Airflow 1.10.6 kubernetes执行程序，任务通过测试但dag运行失败

编程问答 2022-08-16

问题描述

我尝试过： -从value.yaml配置s3连接：

  • 连接：
    • id：aws_default
      类型：aws
      登录名：xxxaws_access_key_idxxx
      密码：xxxxxxxxxxxxxaws_secret_access_keyxxxxxxxxxxxxxxxxxx
    • id：my_s3
      类型：s3
      登录名：xxxaws_access_key_idxxx
      密码：xxxxxxxxxxxxxaws_secret_access_keyxxxxxxxxxxxxxxxxxx
  1. 编写使用s3Hook的DAG并将字符串写入s3。
  2. 从调度程序窗格运行测试：
    / entrypoint气流测试dag_id task_id date_before_the_start_data_of_DAG
  3. 文件已创建且内容正常
  4. @ Airflow UI激活
    DAG和RUN已排队并且失败。
    有什么建议吗？

顺便说一句DAG ARGS：
 

args = {
    'owner': 'airflow','start_date': airflow.utils.dates.days_ago(0),'trigger_rule': 'dummy',#'pool': 'my_workers_pool','catchup': False,# dont fill back
}

dag tree view

clicking the viewlog at UI shows nothing

此外，我为任务添加了5分钟的睡眠时间，这导致DAG失败，并观看了在kubectl上的吊舱创建，但是任务开始了几秒钟，然后消失了。任何想法如何调试此问题？

任务窗格中的日志：

kubectl记录postgressexamplesababaegozimpostgress-7322d44cb2684a09bef95ad3080b9505 -n airflow-research-p-8482f --tail = 200 [2020-08-24 12：04：44,262] {{settings.py:252}}信息-settings.configure_orm（）：使用池 设置。 pool_size = 5，max_overflow = 10，pool_recycle = 1800，pid = 1 /usr/local/lib/python3.7/site-packages/psycopg2/init.py:144： 用户警告：psycopg2滚轮包将从发行版中重命名 2.8;为了保持二进制安装，请改用“ pip install psycopg2-binary”。有关详细信息，请参见： http://initd.org/psycopg/docs/install.html#binary-install-from-pypi。 “”“）[2020-08-24 12：04：44,833] {{ init .py：51}}信息-使用 执行器LocalExecutor [2020-08-24 12：04：44,834] {{dagbag.py:92}}信息

  • 从/usr/local/airflow/dags/postgress_example.py Traceback（最新的）填充DagBag 最后一次调用）：文件“ / usr / local / bin / airflow”，第37行，在 [2020-08-24 12：04：44,841] {{dagbag.py:207}}错误-无法导入： /usr/local/airflow/dags/postgress_example.py Traceback（最新 最后调用）：文件 “ /usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py”， 第204行，在process_file中 m = imp.load_source（mod_name，filepath）在load_source中的文件“ /usr/local/lib/python3.7/imp.py”，第171行 module = _load（spec）File“”，行696，在_load File“”，行677，在 _load_unlocked File“”，第728行，exec_module File“”，第219行， 在_call_with_frames_removed文件中 “ /usr/local/airflow/dags/postgress_example.py”，第33行，在 导入boto3 ModuleNotFoundError：没有名为“ boto3”的模块 args.func（args）文件“ /usr/local/lib/python3.7/site-packages/airflow/utils/cli.py”，行 74，在包装纸中 返回f（* args，** kwargs）文件“ /usr/local/lib/python3.7/site-packages/airflow/bin/cli.py”，第529行， 运行中 dag = get_dag（args）文件“ /usr/local/lib/python3.7/site-packages/airflow/bin/cli.py”，第148行， 在get_dag中 'parse。'。format（args.dag_id））airflow.exceptions.AirflowException：找不到dag_id：postgress_example。要么dag没有 存在或无法解析。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

airflowamazon-s3kuberneteskubernetes-pod