问题描述
我目前正在尝试使用apache气流和造纸厂来执行jupyter笔记本。
为了使用我的自定义环境和自定义用户内核，我正在使用BashOperator并以这种格式运行命令
runuser {user} -c 'papermill {input_notebook_path} {output_notebook_path} -k {kernel_name}'
这是尝试执行后的Dag日志的样子： Dag logs
我无法使用python或papermill运算符，因为笔记本使用的内核/ envs未全局安装。
有什么想法吗？
解决方法
解决方法是将气流“ Bash Operator”编辑为具有您创建的目录，而不是为每个dag创建目录。
输出笔记本的文件夹也必须是777