问题描述
我正在尝试启用@Override
public Enumeration<String> getHeaders(String name) {
String values = getHeader(name);
Set<String> set = Arrays.asList(values.split(",")).stream().collect(Collectors.toSet());
if (customHeaders.containsKey(name)) {
return Collections.enumeration(set);
}
return super.getHeaders(name);
}
，为此，我按照以下步骤操作：
apache-airflow安装
Remote Airflow logsAirflow.cfg文件：
pip install apache-airflow[crypto,postgres,ssh,s3,log]==1.10.10
我有remote_logging = True
remote_base_log_folder = s3://bucket-name/logs
encrypt_s3_logs = False
logging_level = INFO
fab_logging_level = WARN
remote_log_conn_id = MyS3Conn
在Airflow的{{1}}容器中运行。
我读到，如果气流托管在EC2服务器上，则应创建连接，使配置中的所有内容都保持空白，连接类型应保持为S3。
S3hook将默认设置为boto，这将默认设置为您要在其上运行气流的EC2服务器的角色。假设该角色拥有S3的权限，则您的任务将能够访问存储桶。
所以我应用了此方法，但是我不知道使用docker是否能按预期工作。
如果我运行了dag命令，我会看到在docker的{{1}}文件夹中创建的日志，但是在S3中的指定文件夹中没有新文件。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）