问题描述
我正在尝试使用Airflow在AWS上构建一个简单的数据管道。 我创建了一个DAG，该DAG每天将数据抓取到S3，然后使用在EMR上运行的Spark Job对其进行处理。
我目前正在本地笔记本电脑上运行Airflow Scheduler，但是我当然知道这不是一个好的长期解决方案。
因此，我想了解一些有关将调度程序部署到EC2的提示（工作量大小，部署过程或了解任何其他有用的信息）
解决方法
本地运行通常不是可行的测试后阶段。因此，您需要一个正在运行的服务器。以下是将其部署到AWS EC2的选项和指南。
您可以使用docker / airflow映像在EC2实例上部署气流。 T3.medium就足够了。通常没有太多DAG。我们可以创建一个每7天运行一次的工作流，并清理日志文件。因此，就磁盘而言，如果内存消耗保持不变就不会有问题。您可以像在本地计算机上一样在ec2上正常安装和配置气流，但是我更喜欢通过puckel here使用docker image对其进行设置。
首先，您可以使用已安装docker的AMI，也可以自行安装。
下一步，从泊坞窗拉取图像
docker pull puckel/docker-airflow
在这里，您可能会遇到SQLAlchemy版本conflit的问题（如果不忽略此步骤。因此，请在DockerFile中更改此行以使用其他版本的气流，例如1.10.10
ARG AIRFLOW_VERSION=1.10.9 # change this to 1.10.10 ( or hardcode sqlalchmy version)
下一步，您可能需要在postgres中添加一个用户。
现在您可以运行它
docker run -d -p 8080:8080 puckel/docker-airflow webserver
要输入命令行（用于启动executor，scheduler等），请从中获取容器名称/ id
docker ps
并使用此命令
docker exec -ti <name_of_container> bash
此外，为了将ec2文件夹与docker dags文件夹一起安装，您可以按以下方式进行安装，并且您的dags将与airflow dags同步
docker run -d -p 8080:8080 -v /path/to/dags/on/your/ec2/folder/:/usr/local/airflow/dags puckel/docker-airflow webserver
为了从其他任何计算机（您拥有笔记本电脑）的浏览器中访问此文件
首先，为您的IP启用安全组中的ec2 http端口8080
并从浏览器中，您可以通过
进行访问<ec2-public-ip>:8080
其他第三方托管选项可在AWS上运行气流
Astronomer是一家在所有云平台上提供完全托管的Airflow的公司，具有监控等高级功能。他们在其团队中贡献了一些顶级的Airflow。
费用：
在t3.medium上运行整个月的Airflow的每月费用约为32.37美元，可以是calculated here
每10 AU（1个CPU，3.75 GB内存），天文学家的成本大约为100$/month（但要权衡取舍，由天文学家进行管理并提供支持等）
,您需要在EC2机器上安装气流以管理EMR群集的所有这些请求。
遵循气流安装
https://airflow.apache.org/docs/stable/installation.html
您可以在此处检查所有气流执行器-
https://airflow.apache.org/docs/stable/executor/index.html
我建议您为此安装celery executor。 在您的EC2机器上，您应至少安装3个气流服务
气流网络服务器-访问气流用户界面
airflow webserver start
气流调度程序-触发故障
airflow scheduler start
气流工作者-运行任务
airflow worker start
还极力建议您安装数据库（mysql，postgres）以存储来自气流的元数据。您可以从EC2计算机外部以AWS RDS Postgres的身份运行此数据库，然后可以使用数据库的连接字符串信息编辑airflow.cfg文件。