建立端到端数据分析平台

问题描述

我需要创建一个端到端平台：

1. 输入数据收集和存储-数据将通过FTP定期收集并存储在云中。
2. 数据分析-将分析数据（使用Tableau /任何其他分析软件）
3. 报告-根据更改的输入数据生成每日和每月报告。

我需要确定可用于该解决方案的工具/技术，以及如何在线托管脚本/进程以使其能够24 * 7运行。

我曾经想到的是使用AWS和Tableau：

1. 用于数据收集-在Amazon ECS控制台中计划cron作业
2. 用于存储-存储在AWS上-可能是Amazon S3存储） 但是在加载到Amazon S3之前，我是否可以选择格式化/更改数据？
3. 使用Tableau创建仪表板。 但这将需要多个Tableau会话，因为不同报表的数据源将有所不同。另外，我需要定期将这些报告/仪表板以电子邮件格式发送给用户。可以在AWS中完成吗？

但是，我相信AWS解决方案对公司而言将是昂贵的。还有其他解决方法吗？

抱歉，我是该领域的新手，并且很难找到一种经济高效的解决方案。

解决方法

着眼于构建AWS无服务器架构。 S3> lambda>雅典娜>快视

使用lambda函数将所需格式的数据转换为s3。

使用Athena分区和查询数据，并创建表和数据库。

使用Tableau提取，甚至更好地使用Quicksight。

收费取决于数据量。该解决方案每月的费用不到10美元，可支持10个用户，但估计值含糊不清。