系统设计题:每晚处理第三方大文件

问题描述

我们的应用程序每晚都会从第三方工具接收一个大型数据集(例如 100 GB),我们需要对其进行处理并在一天结束前将其提供给我们的系统。 我们可以自由使用任何基础设施,但处理时间应尽可能短,

谁能建议一个优化的方法。?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)