数据湖能否支持大规模快速查找?

问题描述

Data Lake 能否像传统的在线请求-响应服务一样支持大规模快速查找?

一个示例用例,我托管了一个 Web 服务,用于客户上传和下载的对象存储。我希望能够计算下载计数并允许客户在需要时查询下载计数。

我知道对于这个简单的例子,将下载计数添加到主数据库会容易得多。但是假设我的数据库模式已经非常复杂并且服务于更多关键用例。我想将新功能与关键用例分离。这样,新功能就可以拥有单独的 IO 容量来满足不同客户的需求。

我的想法是为流/批处理设置数据湖以更新下载计数。并设置新的 API 以在数据湖上执行密钥查找。不确定这是否是考虑这个问题的正确方法。或者这不是数据湖的好用例?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)