DynamoDB 查询所有按名称排序的用户

问题描述

我正在对应用程序的数据进行建模以使用 DynamoDB。 我的数据模型相当简单:

  • 我有用户和项目
  • 每个用户可以有多个项目

用户可以是数百万,每个用户的项目可以是数千。

我的访问模式也很简单:

  1. 通过 id 获取用户
  2. 获取按名称或创建日期排序的分页用户列表
  3. 通过 id 获取项目
  4. 按用户按日期排序获取项目

我用于此数据模型的单个表如下:

enter image description here

我可以使用表 PK/SK 和 GSI 轻松实现我的所有访问模式,但我遇到了问题 2。 根据文档和最佳实践,获取分页用户的排序列表:

  • 我无法使用扫描,因为不支持排序
  • 我不应该使用带有 PK 的 GSI,它会将我的所有用户放在同一个分区中(例如 GSI PK = "sorted_user",SK = "name"),因为这会使我的单个分区变热并且无法扩展
  • 我无法创建类型为“organisation”的新实体,将所有用户放入其中,并通过 PK = "org" 进行查询,因为这将具有与上述相同的热分区问题

我可以存储用户并使用 write sharding,但我真的不知道如何实际查询分页排序的用户,因为存储桶 PK 可能需要是随机的,我必须查询所有存储桶以能够对所有用户进行排序。我还认为桶 PK 可以是字母,但这也可以打包热分区,因为字母“A”可能会受到很大影响。

我的应用程序模型相当简单。但是,在阅读了所有文档和最佳实践并观看了许多在线视频后,我发现自己陷入了 DynamoDB 似乎无法很好支持的最基本用例。我想对于几乎所有现代应用程序来说,必须在某种管理面板中获取用户列表一定很常见。

在这种情况下,其他人会怎么做?我真的很想使用 DynamoDB 带来的所有好处,尤其是在成本方面。

编辑

既然有人问我,在我的应用中,2) 的主要用例是这样的:https://stackoverflow.com/users?tab=Reputation&filter=all。 至于大小,它需要很好地扩展,至少可以扩展到数万。

解决方法

我也认为bucket PKs可以是字母,但是 也可以创建热分区,就像字母“A”一样 可能会受到很大打击。

我认为这听起来是一个合理的方法。

美国社会保障局在其网站上发布有关姓名的数据。您可以从 1879 年开始download the list of name data!我偶然发现了 data scientist and linguist Joshua Falk 的一个网站,该网站绘制了来自 SSA 的婴儿姓名数据,这可以让我们了解姓名的首字母分布情况。

Name Distribution

您的用户可能并非都来自美国,但这可以让我们了解如果按第一个字母进行分区,名称可能会如何分布。

虽然分布不完全均匀,但对于您的用例来说可能已经足够接近了吗?如果没有,您可以使用名称的前两个(或三个或四个...)字母作为分区键来进一步分发数据。

100 万个名字可能只相当于几 MB 的数据,这并不多。基于名称前缀的分区似乎是一种合理的方法。

您也可以考虑使用 ElasticSearch 之类的工具,它可以支持您的第二种访问模式等。

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...