问题描述
我试图通过使用数据将如何放置来理解以下查询。
CREATE TABLE mytable (
name string,city string,employee_id int )
PARTITIONED BY (year STRING,month STRING,day STRING)
CLUSTERED BY (employee_id) INTO 256 BUCKETS
关键字PARTITIONED BY将数据分布在下面的目录结构中。
/user/hive/warehouse/mytable/y=2015/m=12/d=02
但我无法理解，employee_id 将如何分布在这些目录中？将创建 256 个存储桶（文件），所有这些文件都将包含 employee_id 但哪个文件将位于哪个目录下，如何决定？
谁能帮我理解这个？
解决方法
目录是分区或表位置。存储桶是这些目录中的文件。
复杂分区是分层目录。在你的情况下：
`/user/hive/warehouse/mytable/` - Table location,contains partition directories:
`y=2015/` - year partition directory,contains months directories:
`m=12/` - month partition,contains days partitions directories:
`d=02/` - day partition,contains 256 files(buckets)
00000
...
00255
`d=03/` -Each day partition will contain 256 files (if you have enough data)
00000
...
00255
每个文件都不会包含所有的employee_id。使用以下公式确定哪个记录将位于哪个文件中：
bucket_number=hash_function(employee_id) MOD 256
其中 hash_function 是整数，在 Int employee_id 的情况下，它等于 employee_id。
256 - 是桶数
MOD 256 将生成范围 [0..255] 内的整数值，对应于桶号。
相同的 ID 将始终位于相同的存储桶中。每个日常分区将包含它自己的文件（桶），每个分区最多 256 个桶。
比如说，employee_id = 1024 进入bucket 0，如果同一个employee_id存在很多天，它会在每天目录的00000文件中。
employee_id=1050 进入文件 000026，因为 1050 MOD 256 = 26。
因此，首先将数据按分区键进行分区，在分区内将数据分桶（分布在文件之间）。