DISTINCT不会删除Google BigQuery中的所有重复项

问题描述

我正在使用以下查询来查询和调整客户的购买数据：

SELECT
disTINCT (order_number),email,first_name,last_name,purchase_date,order_price,source_id,row_number() over(partition by email order by purchase_date) order_count,date_diff(
date(purchase_date),coalesce(date(lag(purchase_date) over(partition by email order by purchase_date)),date(purchase_date)),day
) purchase_latency 
FROM
(select distinct (order_number),source_id
FROM my_dataset_orders where source_id != "test_order" AND order_price != 0)

如您所见，我想避免在数据集中重复出现“ order_number”值。因此，正如您在查询中所看到的那样，我尝试了两种删除重复项的方法：首先，一次使用第一个 disTINCT ，我在第2行中立即使用了它，其次，第二次是在 FROM 部分中，我已经尝试选择不同的值。

但是，当我以CSV格式下载最终数据集时，数据中仍然有一些剩余的order_number重复项。有谁知道如何避免这种情况或我的错误在哪里？

解决方法

如果每个订单都需要一个任意行，那么一种方法是：

select array_agg(o limit 1)[ordinal(0)].*
from my_dataset_orders o
where source_id <> 'test_order' and order_price <> 0
group by o.order_number