MySQL InnoDB-在许多项目上使用GROUP BY

编程问答 2022-08-15

问题描述

我有一个包含id，date，ad_id，ad_network，ad_event列的表。 在我的数据库中，有数百万个不同的ad_id，每个都有与其相关的一些事件。 当我尝试在GROUP BY上使用ad_id来计数每个事件时，花费的时间如此之久，出现503错误。

我需要计算不同的AdClickThru和AdImpression以便计算点击率。 问题是一个用户可以单击多次，因此我只能算一个AdClickThru。

查询如下：

SELECT
    `ad_network`,`ad_id`,SUM(disTINCT CASE WHEN `ad_event` = "AdImpression" THEN 1 ELSE 0 END) as AdImpression,SUM(disTINCT CASE WHEN `ad_event` = "AdClickThru" THEN 1 ELSE 0 END) as AdClickThru
FROM `ads`
WHERE 1
    AND `ad_event` IN ("AdImpression","AdClickThru")
    AND SUBSTR(`date`,1,7) = "2020-08"
GROUP BY `ad_id`

我在ad_id和ad_event + date上都有索引，但是并没有太大帮助。

如何优化此查询？ 该数据库将增长到数十亿个条目，甚至更多。

@edit

忘了提到上面的代码是外部查询的内部部分：

    SELECT
        `ad_network`,SUM(`AdImpression`) as cnt_AdImpression,SUM(`AdClickThru`) as cnt_AdClickThru,100 * SUM(`AdClickThru`) / SUM(`AdImpression`) as ctr
    FROM (
        SELECT
            `ad_network`,SUM(disTINCT CASE WHEN `ad_event` = "AdClickThru" THEN 1 ELSE 0 END) as AdClickThru
        FROM `ads`
        WHERE 1
            AND `ad_event` IN ("AdImpression","AdClickThru")
            AND SUBSTR(`date`,7) = "2020-08" -- better performance
        GROUP BY `ad_id`
    ) a
    GROUP BY `ad_network`
    ORDER BY ctr DESC

解决方法

问题在于，一个用户可以点击多次，因此我只能算一个AdClickThru。

然后使用MAX()，而不是COUNT(DISTINCT)。这样可以得到与您的表达相同的结果，并且效率更高。我还建议重写日期过滤器，使其对索引友好：

SELECT
    `ad_network`,`ad_id`,MAX(`ad_event` = 'AdImpression') as AdImpression,MAX(`ad_event` = 'AdClickThru') as AdClickThru
FROM `ads`
WHERE 1
    AND `ad_event` IN ('AdImpression','AdClickThru')
    AND `date` >= '2020-08-01'
    AND `date` <  '2020-09-01'
GROUP BY `ad_id`

注意：

  • ad_network子句中select的存在使我很困扰：如果每个ad_id有多个值，则将被定义为未定义。您也可以将此列放在group by子句中，或者在sélect子句中使用聚合函数（例如MAX(ad_network)-或者如果可以接受任意值，则应明确关于any_value()

  • 对文字字符串使用单引号，而不是双引号（这是SQL标准）

,

在主查询和子查询中不需要2个单独的聚合。
您要针对这两种情况分别计算不同的ad_id：

SELECT ad_network,COUNT(DISTINCT CASE WHEN ad_event = 'AdImpression' THEN ad_id END) AS cnt_AdImpression,COUNT(DISTINCT CASE WHEN ad_event = 'AdClickThru' THEN ad_id END) AS cnt_AdClickThru,100 * 
       COUNT(DISTINCT CASE WHEN ad_event = 'AdClickThru' THEN ad_id END) / 
       COUNT(DISTINCT CASE WHEN ad_event = 'AdImpression' THEN ad_id END) AS ctr
FROM ads
WHERE ad_event IN ('AdImpression','AdClickThru') AND SUBSTR(date,1,7) = '2020-08'
GROUP BY ad_network
ORDER BY ctr DESC

这里的问题是您必须重复cnt_AdImpression和cnt_AdClickThru的表达式。
您可以在子查询中计算这些表达式：

SELECT ad_network,cnt_AdImpression,cnt_AdClickThru,100 * cnt_AdClickThru / cnt_AdImpression AS ctr
FROM (
  SELECT ad_network,COUNT(DISTINCT CASE WHEN ad_event = 'AdClickThru' THEN ad_id END) AS cnt_AdClickThru
  FROM ads
  WHERE ad_event IN ('AdImpression',7) = '2020-08'
  GROUP BY ad_network
) t
ORDER BY ctr DESC
countdatetimedatetimemysqlquery-optimizationsqlsql