↑↓ 选择↵ 打开⌫ 切换范围完整搜索

PG.CENTER 连接 PostgreSQL 文档、百科与生态知识。由 Pigsty 维护。

支持中的版本: 当前版本 (18) / 17 / 16 / 15 / 14
开发中的版本: 19 / 20devel
已结束支持的版本: 13 / 12 / 11 / 10
历史版本。 PostgreSQL 13 已结束支持。 2025-11-13. 请参阅 当前版本手册.

71.2. 多元统计信息示例 #

71.2.1. 函数依赖 #

多元相关性可以通过一个非常简单的数据集来演示 — 一个包含两列的表,两列都含有相同的值:

CREATE TABLE t (a INT, b INT);
INSERT INTO t SELECT i % 100, i % 100 FROM generate_series(1, 10000) s(i);
ANALYZE t;

如第 14.2 节所述,规划器可以利用从 pg_class 得到的页数和行数来确定 t 的基数:

SELECT relpages, reltuples FROM pg_class WHERE relname = 't';

 relpages | reltuples
----------+-----------
       45 |     10000

数据分布非常简单;每一列中都只有 100 个不同的值,并且均匀分布。

下面的示例展示了对 WHERE 条件在 a 列上进行估计的结果:

EXPLAIN (ANALYZE, TIMING OFF) SELECT * FROM t WHERE a = 1;
                                 QUERY PLAN                                  
-------------------------------------------------------------------​------------
 Seq Scan on t  (cost=0.00..170.00 rows=100 width=8) (actual rows=100 loops=1)
   Filter: (a = 1)
   Rows Removed by Filter: 9900

规划器会检查该条件,并认定此子句的选择率为 1%。将该估计与实际行数相比,可以看出估计非常准确(实际上是精确的,因为这张表非常小)。把 WHERE 条件改为使用 b 列,会生成相同的计划。但请看如果把同一条件同时应用到两列上,并用 AND 连接,会发生什么:

EXPLAIN (ANALYZE, TIMING OFF) SELECT * FROM t WHERE a = 1 AND b = 1;
                                 QUERY PLAN                                  
-------------------------------------------------------------------​----------
 Seq Scan on t  (cost=0.00..195.00 rows=1 width=8) (actual rows=100 loops=1)
   Filter: ((a = 1) AND (b = 1))
   Rows Removed by Filter: 9900

规划器分别估计每个条件的选择率,得到与上面相同的 1% 估计值。然后它假定这些条件彼此独立,于是将它们的选择率相乘,得到最终只有 0.01% 的选择率估计。这是严重的低估,因为实际匹配这些条件的行数(100)要高出两个数量级。

这个问题可以通过创建一个统计信息对象来解决,该对象会指示 ANALYZE 在这两列上计算函数依赖的多元统计信息:

CREATE STATISTICS stts (dependencies) ON a, b FROM t;
ANALYZE t;
EXPLAIN (ANALYZE, TIMING OFF) SELECT * FROM t WHERE a = 1 AND b = 1;
                                  QUERY PLAN                                   
-------------------------------------------------------------------​------------
 Seq Scan on t  (cost=0.00..195.00 rows=100 width=8) (actual rows=100 loops=1)
   Filter: ((a = 1) AND (b = 1))
   Rows Removed by Filter: 9900

71.2.2. 多元非重复值计数 #

在估计多列集合的基数时,也会出现类似的问题,例如 GROUP BY 子句会生成多少个组。当 GROUP BY 只列出一列时,非重复值数量估计(可从 HashAggregate 节点估计返回的行数看出)非常准确:

EXPLAIN (ANALYZE, TIMING OFF) SELECT COUNT(*) FROM t GROUP BY a;
                                       QUERY PLAN                                        
-------------------------------------------------------------------​----------------------
 HashAggregate  (cost=195.00..196.00 rows=100 width=12) (actual rows=100 loops=1)
   Group Key: a
   ->  Seq Scan on t  (cost=0.00..145.00 rows=10000 width=4) (actual rows=10000 loops=1)

但是如果没有多元统计信息,对于在 GROUP BY 中包含两列的查询,组数估计会像下面这样差一个数量级:

EXPLAIN (ANALYZE, TIMING OFF) SELECT COUNT(*) FROM t GROUP BY a, b;
                                       QUERY PLAN                                        
-------------------------------------------------------------------​-------------------------
 HashAggregate  (cost=220.00..230.00 rows=1000 width=16) (actual rows=100 loops=1)
   Group Key: a, b
   ->  Seq Scan on t  (cost=0.00..145.00 rows=10000 width=8) (actual rows=10000 loops=1)

通过重新定义统计信息对象,使其包含这两列的非重复值计数,估计值就会大幅改进:

DROP STATISTICS stts;
CREATE STATISTICS stts (dependencies, ndistinct) ON a, b FROM t;
ANALYZE t;
EXPLAIN (ANALYZE, TIMING OFF) SELECT COUNT(*) FROM t GROUP BY a, b;
                                       QUERY PLAN                                        
-------------------------------------------------------------------​-------------------------
 HashAggregate  (cost=220.00..221.00 rows=100 width=16) (actual rows=100 loops=1)
   Group Key: a, b
   ->  Seq Scan on t  (cost=0.00..145.00 rows=10000 width=8) (actual rows=10000 loops=1)

71.2.3. MCV 列表 #

如第 71.2.1 节中所述,函数依赖是一种非常廉价且高效的统计信息类型,但其主要局限在于它具有全局性(只在列层面跟踪依赖关系,而不是跟踪各个列值之间的依赖关系)。

本节介绍 MCV(高频值)列表的多元变体,它是第 71.1 节中按列统计信息的直接扩展。这类统计信息通过存储单个值来解决上述限制,但无论是在 ANALYZE 中构建统计信息,还是在存储和规划时间方面,它的代价自然都更高。

让我们再次查看第 71.2.1 节中的查询,不过这一次是在同一组列上创建一个 MCV 列表(务必先删除函数依赖,以确保规划器使用新创建的统计信息)。

DROP STATISTICS stts;
CREATE STATISTICS stts2 (mcv) ON a, b FROM t;
ANALYZE t;
EXPLAIN (ANALYZE, TIMING OFF) SELECT * FROM t WHERE a = 1 AND b = 1;
                                   QUERY PLAN
-------------------------------------------------------------------​------------
 Seq Scan on t  (cost=0.00..195.00 rows=100 width=8) (actual rows=100 loops=1)
   Filter: ((a = 1) AND (b = 1))
   Rows Removed by Filter: 9900

其估计与使用函数依赖时一样准确,这主要得益于该表相当小,而且分布简单、非重复值数量也少。在查看第二个查询之前,我们先稍微检查一下 MCV 列表,因为函数依赖对那个查询的处理并不特别理想。

要检查 MCV 列表,可以使用返回集函数 pg_mcv_list_items。

SELECT m.* FROM pg_statistic_ext join pg_statistic_ext_data on (oid = stxoid),
                pg_mcv_list_items(stxdmcv) m WHERE stxname = 'stts2';
 index |  values  | nulls | frequency | base_frequency
-------+----------+-------+-----------+----------------
     0 | {0, 0}   | {f,f} |      0.01 |         0.0001
     1 | {1, 1}   | {f,f} |      0.01 |         0.0001
   ...
    49 | {49, 49} | {f,f} |      0.01 |         0.0001
    50 | {50, 50} | {f,f} |      0.01 |         0.0001
   ...
    97 | {97, 97} | {f,f} |      0.01 |         0.0001
    98 | {98, 98} | {f,f} |      0.01 |         0.0001
    99 | {99, 99} | {f,f} |      0.01 |         0.0001
(100 rows)

这证实这两列中有 100 个不同的组合,而且它们都大致同样常见(每个组合的频率都是 1%)。基础频率是根据按列统计信息计算出的频率,相当于假设不存在多列统计信息。如果任一列中存在空值,它会在 nulls 列中标识出来。

在估计选择率时,规划器会将所有条件应用到 MCV 列表中的各个项上,然后把匹配项的频率加总起来。详情请参阅 mcv_clauselist_selectivity(位于 src/backend/statistics/mcv.c 中)。

与函数依赖相比,MCV 列表有两大主要优点。首先,列表存储的是真实值,因此可以判断哪些组合是兼容的。

EXPLAIN (ANALYZE, TIMING OFF) SELECT * FROM t WHERE a = 1 AND b = 10;
                                 QUERY PLAN
-------------------------------------------------------------------​--------
 Seq Scan on t  (cost=0.00..195.00 rows=1 width=8) (actual rows=0 loops=1)
   Filter: ((a = 1) AND (b = 10))
   Rows Removed by Filter: 10000

其次,MCV 列表可以处理更广泛的子句类型,而不仅仅是像函数依赖那样只适用于等值子句。例如,考虑同一张表上的如下范围查询:

EXPLAIN (ANALYZE, TIMING OFF) SELECT * FROM t WHERE a <= 49 AND b > 49;
                                QUERY PLAN
-------------------------------------------------------------------​--------
 Seq Scan on t  (cost=0.00..195.00 rows=1 width=8) (actual rows=0 loops=1)
   Filter: ((a <= 49) AND (b > 49))
   Rows Removed by Filter: 10000

报告文档问题

阅读 上游文档. 反馈更正前请先核对 当前版本手册.