Use extended stats for precise estimation of bucket size in hash join
authorAlexander Korotkov <akorotkov@postgresql.org>
Mon, 10 Mar 2025 11:42:00 +0000 (13:42 +0200)
committerAlexander Korotkov <akorotkov@postgresql.org>
Mon, 10 Mar 2025 11:42:01 +0000 (13:42 +0200)
commit6bb6a62f3cc45624c601d5270673a17447734629
tree89edafbedad663606841de35f3587696a0e47ba5
parentfae535da0ac2a8d0bb279cc66d62b0dcc4b5409b
Use extended stats for precise estimation of bucket size in hash join

Recognizing the real-life complexity where columns in the table often have
functional dependencies, PostgreSQL's estimation of the number of distinct
values over a set of columns can be underestimated (or much rarely,
overestimated) when dealing with multi-clause JOIN.  In the case of hash
join, it can end up with a small number of predicted hash  buckets and, as
a result, picking non-optimal merge join.

To improve the situation, we introduce one additional stage of bucket size
estimation - having two or more join clauses estimator lookup for extended
statistics and use it for multicolumn estimation.  Clauses are grouped into
lists, each containing expressions referencing the same relation.  The result
of the multicolumn estimation made over such a list is combined with others
according to the caller's logic.  Clauses that are not estimated are returned
to the caller for further estimation.

Discussion: https://postgr.es/m/52257607-57f6-850d-399a-ec33a654457b%40postgrespro.ru
Author: Andrei Lepikhov <lepihov@gmail.com>
Reviewed-by: Andy Fan <zhihui.fan1213@gmail.com>
Reviewed-by: Tomas Vondra <tomas.vondra@enterprisedb.com>
Reviewed-by: Alena Rybakina <lena.ribackina@yandex.ru>
Reviewed-by: Alexander Korotkov <aekorotkov@gmail.com>
src/backend/optimizer/path/costsize.c
src/backend/utils/adt/selfuncs.c
src/include/utils/selfuncs.h
src/test/regress/expected/stats_ext.out
src/test/regress/sql/stats_ext.sql