Another go at making pred_test() handle all reasonable combinations
authorTom Lane <tgl@sss.pgh.pa.us>
Wed, 2 Mar 2005 04:10:53 +0000 (04:10 +0000)
committerTom Lane <tgl@sss.pgh.pa.us>
Wed, 2 Mar 2005 04:10:53 +0000 (04:10 +0000)
of AND and OR clauses.  The key point here is that an OR on the
predicate side has to be treated gingerly: we may be able to prove
that the OR is implied even when no one of its components is implied.
For example (x OR y) implies (x OR y OR z) even though no one of x,
y, or z can be individually proven.  This code handles both the
example shown recently by Sergey Koshcheyev and the one shown last
October by Dawid Kuroczko.

src/backend/optimizer/path/indxpath.c

index ec28bf0408df02ff101650f0e1cbe4020e1fd0b8..f86206304c16410242e694924565ea5c4bba4568 100644 (file)
@@ -9,7 +9,7 @@
  *
  *
  * IDENTIFICATION
- *       $PostgreSQL: pgsql/src/backend/optimizer/path/indxpath.c,v 1.168 2005/03/01 00:24:52 tgl Exp $
+ *       $PostgreSQL: pgsql/src/backend/optimizer/path/indxpath.c,v 1.169 2005/03/02 04:10:53 tgl Exp $
  *
  *-------------------------------------------------------------------------
  */
@@ -64,9 +64,7 @@ static bool match_join_clause_to_indexcol(RelOptInfo *rel, IndexOptInfo *index,
                                                          RestrictInfo *rinfo);
 static Oid indexable_operator(Expr *clause, Oid opclass,
                                   bool indexkey_on_left);
-static bool pred_test_restrict_list(Expr *predicate, List *restrictinfo_list);
-static bool pred_test_recurse_restrict(Expr *predicate, Node *clause);
-static bool pred_test_recurse_pred(Expr *predicate, Node *clause);
+static bool pred_test_recurse(Node *clause, Node *predicate);
 static bool pred_test_simple_clause(Expr *predicate, Node *clause);
 static Relids indexable_outerrelids(RelOptInfo *rel, IndexOptInfo *index);
 static Path *make_innerjoin_index_path(Query *root,
@@ -749,30 +747,17 @@ check_partial_indexes(Query *root, RelOptInfo *rel)
  *       Recursively checks whether the clauses in restrictinfo_list imply
  *       that the given predicate is true.
  *
- *       This routine (together with the routines it calls) iterates over
- *       ANDs in the predicate first, then breaks down the restriction list
- *       to its constituent AND/OR elements, and iterates over ORs
- *       in the predicate last.  This order is important to make the test
- *       succeed whenever possible. --Nels, Jan '93
- *
- *       For example, a restriction (a OR b) certainly implies a predicate
- *       (a OR b OR c), but no one element of the predicate is individually
- *       implied by the restriction.  By expanding the predicate ORs last
- *       we are able to prove that the whole predicate is implied by each arm
- *       of the restriction.  Conversely consider predicate (a AND b) with
- *       restriction (a AND b AND c).  This should be implied but we will
- *       fail to prove it if we dissect the restriction first.
- *
  *       The top-level List structure of each list corresponds to an AND list.
- *       We assume that canonicalize_qual() has been applied and so there
- *       are no explicit ANDs immediately below the top-level List structure.
- *       (If this is not true we might fail to prove an implication that is
- *       valid, but no worse consequences will ensue.)
+ *       We assume that canonicalize_qual() has been applied and so there are
+ *       no un-flattened ANDs or ORs (e.g., no AND immediately within an AND,
+ *       including AND just below the top-level List structure).
+ *       If this is not true we might fail to prove an implication that is
+ *       valid, but no worse consequences will ensue.
  */
 bool
 pred_test(List *predicate_list, List *restrictinfo_list)
 {
-       ListCell   *pred;
+       ListCell   *item;
 
        /*
         * Note: if Postgres tried to optimize queries by forming equivalence
@@ -793,133 +778,189 @@ pred_test(List *predicate_list, List *restrictinfo_list)
                return false;                   /* no restriction clauses: the test must
                                                                 * fail */
 
-       /* Take care of the AND semantics of the top-level predicate list */
-       foreach(pred, predicate_list)
+       /*
+        * In all cases where the predicate is an AND-clause, pred_test_recurse()
+        * will prefer to iterate over the predicate's components.  So we can
+        * just do that to start with here, and eliminate the need for
+        * pred_test_recurse() to handle a bare List on the predicate side.
+        *
+        * Logic is: restriction must imply each of the AND'ed predicate items.
+        */
+       foreach(item, predicate_list)
        {
-               /*
-                * if any clause is not implied, the whole predicate is not
-                * implied.
-                */
-               if (!pred_test_restrict_list(lfirst(pred), restrictinfo_list))
+               if (!pred_test_recurse((Node *) restrictinfo_list, lfirst(item)))
                        return false;
        }
        return true;
 }
 
 
-/*
- * pred_test_restrict_list
- *       Does the "predicate inclusion test" for one AND clause of a predicate
- *       expression.  Here we take care of the AND semantics of the top-level
- *       restrictinfo list.
- */
-static bool
-pred_test_restrict_list(Expr *predicate, List *restrictinfo_list)
-{
-       ListCell   *item;
-
-       foreach(item, restrictinfo_list)
-       {
-               /* if any clause implies the predicate, return true */
-               if (pred_test_recurse_restrict(predicate,
-                                                                          (Node *) lfirst(item)))
-                       return true;
-       }
-       return false;
-}
-
-
-/*
- * pred_test_recurse_restrict
- *       Does the "predicate inclusion test" for one AND clause of a predicate
- *       expression.  Here we recursively deal with the possibility that the
- *       restriction-list element is itself an AND or OR structure; also,
- *       we strip off RestrictInfo nodes to find bare qualifier expressions.
+/*----------
+ * pred_test_recurse
+ *       Does the "predicate inclusion test" for non-NULL restriction and
+ *       predicate clauses.
+ *
+ * The logic followed here is ("=>" means "implies"):
+ *     atom A => atom B iff:                   pred_test_simple_clause says so
+ *     atom A => AND-expr B iff:               A => each of B's components
+ *     atom A => OR-expr B iff:                A => any of B's components
+ *     AND-expr A => atom B iff:               any of A's components => B
+ *     AND-expr A => AND-expr B iff:   A => each of B's components
+ *     AND-expr A => OR-expr B iff:    A => any of B's components,
+ *                                                                     *or* any of A's components => B
+ *     OR-expr A => atom B iff:                each of A's components => B
+ *     OR-expr A => AND-expr B iff:    A => each of B's components
+ *     OR-expr A => OR-expr B iff:             each of A's components => any of B's
+ *
+ * An "atom" is anything other than an AND or OR node.  Notice that we don't
+ * have any special logic to handle NOT nodes; these should have been pushed
+ * down or eliminated where feasible by prepqual.c.
+ *
+ * We can't recursively expand either side first, but have to interleave
+ * the expansions per the above rules, to be sure we handle all of these
+ * examples:
+ *             (x OR y) => (x OR y OR z)
+ *             (x AND y AND z) => (x AND y)
+ *             (x AND y) => ((x AND y) OR z)
+ *             ((x OR y) AND z) => (x OR y)
+ * This is still not an exhaustive test, but it handles most normal cases
+ * under the assumption that both inputs have been AND/OR flattened.
+ *
+ * A bare List node on the restriction side is interpreted as an AND clause,
+ * in order to handle the top-level restriction List properly.  However we
+ * need not consider a List on the predicate side since pred_test() already
+ * expanded it.
+ *
+ * We have to be prepared to handle RestrictInfo nodes in the restrictinfo
+ * tree, though not in the predicate tree.
+ *----------
  */
 static bool
-pred_test_recurse_restrict(Expr *predicate, Node *clause)
+pred_test_recurse(Node *clause, Node *predicate)
 {
-       List       *items;
        ListCell   *item;
 
        Assert(clause != NULL);
+       /* skip through RestrictInfo */
        if (IsA(clause, RestrictInfo))
        {
-               RestrictInfo *restrictinfo = (RestrictInfo *) clause;
-
-               return pred_test_recurse_restrict(predicate,
-                                                                                 (Node *) restrictinfo->clause);
+               clause = (Node *) ((RestrictInfo *) clause)->clause;
+               Assert(clause != NULL);
+               Assert(!IsA(clause, RestrictInfo));
        }
-       else if (or_clause(clause))
+       Assert(predicate != NULL);
+
+       /*
+        * Since a restriction List clause is handled the same as an AND clause,
+        * we can avoid duplicate code like this:
+        */
+       if (and_clause(clause))
+               clause = (Node *) ((BoolExpr *) clause)->args;
+
+       if (IsA(clause, List))
        {
-               items = ((BoolExpr *) clause)->args;
-               foreach(item, items)
+               if (and_clause(predicate))
                {
-                       /* if any OR item doesn't imply the predicate, clause doesn't */
-                       if (!pred_test_recurse_restrict(predicate, lfirst(item)))
-                               return false;
+                       /* AND-clause => AND-clause if A implies each of B's items */
+                       foreach(item, ((BoolExpr *) predicate)->args)
+                       {
+                               if (!pred_test_recurse(clause, lfirst(item)))
+                                       return false;
+                       }
+                       return true;
+               }
+               else if (or_clause(predicate))
+               {
+                       /* AND-clause => OR-clause if A implies any of B's items */
+                       /* Needed to handle (x AND y) => ((x AND y) OR z) */
+                       foreach(item, ((BoolExpr *) predicate)->args)
+                       {
+                               if (pred_test_recurse(clause, lfirst(item)))
+                                       return true;
+                       }
+                       /* Also check if any of A's items implies B */
+                       /* Needed to handle ((x OR y) AND z) => (x OR y) */
+                       foreach(item, (List *) clause)
+                       {
+                               if (pred_test_recurse(lfirst(item), predicate))
+                                       return true;
+                       }
+                       return false;
+               }
+               else
+               {
+                       /* AND-clause => atom if any of A's items implies B */
+                       foreach(item, (List *) clause)
+                       {
+                               if (pred_test_recurse(lfirst(item), predicate))
+                                       return true;
+                       }
+                       return false;
                }
-               return true;
        }
-       else if (and_clause(clause))
+       else if (or_clause(clause))
        {
-               items = ((BoolExpr *) clause)->args;
-               foreach(item, items)
+               if (or_clause(predicate))
                {
                        /*
-                        * if any AND item implies the predicate, the whole clause
-                        * does
+                        * OR-clause => OR-clause if each of A's items implies any of
+                        * B's items.  Messy but can't do it any more simply.
                         */
-                       if (pred_test_recurse_restrict(predicate, lfirst(item)))
-                               return true;
+                       foreach(item, ((BoolExpr *) clause)->args)
+                       {
+                               Node       *citem = lfirst(item);
+                               ListCell   *item2;
+
+                               foreach(item2, ((BoolExpr *) predicate)->args)
+                               {
+                                       if (pred_test_recurse(citem, lfirst(item2)))
+                                               break;
+                               }
+                               if (item2 == NULL)
+                                       return false; /* doesn't imply any of B's */
+                       }
+                       return true;
+               }
+               else
+               {
+                       /* OR-clause => AND-clause if each of A's items implies B */
+                       /* OR-clause => atom if each of A's items implies B */
+                       foreach(item, ((BoolExpr *) clause)->args)
+                       {
+                               if (!pred_test_recurse(lfirst(item), predicate))
+                                       return false;
+                       }
+                       return true;
                }
-               return false;
        }
        else
-               return pred_test_recurse_pred(predicate, clause);
-}
-
-
-/*
- * pred_test_recurse_pred
- *       Does the "predicate inclusion test" for one conjunct of a predicate
- *       expression.  Here we recursively deal with the possibility that the
- *       predicate conjunct is itself an AND or OR structure.
- */
-static bool
-pred_test_recurse_pred(Expr *predicate, Node *clause)
-{
-       List       *items;
-       ListCell   *item;
-
-       Assert(predicate != NULL);
-       if (or_clause((Node *) predicate))
        {
-               items = ((BoolExpr *) predicate)->args;
-               foreach(item, items)
+               if (and_clause(predicate))
                {
-                       /* if any item is implied, the whole predicate is implied */
-                       if (pred_test_recurse_pred(lfirst(item), clause))
-                               return true;
+                       /* atom => AND-clause if A implies each of B's items */
+                       foreach(item, ((BoolExpr *) predicate)->args)
+                       {
+                               if (!pred_test_recurse(clause, lfirst(item)))
+                                       return false;
+                       }
+                       return true;
                }
-               return false;
-       }
-       else if (and_clause((Node *) predicate))
-       {
-               items = ((BoolExpr *) predicate)->args;
-               foreach(item, items)
+               else if (or_clause(predicate))
                {
-                       /*
-                        * if any item is not implied, the whole predicate is not
-                        * implied
-                        */
-                       if (!pred_test_recurse_pred(lfirst(item), clause))
-                               return false;
+                       /* atom => OR-clause if A implies any of B's items */
+                       foreach(item, ((BoolExpr *) predicate)->args)
+                       {
+                               if (pred_test_recurse(clause, lfirst(item)))
+                                       return true;
+                       }
+                       return false;
+               }
+               else
+               {
+                       /* atom => atom is the base case */
+                       return pred_test_simple_clause((Expr *) predicate, clause);
                }
-               return true;
        }
-       else
-               return pred_test_simple_clause(predicate, clause);
 }