Merge branch 'master' into slot2

Clear MyProc and MyProcSignalState before they become invalid.

Evidence from buildfarm member crake suggests that the new test_shm_mq
module is routinely crashing the server due to the arrival of a SIGUSR1
after the shared memory segment has been unmapped.  Although processes
using the new dynamic background worker facilities are more likely to
receive a SIGUSR1 around this time, the problem is also possible on older
branches, so I'm back-patching the parts of this change that apply to
older branches as far as they apply.

It's already generally the case that code checks whether these pointers
are NULL before deferencing them, so the important thing is mostly to
make sure that they do get set to NULL before they become invalid.  But
in master, there's one case in procsignal_sigusr1_handler that lacks a
NULL guard, so add that.

Patch by me; review by Tom Lane.

doc: mention statistics reset during crash recovery

Takayuki Tsunakawa

chkpass:  check for NULL return value from crypt()

Report from Jozef Mlich using Coverity

doc: mention data page checksums in WAL section

Backpatch to 9.3

Adjusted patch from Ian Lawrence Barwick

Disallow use of SSL v3 protocol in the server as well as in libpq.

Commit 820f08cabdcbb8998050c3d4873e9619d6d8cba4 claimed to make the server
and libpq handle SSL protocol versions identically, but actually the server
was still accepting SSL v3 protocol while libpq wasn't.  Per discussion,
SSL v3 is obsolete, and there's no good reason to continue to accept it.
So make the code really equivalent on both sides.  The behavior now is
that we use the highest mutually-supported TLS protocol version.

Marko Kreen, some comment-smithing by me

docs:  mention tgconstrindid supports exclusion constraints

Dean Rasheed

Add some examples to the postgres_fdw documentation.

Michael Paquier

doc: authentication wording improvements

Suggested by David Tonhofer

docs:  specify FOR UPDATE/SHARE incompatibilities

Document that FOR UPDATE/SHARE are incompatible with GROUP BY, DISTINCT,
HAVING and window functions.

Michael Paquier

system catalogs:  reorder pg_amproc entries into proper sections

Report form Antonin Houska

pgindent:  add Perl comment

pgindent:  add --list-of-typedefs option

Allows typedefs to be specified on the command line, per request from
Andrew.

Add tab completion for ALTER TABLESPACE MOVE in psql.

entab:  add new options

Add new entab options to process only C comment whitespace after
periods, and to protect leading whitespace.

Fix documented return type of json_array_elements_text.

Per gripe from hubert depesz lubaczewski.

Also improve examples for this and json_array_elements so they match the
example results.

Merge branch 'master' into slot2

Use consecutive oids for replication slot functions.

Allow unrecognized encoding names in locales, as long as they're the same.

The buildfarm says commit 58274728fb8e087049df67c0eee903d9743fdeda doesn't
work so well on Windows.  This is because the encoding part of Windows
locale names can be just a code page number, eg "1252", which we don't
consider to be a valid encoding name.  Add a check to accept encoding
parts that are case-insensitively string equal; this at least ensures
that the new code doesn't reject any cases that the old code allowed.

pgindent:  preserve blank lines around #else/#endif

This requires a new version of pg_bsd_indent, version 1.3, to be
downloaded.

Be forgiving of variant spellings of locale names in pg_upgrade.

Even though the server tries to canonicalize stored locale names, the
platform often doesn't cooperate, so it's entirely possible that one DB
thinks its locale is, say, "en_US.UTF-8" while the other has "en_US.utf8".
Rather than failing, we should try to allow this where it's clearly OK.

There is already pretty robust encoding lookup in encnames.c, so make
use of that to compare the encoding parts of the names.  The locale
identifier parts are just compared case-insensitively, which we were
already doing.  The major problem known to exist in the field is variant
encoding-name spellings, so hopefully this will be Good Enough.  If not,
we can try being even laxer.

Pavel Raiskup, reviewed by Rushabh Lathia

Fix potential coredump on bad locale value in pg_upgrade.

Thinko in error report (and a typo in the message text, too).  We're
failing anyway, but it would be good to print something useful first.
Noted while reviewing a patch to make pg_upgrade's locale code laxer.

Add convenience functions pg_sleep_for and pg_sleep_until.

Vik Fearing, reviewed by Pavel Stehule and myself

Fix bogus handling of "postponed" lateral quals.

When pulling a "postponed" qual from a LATERAL subquery up into the quals
of an outer join, we must make sure that the postponed qual is included
in those seen by make_outerjoininfo().  Otherwise we might compute a
too-small min_lefthand or min_righthand for the outer join, leading to
"JOIN qualification cannot refer to other relations" failures from
distribute_qual_to_rels.  Subtler errors in the created plan seem possible,
too, if the extra qual would only affect join ordering constraints.

Per bug #9041 from David Leverton.  Back-patch to 9.3.

Merge branch 'master' into slot2

Final touches (I hope).

pg prefix-ize.

Teach CreateSlotOnDisk to try to clean up after previous failures.

Merge branch 'master' into slot2

docs:  improve xref description for xreflabel and refentry links

docs:  mention SGML refentry also pulls text from the link

docs:  add mention of index swapping

Backpatch to 9.3

Greg Smith

Add checks for interval overflow/underflow

New checks include input, month/day/time internal adjustments, addition,
subtraction, multiplication, and negation.  Also adjust docs to
correctly specify interval size in bytes.

Report from Rok Kralj

slot: docs: adjust example to the fact that we now return NULLs in pg_replication_slots

Rename data_xmin->xmin.

Document hazards of --slot.

Copy-edit comment.

Fix unsafe references to errno within error messaging logic.

Various places were supposing that errno could be expected to hold still
within an ereport() nest or similar contexts.  This isn't true necessarily,
though in some cases it accidentally failed to fail depending on how the
compiler chanced to order the subexpressions.  This class of thinko
explains recent reports of odd failures on clang-built versions, typically
missing or inappropriate HINT fields in messages.

Problem identified by Christian Kruse, who also submitted the patch this
commit is based on.  (I fixed a few issues in his patch and found a couple
of additional places with the same disease.)

Back-patch as appropriate to all supported branches.

Silence compiler warnings about possibly unset variables.

They are in fact set in every case where they are needed, but the
compiler doesn't know that.

Per gripe from Tom Lane.

slot: Only send the flush position in receivelog.c when a slot is being used

Doc edits.

Merge branch 'master' into slot2

Forgot to bump catalog version for json_array_elements_text.

Include planning time in EXPLAIN ANALYZE output.

This doesn't work for prepared queries, but it's not too easy to get
the information in that case and there's some debate as to exactly
what the right thing to measure is, so just do this for now.

Andreas Karlsson, with slight doc changes by me.

Add json_array_elements_text function.

This was a notable omission from the json functions added in 9.3 and
there have been numerous complaints about its absence.

Laurence Rowe.

Fix thinko in huge_tlb_pages patch.

We calculated the rounded-up size for the allocation, but then failed to
use the rounded-up value in the mmap() call. Oops.

Also, initialize allocsize, to silence warnings seen with some compilers,
as pointed out by Jeff Janes.

Further optimize GIN multi-key searches.

When skipping over some items in a posting tree, re-find the new location
by descending the tree from root, rather than walking the right links.
This can save a lot of I/O.

Heavily modified from Alexander Korotkov's fast scan patch.

Fix pointer processing in new entab.c function

Add C functions to centralize entab processing

Add more C comments to entab.c.

slot: also recompute pegged lsn on drop

Further optimize multi-key GIN searches.

If we're skipping past a certain TID, avoid decoding posting list segments
that only contain smaller TIDs.

Extracted from Alexander Korotkov's fast scan patch, heavily modified.

Return nulls instead of InvalidTransactionId/InvalidXLogRecPtr in pg_replication_slots

Merge branch 'master' into slot2

Allow skipping some items in a multi-key GIN search.

In a multi-key search, ie. something like "col @> 'foo' AND col @> 'bar'",
as soon as we find the next item that matches the first criteria, we don't
need to check the second criteria for TIDs smaller the first match. That
saves a lot of effort, especially if one of the terms is rare, while the
second occurs very frequently.

Based on ideas from Alexander Korotkov's fast scan patch.

? Don't copy pg_replslot in basebackups.

Initial cut at replication slot docs.

pg_receivexlog: slot documentation update

Remedy two small omissions in the new json functions docs.

Fix docs build.

Broken by the huge_tlb_pages patch.

Vik Fearing.

Trailing whitespace

More robust KeepLogSeg() coding

pg_receivexlog: slot support

Allow using huge TLB pages on Linux (MAP_HUGETLB)

This patch adds an option, huge_tlb_pages, which allows requesting the
shared memory segment to be allocated using huge pages, by using the
MAP_HUGETLB flag in mmap(). This can improve performance.

The default is 'try', which means that we will attempt using huge pages,
and fall back to non-huge pages if it doesn't work. Currently, only Linux
has MAP_HUGETLB. On other platforms, the default 'try' behaves the same as
'off'.

In the passing, don't try to round the mmap() size to a multiple of
pagesize. mmap() doesn't require that, and there's no particular reason for
PostgreSQL to do that either. When using MAP_HUGETLB, however, round the
request size up to nearest 2MB boundary. This is to work around a bug in
some Linux kernel versions, but also to avoid wasting memory, because the
kernel will round the size up anyway.

Many people were involved in writing this patch, including Christian Kruse,
Richard Poole, Abhijit Menon-Sen, reviewed by Peter Geoghegan, Andres Freund
and me.

Fix compiler warning in EXEC_BACKEND builds.

Per a report by Rajeev Rastogi.

Minor docs fixes for new json functions.

Thom Brown.

Add new make targets check-tests and installcheck-tests.

These do not run any specific schedule of tests, but only those
specified as part of the invocation, e.g.:

    make check-tests TESTS="json jsonb"

New json functions.

json_build_array() and json_build_object allow for the construction of
arbitrarily complex json trees. json_object() turns a one or two
dimensional array, or two separate arrays, into a json_object of
name/value pairs, similarly to the hstore() function.
json_object_agg() aggregates its two arguments into a single json object
as name value pairs.

Catalog version bumped.

Andrew Dunstan, reviewed by Marko Tiikkaja.

update copyright years

Don't ERROR, just LOG problems during replication slot checkpoints

Support tracking the dirty state of replication slots.

Assorted tidying up.

Minor tweaks.

Merge remote-tracking branch 'afreund/slot2' into slot2

Conflicts:
src/backend/replication/slotfuncs.c
src/include/replication/slot.h

Zap unnecessary logical-decoding reference.

minor cleanups

replication slot checkpointing

Update make check expected output.

Commment updates.

Tidy up comments, includes.

slot: Separate data stored on-disk from purely in-memory state

New recovery.conf parameter, primary_slotname.

So you can, like, use slots.

Re-Add hunk initalizing replication slots in StartupXLOG(), slipped to a later patch.

Don't let ReplicationSlotAcquire succeed in the midst of ReplicationSlotCreate.

Fix field count.

Don't exit the loop with slot set unless we really found a slot.

Add pg_stat_archiver statistics view.

This view shows the statistics about the WAL archiver process's activity.

Gabriele Bartolini, reviewed by Michael Paquier, refactored a bit by me.

Update comment.

generate_normalized_query() no longer needs to truncate text, but this
one comment didn't get the memo.  Per Peter Geoghegan.

Revert C comment change in slot_attisnull()

Revert 89774b58b0ea2874765cae10c094bb6aaf707feb

Remove orphaned prototype

Rajeev rastogi

remove confirmed_flush and other crud

Minor edits.

Remove hunk.

Renaming, other consolidation.

Rename stuff.

Revert dup2() checking in syslogger.c

Per the expanded comment-

As we're just trying to reset these to go to DEVNULL, there's not
much point in checking for failure from the close/dup2 calls here,
if they fail then presumably the file descriptors are closed and
any writes will go into the bitbucket anyway.

Pointed out by Tom.

Log a detail message for auth failures due to missing or expired password.

It's worth distinguishing these cases from run-of-the-mill wrong-password
problems, since users have been known to waste lots of time pursuing the
wrong theory about what's failing.  Now, our longstanding policy about how
to report authentication failures is that we don't really want to tell the
*client* such things, since that might be giving information to a bad guy.
But there's nothing wrong with reporting the details to the postmaster log,
and indeed the comments in this area of the code contemplate that
interesting details should be so reported.  We just weren't handling these
particular interesting cases usefully.

To fix, add infrastructure allowing subroutines of ClientAuthentication()
to return a string to be added to the errdetail_log field of the main
authentication-failed error report.  We might later want to use this to
report other subcases of authentication failure the same way, but for the
moment I just dealt with password cases.

Per discussion of a patch from Josh Drake, though this is not what
he proposed.

Move LWLockReleaseAll in WalSndErrorCleanup sooner.

Fix inadvertent rebasing mistake.

fix trailing whitespace