Merge branch 'hotfix/3.2.1' into develop

v3.2.1

moved psycopg2 reference from scripting module to actual script using it

skytools.scripting: moved psycopg2 import where it belongs

Merge commit 'bbcd65e4e74e705e0cc07a549bda73e37e20012a' into hotfix/3.2.1

Merge branch 'develop' into hotfix/3.2.1

skytools.timeutil: fixed for Python versions less than 2.7

setup_skytools.py: fixes

libusual updated to the latest version (that is already 9 months old)

Update setup*.py to point to correct license.

Merge branch 'release/3.2'

Merge branch 'release/3.2' into develop

bumped up version to 3.2

let's get trendy ... it's no good to be stuck on same minor version for so long ;-)
and it actually did not make sense ... quite a few important features appeared

bumped up version to 3.1.6rc2

NEWS: updated

londiste.upgrade_schema: fixed condition_timing vs action_timing

typos

bumping up versions in preparation for upcoming release

Merge branch 'master' of https://github.com/markokr/skytools into develop

londiste.create_partition: fixed to avoid deadlocks from concurrent workers

Merge pull request #29 from andrewsw-janrain/master

quote sequence names

scripts/data_maintainer.py: fixed to survive null in stats column of sql_modify

quote sequence names

fixes a bug where _load_elem fails on sequences in schemas that start
with non-alpha characters.

Merge branch 'master' of https://github.com/markokr/skytools into develop

Conflicts:
debian/changelog

skytools.scripting: allow to specify exception(s) to suppress for a grace period

It is possible to provide a list of exception names, or reserved keyword “ALL”.

skytools.scripting: added options to lower log level for exceptions

The idea is to suppress error level log messages for a grace period
in order not to pollute logs with transient errors that nobody would act upon.

Merge branch 'feature/retriable_execute' into develop

cleaned up, even more robust, added logging, feature inactive by default

made more robust, returns retry count and valid cursor

another iteration from past

simple retriable execute (for sql)

the idea is that db calls occasionally break due to transient issues and we’d rather have the calls retried before raising exceptions etc

londiste.handlers: removed duplicate debug logging

pgq.cascade.admin: do not allow subscribing to itself (same node)

pgq.localconsumer: added file path check on config load

scripts/data_maintainer.py: fixes

scripts/data_maintainer.py: latest code cleanup

Merge branch 'develop' of skype-git:/git/users/petr.jelinek/skytools-3 into develop

updated londiste.upgrade_schema with fix for londiste.table_info trigger issue

fixed londiste.table_info trigger issue

Merge branch 'hotfix/3.1.5.4'

Merge branch 'hotfix/3.1.5.4' into develop

debian/changelog: updated

londiste.handlers.dispatch: fixed "ignore events aiming at obsolete partitions" bug

but really :-)

sql/pgq: tag pgq.batch_id_seq as dumpable (extension)

That case was broken in old 9.1 releases, fixed since 9.1.7.

The sequence will be owned by extension and without tagging
it will not be dumped in data dump.

python/pgq: fixes (event & walker)

DataMaintainer can use csv file as source.

python/pgq: fixes (event & walker)

set_tcp_keepalive: simplify, enable win32

The code got messy, clean it up.

Also, seems like Python 2.7+ support SIO_KEEPALIVE_VALS,
enable it's usage.

skytools.set_tcp_keepalive: add compat with newer OSX

Newer OSX has Linux-style TCP_KEEPIDLE/TCP_KEEPCNT
socket options, but TCP_KEEPIDLE is missing, instead
it has old well-hidden TCP_KEEPALIVE option.  So it
branches into Linux section and fails there.

This patch detects every Linux option separately
and uses TCP_KEEPALIVE instead TCP_KEEPIDLE
on Darwin.

It does expect that Python is compiled against current
OSX versions, and headers match running kernel.  So if
option is defined in 'socket' module, it works.

Reported-by: Rob Fowler

sql/pgq: tag pgq.batch_id_seq as dumpable (extension)

That case was broken in old 9.1 releases, fixed since 9.1.7.

The sequence will be owned by extension and without tagging
it will not be dumped in data dump.

deb: support Postgres 9.3, 9.4

noise .. little howto cleanup

londiste: added ignore_truncate handler option

Truncate events can be ignored on per handler basis.

londiste: moved config processing from dispatch to base handler

scripts/data_maintainer.py: cleaned up

Merge remote-tracking branch 'gamato/master'

Conflicts:
debian/changelog

.gitignore updated

scripts/data_maintainer.py: added dynamic throttling support (via sql)

scripts/data_maintainer.py: clean-up

Merge branch 'master' of skype-git:/git/dba/skytools-3

debian/changelog: updated

Merge branch 'master' into develop

Merge branch 'hotfix/3.1.5.3' into develop

Conflicts:
debian/changelog

Merge branch 'hotfix/3.1.5.3'

debian/changelog: updated

londiste.handlers.dispatch: fixed "ignore events aiming at obsolete partitions" bug

deb: include data_maintainer3 in package

sql/pgq: fix retry-queue vs. newgrants

londiste.handlers.dispatch: fixed "ignore events aiming at obsolete partitions" bug

python: amendments

londiste.drop_obsolete_partitions: drop tables in alphabetical order (that is from the oldest)

Merge branch 'master' of skype-git:/git/users/petr.jelinek/skytools-3 into develop

Merge branch 'master' of https://github.com/markokr/skytools into develop

Get rid of dictfetch*() usage, it's obsolete.

deb: include data_maintainer3 in package

Add timeout for add-table operation to avoid possible locking issues.

sql/pgq: fix retry-queue vs. newgrants

Merge remote-tracking branch 'gamato/master'

Merge branch 'release/skytools_3_1_5' into develop

Merge branch 'release/skytools_3_1_5'

v3.1.5

Merge remote-tracking branch 'gamato/develop'

Merge branch 'develop' into release/skytools_3_1_5

londiste.handlers.shard: fixed incomplete docstring for part handler

preparation for upcoming release (updating files)

pgq_node.get_node_info: document node_attrs

londiste/repair: made less verbose

(in response to "londiste3 repair command floods the console with the diff mesages")

Merge branch 'master' of https://github.com/markokr/skytools into develop

Merge branch 'feature/skylog_tnetstrings_via_udp' into develop

Merge remote-tracking branch 'tarvip/walmgr-createslave'

walmgr: new command createslave and new option --synch-standby

Merge remote-tracking branch 'petr/master'

pgq: move RetriableEvent to consumer.py

It's hard to get overview if the retry-related code
is laying around in different places.

As only Consumer class deals with retry, move all crap
into same file.

pgq.Consumer: non-lazy loading should use RetriableEvent

pgq.logutriga: don't quote '-'

Not needed and now logutriga() behavior matches
skytools.db_urlencode() and urllib.quote_plus().

Add consumer_filter option to simple_local_consumer.

set_tcp_keepalive: accept socket object directly

Merge branch 'master' of https://github.com/markokr/skytools into develop

londiste: resync now checks if table is available on provider

pgq: Consumer class also need _make_event, for _load_batch_events_old()