skytools.scripting: added options to lower log level for exceptions

The idea is to suppress error level log messages for a grace period
in order not to pollute logs with transient errors that nobody would act upon.

Merge branch 'feature/retriable_execute' into develop

cleaned up, even more robust, added logging, feature inactive by default

made more robust, returns retry count and valid cursor

another iteration from past

simple retriable execute (for sql)

the idea is that db calls occasionally break due to transient issues and we’d rather have the calls retried before raising exceptions etc

londiste.handlers: removed duplicate debug logging

pgq.cascade.admin: do not allow subscribing to itself (same node)

pgq.localconsumer: added file path check on config load

scripts/data_maintainer.py: fixes

scripts/data_maintainer.py: latest code cleanup

Merge branch 'develop' of skype-git:/git/users/petr.jelinek/skytools-3 into develop

updated londiste.upgrade_schema with fix for londiste.table_info trigger issue

fixed londiste.table_info trigger issue

Merge branch 'hotfix/3.1.5.4' into develop

debian/changelog: updated

londiste.handlers.dispatch: fixed "ignore events aiming at obsolete partitions" bug

but really :-)

sql/pgq: tag pgq.batch_id_seq as dumpable (extension)

That case was broken in old 9.1 releases, fixed since 9.1.7.

The sequence will be owned by extension and without tagging
it will not be dumped in data dump.

python/pgq: fixes (event & walker)

DataMaintainer can use csv file as source.

python/pgq: fixes (event & walker)

noise .. little howto cleanup

londiste: added ignore_truncate handler option

Truncate events can be ignored on per handler basis.

londiste: moved config processing from dispatch to base handler

scripts/data_maintainer.py: cleaned up

.gitignore updated

scripts/data_maintainer.py: added dynamic throttling support (via sql)

scripts/data_maintainer.py: clean-up

Merge branch 'master' of skype-git:/git/dba/skytools-3

debian/changelog: updated

Merge branch 'master' into develop

Merge branch 'hotfix/3.1.5.3' into develop

Conflicts:
debian/changelog

Merge branch 'hotfix/3.1.5.3'

debian/changelog: updated

londiste.handlers.dispatch: fixed "ignore events aiming at obsolete partitions" bug

deb: include data_maintainer3 in package

sql/pgq: fix retry-queue vs. newgrants

londiste.handlers.dispatch: fixed "ignore events aiming at obsolete partitions" bug

python: amendments

londiste.drop_obsolete_partitions: drop tables in alphabetical order (that is from the oldest)

Merge branch 'master' of skype-git:/git/users/petr.jelinek/skytools-3 into develop

Merge branch 'master' of https://github.com/markokr/skytools into develop

Get rid of dictfetch*() usage, it's obsolete.

deb: include data_maintainer3 in package

Add timeout for add-table operation to avoid possible locking issues.

sql/pgq: fix retry-queue vs. newgrants

Merge remote-tracking branch 'gamato/master'

Merge branch 'release/skytools_3_1_5' into develop

Merge branch 'release/skytools_3_1_5'

v3.1.5

Merge remote-tracking branch 'gamato/develop'

Merge branch 'develop' into release/skytools_3_1_5

londiste.handlers.shard: fixed incomplete docstring for part handler

preparation for upcoming release (updating files)

pgq_node.get_node_info: document node_attrs

londiste/repair: made less verbose

(in response to "londiste3 repair command floods the console with the diff mesages")

Merge branch 'master' of https://github.com/markokr/skytools into develop

Merge branch 'feature/skylog_tnetstrings_via_udp' into develop

Merge remote-tracking branch 'tarvip/walmgr-createslave'

walmgr: new command createslave and new option --synch-standby

Merge remote-tracking branch 'petr/master'

pgq: move RetriableEvent to consumer.py

It's hard to get overview if the retry-related code
is laying around in different places.

As only Consumer class deals with retry, move all crap
into same file.

pgq.Consumer: non-lazy loading should use RetriableEvent

pgq.logutriga: don't quote '-'

Not needed and now logutriga() behavior matches
skytools.db_urlencode() and urllib.quote_plus().

Add consumer_filter option to simple_local_consumer.

set_tcp_keepalive: accept socket object directly

Merge branch 'master' of https://github.com/markokr/skytools into develop

londiste: resync now checks if table is available on provider

pgq: Consumer class also need _make_event, for _load_batch_events_old()

londiste: fix multi -v passing

Merge remote-tracking branch 'gamato/develop'

news: fix date

londiste --wait-sync: show progress in absolute numbers

This gives more information and is less random.

londiste: add-table supports --find-copy-node working with --create now

querybuilder: show list of missing arguments on KeyError

londiste: resync supports --find-copy-node and --copy-node options now

londiste.playback: support multiple -v options for workers

londiste.handlers: renamed handler 'part' to 'shard'

It was getting more and more confusing, especially since 'dispatch' handler mixed both partitioning types (table and database) in one class.

londiste.handlers.dispatch: added switch to ignore events aiming at obsolete (dropped) partitions

londiste.handlers: fixes

Merge branch 'feature/dispatch_handler_with_sharding' into develop

londiste add-table: --skip-non-existing ignores tables not on provider

londiste: moved hash_key logic from dispatch to part handler

londiste: changed handler argument 'key' to 'hash_key'

skytools.timeutil: make tests more robust

microsec -> float secs conversion can lose some precision

skytools.skylog: added more fields to UdpTNetStringsHandler log message

skytools.skylog: moved hostaddr resolving to module init

No need to do it per log call as hostname is constant currently.

news: fix typos

skytools.scripting: more safety in run_func_safely()

Scenario resolved:
startup() fails and some variables are never initialised.  those are used in overridden send_stats() which is called from generic exception handler in run_func_safely().  thus a new exception is raised that would obscure the original exception raised in startup().

londiste: initial implementation of shard-ed Dispatch handler

scripts/data_maintainer.py: added suffix "3" to service name

skytools.skylog: initial implementation of UdpTNetStringsHandler

londiste copy: fix data filtering when parallel_copies > 1

The problem appears in 'catching-up' phase were code checked
table status only and not whether the table is owned by
current process.  Then events can be replayed by several copy
processes when they are all in catching-up phase.

The problem does not appear when local_only=1.

Also remove unused function.

londiste status: make node name easier to select

grantfu: 2-pass processing

First revokes, then grants.

This supports one-object-in-several-sections situation.

Although that is bad style and better avoided, current
behavour results in unobvious breakage.

londiste add: --skip-non-existing option

parse_pgarray: allow None

v3.1.4

doc: mention config option in create-* commands

todo: remove few done items