Optimize some db queries

Basically make django generate the joins/prefetches/subqueries instead
of firing of hundreds of queries on the db. Probably doesn't actually
matter that much given how seldom these queries are run, but still.

Show blog username/email in listing

For the regular user view, just show which account and email is used for
info.

For the administration view, show the username and email for each
individual blog, to help with tracking down misbehaving blogs.

And finally, in the moderation view, also include the email (it already
had the account name) to make it easier to contact an author.

Don't forward links for posts that have been hidden

Set proper mail headers to indicate auto-generated mails

Have redirector generate a robots.txt file if requested

Generate proper 404's in redirector

Instead of generating a 500 error, because that is both wrong and will
prevent caching.

Fix text for top lists time range

We are counting the number of posts in the past two months, but the
website said 1 month (and has since forever).

Spotted by Bruce Momjian

Fix title for field lastget

In particular it was terribly labeled in the moderation interface. Make
it better and more consistent between the two interfaces.

Import latest version of the community auth plugin

This includes receiving updates using the new push api.

Make use of the lastsuccess parameter to improve some messages

In particular, it is interesting to know when a blog that has failed
multiple times has actually succeeded more recent than the most recent
failure. So show this both on the dashbaord and on the individual blog
details, and include it in the email that's sent when a blog generates
large amounts of errors.

Track timestamp for last successful fetch of a blog

Only update actually changed fields in most places

Misc fixes to make pep8 happy

Mostly whitespace fixes, but also some bare-exception fixes.

Add a setup.cfg that specifies which pep8 settings we normally run with.

Clean up imports

Remove unused imports, and stop using "import *"

Fix incorrect classname

Convert tabs to spaces

Finally time to clean this repo up

Don't list archived blogs as members of teams

Spotted by Guillaume Lelarge

User.is_authenticated is no longer a callable in Django 2.2

Update to be compatible with django 2.2

Fix spelling error

Sync up community auth plugin to latest-and-greatest

Apply feedparser fix for python 3.7

Use vendored version of feedparser

Vendor feedparser 5.2.1

We're going to need to make small modifications, and the new 6.x release
isn't ready and doesn't appear to be close.

Fix spelling error

Unicode fixes in old migrations

Missed to update the migrations in the py3 update

Encode URL

Flask responses need to be bytestrings, not real strings

Seems if a string is returned, flask just turns it into an empty
response (rather than converting it to utf8 as expected). These are
trivial hardcoded strings though, so just use bytestrings.

Band-aid fix for feed as well

Band-aid fix for broken html tidy parsing

Replace old version of Tidy with new one

Fix integer division for python 3

Update redirector to python 3

Import latest version of community auth plugin

Proeperly use requests to format URL parameters

Switch to using requests for varnish calls

Ensure list is printed as list in python 3

Fix has_key accesses for python 3

Fix unicode and printing for python 3

Update exception handling for python 3

Fix imports for python 3

Update links to planet policy

The policy lives on the main website these days, not the wiki.

Fix result variable name

Properly include hostname to twitter api when posting

Update twitter poster to use new API as well

Update twitter sync code to use requests_oauthlib

This simplifies the code a lot, and also adds the functionality to not
get stuck in a cron-loop when somebody specifies a non-public twitter
account as their twitter account. Instead when that happens just remove
the twitter account from the feed (storing it in a new field,
oldtwitteraccount, just to be on the safe side in case twitter does evil
things to us at some point)

Code mostly stolen from the pgeu website code.

Make sort by name the default behaviour for teams

Fix incorrect string formatting specifier

Fix template loaders for django 1.11

Seems django 1.11 automatically enables caching template loader, which
of course breaks the ability to make any changes to the pages of a
website without restarting it. And there is no way to turn it off other
than to explicitly configure individual loders (the logic to turn it on
in non-debug configurations is hardcoded and cannot be changed).

Detect excessive blog fetches

If a single fetch from a blog grabs more than <n> entries (the default
being 4), this usually indicates a misconfigured blog and it will end up
spamming the outgoing feed and twitter, even if later corrected. For
that reason, when this happens, mark all the newly fetched entries as
hidden, and send a notification as such. In the event that they are
actually correct, the user can go in and manually unhide those entries,
which will make them show up again.

Fix tracing messages

Shouldn't use print directly, since it doesn't respect the verbosity
setting.

Automatically follow http->https redirects

We only follow the redirect if the URL is *exactly* the same except it
has https intead of http in it. But this is a very common scenario these
days, so let's simplify that one.

In particular, it makes no sense to re-moderate a blog after that change
has been made.

Treat  and https:// guid as being the same when fetching

This means that if the same blog post shows up both under http:// and
https:// (for example when somebody changes their URL from http to
https, but it still contains the old posts), we will treat them as being
the same and not fetch a second copy of it.

We handle both http->https (common) and https->http (would probably
indicate a misconfiguration) scenarios.

Remove old leftover debugging code

Replace render_to_response with render

Required in newer django, and still works in the old one.

Update URL configurations for newer django

Remove app not used

Update template configuration for newer django

Don't just delete successful logs

MOst of what we end up keeping aren't..

Add command to purge old logs

Add missing import

Properly format email headers with non-ascii

When sending an email to non-ascii names, the actual email address
should not be part of the encoded section. It should have a separate
section that's not encoded.

Ported over from the pgeu install

Update listsync script to sync with pglister instead of mj2

Encode URLs to handle even worse formatted twitter links

Validate twitter accounts when submitting a new blog

Do this by connecting to the twitter API and actually validate both that
the account exists, and that it's not protected. Protected accounts will
cause the follower-sync script to keep trying over and over again for
following, and there's not any point in promoting those anyway.

This adds a dependency on requests_oauthlib, but that's already used in
other pgweb projects so shouldn't be a problem.

Don't crash when feedurl is not given

Instead, give a proper error message as intended.

When redirecting, ignore querystring part (after ?) of URL

This can sometimes be added by some broken trackers, but we can safely
ignore it completely.

Reported by Stefan Kaltenbrunner

Update blogurls from the contents of the feeds

If somebodys blog url changes in the feed, pick it up and store the new
one. Also send an email to the person letting them know it happened, as
well as a notice to moderators. But don't require new moderation when it
happens, just do manual post-moderation in the event that something goes
wrong.

Decode emails in the queue

Makes it easier to do debugging. Patch copied over from the pgeu
repository.

Nicer handling of images and smileys

Allow images to go up to 300px, and explicitly make wordpress smileys
(since we have lot of wordpress blogs) normal size and inline instead of
overriding them.

Petr Jelinek

Planet postgresql is now https

Wiki and twitter links should be https

Use https for postgr.es

Don't re-approve a blog that was already approved

This will cause extra emails to be sent, which isn't very user-friendly.

Serve planet layout images from the local webserver

It's kind of silly to pull them down from www.postgresql.org each time.
And with the switch to https-only there, it will also lead to a bunch of
extra redirects which will slow things down.

Set a default socket timeout of 10 seconds

Any feed that doesn't complete the socket operation in 10 seconds
will fail - we'll still retry it on the next run of course.

Cap blog entries at todays date

This avoids cases where a blog entry might be unintentionally (or intentionally)
set with a date in the future in the incoming RSS feed and as such stays at the
frontpage of planet until that date is reached.

Instead, whenever something is parsed to be in the future, set the post date to
the time of the parsing (because it clearly exists at this time).

Fix indentation that caused logic error

We updatet he newest entry date in other ways as well, but this code
clearly didn't run.

Fix typo

Reported by David Rowley, though Alvaro

Don't put a space before P in shortlinks

Sideeffect of some re-indenting, any short URL that had a P
in it would get %20P instead, making it not work. Oops.

Don't synchronize twitter users for unapproved feeds

Source header images locally

Previously these were loaded from www.postgresql.org, which caused a mixed-content
warning when using the registration interface.

Reference correct variable in error msg

Remove templates no longer used

Log is not a separate page anymore, so fix links

Also add an anchor on the edit page to deal with it

Set title fields for forms and pages

Link to moderation admin view

Don't encourage using the django admin view.

Don't synchronize users who only have archived blogs

Fix accidentaly reversed condition

Blogs would display as error in list and warning on the details page,
and the other way around. Oops.

Add specific team admin to list more details in admin view

Remove leftover debugging code

Add managers to teams

This is a single user that's in charge of a team. The manager will get an
email whenever somebody tries to join a team. The team will also show up
on the managers /register/ page with the ability to remove people from it.

Don't try to store status updates for fake blog entries

We create fake entries when scanning for saved blogs, and they should
never be saved to the db.

This was broken by baefbd4de052774e75c52e7830ba396b4c8b3664 which pushed
the save into the aggregator. Now, make it optional.

Add search fields to admin

Better admin for aggregator log

Implement log sender for new planet admin

Instead of sending an email to the planet list, send individual emails to the
blog authors and ask them to fix their  blogs if more than a certain number
of fetches have failed. Now that we can archive blogs, this makes more sense,
and as the planet team doesn't actually do anything with the emails there anyway,
there is no point to keep sending them.

Fix query for list sync

Oops, include the name of the feed in the title on outgoing RSS

Fix accidentally broken error pages

Save feed status directly instead of at end of processing

Since processing can take a long time with slow blogs, store the
date before that happens.

This will prevent from conflicting with the web UI and overwriting
the settings from that one.