Include list of attachments in API results, not just a boolean

Fix typo

Properly recurse into multipart/sign:ed email parts

Previously we'd only recurse into multipart/mixed, but this would
miss PGP-signed attachments sent by some MUAs.

Add some basic API functionality

Ability to view latest messages on a list, and the contents of a thread

Revert patch to deal with special messageids

This was already reverted in production, but never made it back into the
repository.

Set last-modified header on messages

This should at least hint Google and others about how often our pages
really do change. Only set it for messages for now, since other pages
are excluded from cache anyway.

Last modified is set to the lasat modified entr in the database, we don't
make any provisions for changes in the templates or the rendering itself.
We might want to consider this in the future, maybe looking at the datestamp
of the template file and the view.py, or something along that line.

Implement simple If-Modified-Since checks, even though that's not going
to work anyway with the current version of Varnish - but hopefully it
will with the next one.

Remove unused local variables

Don't show attachments if the email they contain has been hidden

If we hide an email because it has a virus, it's kind of pointless to
still serve up the attachment. It's only reachable if you have the direct
URL, of course, but still.

Don't rewrite email addresses when used in archive links

Applying the "antispam" rewriting broke links to the archives, which is a
fairly common thing to do

Overflow the thread dropdown with a scrollbar for long threads

Add a simple API for hiding messages containing viruses etc.

Add support for hiding messages in the archives

Messages are hidden by setting hiddenstatus to one of the values documented
in models.py. We don't currently have a foreign key tracking them, just the
numbers to make things easy.

A secondary table named message_hide_reasons with a log of operations is also
created, but this is maintained completely manually.

We should probably consider creating functions to do the hiding as well as a
nicer API, but that's for another commit.

Add missing import

Support for messageids that contain slashes

Requires changing the order of regexp matching to work, but other than
that it seems safe given the type of URLs we have now.

Don't generate mbox links for months where there is no mbox file

This can happen because some emails are in the wrong mbox file based
on their date, so just generating the mbox linked based on which dates
are present in the database can generate extra links.

Show the size of an attachment next to the description

Also don't index the list of messages

We index the contents. In particular since the URLs for the list of messages
are very dynamic, it turns into huge amounts of pages being indexed.

Add tag to flat message view to exclude from search engines

We don't want double hits for all pages, and we already get hits in the main
message page.

Majordomo requires https these days - update *both* URLs for it...

For error messages to work, you need to import certain default urls

Add error templates

Shows some nicer messages when there is a 404 or internal server error

Add spacing

Include Prev/Next links and date list at top of lists as well

Add links for next and previous per date on individual messages

This was a bit more complicated than before due to the fact that a single
thread can be on multiple lists, but this should solve the main problem.

Remove another instance of an extra tr tag

Remove print statements from old debugging

Don't include list name in all search hits

It makes no sense, since an email can exist on multiple lists, which
would show up as multiple hits. And it made the queries slower...

Support messageid-only searches

Make searches using the correct full text config

Set a gin fuzzy search limit on all searches

Turn any non-first text/plain parts into attachments

Instead of ignoring them because they're text/plain, only
ignore the first one and specifically the one matching our
footers. This should deal with the case when there is a textfile
attached that has no name.

Inline (some) images attached to emails

Inline images if they're <75kb in size. Also use a CSS rule to make
sure that they don't overflow the display.

Add tool to reparse a message

Read back the rawtxt stored in the database and reapply our parsing rules.
This is used when the code/rules for parsing a message has changed,
such as attachment or body parsing rules. Does not attempt to rethread
a message in any way.

Centralize varnish purging in the loader

Add support for in-place overwriting of a message

Fix comment

Properly parse attachments of type=text/plain, content-disposition=attachment

Previously we'd only parse them if they were given an explicit name,
which is not required - instead, they can have a filename...

Use archives google analytics

Use the google analytics code from the pg archives, not the one from the
main website, so we can keep separating them in the statistics.

Change URL for listgroups to be /list/group/<nn>/

Using the minus<nn> was really just a temporary thing, now fixed.

Expand the list of lists in a group when listing the group contents

Previously, we would show all list groups unexpanded, even if we knew
which group we were in.

Make all entries in dropdown black again

Ensure the archives.css stylesheet is loaded last

This is to make sure it overrides whatever defaults come from the others.
Fixes the styling of the dropdown box that was broken when styles were moved
from the page into the stylesheet.

Redirect messageid urls with slashes in them

Instead of showing an error, redirect the user back to the correct URL.
These should never be linked, but can show up if you navigate via a 404
page, as shown by Jonathan Katz.

Trap invalid dates, showing a better error message

Bring back the search box.

Remove test file not used in a long time...

Remove duplicate table

We already had a table called legacymap...

Do HTML de-escaping on the messageids

Quite messageids in legacy load

Turns out some emails have semicolons in their message ids..

Update list-of-lists for legacy loader

Remove comment

case-fix for callback attribute

Show 404 instead of empty list when specifying invalid list group

Even more markup fixes

Apply markup fixes to flat messages as well

Don't crash when specifying a date with zero messages

Move styles over to the CSS files

The inlining was supposed to be temporary. As a bonus, this removes
a HTML validator error...

Some markup fixes

Spotted by Stefan

Oops, forgot to commit the latest change. Fix url for mbox files.

Add URLs for mbox downloads

Make majordomo sync work properly with output redirected

With output redirected, always try to do the syncing without
prompting the user.

Include day links when "browsing backwards" as well

This fixes the fact that the date links were lost when clicking the
Prev link on any index page.

Include date links for the whole month, not just from date until end

Generate list of subsection lists when subsection is clicked

It was really confusing to send people to the first list in a
group instead of a list of groups...

Fix root link for mailinglists in menu

Only show date links to dates that have any actuall messages on them

Add index for looking up threads by lists

More CSS works for dropdown, to make it look more like the rest of the site

Including updating to a new version of jqueryui and jquery

Remove underline of entries in dropdown list

Remove unused CSS

Escape HTML in thread dropdown when using javascript

Add support for legacy urls, turn them into redirects to messageid

Use https, not http

Generate month links even if the page is empty, so the user can get off it

Don't generate empty next/prev links when there are no messages

Require authentication on raw messages

Need to set host header

Ugh, ugly typo

Attempt to do the purging from API instead of direct db

Add support for proper varnish purging when loading messages

Set cache times on all requests

Keep archives specific stylesheets in /media-archive/

this allows us to fallback on the main website stylesheets

Add web_sync_timestamp, for varnish polling

Merge remote-tracking branch 'arkaria/master'

Switch to new namespace, preparing for site integration

Stop underlining links in simulated drop-downs, and refactor highly-duplicated anchor link styles while we are at it.

Start transaction, and give info about it

Another typo, i think

Fix missing field in table

Here's one for my memory missing that there was already a custom sql file

Missing object reference

Create a date index

django can't handle functions properly, so do a manual sql scrpit instead

Only silence importerrors..

Use our custom tsearch dictionaries

These could probably do with some tuning as well...

Don't crash when settings_local.py is missing

Add SQL initializer for fields not part of model

Add a REST-like API for searching

Indexes will never expire based on threadids - since we don't have thread indexes

Instead, expire them based on listid/year/month.

More forgiving parsing of emails with broken header encoding