Clarify missing obsoletes reminder

Make it clearer that if calm has to provide missing obsoletes, that is a
packaging defect.

Don't retain obsolete packages

Don't retain obsolete packages over a certain age threshold (when they
are effectively just adding an obsolete: to another package).

This is safe, as commit 17dc61e9 (persisting missing_obsoletes) ensures
that if the obsoletion was old-style (and thus only recorded in the
obsoleted package, with the new-style obsoletes: hint in the obsoleteing
package being synthesized by commit eca3a88d), the fact of that
obsoletion isn't forgotten once the obsolete package itself is removed.

Misspellings re-uploaded since last fixed

Adjust log-level of some debug output

Be a bit more aggressive about expiring old soversions

Allow the source package responsible for the old soversion to be
completely expired if it wouldn't normally be kept, and all of it's
install packages have no external rdepends.

Drop 'noretain' hint

This was pretty much useless, even more so now we have the 'vault'
command to do the same thing.

This effectively reverts commit aec1dcf7.

Ignore sighup when daemonized

It seems like systemd sends this as well as SIGTERM, so make sure to
ignore it so we shut down cleanly.

Don't update setup.ini if we can't sign it

Check with gpg-agent if the signing key(s) are available, and don't
update setup.ini if we can't sign it.

Also, since we want to do some logging about keygrips before we
daemonize, move logging_setup earlier, and don't close the file
descriptors it opens when we darmonize.

Add a test of upload auth failure

Add the ability to ingest arch-tagged package filenames

Change to deriving the name of the listing file from package name and
version, rather than from the tar archive filename, because that would
include the arch tag.

That exposes an interesting anomaly: We are ignoring any version:
override when generating the listing filename. Since it's taken into
account where the link is made to that file on the package summary page,
that seems like a bug which this change accidentally fixes.

Adjust the test data to reflect this fix.

Separate collect and read package files steps

This is necessary when different versions of a src package might exist
in both arch/ and src/ paths.

Update test data for change to Package() repr, as we no longer have
pkgpath, just then package name

This is preparatory work for allowing a couple of things: putting new
source packages in src/ (without moving the existing ones under arch/),
re-structuring the data model so that arch is inside package, rather
than containing a collection of them.

This improves package authorization so it's possible for a package can
replace parts of another package (without needing rearrangement of the
package locations), by requiring authorization for *all* paths at which
a package exists.

Change to using a class rather than named tuple to hold scan results, so
it can be mutable in uploads.auth_check()

Also: drop no longer needed use of a defaultdict for holding packages in
uploads.scan()

Fix typo

Drop age threshold for 'upgrade old-style obsoletes'

Make formatting of 'conflicts:' lines in setup.ini consistent

Make formatting of 'conflicts:' lines in setup.ini consistent with
everything else.

Utility function to drop version constraints from a package list

Factor out "strip out version constraints from a package list" into a
utility function.

Add some more old-style obsoletion upgrade information

These packages weren't being noticed before as being "obsolete, but no
replacement" due to the way split() can produce a list containing an
empty string, rather than an empty list.

Convert package lists in hints to actual lists

Convert package lists in hints to actual lists in one place, rather than
doing it every time we need to use the value.

This fixes the bug that build-requires wasn't written to JSON as a list.

Update test data appropriately.

Future work: Factor out "strip out version constraints from a package
list" into a utility function.

Add repr for RepoPath objects to aid debugging

Fix a bug in 'remove obsoleting package from depends of package it obsoletes'

Fix a bug in 'remove obsoleting package from depends of package it
obsoletes' code.  This wasn't applying correctly if the dependency
wasn't the first one, and left extraneous whitespace when it was.

Add dependencies etc. to JSON output

Produce a subreport for each solib

Initially I wanted to put this information directly into the solib
report, but some sort of disclosure widget which spans the whole table
width is hard to do in just HTML.

Make fix-requires-by-linkage quieter

Fix package name checking in fix-requires-by-path

Also add a bit of more verbose output,
Also make it possible to run on just a named package

Clean up all empty directories in stagingdir

Expire python35

Expire python34 left-overs

Ignore InotifyError exceptions

Only consider files in fix-requires-by-path

This makes it practical to use complex regex e.g. ending with a negative
lookahead.

Add replace option to fix-requires-by-path tool as well

Preparations for python3.5 removal

Improve fix-requires-by-linkage tool to allow it to run on entire relarea

Also: allow replacing an existing dependency (e.g python3 -> python35)
Also: don't spam with objdump warnings for symlinks

Support an easy way to trigger a relarea rescan via a .touch file

This will be used by vault and scan-relarea

Add a report of python packages which need rebuilding

Future proof the re for "python modules for old python versions"

Relocate lockfile

Relocate lockfile somewhere writeable by cygwin-admin uid

Record reason for calm daemon stopping in logfile

Use inotify to detect when there's work to be done

Rather than signals (which can only be sent by the same uid), use
inotify to detect when there's work to process in upload or staging
directory, or when a change has been made in the relarea.

Tolerate package html directories being owned by someone else

As a consequence of the cygwin-admin/cygwin split, we might not own an
existing package listing/summary HTML directory. Ignore any error trying
to set permissions in that case.

Don't warn if license expression canonicalization just changes case

Also: consistently indicate if a problem warned about in hints is fixed

Add a report of package lingering in test/unstable status

Ignore new flake B038

Ignore new flake B038: "editing a loop's mutable iterable often leads to
unexpected results/bugs".  The instances this reports are all false
positives.

Rewrite dependencies on removed python packages

Using the now removed, obsoleted package name causes the solver to want
to uninstall anything which depends on these, which isn't helpful right
now.

Theoretically, the information to generate these exists in our "retired
old-style obsoleting packages" data, but do it manually for speed right
now.

Anchor nonexistent_provides at the end

Anchor the nonexistent_provides regex at the end, so it matches the
whole provide name, avoiding unpleasant surprises.

Expunge all python2 modules

Ensure announce mail ends with a blank line

Improve rendering of minimal Markdown for description in package summary

Retain the heuristic which makes URLs in the description, and improve
it's handling of some cases.

Add rdepends and build_rdepends to package summary

Use the HTML <details> widget to avoid showing large lists by default.

Factor out writing the details in the package summary page

Contain the details in a table of class 'pkgdetails' for more layout
control.

Isolate tests from a local repodir

This fixes the tests if a local /git/cygwin-packages happens to exist,
and adds some test coverage of code which examines repodir.

Avoid an exception if package.merge() fails and returns None

Add package recipe URL to JSON dump

Add a tool for identifiying packages without packaging repos

Make report tables sortable

Facilitate more python2 removal

Also sort by package "importance" in unmaintained packages report

Store first msgid for announce of a srcpackage

Store the first msgid allocated for a srcpackage announce, so we can set
in-reply-to and thus allow threading of subsequent announces for that
package.

Omit empty provides_rebuild reports from list of report

Add token 'mock' to send announce only to maintainer

Add token 'mock' to send announce only to maintainer, not the announce list.

Use source package of actual version, not best version in vaulting

Use the source package of the actual version being considered, not the
best version, when determining if a package is owned by a source package
to be vaulted.

(Source package can change between versions, if sources are split or
merged)

Downgrade a piece of debug logging

Expire python2 modules

For the first time, we are expiring obsolete packages just because they
are obsolete, so it is time for the previous commit, to ensure we retain
any obsolete: hints they might have caused to be generated.

Persist missing_obsolete

Persist the missing obsolete: data generated from old-style obsoletion
packages, so it is remembered, even if after the obsoleted package is
removed.

Simplify 'conditionally retained' package marking

Move the logic into a single function, rather than selectively defining
a callback function depending on if the package meets some criteria.

Add 'fonts' category

Tweak From: in an announce email

Also allow announce message to be determined by cygport

Try to add relevant changelog excerpt to announce message

Look for a relevant section of changelog in README, between '----'
delimiters, starting with one also containing the version, to add to the
generated announce message.

Deploys can now automatically generate an announce email

This is controlled by the 'announce' token.

Factor out email sending to utils

Smooth out some issues when --email isn't specified, making args.email
an empty list rather than None, which can't be iterated.

When the To: address is 'debug', dump email to log, rather than stdout.

Explicitly use count keyword argument to re.sub()

This avoids flake B034: sub should pass `count` and `flags` as keyword
arguments to avoid confusion due to unintuitive argument positions.

Prepare for python2 removal

Remember package group information so we can show it on summary page

Generate an includeable HTML fragment with the list of reports

Add gtksourceview to slotted packages in repology data

Reduce scope of scallwag_db transaction lock

If multiple deploys are ready simultaneously, don't hold the lock over
all of them.

Add a simple way of grouping packages for maintainership

Define a team with a line starting with '@', e.g.:

@team Maintainer1/Maintainer2

Then @team can be referred in a packages maintainer list, as shorthand
for that list of maintainers.

Also ignore lines starting with '#' in maintainer list as comments

Avoid spurious license normalization warnings over whitespace

Fix page title for rebuild reports

Don't list obsoleted packages in rebuild report

Use regex matching for version provides:

This makes out-of-order uploading of users and providers of future
versions of these smoother.

Add a ruby rebuilds report

Generalize the perl rebuild report logic to work for any version provide:

Add a tool for fixing requires by linkage

Enhance fix-requires-by-path to match paths against a regex

Add some historic ruby provides, prior to expiring them

mksetupini: Warn about migrating obsolete --okmissing options

Also drop obsolete, genini-compatible --okmissing option from help text.

Add a test for mksetupini

Fix default of release label for mksetupini

Defaulting this to 'cygwin' isn't a very good idea.

Drop travis build status from README

Check that build-requires: lists valid package names, as well

Fix test data to satisfy that.

Add obsoletes_by to package summary page

It would be nice to also show rdepends and rbuild_depends, but those
could be huge lists.

Improve error handling for untest|vault with invalid package name

Produce an error message for untest|vault with invalid package name, rather than a python backtrace.

Add future texlive provides

Future work: make these regexes so we don't have to add them again in a
years time.

Make tests cover running reports as well

Add a perl rebuild report

Revise trusted maintainer list

Drop Eric Blake as inactive
Add Achim Gratz

Add gitweb description to gitolite config

Also add equivalent config keys for cgit

Use cgit repo url in package summary package

Add a test of mkgitolite

Rework how 'OBSOLETE' is handled in package list

Previously, we'd do some rearrangement of the release area, so the
obsoleted package would be moved under the obsoleting package, so it
didn't need to exist at all in the package list and we could safely
ignore it.

We don't need or want to bother with that now, so let obsolete packages
paths exist.

Future work: This needs some thought about how we want to work.  Perhaps
prohibit uploads?  Perhaps error if the package marked OBSOLETE isn't
actually obsoleted by something?

Improve hint parser error for embedded double quote