Drop in SolvableVersion as a replacement for packageversion

Remove packageversion class

Remove packageversion, _packageversion, defaultversion classes

Remove cygpackage class

v2:
Fix typo in bootstrap.sh (kbrown)

Change to using a libsolv pool for storing package information

Add class SolverVersion, a wrapper around a Solvable Id. The interface is
similar to class packageversion, the name change is just to make sure I've
got everything.

Place test packages into separate repos.

Expressing that curr: packages are preferred to prev: ones when that is not
the version number ordering should be done with epoch numbers.

Wire up various bits of data in packageversion to Solvable attributes,
including sourcepackage, stability, archive (packagesource) and depends.

Store sourcePackage() by the id rather than name, for much faster lookup.

SolverVersions for the same package can be ordered and compared by evr.

Factor out packagedb:addBinary() and also use it in IniDBBuilder, rather
that inlining the process of adding a package there. Add an analagous
packagedb:addSource() to do the same thing for source packages.

Change to reading installed.db after setup.ini's have been read, so we can
supplement the installed.db packages with information from setup.ini.

Make packagemeta::add_version() check for successful insertion of version.
Record the version at a stability level. The last version wins in setting
curr/test.

Use a Solver object inside packagedb

v2:
Link with libregex rather than libgnurx

Use -lregex rather than -lgnurx, as the Fedora mingw{32,63}-libgnurx
cross-packages only contain the library under that name.

(The Cygwin mingw63-{i686,x86_64}-libgnurx cross-packages have both names).

Check for libregex at configure time
(Done properly this should use PKG_CHECK_MODULES, rather than checking
for the header...)

Update build instructions

Store package stability in class packageversion

Factor out reading installed.db

Rather that doing implicitly the first time a packagedb is constructed, do
it explicitly at a certain point in time that is early enough.

Opaque how PackageDepends is stored

We want to be more opaque about how the PackageDepends for a packageversion
is stored, so rather than exposing a pointer to a PackageDepends object
inside class packageversion, access it by value.

This also makes us be more explicit about set/get of package depends()

Fix some iterations to deal with depends() returning a value rather than a
pointer.

Also adjust dumpPackageDepends() appropriately

Make any MessageBox shown by the GuiParseFeedback class modal to the progress page

Query the user if a corrupt local file is found

Also reorganize package validation.

Move the size-validation code in download.cc and the hash-validation
code in install.cc into new member functions of the packagesource
class.  Add a bool member 'validated' to the class to make sure that
the checking is done only once.

Change download.cc:check_for_cached() so that it offers to delete a
corrupt package file instead of throwing an exception.  The latter
previously caused a fatal error when check_for_cached() was called
from do_download_thread and download_one.  Now we get a fatal error
only if the user chooses not to delete the file.

Also make check_for_cached() check the hash of the file in addition to
the size.  Similarly, check the hash in addition to the size after
downloading a file.

Improve help text

Various clarifications to option descriptions
Consistently start option descriptions with a capital letter
Add an extra line to mention download & install/download/install modes

Fix 'Keep' button marking all installed packages as 'reinstall' not 'keep'

Regressed by commit 4209699 'Hoist pick() up to packagemeta'

Throw exceptions instead of exiting with error codes

There were two places in PickView.cc and one in choose.cc where setup
would silently die with an error code.  Change this so that setup now
throws exceptions.  The exceptions are caught by
TOPLEVEL_CATCH("DialogProc") in PropertyPage::DialogProc().

Update displayed copyright to 2018

Split WISHLIST out from README

Also remove old CHANGES file

Give TOPLEVEL_CATCH an owner window

The fatal message box produced by TOPLEVEL_CATCH had a NULL owner
window.  This meant that the box could be hidden by whatever window
was previously being displayed, so that setup appeared to hang.  In
addition, the user could interact with the propsheet window while the
message box was displayed.

Fix this by giving TOPLEVEL_CATCH an "owner" parameter.  In all uses
but one (TOPLEVEL_CATCH("main")), there is a non-NULL owner available
that we can use.

Simplify LocalDirPage::OnNext()

Never go directly to IDD_CHOOSE from LocalDirPage::OnNext(), go to
IDD_INSTATUS with WM_APP_START_SETUP_INI_DOWNLOAD (if source ==
IDC_SOURCE_LOCALDIR), otherwise IDD_NET (which eventually leads there)

Make do_ini() succeed if found_ini_list is empty

Rather than count the number of .ini files read in do_{local,remote}_ini,
and assume success if greater than zero, actually track if an error occured.

This is a subtle change of behaviour if more than one .ini file is read:
previously all we needed was one to succeed, now we need them all to
succeed.

(Note that site_list should never be empty, and it's still an error if we
don't find an .ini file from a site, so the practical effect is to make
do_local_ini succeed with an empty found_ini_list)

Fix invalid iterator use in packagedb::removeEmptyCategories()

Make removeEmptyCategories() explicit, rather than a side effect of defaultTrust()

It's unclear that this can ever do anything.  The list of categories is
built as we see packages in those categories, so I don't know how we can
ever get an empty category.

Hoist scan() up from packageversion to packagemeta

Hoist uninstall up to Installer::uninstallOne()

This calls packagemeta, which applies to packageversion (which delegates
through packageversion_ to cygpackage) to return lines from the .lst.gz file
(pretending that we know it contains a file list for that specific version)
and to remove the .lst.gz file when done.

Move this all up into Installer::uninstallOne(), where it's all in the same
place as the operation it is reversing, Installer::installOne().

Hoist pick() up to packagemeta

We are always writing packagemeta.desired.pick(bool, packagemeta).  This
kind of suggests something not quite right.

The pick flag means install/reinstall, so despite being stored per
packageversion, is only significant to download/install for the desired
version.

There's a slight wrinkle in that we want to also set/clear this flag for the
source packageversion.  We can't change this to point to packagemeta rather
than packageversion, as that may not be the same for all versions, so
instead just track this flag separately as srcpicked.

Note that there is still a complicated mapping between the state of desired
and pick and the action represented in the UI:

desired == empty, installed == desired : skip
desired == empty, installed != desired : uninstall
desired == installed, pick == true     : reinstall
desired == installed, pick == false    : keep
desired != installed, pick == true     : upgrade
desired != installed, pick == false    : invalid

v2:
Make explicit that when desired == empty, pick is false (previously this was
implict, as setting pick for defaultversion was ignored)

Hoist addScript() etc. up from packageversion to packagemeta

We're only interesting in storing scripts and later running them from the
desired version as we install it, so despite being stored per
packageversion, this is only significant for the desired version.

Hoist it up from packageversion to packagemeta.

Reset dependency list for each requires:/depends:

Reset dependency list for each requires:/depends:, otherwise, they are
concatenated.

Also, drop useless dump of dependency list before we start reading it.

Fix response to enter in the chooser search textbox

Make 'enter' after we've started typing into the search textbox cause the
search filter to immediately take effect.

We don't change the default control immediately on EN_SETFOCUS unless there
is already text in the search textbox, so pressing 'enter' with the focus on
the search textbox (the initial state of the dialog) without typing anything
into the search textbox moves to the next page, as previously.

Also improve a bit of debug output from ChooserPage::OnMessageCmd()

v2:
Explicitly add/remove the defpushbutton style from the "Next" button when
the default button changes

v3:
Refine behaviour so default control is changed on EN_SETFOCUS if some
search text is present.

Make Enter in the user URL box cause ADD instead of NEXT

Fix a typo in filenames for upload target in Makefile

Remove references to "last-extrakeys"

Extra gpg keys used to be stored in a file /etc/setup/last-extrakeys.
These keys are now saved in the "extrakeys" user setting, but there
were still references to "last-extrakeys" in comments and in a help
string.

Change the interpretation of '#' in setup.rc

'#' was treated as a comment character in all circumstances.  Since
saved gpg keys contain '#', this caused the "extrakeys" user setting
to get truncated.  Change this so that '#' only indicates a comment if
it's the first non-whitespace character in a line.

Fix the reading and writing of the "extrakeys" user setting

ExtraKeysSetting::keybuffer is terminated by LF rather than NUL.  So
we have to replace NUL by LF after calling
UserSettings::get("extrakeys") in the ExtraKeysSetting constructor.
Otherwise the last saved key is discarded.  Also, bufsize has to be
set appropriately before the call to count_keys(), or else all saved
keys are discarded.

Similarly, the final LF in keybuffer has to be replaced by NUL in the
ExtraKeysSetting destructor before the call to
UserSettings::set("extrakeys", keybuffer).  Otherwise we get garbage
at the end of the "extrakeys" setting in setup.rc.

site.cc, site.h: code cleanup

Remove site_list_type::init(), which was introduced to work around a
problem with gcc-2.95.

Add a bool member 'from_mirrors_lst' to the site_list_type class.  Use
it to distinguish mirrors listed in mirrors.lst from user-added sites.
This replaces the (undocumented) use of
site_list_type::servername.size() for this purpose.

When registerSavedSite is called on a URL that's already in
'all_site_list', add the version from 'all_site_list' to 'site_list'
rather than adding a temporary version that contains no information
other than the URL.

Similarly, if the user adds a site that was already in
'all_site_list', don't replace the existent version with the new one
(which contains only the URL).

Make 'System Proxy Settings' the default, rather than 'Direct'

Make 'System Proxy Settings' the default, rather than 'Direct', and re-order
the network connection options so that option is first.

If you don't need a proxy, the system proxy setting should be for direct
connection, anyhow.

So, at the moment, this is just a button you're supposed to know you need to
press to make it work, when you are behind a proxy.

This setting is persisted (as 'net-method'), so this change only effects new
installations.

Remove the ScanFindVisitor class

This class was used for local installs in which the repository contains no
setup.ini file.

This seems of questionable usefulness, since it doesn't know anything about
dependencies

It also doesn't correctly handle filenames with colons.

There are now good instructions at
https://cygwin.com/package-server.html#overlay for creating a valid
repository, so we just remove the class instead of trying to fix it.

Don't fatal() on unexpected early window messages

There's no good reason for this to be immediately fatal, and we have at
least one report of this happening [1], so don't fatal(), just warn.

[1] https://cygwin.com/ml/cygwin/2017-07/msg00428.html

Add upload target to Makefile

Remove remaining CVS keyword cruft

Query user after download error in interactive mode

Instead of just giving the user a "Try again?" Yes/No choice that goes
to IDD_SITE on Yes, create a dialog IDD_DOWNLOAD_ERROR with the
following choices: 'Retry' (retry the download), 'Back' (return to
IDD_CHOOSE), 'Continue' (ignore the errors), or 'Cancel' (exit).

The dialog lists the packages that had download errors so that the
user can make an informed choice.

Users who liked the old behavior (IDD_SITE) can select Back twice.

Remove "Try again?" from exit message

Fix off-by-one error in download retry report

'retries' was decremented after it was tested but before it was
reported in the log, so the reported number was always 1 too low.

Just retry download after error in unattended mode

After a download error, setup was going back to IDD_SITE.  This is
pointless in unattended mode, since no changes in the mirrors or
packages can be made.

Change misleading comment about retries in unattended mode; the Yes/No
dialog is not used in that case.

Add OS version to user-agent string

Add bitness to user-agent string

We have no idea about the proportion of 32-bit and 64-bit Cygwin installs.

Add a 'Win32', 'WoW64' or 'Win64' token to the user-agent string to report
bitness.

Future work: it might be useful to report the OS version as well

Fix -Werror=misleading-indentation errors seen with gcc 6

This looks like an actual bug which has been lurking here since forever,
fortunately not exposed since hardly anything uses Option::Optional...

libgetopt++/src/OptionSet.cc: In member function 'void OptionSet::doOption(std::__cxx11::string&, const size_type&)':
libgetopt++/src/OptionSet.cc:125:25: error: this 'if' clause does not guard... [-Werror=misleading-indentation]
                         if (!isOption(maybepos))
                         ^~
libgetopt++/src/OptionSet.cc:128:8: note: ...this statement, but the latter is misleadingly indented as if it is guarded by the 'if'
        argv.erase(argv.begin() + 1);
        ^~~~
libgetopt++/src/OptionSet.cc:159:25: error: this 'if' clause does not guard... [-Werror=misleading-indentation]
                         if (!isOption(maybepos))
                         ^~
libgetopt++/src/OptionSet.cc:161:8: note: ...this statement, but the latter is misleadingly indented as if it is guarded by the 'if'
        argv.erase(argv.begin() + 1);
        ^~~~

Fix -Werror=unused-const-variable error seen with gcc 6

sha2.c:199:24: error: 'sha224_initial_hash_value' defined but not used [-Werror=unused-const-variable=]

Fix spinning after replace-on-reboot failure or skipped

If:
- extracting a file failed AND --no-replaceonreboot was used
- OR, writing the .new file for replacing on reboot failed
we don't advance to the next file in the archive, so we just sit there,
trying the same operation repeatedly.

Yes, this seems to mean that --no-replaceonreboot never worked usefully.

Also advance to next file in extract_other error case.

See https://cygwin.com/ml/cygwin/2017-10/msg00090.html

Add TAGS to .gitignore

Accept sites using https:// and ftps:// protocols in mirrors.lst

Also report when a line from mirrors.lst is being discarded due to a URL
using an unknown protocol.

Avoid messagebox spam with file:// protocol URLs

When using a file:// protocol URL for package repo, don't spam messageboxes
warning about absence of compressed setup files.  We don't do that for
ftp:// or http:// protocol URLs.

A warning is still given we couldn't find a useable setup.ini from the URL
provided

Fix useless error message

If source.Cached() is empty, we produce the amazingly helpful error message
"Can't open (null) for reading: No such file".

Improve the error message so it reports that we can't open the archive since
we don't know a filename for the locally cached archive file.

This can occur if download failed for an archive, but we chose to continue.

Fix that clicking on any column changes "Keep" to "Uninstall"

A package's status is only changed by clicking on the "New" column, with one
exception: If the status is "Keep", it is changed to "Uninstall" after a
click (even accidental) on any other column.

"Keep" means desired == installed, picked = false.  Only run the code which
is supposed to detect both "src?" and "bin?" unchecked when clicking on
those columns.

Addresses: https://cygwin.com/ml/cygwin/2017-05/msg00525.html

Allow click-to-activate in PickView list control

This helps somewhat with the problem reported in
https://cygwin.com/ml/cygwin/2017-05/msg00513.html

Allow user-agent string to be customized

If the option is present without a string, this means that no user-agent
header should be added.

Also include version in default user agent string

v2:
Add logging of User-Agent: header override

v3:
Be more careful about scope User-Agent std::string object

Add Option::isPresent() method

Add Option::isPresent() method, so we can distinguish between the cases of
an option which is present with the default value, and an option which is
absent.

Access StringOption's value by reference

Access StringOption's value by reference, to avoid unnecessary temporaries.

Alphabetically sort options in usage help

Allow options which only have long names

We're kind of running out of letters for short options :)

Remove OR from grammar

Unused since removal of complex dependency rules in 60b4f6ca

Improve error recovery in setup.ini parsing

Following the error token with a NL allows the parser to discard tokens
until a NL is found to resynchronize, rather than aborting.

This doesn't help hugely, as *any* parse errors are considered fatal by
do_remote_ini()/do_local_ini() and won't let us proceed.

Fix infinite recursion in grammar for depends

Allowing listseparator to be empty allows an infinite recursion in the
versionedpackagelist rule

Also make the comment documenting versionedpackageentry is non-empty
consistent with all other similar comments

Also allow lower-case depends:

Fold build(Install|Source)(MD5|SHA512) into buildPackage(Install|Source)

Fold build(Install|Source)(MD5|SHA512) into buildPackage(Install|Source), so
the (pathname, size, hash) information from an install: or source: line is
all processed together.

Fold IniDBBuilderPackage::buildInstallSize() into buildPackageInstall()

As mentioned in 5a3799dc, this ripples through into ScanFindVisitor as well.

Move and rename dumpAndList()

Make PrereqChecker::setTrust() a static method

Rather than instantiating PrereqChecker just to call an accessor method
which changes a static data member, make that method static as well.

Rename category "Misc" to "Orphaned"

Packages which have no category are placed into this category.  Since a
category is mandatory for all packages in setup.ini, this effectively means
packages which are "orphaned" in the sense that they are installed, but
don't appear in any setup.ini.

Usually it's safe to uninstall such packages (with --delete-orphans), unless
you are actually using them, or have locally built packages which rely on
them.

Correctly calculate total data to checksum when using IncludeSource

Correctly account for source packages installed due to IncludeSource in the
total amount of data to checksum.

The fact that this obvious bug is unreported kind of suggests that no-one is
actually using this option...

isBinary() should return true for orphaned packages

Test added in c23d96d6 is incorrect and results in orphaned packages being
omitted from picker.

Restore a missing NULL-ness check

Accidentally dropped in 249e9360.  This could go away if
packagesource::Canonical() was changed to return std::string and other uses
checked empty() rather than against NULL.

Add some progress reporting during preremove and uninstall

Make PackageDepends a type

Make PackageDepends a type, rather than repeating it's definition
everywhere.

All, rather than just the first (usually current) version should get dependencies

It seems that dependencies are only recorded against the first version
encountered, which is fortunately usually the current version.  If one were
to install a different version than that the first time a package is
installed, it's dependencies wouldn't be installed.

More zany hijinks from the wacky world of setup :)

Stop pretending to support complex dependencies

We pretend that we can parse dependencies of the form "A | B".  But
PrereqChecker will just treat that as "A".

This is a hard problem to solve, as we'd need UI to ask, or policy to know
if A or B is preferred.

So just remove the pretense, simplifying lots of stuff.

Remove useless PackageSpecification methods

Remove unused PackageSpecification::serialise()

Remove dangerous PackageSpecification::operator= which doesn't copy all
object state

Change PackageSpecification::_operator to an enum

Initial setting of trust should be TRUST_CURR

Fix comments and indentation in check_for_cached

Simplify class packagesource

packagesource::Filename() is unused

packagesource::Base() was only used in reporting progress in install.
Instead report the package name and package version.  (It would be nice to
do so consistently in uninstall well, but we don't really know what version
we are uninstalling)

The default copy constructor is not overriden, which is unsafe, as the class
contains a pointer to new-ed memory. Use std::string instead, retaining the
relied-upon behaviour of returning NULL for an empty string.

Remove unneeded virtual from class packagesource's methods

This class has no subclasses, and there are no plans for such.

Also remove some irrelevant comments which seem to have been cut-and-pasted
from packageversion.h

Remove unused forward declaration of non-existent class category

Remove packageversion::sources(), only packageversion::source() is useful

The comments seems to indicate this was for supporting a package consisting
of multiple archives.

We only supported downloading such packages, not describing them in
setup.ini or installing them.

No such mythical beast has been sighted.

Rename "Internet Explorer Proxy Settings" to "System Proxy Settings"

Nowadays, these settings are set via the settings app, and are used by
applications other than IE.

Also remove unused IDS_WININET

Don't bother storing prev version

There's no means to select it since ec9c1d70, so don't bother remembering
which version is the prev version.

Use INTERNET_FLAG_RESYNCHRONIZE when fetching cacheable URLs with wininet

It seems this is needed for correct cache behaviour when the server doesn't
add an ETags header (i.e. sending an If-Modified-Since: request).  Why would
we want sane behaviour by default, eh?

Log if URL fetch was satisified from cache

Improve logging of URL fetching and wininet errors

Add Makefile rule to rename build products to form used when uploading

Also clean all .dbg and .exe files

Update displayed copyright to 2017

Use wininet for fetching URLs in direct (non-proxy) case

From the discussion in [1], I was somewhat surprised to learn that setup
doesn't support https or ftps.

Switch to using wininet for fetching URLs in the direct (non-proxy) case, as
well. (It's already used in proxy case). This allows https and ftps
protocols to be used.

For the moment, we keep around the existing, hand-built URL fetching as
'Direct (legacy)'.

Arrange for mirrors.lst and setup.ini to be cached by wininet, but not
package archives (as setup maintains it's own cache of those)

Read from wininet in 64K chunks rather than the whole file, so we can report
progress feedback as we download.

Close rather than leak InternetOpenUrl() handles with errors.

Also fix up some bad indentation.

I think the reason we have a handbuilt HTTP client is that back in 2000 or
so, we were concerned about the case where IE5 wasn't installed and so
wininet wasn't available.  But who knows...

[1] https://cygwin.com/ml/cygwin/2017-03/msg00384.html

Remove obsolete ChangeLog

Don't show source-only packages in package list

external-source: packages which have no binary package will be marked skip:
and so won't show up in setup.ini at all.

If we change to using the Source: line to identify a source package, which
is (by definition) source only, these will appear in setup.ini, but without
any install: lines, so we need to explcitly avoid showing them in the
package list.

Future work: perhaps add another view to show just source packages?

Make building with DEBUG less useless

Showing a messagebox with ldesc for every single package is annoying.

Don't do unneeded work when changing stability level

Since 2c4487b3, we stopped recomputing all the dependencies every time
something was changed in the PickView.  Remove all the depsolver code which
was used to do that.

The only remaining use was when we changed stability level, to select all
the package versions at that stability level.  That work is already being
done by packagedb::defaultTrust() (called by ChooserPage::changeTrust()).

(Note that this changes behaviour slightly: New dependencies of currently
installed packages used to be shown in the PickView, but now they won't be
reported until the PrereqChecker)

(This still leaves the crude depsolver we actually use in PrereqChecker,
which just selects all the unmet dependencies with the current trust level)

Don't handle missing 'version:'

If the setup.ini is missing a 'version:' line, parse the version number out
of the 'install:' filename.  Let's not do that anymore...

packageversion::sourcePackageSpecification() is const

Use const version of packageversion::depends() in PrereqChecker

Make packageversion::source(|s) const

Make packageversion::source() and sources() const

Remove a temporary used to dererence an packageversion iterator to avoid
problems with const-correctness

Remove cygpackage::destroy() because it does nothing

Remove unused package_status_t stored in packageversion class

The package installed/not installed status is tracked by the packagemeta
class, currently

Remove pointless abstract base class IniDBBuilder

There can be no instances of IniDBBuilder (it has pure virtual methods).
There is only one derived class IniDBBuilderPackage.
We can't think of any use for other derived classes.

Remove uses of stderr for reporting file/directory pathname clashes

Convert output which directly used fprintf(stderr,...), which isn't normally
going anywhere useful, to using logging.

Add --allow-unsupported-windows option

This patch was suggested in a discussion with Peter Castro.

The concern is that using old versions of setup to install time machine
mirrors is not ideal, as it misses possible fixes in newer versions of
setup.

However, we do want to make it hard for someone to destroy their working XP
installation, so allowing setup to simply run on XP, which will break it by
upgrading it to the latest version (which doesn't work on XP), seems
contraindicated.

When --allow-unsupported-windows is on:
- Don't check the windows version
- Don't read the mirror list from cygwin.com
- Don't use any stored mirror selection in the 'last-mirror' key (as this
may point to a cygwin mirror, which, if we install from will break things)
- Retain the mirror selection (presumably a time machine circa given with
--site or via the GUI) in an alternate key 'last-mirror-unsupported'

Also, for discoverability, rearrange things so --help works even on
unsupported windows versions