Fix -Werror=misleading-indentation errors seen with gcc 6

This looks like an actual bug which has been lurking here since forever,
fortunately not exposed since hardly anything uses Option::Optional...

libgetopt++/src/OptionSet.cc: In member function 'void OptionSet::doOption(std::__cxx11::string&, const size_type&)':
libgetopt++/src/OptionSet.cc:125:25: error: this 'if' clause does not guard... [-Werror=misleading-indentation]
                         if (!isOption(maybepos))
                         ^~
libgetopt++/src/OptionSet.cc:128:8: note: ...this statement, but the latter is misleadingly indented as if it is guarded by the 'if'
        argv.erase(argv.begin() + 1);
        ^~~~
libgetopt++/src/OptionSet.cc:159:25: error: this 'if' clause does not guard... [-Werror=misleading-indentation]
                         if (!isOption(maybepos))
                         ^~
libgetopt++/src/OptionSet.cc:161:8: note: ...this statement, but the latter is misleadingly indented as if it is guarded by the 'if'
        argv.erase(argv.begin() + 1);
        ^~~~

Fix -Werror=unused-const-variable error seen with gcc 6

sha2.c:199:24: error: 'sha224_initial_hash_value' defined but not used [-Werror=unused-const-variable=]

Fix spinning after replace-on-reboot failure or skipped

If:
- extracting a file failed AND --no-replaceonreboot was used
- OR, writing the .new file for replacing on reboot failed
we don't advance to the next file in the archive, so we just sit there,
trying the same operation repeatedly.

Yes, this seems to mean that --no-replaceonreboot never worked usefully.

Also advance to next file in extract_other error case.

See https://cygwin.com/ml/cygwin/2017-10/msg00090.html

Add TAGS to .gitignore

Accept sites using https:// and ftps:// protocols in mirrors.lst

Also report when a line from mirrors.lst is being discarded due to a URL
using an unknown protocol.

Avoid messagebox spam with file:// protocol URLs

When using a file:// protocol URL for package repo, don't spam messageboxes
warning about absence of compressed setup files.  We don't do that for
ftp:// or http:// protocol URLs.

A warning is still given we couldn't find a useable setup.ini from the URL
provided

Fix useless error message

If source.Cached() is empty, we produce the amazingly helpful error message
"Can't open (null) for reading: No such file".

Improve the error message so it reports that we can't open the archive since
we don't know a filename for the locally cached archive file.

This can occur if download failed for an archive, but we chose to continue.

Fix that clicking on any column changes "Keep" to "Uninstall"

A package's status is only changed by clicking on the "New" column, with one
exception: If the status is "Keep", it is changed to "Uninstall" after a
click (even accidental) on any other column.

"Keep" means desired == installed, picked = false.  Only run the code which
is supposed to detect both "src?" and "bin?" unchecked when clicking on
those columns.

Addresses: https://cygwin.com/ml/cygwin/2017-05/msg00525.html

Allow click-to-activate in PickView list control

This helps somewhat with the problem reported in
https://cygwin.com/ml/cygwin/2017-05/msg00513.html

Allow user-agent string to be customized

If the option is present without a string, this means that no user-agent
header should be added.

Also include version in default user agent string

v2:
Add logging of User-Agent: header override

v3:
Be more careful about scope User-Agent std::string object

Add Option::isPresent() method

Add Option::isPresent() method, so we can distinguish between the cases of
an option which is present with the default value, and an option which is
absent.

Access StringOption's value by reference

Access StringOption's value by reference, to avoid unnecessary temporaries.

Alphabetically sort options in usage help

Allow options which only have long names

We're kind of running out of letters for short options :)

Remove OR from grammar

Unused since removal of complex dependency rules in 60b4f6ca

Improve error recovery in setup.ini parsing

Following the error token with a NL allows the parser to discard tokens
until a NL is found to resynchronize, rather than aborting.

This doesn't help hugely, as *any* parse errors are considered fatal by
do_remote_ini()/do_local_ini() and won't let us proceed.

Fix infinite recursion in grammar for depends

Allowing listseparator to be empty allows an infinite recursion in the
versionedpackagelist rule

Also make the comment documenting versionedpackageentry is non-empty
consistent with all other similar comments

Also allow lower-case depends:

Fold build(Install|Source)(MD5|SHA512) into buildPackage(Install|Source)

Fold build(Install|Source)(MD5|SHA512) into buildPackage(Install|Source), so
the (pathname, size, hash) information from an install: or source: line is
all processed together.

Fold IniDBBuilderPackage::buildInstallSize() into buildPackageInstall()

As mentioned in 5a3799dc, this ripples through into ScanFindVisitor as well.

Move and rename dumpAndList()

Make PrereqChecker::setTrust() a static method

Rather than instantiating PrereqChecker just to call an accessor method
which changes a static data member, make that method static as well.

Rename category "Misc" to "Orphaned"

Packages which have no category are placed into this category.  Since a
category is mandatory for all packages in setup.ini, this effectively means
packages which are "orphaned" in the sense that they are installed, but
don't appear in any setup.ini.

Usually it's safe to uninstall such packages (with --delete-orphans), unless
you are actually using them, or have locally built packages which rely on
them.

Correctly calculate total data to checksum when using IncludeSource

Correctly account for source packages installed due to IncludeSource in the
total amount of data to checksum.

The fact that this obvious bug is unreported kind of suggests that no-one is
actually using this option...

isBinary() should return true for orphaned packages

Test added in c23d96d6 is incorrect and results in orphaned packages being
omitted from picker.

Restore a missing NULL-ness check

Accidentally dropped in 249e9360.  This could go away if
packagesource::Canonical() was changed to return std::string and other uses
checked empty() rather than against NULL.

Add some progress reporting during preremove and uninstall

Make PackageDepends a type

Make PackageDepends a type, rather than repeating it's definition
everywhere.

All, rather than just the first (usually current) version should get dependencies

It seems that dependencies are only recorded against the first version
encountered, which is fortunately usually the current version.  If one were
to install a different version than that the first time a package is
installed, it's dependencies wouldn't be installed.

More zany hijinks from the wacky world of setup :)

Stop pretending to support complex dependencies

We pretend that we can parse dependencies of the form "A | B".  But
PrereqChecker will just treat that as "A".

This is a hard problem to solve, as we'd need UI to ask, or policy to know
if A or B is preferred.

So just remove the pretense, simplifying lots of stuff.

Remove useless PackageSpecification methods

Remove unused PackageSpecification::serialise()

Remove dangerous PackageSpecification::operator= which doesn't copy all
object state

Change PackageSpecification::_operator to an enum

Initial setting of trust should be TRUST_CURR

Fix comments and indentation in check_for_cached

Simplify class packagesource

packagesource::Filename() is unused

packagesource::Base() was only used in reporting progress in install.
Instead report the package name and package version.  (It would be nice to
do so consistently in uninstall well, but we don't really know what version
we are uninstalling)

The default copy constructor is not overriden, which is unsafe, as the class
contains a pointer to new-ed memory. Use std::string instead, retaining the
relied-upon behaviour of returning NULL for an empty string.

Remove unneeded virtual from class packagesource's methods

This class has no subclasses, and there are no plans for such.

Also remove some irrelevant comments which seem to have been cut-and-pasted
from packageversion.h

Remove unused forward declaration of non-existent class category

Remove packageversion::sources(), only packageversion::source() is useful

The comments seems to indicate this was for supporting a package consisting
of multiple archives.

We only supported downloading such packages, not describing them in
setup.ini or installing them.

No such mythical beast has been sighted.

Rename "Internet Explorer Proxy Settings" to "System Proxy Settings"

Nowadays, these settings are set via the settings app, and are used by
applications other than IE.

Also remove unused IDS_WININET

Don't bother storing prev version

There's no means to select it since ec9c1d70, so don't bother remembering
which version is the prev version.

Use INTERNET_FLAG_RESYNCHRONIZE when fetching cacheable URLs with wininet

It seems this is needed for correct cache behaviour when the server doesn't
add an ETags header (i.e. sending an If-Modified-Since: request).  Why would
we want sane behaviour by default, eh?

Log if URL fetch was satisified from cache

Improve logging of URL fetching and wininet errors

Add Makefile rule to rename build products to form used when uploading

Also clean all .dbg and .exe files

Update displayed copyright to 2017

Use wininet for fetching URLs in direct (non-proxy) case

From the discussion in [1], I was somewhat surprised to learn that setup
doesn't support https or ftps.

Switch to using wininet for fetching URLs in the direct (non-proxy) case, as
well. (It's already used in proxy case). This allows https and ftps
protocols to be used.

For the moment, we keep around the existing, hand-built URL fetching as
'Direct (legacy)'.

Arrange for mirrors.lst and setup.ini to be cached by wininet, but not
package archives (as setup maintains it's own cache of those)

Read from wininet in 64K chunks rather than the whole file, so we can report
progress feedback as we download.

Close rather than leak InternetOpenUrl() handles with errors.

Also fix up some bad indentation.

I think the reason we have a handbuilt HTTP client is that back in 2000 or
so, we were concerned about the case where IE5 wasn't installed and so
wininet wasn't available.  But who knows...

[1] https://cygwin.com/ml/cygwin/2017-03/msg00384.html

Remove obsolete ChangeLog

Don't show source-only packages in package list

external-source: packages which have no binary package will be marked skip:
and so won't show up in setup.ini at all.

If we change to using the Source: line to identify a source package, which
is (by definition) source only, these will appear in setup.ini, but without
any install: lines, so we need to explcitly avoid showing them in the
package list.

Future work: perhaps add another view to show just source packages?

Make building with DEBUG less useless

Showing a messagebox with ldesc for every single package is annoying.

Don't do unneeded work when changing stability level

Since 2c4487b3, we stopped recomputing all the dependencies every time
something was changed in the PickView.  Remove all the depsolver code which
was used to do that.

The only remaining use was when we changed stability level, to select all
the package versions at that stability level.  That work is already being
done by packagedb::defaultTrust() (called by ChooserPage::changeTrust()).

(Note that this changes behaviour slightly: New dependencies of currently
installed packages used to be shown in the PickView, but now they won't be
reported until the PrereqChecker)

(This still leaves the crude depsolver we actually use in PrereqChecker,
which just selects all the unmet dependencies with the current trust level)

Don't handle missing 'version:'

If the setup.ini is missing a 'version:' line, parse the version number out
of the 'install:' filename.  Let's not do that anymore...

packageversion::sourcePackageSpecification() is const

Use const version of packageversion::depends() in PrereqChecker

Make packageversion::source(|s) const

Make packageversion::source() and sources() const

Remove a temporary used to dererence an packageversion iterator to avoid
problems with const-correctness

Remove cygpackage::destroy() because it does nothing

Remove unused package_status_t stored in packageversion class

The package installed/not installed status is tracked by the packagemeta
class, currently

Remove pointless abstract base class IniDBBuilder

There can be no instances of IniDBBuilder (it has pure virtual methods).
There is only one derived class IniDBBuilderPackage.
We can't think of any use for other derived classes.

Remove uses of stderr for reporting file/directory pathname clashes

Convert output which directly used fprintf(stderr,...), which isn't normally
going anywhere useful, to using logging.

Add --allow-unsupported-windows option

This patch was suggested in a discussion with Peter Castro.

The concern is that using old versions of setup to install time machine
mirrors is not ideal, as it misses possible fixes in newer versions of
setup.

However, we do want to make it hard for someone to destroy their working XP
installation, so allowing setup to simply run on XP, which will break it by
upgrading it to the latest version (which doesn't work on XP), seems
contraindicated.

When --allow-unsupported-windows is on:
- Don't check the windows version
- Don't read the mirror list from cygwin.com
- Don't use any stored mirror selection in the 'last-mirror' key (as this
may point to a cygwin mirror, which, if we install from will break things)
- Retain the mirror selection (presumably a time machine circa given with
--site or via the GUI) in an alternate key 'last-mirror-unsupported'

Also, for discoverability, rearrange things so --help works even on
unsupported windows versions

Remove an obsolete prototype

add_correct_version() was moved into IniDBBuilderPackage in commit 076654e7

Remove unused cvsid

Remove redundant parser rule

Remove parser rules for undocumented redundant syntax

Remove unused syntax for separate size and hash lines

Size:, MD5sum:, SHA512: are never used as the size and hash are always given
in install: or source: lines

Remove parser rules which store data which is never used.

Remove parser rules for undocumented syntax which store data which is never
used.

Architecture:
Binary:
Conflicts:
Description:
Installed-Size:
Pre-Depends:
Priority:
Provides:
Recommends:
Replaces:
Suggests:

Remove parser rules which do nothing

Remove parser rules for undocumented sytax which does nothing

MAINTAINER
STANDARDSVERSION
FORMAT
DIRECTORY
FILES

Either the parser rules are empty, or call functions which do nothing

Remove unused lexer tokens

Terminals unused in grammar

   APATH
   PPATH
   INCLUDE_SETUP
   EXCLUDE_PACKAGE
   DOWNLOAD_URL
   DESCRIPTION
   EMAIL
   OPENSQUARE
   CLOSESQUARE

EXCLUDE_PACKAGE and DESCRIPTION aren't even produced by any lexer rule

OPENSQUARE and CLOSESQUARE are unused since 3074ce5e, EXCLUDE_PACKAGE seems
to have done something in 2001, the rest never seem to have been used.

Make package size and checksum mandatory in setup.ini

The setup.ini grammar is written such that size and checksum are optional in
install: lines, and checksum is optional in source: lines.  Presumably this
had some historical use.

Change to make package size and checksum mandatory.

Future work: We keep the asymmetry between install: and source: where
buildPackageSource() sets both pathname and size, but buildPackageInstall()
only sets pathname, relying on a separate buildInstallSize() to set the size
later for the moment, as fixing that ripples through to other place.

Remove unused grammar for dependent package architecture information

A dependency package entry can apparently end with '[architecturelist]', but
this would be completely ignored if anything ever generated it...

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Fully initialize PROPSHEETPAGE

Avoids uninitilized data access errors reported by Dr.Memory

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Use English button labels 'Keep', 'Current' and 'Test'

Use the English words 'Keep', 'Current' and 'Test' as button labels, rather
than 'Keep', 'Curr' and 'Exp'.

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Allow setup to parse more than 3 versions from the setup.ini file

This recognizes any "[foo]" line as introducing the information for another
version, which doesn't have one of the trust levels [curr], [prev] or
[test], and so isn't automatically selected when setup is told to install
all packages at that trust level (by default, [curr]).

Setup already does all the necessary sorting in version order etc. to use
these additional versions.

The value of <foo> carries no meaning, but the setup.ini specification
will be amended to mandate the use of "[ver<digits>]".

* PackageTrust.h (trusts): Add TRUST_OTHER.
* inilex.ll: tokenize any other [version] as the T_OTHER token.
* iniparse.yy: Add T_OTHER token and set package trust
to TRUST_OTHER when it is used.

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Strip symbols to setup.dbg

As noted in https://cygwin.com/ml/cygwin/2016-11/msg00254.html debugging the
distributed setup executable is a lost cause at the moment.  Preserve
symbols so it's not quite as hopeless.

Note: to debug the distributed setup executable with gdb, it will be
necessary to decompress the setup executable with 'upx -d', and, if the .dbg
file has been renamed to match the renamed setup executable, explicitly load
it into gdb with the 'symbol-file' command.

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Simplify PickView::insert_pkg

This is only called from PickView::setViewMode(), and only when view_style
is not views::Category, so checking that again is redundant.

Start chooser in "Pending" view if this is not a first time installation

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Ignore malformed lines in a site-list

Ignore malformed lines in a site-list, rather than crashing

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Fix validation in RootPage

RootPage is supposed to disable the next button if the rootdir edit box is
empty, but this currently doesn't work.

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Give search edit box autohscroll style

This enables searching for package names longer than will fit in the edit
box, by allowing the text in the edit box to horizontally scroll...

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Restore Alt-V accelerator for view selection control in chooser

Also make the view selection control a tabstop

Also give "Curr" a unique accelerator, 'C' is already being used by "Clear"

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Call Logger ().exit instead of exit() when leaving

Signed-off-by: Corinna Vinschen <corinna@vinschen.de>

Refuse to run on Windows XP and earlier

Refuse to run on Windows versions less than 6.0 (XP or previous), as they
are no longer supported by Cygwin.

Future work: The version checked against should be read from setup.ini,
rather than hard-coded here, so that this version of setup cannot be used to
download a future version of Cygwin which isn't compatible with the Windows
version it's running on...

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

NTSecurity::GetPosixPerms: Simplify creation of ACEs

Use AddAccessAllowedAceEx to avoid having to change the
inheritance flags afterwards.

Signed-off-by: Corinna Vinschen <corinna@vinschen.de>

Fix incorrect heap memory access in SimpleSocket::gets()

nl is dereferenced to check if it's '\n' or '\r', before we check if we have
passed the start of the buffer.  Re-order the check so we check if we have
passed the start of the buffer first.

Detected by Dr.Memory, e.g:

Error #7: UNADDRESSABLE ACCESS beyond heap bounds: reading 0x053f3067-0x053f3068 1 byte(s)
 0 SimpleSocket::gets                           [/wip/cygwin-setup/build.x86/../simpsock.cc:177]
 1 NetIO_HTTP::NetIO_HTTP                       [/wip/cygwin-setup/build.x86/../nio-http.cc:195]
 2 NetIO::open                                  [/wip/cygwin-setup/build.x86/../netio.cc:154]
 3 getUrlToStream                               [/wip/cygwin-setup/build.x86/../geturl.cc:119]
 4 get_url_to_membuf                            [/wip/cygwin-setup/build.x86/../geturl.cc:161]
 5 get_url_to_string                            [/wip/cygwin-setup/build.x86/../geturl.cc:186]
 6 get_site_list                                [/wip/cygwin-setup/build.x86/../site.cc:324]
 7 do_download_site_info_thread@4               [/wip/cygwin-setup/build.x86/../site.cc:410]
 8 KERNEL32.dll!BaseThreadInitThunk            +0x23     (0x76fb62c4 <KERNEL32.dll+0x162c4>)
Note: @0:00:20.016 in thread 280888
Note: refers to 1 byte(s) before next malloc
Note: next higher malloc: 0x053f3068-0x053f346b
Note: prev lower malloc:  0x053f2fc8-0x053f3048
Note: instruction: movzx  (%eax) -> %eax

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Clean up some cruft in propsheet.cc

Clean up some cruft no longer needed after 67fb0b58

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Fix scope problem in NetIO_HTTP::NetIO_HTTP

Also reformat slightly for better readability

Signed-off-by: Corinna Vinschen <corinna@vinschen.de>

Fix scope problem with the FileInUse dialog

The std::string we make for dlg_data.msg must remain in scope while the
FileInUse modal dialog is shown.

Signed-off-by: Jon Turney <jon.turney@dronecode.org.uk>

Fix invalid deleting of a local pointer in UserSettings::UserSettings

Convert buf to a unique_ptr instead.

Signed-off-by: Corinna Vinschen <corinna@vinschen.de>

Convert deprecated auto_ptr to C++11-conformant unique_ptr

Remove -Wno-deprecated-declarations option from Makefile.am
because it was only added for this single expression.

Signed-off-by: Corinna Vinschen <corinna@vinschen.de>

Fix scope problem when using the return value of get_root_dir()

Let get_root_dir return a reference instead of a temporary
std::string object.  In directory_is_absolute() and
directory_is_rootdir(), use std::string methods rather than
falling back to plain C techniques.

Signed-off-by: Corinna Vinschen <corinna@vinschen.de>

Use a drop-down list to directly select chooser view filter

Rather than a button for cycling through views, use a drop-down list to
choose the view

Remove not very useful PickView::views::Unknown enum value so that enum can
start from 0, so it can be used directly as a drop-down list index.

Rename PickView::Package to PickView::PackagePending

Rename PickView::Package to PickView::PackagePending, as that's what that
view is

Change PickView::view into an enum

Change PickView::view from a class, into an enum

Use a C++11 scoped enum so we don't have to change all the uses of it's
values.

Build C++ code with -std=gnu++11

Use BASECXXFLAGS rather then AM_CXXFLAGS to make AM_CFLAGS
Rationalize BASECXXFLAGS, adding -Werror and removing -Wno-uninitialized
(since the bug preventing it being used is long fixed)
Fix a bug detected by -Wuninitialized
Build C++ code with -std=gnu++11 -Wno-deprecated-declarations

Reserve paths starting "." for package metadata

Reserve pathnames starting "." (i.e. dotfiles in the root directory) for
package metadata, so don't extract them.

There are no current uses of these pathnames

Add an additional filter view, showing packages which were user picked

Add an additional filter view, showing installed packages which were
selected for installation by the user, not installed as dependencies.

Future work:

Why is PickView::views is not an enum?

The view button would make more sense as a pop-up menu, allowing a specific
filter view to be directly selected, rather than cycling around the possible
filter views (and this situation is made worse by adding another filter
view)

Track if a package was installed by user, or as a dependency

Update the installed.db file format to version 3, containing the user_picked
flag.

This extends the semantics of user_pick somewhat: currently it is only used
for UI purposes, to record if a package was picked in the current session.

Now we also use it to record if an installed package has ever been picked
via the UI (otherwise it is only installed because it is a dependency).

So, we are careful not to set it when a currently installed package has it's
installed version adjusted via the GUI.

We also arrange for user_pick to be set when a package was selected for
installation via CLI.

Add a heuristic to initially populate user_pick when upgrading from older
installed.db formats: All non-base installed packages which aren't
dependencies are assumed to be user_pick-ed.

Note: other tools (e.g. cygcheck) which read the installed.db file will need
updating appropriately

v2:
Don't gratuitously break compatiblity with other existing readers of
installed.db, keep recording version as a notional filename.

Don't treat unknown future installed.db format versions as format version 1,
instead treat setup downgrading as a fatal error.

Remove unused fn member from cygpackage

This is set, but never used.

Remove obsolete installed_from member from packagemeta

This just stores a made-up tarfile name read from installed.db, and is never
used.

Properly report progress in PrereqChecker::isMet

Properly report progress in PrereqChecker::isMet after additional dependency
work is found.

Downgrade "Running preremove script" logging to debug

This is emitted for every package, regardless of it has any scripts or not.
Actual script execution is logged separately.

Also a cosmetic fix to remove a doubled space.

Add lex and yacc generated files to .gitignore

Prevent libtool warning that a getopt++ shared library cannot be built

libtool: warning: undefined symbols not allowed in i686-w64-mingw32 shared libraries; building static only