instance-debootstrap: release 0.6

This commit also updates the NEWS file

Reviewed-by: iustinp

devel/upload: add a missing wait

Without this the script exits, and removes the temporary directory,
before rsync is done.

Reviewed-by: iustinp

Use losetup rather than -o loop

If the device we're given is actually a file, rather than just mounting
it with the -o loop option, we'll explicitely losetup it to a device,
and losetup -d (detach) it at the end. This allows us to do more actions
on the target device (for example partition it, if needed).

Reviewed-by: iustinp

Abstract cleanups in a CLEANUP array

Rather than just having two cleanups for the whole script (namely the
umounting and removal of the temp directory) we can change cleanups with
an array structure, which is then executed in reverse order. This will
be used to add more operations that need their own cleanup, in a
structured way.

Reviewed-by: iustinp

Add devel/upload script

This eases development/debugging of the os script.
It's mostly copied from its ganeti counterpart.

Reviewed-by: iustinp

defaults: update EXTRA_PKGS comments

EXTRA_PKGS comments used to be xen specific, and also a bit outdated.
With this patch we make them hypervisor agnostic, and then we provide
some sane defaults for different hypervisors/distro. Moreover we no
longer state that lenny doesn't have xen support for amd64, as it does.

Reviewed-by: iustinp

instance debootstrap: enable import

Reviewed-by: iustinp

instance debootstrap: enable export

Avoid exporting swap devices

Reviewed-by: iustinp

common.sh: output all errors to stderr

Create a log_error function that outputs to stderr and use it to send
error messages. This also clarifies error messages a bit and fixes one
wrong check for new_name rather than old_name.

Reviewed-by: iustinp

Use basename when checking the script name

Also save it to the SCRIPT_NAME variable to avoid calling basename every
time or forgetting to call it.

Reviewed-by: iustinp

search for vol_id and use retrocompatible options

older versions of udev, for example the one on dapper, install vol_id in
/lib/udev but not in /sbin. They also require shorter options, which
happen to work on newer udev as well.

Reviewed-by: iustinp

use proper variable name INSTANCE_NAME

the design doc the api version 10 uses the INSTANCE_NAME variable name
to refer to an instance, but we were incorrectly expecting INSTANCE

Reviwed-by: iustinp

Ship common.sh with the debootstrap os

Reviwed-by: iustinp

OLD/NEW swap, fix get_api10_arguments too

Reviewed-by: iustinp

rename: invert old and new instance name

For compatibility with what ganeti internally does the name passed in
INSTANCE_NAME is the new one, and the old one is passed in
OLD_INSTANCE_NAME.

Reviewed-by: iustinp

instance-debootstrap: Support both api 5 and 10

Reviewed-by: iustinp

common.sh parsing for api10 arguments

If OS_API_VERSION has value 10 we'll check and parse the arguments using
the version 10 style, as described by the relevant design doc, and save
them to the old names we used before. This makes the create and rename
scripts version 6 compatible (except for bugs, that is), while import
and export will need some more work.

Reviewed-by: iustinp

Make $swapdev optional

In create and import we'll only use a swap device only if swapdev is
set.  This is for compatibility with the OS API version 10, where no swap
is going to be set up.

Reviewed-by: iustinp

Parse command line arguments in common.sh

Currently each of the 4 OS API scripts parses its command line
separately. Creating common.sh lets us centralize this behavior.

For the rename script we change the old_name variable to just instance
for more uniformity with what the new version of the API will do.

Reviewed-by: iustinp

Use vol_id to calculate volume UUIDs

This allows the UUID to be calculated in a standard way no matter what
the filesystem in use is. It requires udev to be installed.

Reviewed-by: imsnah

debootstrap create: activate serial console

If we make sure that the instance os spawns a getty on /dev/console we
cover both the case where console is on tty1 and the serial console one
where it's on ttyS0. In order to do this we modify /etc/inittab on
debian, and /etc/event.d on ubuntu.

Reviewed-by: imsnah

Use UUID-based mounts for create and import

With this change we mount our root and swap filesystems in /etc/fstab
based on their UUID rather than on their device name. This makes the
system resistent to device name changes, and makes sure the operating
system will find its devices whether they're seen as scsi, ide, virtio,
or some other new type/name.

This change makes the OS be able to boot under KVM, but also
xen+paravirt_ops and other possibly other hypervisors.

Reviewed-by: imsnah

Make the 0.5 release

This patch updates the NEWS file and changes the version number to 0.5.

Reviewed-by: ultrotter

Allow enabling of a proxy for debootstrap

This is valid only for non-cached installs, of course, but it's still a
useful thing.

Reviewed-by: imsnah

Fix a wrong dirname

Reviewed-by: ultrotter

Update the README file

This patch updates the README file with the changes in the installation
process (due to autotools) and the new settings file.

The readme file is now in restructured text format.

Reviewed-by: imsnah

Allow customization of installation directory

Currently the OS definition is installed always under
$datadir/ganeti/os, but this doesn't work if ganeti was configure with a
different OS dir.

This patch allows customization of the os dir at configure time, via a
new '--with-os-dir=...' variable. This allows for example:
  ./configure --with-os-dir=/srv/ganeti/os ...

Reviewed-by: imsnah

Rework the caching mechanism

Following the introduction of ./configure options and the configuration
files, this patch simplifies the caching settings:
  - the generation of the cache is done in the settings file, via
    GENERATE_CACHE (if set to "yes" it will enable the creation)
  - the cleaning of the cache is done also in the settings file, via the
    CLEAN_CACHE variable; set to empty it will disable the cache,
    otherwise it's interpreted as the number of days to keep the cache

The location of the cache has also been moved from the current dir to
under localstatedir, which is more FHS compliant (patch taken from the
debian package); this means with localstatedir=/var, the location of the
cache will be /var/cache/ganeti-instance-debootstrap.

Reviewed-by: imsnah

Include the defaults file in the dist archive

Reviewed-by: imsnah

Rework the create script

This patch changes much of the internals of the create script:
  - we no longer harcode the variables suite, extrapkgs, mirror, etc.
    but instead read them from a config file
  - since we can install multiple suited, the cache filename is
    arch and suite dependant
  - ship a defaults file (but do not install it, that is easier done in
    the packaging)

The defaults file does not have any extra settings activated, so the
default values from the create script will be used. The patch also
changes the script to install in this default mode debian lenny and not
etch.

Reviewed-by: imsnah

Switch indendation to two spaces

Unify all indentation from one tab to two spaces.

Reviewed-by: imsnah

Remove the ‘version’ file

Since now the version is coded in configure.ac, the version file is
obsolete.

Reviewed-by: imsnah

Start autogenerating the create script

This patch changes the create script to be autogenerated so that we can
use the configure-time variables.

Reviewed-by: imsnah

Start autotool-ing the debootstrap instance

This patch is the start of changing the debootstrap instance to
autotools. Right now it only installs the existing code into
$datadir/ganeti/os/debootstrap, even though we still install only etch.

Reviewed-by: imsnah

Modify os scripts to mount file disks correctly

This patch adds a conditional statement before mounting the with -b
given device to detect if it is a block device or a regular file. In the
former case it mounts it regularly, in the latter it tries to mount it
via loopback device.

Reviewed-by: iustinp

Rename the debian-etch-debootstrap OS definition

The current arrangement of the subversion tree is not good - the OS
definitions are treated differently from the ganeti core code, and
automatic operations against the tree are not as easy to do as if the
model would be the same.

This patch moves the trunk/os-scripts/debian-etch-debootstrap directory
to trunk/instance-debootstrap; the prefix 'instance' denotes this as an
OS definition, and we intend to make this OS more flexible so we drop
the debian and etch parts.

Reviewed-by: ultrotter, imsnah

Remove .debs from the instance filesystem

This patch removes the .debs which were used in the debootstrap process
via a find and xargs invocation (as opposed to chroot $TMPDIR apt-get
clean).

The main reason for this is that:
  - we don't want the created cache to contain the debs (it's
    unreasonably larger than needed)
  - but we want an instance created with the cache to be the same as
    without cache

The patch also adds ‘-f’ to the rm and mv invocations which didn't have
it.

Reviewed-by: imsnah

Make a new 0.4 release for debian-etch-debootstrap

This patch makes a new release of the debian-etch instance OS that adds
the instance renaming on import issue.

It also adds a NEWS file (which steals content from the README).

Reviewed-by: imsnah

Remove generated network rules on instance import

udev generates rules to maintain the order of the network interfaces stable.
When importing an instance, though, its mac address may change, and networking
be broken. This patch removes the generated network rules file, making udev
create a new one after the first boot of an imported instance. This issue was
first spotted by Gunnar Wagenknecht.

Reviewed-by: iustinp

Improve performance of the debian-etch-debootstrap OS

This patch enables the debian-etch-debootstrap instance to generate (and
subsequently use) a cache file on the first install. Because, even with
a very fast mirror, debootstrap itself is slow, saving the installed
image and afterwards just untar-ing that over the filesystem is much
faster.

The patch also adds a 'version' file so that users can see what they
have installed (maybe in the future we could use require this file so we
know what versions of the OS we have installed).

Reviewed-by: ultrotter

Update debian-etch-debootstrap API version to 5

This updates this OS the API v5 by adding a rename operation.

Reviewed-by: imsnah

Checkin the debian-etch-debootstrap os scripts

Reviewed-by: roman.marxer