Add an example about how to run hooks

The example has the second aim of documenting how to automatically set the
user passwords at instance creation.

Signed-off-by: Michele Tartara <mtartara@google.com>
Reviewed-by: Klaus Aehlig <aehlig@google.com>

Update documentation

The documentation was still stating that debian Lenny is the default
distribution installed by debootstrap. Actually, it is Wheezy now.

Signed-off-by: Michele Tartara <mtartara@google.com>
Reviewed-by: Klaus Aehlig <aehlig@google.com>

Clear the root password

Debootstrap used to leave the instances without a root password set, making the
first login quite hard.

This commits changes the situation, by setting an empty root password (as
already stated by the documentation).

Signed-off-by: Michele Tartara <mtartara@google.com>
Reviewed-by: Klaus Aehlig <aehlig@google.com>

Bump version for 0.13 release

Signed-off-by: Thomas Thrainer <thomasth@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Report error when exporting non-ext partition

Report an error if it's exporting an instance fails because of the
wrong filesystem type.

This fixes issue 303.

Signed-off-by: Thomas Thrainer <thomasth@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Make filesystem of root partition configurable

A new parameter, filesystem, is introduced which can be used to specify
the filesystem type of the root partition from instances. It defaults
to 'ext4'.

This also required to update the API version of the OS definition, as
instance parameters are only supported from version 20 on.

This fixes issue 464.

Signed-off-by: Thomas Thrainer <thomasth@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Change default Debian version to Wheezy

Signed-off-by: Thomas Thrainer <thomasth@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Document instance variant creation

Add a section in README which describes how to define new instance
variants and an example how to do that for Ubuntu 12.04.

Signed-off-by: Thomas Thrainer <thomasth@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Add example for Ubuntu instance

Add an example which outlines how to used ganeti-instance-deboostrap to
install Ubuntu 12.04 (precise).

Signed-off-by: Thomas Thrainer <thomasth@google.com>
Reviewed-by: Michele Tartara <mtartara@google.com>

Add check for minimum disk size

This fixes issue 164, and changes:

  Failure: command execution error:
  Could not add os for instance instance2 on node node4:
  OS create script failed (exited with exit code 1), last lines in the log file:
  tar: ./bin/df: Cannot open: No such file or directory
  tar: ./bin/ip: Cannot open: No such file or directory
  tar: ./bin/grep: Cannot open: No such file or directory
  tar: ./opt: Cannot mkdir: No space left on device
  tar: ./selinux: Cannot mkdir: No space left on device
  tar: Exiting with failure status due to previous errors

Into:

  Failure: command execution error:
  Could not add os for instance instance2 on node node4:
  OS create script failed (exited with exit code 1), last lines in the log file:
  Device size is too small (128 MB)
  Required size is at least 256MB

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Bernardo Dal Seno <bdalseno@google.com>

Add a copy of ganeti's devel/release

This has just the names changes, plus using standard distcheck/dist,
instead of the ganeti-specific `-release' variants.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Bernardo Dal Seno <bdalseno@google.com>

Add support for components override

This fixes issue 254. I've took a slightly different approach (never
pass --components if the variable is empty, to not override builtin
debootstrap default).

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Bernardo Dal Seno <bdalseno@google.com>

Update NEWS file and bump version for 0.12 release

Time for a new release, since we have a few accumulated fixes.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Fix console of xen-pvm

This fixes issue 284: the current serial console code only activates
is when HV_SERIAL_CONSOLE is set, but that's a parameter that applies
only to kvm; for xen-pvm, we always want to activate the console,
albeit on a different device.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Ship and install all hooks and their data

Currently, we have just a few hooks shipped, but none are
installed. This patch adds automake rules for installing all hooks and
their config data in the right directories (but they will still need
to be activated by the admin).

This fixes issue 283.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Fix uninstall rules for variants/defaults files

This makes "make distcheck" happy again.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: René Nussbaumer <rn@google.com>

Install the defaults file automatically

This fixes issue 51, and is a good thing to do (even if packages are
already installing it).

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: René Nussbaumer <rn@google.com>

Update NEWS file and bump version for 0.11 release

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Also export the proxy for https usage

And clarify the documentation about it.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Fix a few issues with the grub hook

This patch:

- updates the comments (no need for explicit EXTRA_PKGS)
- export the proxy if the instance-debootstrap environment defines it
- sets the debconf frontend to non-interactive (I've seen it go into a
  loop otherwise)

I still can't create a grub install, because grub-probe doesn't want
to use LVM names nicely, but that's another issue.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Make partition alignment configurable

So that people with special requirements (e.g. SSDs with unusual block
allocations) can customise it for their setup.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Update defaults file

Per bugs.debian.org/672114, the distribution names in the defaults
files are very old, plus the package recommendations are wrong for
more modern distros.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Align partition on 1MiB boundary

Currently, the partition we create in 'msdos' style partitioning is
not aligned to any particular offset, and instead starts simply after
the MBR on sector 1. This creates problems with grub for example,
which doesn't have space for embedding.

To fix this and make the partitioning more standard, let's align it on
a 1MiB boundary.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: René Nussbaumer <rn@google.com>

Bump version and update NEWS for 0.10 release

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Switch from lenny to squeeze as default

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Whitespace/style cleanups

The recent hooks additions are not style compliant (gasp!). Fix this.

We might also want to fix missing copyright headers, but not sure
about that.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

timezone hook: use host-default if none present

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

Mention chpasswd -e in defaultpasswords hook

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

Add ssh-keys example hook

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

Some extra example hooks

1) Hook to set default passwords in the instance
2) Hook to set a timezone for the instance

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

export: add support for ext4 filesystems

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

Update NEWS file for serial console fixes

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

Fix serial console

- Binding the console on /dev/console makes it impossible to send
  control characters (eg. ctrl+C). Now that we can, on the ganeti side,
  support a better console mode, with a proper escape character, in
  order to have a working console on the instance side we explicitely
  bind getty to ttyS0, but only when the relevant hypervisor parameter
  is set (of course if that's later changed one has to do the relevant
  change inside the instance, or he'll see init error messages on the
  console)

- Ubuntu has changed to yet another style for init config. Support both.

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

Remove a couple of useless quotes

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Make 0.9 release with the recent changes

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: René Nussbaumer <rn@google.com>

Distribute examples in the archive

The examples were not shipped at all, which makes it hard to package
them.

This patch renames the directory holding them (example → examples), adds
the executable bit on the interfaces hook, and distributes them in the
dist archive.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: René Nussbaumer <rn@google.com>

Change the customization directory

The current customization directory is
“$sysconfdir/ganeti/instance-debootstrap.d”. Recently, the variants
support has added the variants configuration as
“$sysconfdir/ganeti/instance-debootstrap/variants/default.conf”. This
means we have two, very similar (instance-debootstrap.d vs.
instance-debootstrap) directories under ganeti.

This patch changes the customize directory to
$sysconfdir/ganeti/instance-debootstrap/hooks. It is more in line with
Ganeti's own hooks naming, and removes the old “.d” directory, for a
more sane layout.

People upgrading, with the default (commented-out) CUSTOMIZE_DIR will
need to rename their on-disk directory.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: René Nussbaumer <rn@google.com>

Make release 0.8

No recent changes, but we need a stable release of instance-debootstrap
for Ganeti 2.1.

Signed-off-by: Iustin Pop <iustin@google.com>
Reviewed-by: René Nussbaumer <rn@google.com>

Support blktype as an alternative to vol_id

This is needed to run when the node os is debian squeeze or ubuntu
karmik. Since blktype and vol_id need different options, we include the
options in the command variable. Moreover we add a new VOL_TYPE command,
for that usage of vol_id/blktype.

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Michael Hanselmann <hansmi@google.com>

Add script for creating a new instance with grub

This example hook installs grub inside a newly created debootstrap
instance.

Signed-off-by: Jun Futagawa <jfut@integ.jp>
Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Guido Trotter <ultrotter@google.com>

Support API version 15 (with OS variants)

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Olivier Tharan <olive@google.com>

Fix two typos in a variable name

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Olivier Tharan <olive@google.com>

Ship variants file with the correct name

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Olivier Tharan <olive@google.com>

Initialize the CLEANUP array and trap in common.sh

All the scripts have to inizialize this and set the cleanup trap, so
we're doing it for them in common.sh.

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Olivier Tharan <olive@google.com>

Support os variants

This is a Ganeti 2.1 design feature. It's not implemented yet in 2.1,
but its implementation in the debootstrap OS is totally backwards
compatible. If no OS_VARIANT environment variable is passed in,
everything proceeds as before, otherwise a instance-deboostrap tries
to load a config file from a specially configured directory, which can
be used to override any variable in the defaults file (which is sourced
at the beginning as it was before.

By default only the "default" variant is exported, which is shipped as
an empty config file.

Signed-off-by: Guido Trotter <ultrotter@google.com>
Reviewed-by: Iustin Pop <iustin@google.com>

More tweaks to kpartx output parsing

Apparently kpartx likes to play with us, and different versions of
kpartx will give the mapped partition different names. Sometimes dashes
in the original name will be doubled, and sometimes a leading directory
in /dev (eg. a volume group name) will be included in the name itself.

In order to avoid that we just look in the output for anything which
includes the string '-1' (which is the first partition, with the
separator '-' which we forced kpartx to use with the -p- option).
Moreover, to be sure we don't pass on wrong information, we check that
our grep had some output, and that the created device actually exists
after running kpartx -a, with the output redirected to /dev/null as
otherwise sometimes it will echo a few lines which will be inserted in
the function result, and thus break the actual result filesystem_dev
variable.

Reviewed-by: iustinp

import: only use swap if swap_uuid is defined

As for create sometimes we'll fail in getting a uuid for the swap
disk. In that case we have to ignore that, while in import we're failing
to do so.

Reviewed-by: iustinp

Rework the blockdev handling

This (big) patch changes the block device handling to be the same in all
the commands. The create script is no longer generated, but instead
common.sh is.

The patch also comments out the PARTITION_STYLE entry in defaults,
otherwise we'll always use that.

Reviewed-by: ultrotter,imsnah

Update NEWS file and release 0.7

Reviewed-by: iustinp

'msdos' is the default partition style from api10

But we still keep using 'none' for compatibility with ganeti 1.2 on api5

Reviewed-by: iustinp

To avoid bashisms, convert to /bin/bash! :)

Reviewed-by: iustinp

Fix 1.2 compatibility

getopt must be executed outside of the get_api5_arguments function,
because there $@ will be overridden.

vol_id may return an error on old distributions (dapper) in that case we
just... err... well... ignore the error and forget to set up the swap
partition in fstab?? :)

Reviewed-by: iustinp

Add example instance-debootstrap.d file

This configures the eth0 interface for dhcp.

Reviewed-by: iustinp

Add CUSTOMIZE_DIR to personalize the installation

The scripts in this directory, if defined, will be executed using
run-parts, allowing some customization of the instance after the
debootstrap OS has acted and before handing back the instance to ganeti.

Reviewed-by: iustinp

Implement PARTITION_STYLE='msdos'

With this partition style the blockdev passed in from ganeti is used as
a whole disk, a partition table is written on it, then a single primary
partition spanning the whole disk, and at last the os is installed in
this partition.

Reviewed-by: iustinp

Add the PARTITION_STYLE configuration variable

This variable will be used to decide if and how to partition the
instance block device.

Reviewed-by: iustinp

instance-debootstrap: release 0.6

This commit also updates the NEWS file

Reviewed-by: iustinp

devel/upload: add a missing wait

Without this the script exits, and removes the temporary directory,
before rsync is done.

Reviewed-by: iustinp

Use losetup rather than -o loop

If the device we're given is actually a file, rather than just mounting
it with the -o loop option, we'll explicitely losetup it to a device,
and losetup -d (detach) it at the end. This allows us to do more actions
on the target device (for example partition it, if needed).

Reviewed-by: iustinp

Abstract cleanups in a CLEANUP array

Rather than just having two cleanups for the whole script (namely the
umounting and removal of the temp directory) we can change cleanups with
an array structure, which is then executed in reverse order. This will
be used to add more operations that need their own cleanup, in a
structured way.

Reviewed-by: iustinp

Add devel/upload script

This eases development/debugging of the os script.
It's mostly copied from its ganeti counterpart.

Reviewed-by: iustinp

defaults: update EXTRA_PKGS comments

EXTRA_PKGS comments used to be xen specific, and also a bit outdated.
With this patch we make them hypervisor agnostic, and then we provide
some sane defaults for different hypervisors/distro. Moreover we no
longer state that lenny doesn't have xen support for amd64, as it does.

Reviewed-by: iustinp

instance debootstrap: enable import

Reviewed-by: iustinp

instance debootstrap: enable export

Avoid exporting swap devices

Reviewed-by: iustinp

common.sh: output all errors to stderr

Create a log_error function that outputs to stderr and use it to send
error messages. This also clarifies error messages a bit and fixes one
wrong check for new_name rather than old_name.

Reviewed-by: iustinp

Use basename when checking the script name

Also save it to the SCRIPT_NAME variable to avoid calling basename every
time or forgetting to call it.

Reviewed-by: iustinp

search for vol_id and use retrocompatible options

older versions of udev, for example the one on dapper, install vol_id in
/lib/udev but not in /sbin. They also require shorter options, which
happen to work on newer udev as well.

Reviewed-by: iustinp

use proper variable name INSTANCE_NAME

the design doc the api version 10 uses the INSTANCE_NAME variable name
to refer to an instance, but we were incorrectly expecting INSTANCE

Reviwed-by: iustinp

Ship common.sh with the debootstrap os

Reviwed-by: iustinp

OLD/NEW swap, fix get_api10_arguments too

Reviewed-by: iustinp

rename: invert old and new instance name

For compatibility with what ganeti internally does the name passed in
INSTANCE_NAME is the new one, and the old one is passed in
OLD_INSTANCE_NAME.

Reviewed-by: iustinp

instance-debootstrap: Support both api 5 and 10

Reviewed-by: iustinp

common.sh parsing for api10 arguments

If OS_API_VERSION has value 10 we'll check and parse the arguments using
the version 10 style, as described by the relevant design doc, and save
them to the old names we used before. This makes the create and rename
scripts version 6 compatible (except for bugs, that is), while import
and export will need some more work.

Reviewed-by: iustinp

Make $swapdev optional

In create and import we'll only use a swap device only if swapdev is
set.  This is for compatibility with the OS API version 10, where no swap
is going to be set up.

Reviewed-by: iustinp

Parse command line arguments in common.sh

Currently each of the 4 OS API scripts parses its command line
separately. Creating common.sh lets us centralize this behavior.

For the rename script we change the old_name variable to just instance
for more uniformity with what the new version of the API will do.

Reviewed-by: iustinp

Use vol_id to calculate volume UUIDs

This allows the UUID to be calculated in a standard way no matter what
the filesystem in use is. It requires udev to be installed.

Reviewed-by: imsnah

debootstrap create: activate serial console

If we make sure that the instance os spawns a getty on /dev/console we
cover both the case where console is on tty1 and the serial console one
where it's on ttyS0. In order to do this we modify /etc/inittab on
debian, and /etc/event.d on ubuntu.

Reviewed-by: imsnah

Use UUID-based mounts for create and import

With this change we mount our root and swap filesystems in /etc/fstab
based on their UUID rather than on their device name. This makes the
system resistent to device name changes, and makes sure the operating
system will find its devices whether they're seen as scsi, ide, virtio,
or some other new type/name.

This change makes the OS be able to boot under KVM, but also
xen+paravirt_ops and other possibly other hypervisors.

Reviewed-by: imsnah

Make the 0.5 release

This patch updates the NEWS file and changes the version number to 0.5.

Reviewed-by: ultrotter

Allow enabling of a proxy for debootstrap

This is valid only for non-cached installs, of course, but it's still a
useful thing.

Reviewed-by: imsnah

Fix a wrong dirname

Reviewed-by: ultrotter

Update the README file

This patch updates the README file with the changes in the installation
process (due to autotools) and the new settings file.

The readme file is now in restructured text format.

Reviewed-by: imsnah

Allow customization of installation directory

Currently the OS definition is installed always under
$datadir/ganeti/os, but this doesn't work if ganeti was configure with a
different OS dir.

This patch allows customization of the os dir at configure time, via a
new '--with-os-dir=...' variable. This allows for example:
  ./configure --with-os-dir=/srv/ganeti/os ...

Reviewed-by: imsnah

Rework the caching mechanism

Following the introduction of ./configure options and the configuration
files, this patch simplifies the caching settings:
  - the generation of the cache is done in the settings file, via
    GENERATE_CACHE (if set to "yes" it will enable the creation)
  - the cleaning of the cache is done also in the settings file, via the
    CLEAN_CACHE variable; set to empty it will disable the cache,
    otherwise it's interpreted as the number of days to keep the cache

The location of the cache has also been moved from the current dir to
under localstatedir, which is more FHS compliant (patch taken from the
debian package); this means with localstatedir=/var, the location of the
cache will be /var/cache/ganeti-instance-debootstrap.

Reviewed-by: imsnah

Include the defaults file in the dist archive

Reviewed-by: imsnah

Rework the create script

This patch changes much of the internals of the create script:
  - we no longer harcode the variables suite, extrapkgs, mirror, etc.
    but instead read them from a config file
  - since we can install multiple suited, the cache filename is
    arch and suite dependant
  - ship a defaults file (but do not install it, that is easier done in
    the packaging)

The defaults file does not have any extra settings activated, so the
default values from the create script will be used. The patch also
changes the script to install in this default mode debian lenny and not
etch.

Reviewed-by: imsnah

Switch indendation to two spaces

Unify all indentation from one tab to two spaces.

Reviewed-by: imsnah

Remove the ‘version’ file

Since now the version is coded in configure.ac, the version file is
obsolete.

Reviewed-by: imsnah

Start autogenerating the create script

This patch changes the create script to be autogenerated so that we can
use the configure-time variables.

Reviewed-by: imsnah

Start autotool-ing the debootstrap instance

This patch is the start of changing the debootstrap instance to
autotools. Right now it only installs the existing code into
$datadir/ganeti/os/debootstrap, even though we still install only etch.

Reviewed-by: imsnah

Modify os scripts to mount file disks correctly

This patch adds a conditional statement before mounting the with -b
given device to detect if it is a block device or a regular file. In the
former case it mounts it regularly, in the latter it tries to mount it
via loopback device.

Reviewed-by: iustinp

Rename the debian-etch-debootstrap OS definition

The current arrangement of the subversion tree is not good - the OS
definitions are treated differently from the ganeti core code, and
automatic operations against the tree are not as easy to do as if the
model would be the same.

This patch moves the trunk/os-scripts/debian-etch-debootstrap directory
to trunk/instance-debootstrap; the prefix 'instance' denotes this as an
OS definition, and we intend to make this OS more flexible so we drop
the debian and etch parts.

Reviewed-by: ultrotter, imsnah

Remove .debs from the instance filesystem

This patch removes the .debs which were used in the debootstrap process
via a find and xargs invocation (as opposed to chroot $TMPDIR apt-get
clean).

The main reason for this is that:
  - we don't want the created cache to contain the debs (it's
    unreasonably larger than needed)
  - but we want an instance created with the cache to be the same as
    without cache

The patch also adds ‘-f’ to the rm and mv invocations which didn't have
it.

Reviewed-by: imsnah

Make a new 0.4 release for debian-etch-debootstrap

This patch makes a new release of the debian-etch instance OS that adds
the instance renaming on import issue.

It also adds a NEWS file (which steals content from the README).

Reviewed-by: imsnah

Remove generated network rules on instance import

udev generates rules to maintain the order of the network interfaces stable.
When importing an instance, though, its mac address may change, and networking
be broken. This patch removes the generated network rules file, making udev
create a new one after the first boot of an imported instance. This issue was
first spotted by Gunnar Wagenknecht.

Reviewed-by: iustinp

Improve performance of the debian-etch-debootstrap OS

This patch enables the debian-etch-debootstrap instance to generate (and
subsequently use) a cache file on the first install. Because, even with
a very fast mirror, debootstrap itself is slow, saving the installed
image and afterwards just untar-ing that over the filesystem is much
faster.

The patch also adds a 'version' file so that users can see what they
have installed (maybe in the future we could use require this file so we
know what versions of the OS we have installed).

Reviewed-by: ultrotter

Update debian-etch-debootstrap API version to 5

This updates this OS the API v5 by adding a rename operation.

Reviewed-by: imsnah

Checkin the debian-etch-debootstrap os scripts

Reviewed-by: roman.marxer