SexiLog - OpenSource ELK Stack für ESXi-Hosts und vCenter-Server

Eine beliebte Lösung für Logging Server ist heutzutage ein sogenannter ELK Stack. Dabei handelt es sich um drei Komponenten die zusammen eine Logging Einheit bilden.

  1. Elasticsearch
  2. Logtash
  3. Kibana

Elasticsearch ist in dieser Konstellation für das Speicher und Suchen der Logdateien zuständig. Logtash verarbeitet die entstanden Logdateien und Kibana sorgt für eine optische Ausgabe der angefallenen Daten.

Alle Komponenten lassen sich einzeln auf einem Linux Server installieren und einrichten. Hierfür gibt es Cookbooks. Die einzelnen Schritte durchzuarbeiten ist jedoch aufwendig und fehleranfällig.

sexilog_funktion

Sexilog - ISO Image mit fertig ELK Stack

Eine einfache Lösung auf dem Weg zum fertigen Logserver stellt das aus Frankreich stammende SexiLog dar. Das OpenSource Projekt bietet Nutzern von ESXi-Hosts und vCenter-Servern ein fertiges VMware Image an, welches vom ersten Start weg Logs auswertet und grafisch darstellt. 

sexilog-banner

Die vorkonfigurierte Umgebung bietet alles, was für eine Überwachung und Auswertung von Log Dateien notwendig ist. Durch die freien Komponenten bietet sich SexiLog für kleinere Umgebung an, bei denen nicht allzuviel Geld für eine Loginumgebung vorhanden ist.

Installation SexiLog

Die Open Source Lösung steht als OVA Image zur Verfügung und muss lediglich in die eigene Umgebung importiert bzw. bereitgestellt werden.

OVF-Vorlage_bereitstellen

Sollte beim Import etwas schief gehen oder Fehlermeldungen auftauchen, verweise ich auf den erst neulich veröffentlichen Artikel zum Thema OVA Import.

Nach einer erfolgreichen Bereitstellung kann SexiLog via SSH konfiguriert werden. Der Standardzugang ist "root" mit dem Passwort "Sex!Log".

SexiLog-Konsole

In der Konsole können die Netzwerkeinstellungen und das Mailsetting angepasst werden.

Ist dieser Schritt vollzogen, muss nur noch dem ESXi Server bzw. dem vCenter mitgeteilt werden, wohin die Logdaten weitergereicht werden sollen. Dazu muss unter Konfiguration "erweiterte Einstellungen" aufgerufen werden, hier in das Untermenü "Syslog/global" wechseln.

In diesem Bereich muss unter Syslog.global.logHost die URL udp://logserveradresse:514 angepasst werden.

syslog

SexiLog starten

Das System startet automatisch, sobald alles eingerichtet ist, kann unter der zuvor eingerichteten IP Adresse die Kibana Oberfläche aufgerufen werden.

 sexilog-kibana

SexiBoards - Alles im Blick

Die Kibana Obefläche visualisiert Logs auf verschiedenen Boards. Das VMware Image liefert für verschiedene Events ganze 18 Übersichten. Neben der Startseite "SexyHome" existieren Seiten für vMotion, Veeam, VIM, IOPS, VSAN, Migration, Downtime, usw. Einen Überblick ist hier zu finden.

Fazit

SexiLog ist im jetztigen Stadium sicherlich eine der besten Lösungen, wenn es um das Auswerten von Log auf OpenSource Basis geht. Das VMware Image hat fast alle Mittel an Bord, die zu einer lückenlosen Auswertung dazugehören.

Wie so oft wird das Thema Sicherheit etwas stiefmütterlich behandelt. So fehlt in der Version 0.99g noch ein Unterstützung für SSL oder ein Login Formular für die Hauptseite. Hier muss der Nutzer entweder selbst Hand anlegen oder auf das nächste Release warten.

Wer einen fertig konfigurierten ELK Stack für virtuelle Hosts sucht, ist mit SexiLog sicherlich auf dem richtigen Weg.

Eigene Distribution - freie Tools um Live CDs oder Backups von Linux Installationen zu erstellen

Vor einiger Zeit hatte ich im Blog auf Remastersys hingewiesen. Mit dem Tool war es möglich Live CDs seiner Ubuntu Installation zu erstellen.
Leider wird das Projekt vom Entwickler nicht weiter verfolgt. Auf älteren Systemen ist es zwar weiterhin anwendbar, dennoch ist bei neueren Ubuntu Systemen eine Alternative notwendig.

Hier ein paar Möglichkeiten, eine Sicherung eures Linux Systems zu erstellen. Auch bootbare ISO Dateien, also Live CDs sind möglich.

Freie Tools für Live CDs oder Backups von Linux Installationen

Systemback

Bei Systemback handelt es sich um ein klassisches Backup Tool, welches unter anderem Wiederherstellungspunkte erstellen kann. Ebenso eignet es sich gut für das Erstellen einer persönlichen Live CD. Hier wird einfach ein Abbild des vorhandenen Systems auf die Festplatte geschrieben. 

systemback

Das Programm integriert auf Wunsch das Home Verzeichnis und erstellt ein ISO Datei, welche auf CD gebrannt oder auf einen USB Stick kopiert werden kann.
Bei der Verwendung von Ubuntu Desktop ist mit dem Startup Disk Creator das richtige Tool schon mit an Bord.

Installation Systemback auf Ubuntu Systemen

 sudo add-apt-repository ppa:nemh/systemback
 sudo apt-get update
 sudo apt-get install systemback

ubuntu-live-cd

Distroshare Ubuntu Imager

Ein andere Variante bietet DistroShare. Es handelt sich dabei um ein Skript, welches auf der offiziellen Ubuntu Seite zu finden ist. Schon Remastersys setzte auf ähnliche Weise darauf.

Im Prinzip muss nur das Script heruntergeladen und ausgeführt werden.

Hier geht es zur Projektseite.

Installation Distro Ubuntu Imager

Bevor das Script ausgeführt wird, können über eine Config Datei "distroshare-ubuntu-imager.config" weitere Anpassungen vorgenommen werden.

sudo ./distroshare-ubuntu-imager.sh

Danach sollte das Image auf einen USB Stick geschoben werden, dass geht am einfachsten mit dem dd Befehl
In diesem Beispiel ist sdb euer Stick.

dd if=isoimage.iso of=/dev/sdb bs=1M

Die Entwickler weisen darauf hin, dass der Ubuntu Startup Disk Creator nicht funktioniert. Sie empfehlen Unetbootin oder ähnliches.

Distroshare - Eigenkreationen für die Masse

Wer seine selbst erzeugten Distributionen teilen möchte, der kann dies unter distroshare.com tun.

distroshare

Altes Eisen

Es gibt noch weitere Image Tools für Linux Systeme. Diese sind teilweise kommerziell oder wurden seitens der Entwickler auf Eis gelegt. Somit besteht nicht immer eine Garantie, dass diese Programme auf aktuellen Systemen funktionieren. Vorenthalten möchte ich sie euch dennoch nicht.

SystemImager

Ein inzwischen kommerzielles Programm ist der System Imager. Das Tool erstellt wie seine Kollegen ein komplettes Abbild des Systems. 
Es handelt sich dabei um einen kommerziellen Fork von Remastersys.

ReLinux

ReLinux ist bei Version 0.4 stehen geblieben,  Laut Entwickler sollte es in Python umgeschrieben werden. Die Debian Pakete für die letzte Version sind immerhin noch zu haben. Eine Python Version konnte ich nicht ausfindig machen.

relinux

Ubuntu Builder

Der Ubuntu Builder bietet eine weitere Möglichkeit individuelle Ubuntu Live CDs zu erstellen. 
Leider ist das PPA auch hier nicht mehr auf dem aktuellsten Stand und bietet offiziell nur eine Unterstützung für Ubuntu 12.04/12.10. Probiert selbst aus, ob der Builder noch auf Ubuntu 14.04/15.04 lauffähig ist. Laut meinen Recherchen wurde dieses Projekt ebenfalls eingestellt.

sudo add-apt-repository ppa:f-muriana/ubuntu-builder
sudo apt-get update
sudo apt-get install ubuntu-builder

Fazit

Wie unschwer zu erkennen ist, sind nur zwei Image Tools für eine eigene Live CD relevant. Systemback und Distro Ubuntu Imager.

Ersteres hat Dank seiner Oberfläche für Desktop Nutzer sicherlich den größeren Vorteil. Systemback wurde auf einem Ubuntu 15.04 Desktop System in Verbindung mit dem Image Creator und einem USB Stick getestet und hat ohne Probleme funktioniert. es bekommt smoit eine klare Empfehlung.

Das erwähnte Image Script bietet sich für Serverinstallationen an. Testen konnte ich dies allerdings noch nicht,. Ich denke jedoch, dass die Erstellung einer Systemkopie ebenso einfach von der Hand geht, wie mit einer GUI Variante.

VirtualBox to VMware - OVF/OVA Image erstellen und in VMware importieren

Für den Umzug eines virtuellen Systems von VirtualBox zu VMware oder anderen virtuellen Hosts wurde das Format OVF/OVA (Open Virtualization Format) eingeführt.
Dieses ermöglicht den Export/Import von virtuellen Maschinen auf verschiedene Systeme.

So leicht sich dieser Vorgang erscheinen mag, so viele Hürden kann dieser in der Praxis haben.

Ich möchte heute Schritt für Schritt die Konvertierung eines Oracle VirtualBox OVA Images zu einer VMware OVF Vorlage durchgehen. (Als Beispiel könnte der neulich erwähnte Web Security Dojo genommen werden, welches ebenfalls im OVA Format vorliegt).


OVA Image erstellen und in VMware/vSphere (ESXi) importieren

virtualbox-ova-export

Appliance exportieren

Zunächst muss von einer bestehenden virtuellen Maschine in VirtualBox ein OVA Image erstellt werden.

Nachdem im Menü "Appliance exportieren" gewählt wurde, gilt es die ersten Dinge zu beachten:

  • Als OVA Version sollte Version 1.0 gewählt werden
  • Auch sollte der Haken bei "Schreibe Manifest Datei" gesetzt werden

virtualbox-ova-export

Danach ist auf der Festplatte eine "Dateiname.ova" vorhanden.

Image konvertieren

Bevor nun der Import in VMware gestartet werden kann, sollte die Datei konvertiert werden. Dafür stellt VMware die Open Virtualization Format Tools bereit.
Zum Herunterladen dieser Tools ist ein Account notwendig, darum habe ich mich um einen anderen Weg bemüht.

Ein einfacherer Weg ist es die OVA Datei mit 7Zip oder WinZip zu entpacken.

Danach sind im Ordner eine *.vmdk, eine *.mf und eine *.ovf enthalten. Letztere, also die "Dateiname.ovf", könnte nun mit VMware importiert werden "OCF Vorlage bereitstellen".

ova-entpacken

Image importieren

Oft kommt es jedoch beim ersten Import zu Fehlermeldungen, da in OVF Datei Einträge vorhanden sind, mit denen VMware so seine Probleme hat.

Diese Fehler lassen sich mit etwas Handarbeit beheben.

ova-import-error-ovf

Der Fehler "Nicht unterstützte Hardwarefamilie 'virtualbox-2.2" lässt sich durch editieren der "Dateiname.ovf" behehen.  (Als Editor kann hier Notepad++ oä. genommen werden).

Sobald die Datei geöffnet ist kann mit Strg+F nach dem Wert "virtualbox" gesucht oder gleich die Zeile (29) aufgerufen werden.

<vssd:VirtualSystemType>virtualbox-2.2</vssd:VirtualSystemType>

Diese wird ab ESXi 5.x ersetzt durch:

<vssd:VirtualSystemType>vmx-08</vssd:VirtualSystemType>

Ein weiterer Fehler der aufreten kann ist: "Keine Unterstützung für Gerätetyp 20".

ova-import-error

Auch hier kann eine Lösung mit Hilfe der OVF gefunden werden.

Suche

<Item>
<rasd:Address>0</rasd:Address>
<rasd:Caption>sataController0</rasd:Caption>
<rasd:Description>SATA Controller</rasd:Description>
<rasd:ElementName>sataController0</rasd:ElementName>
<rasd:InstanceID>5</rasd:InstanceID>
<rasd:ResourceSubType>AHCI</rasd:ResourceSubType>
<rasd:ResourceType>20</rasd:ResourceType>
</Item>

Ersetze mit

<Item>
<rasd:Address>0</rasd:Address>
<rasd:Caption>SCSIController</rasd:Caption>
<rasd:Description>SCSI Controller</rasd:Description>
<rasd:ElementName>SCSIController</rasd:ElementName>
<rasd:InstanceID>5</rasd:InstanceID>
<rasd:ResourceSubType>lsilogic</rasd:ResourceSubType>
<rasd:ResourceType>6</rasd:ResourceType>
</Item>

Ein letzter Fehler, der sich bei meinem Test bemerkbar machte, konnte behoben werden, indem der Bereich einfach ignoriert wurde. (Zeile 83)

Suche

     <Item>
        <rasd:AddressOnParent>3</rasd:AddressOnParent>
        <rasd:AutomaticAllocation>false</rasd:AutomaticAllocation>
        <rasd:Caption>sound</rasd:Caption>
        <rasd:Description>Sound Card</rasd:Description>
        <rasd:ElementName>sound</rasd:ElementName>
        <rasd:InstanceID>7</rasd:InstanceID>
        <rasd:ResourceSubType>ensoniq1371</rasd:ResourceSubType>
        <rasd:ResourceType>35</rasd:ResourceType>
      </Item>

Da es sich nur um das Soundmodul handelt, kann dieses erst einmal ignoriert werden.

      <Item ovf:required="false">
        <rasd:AddressOnParent>3</rasd:AddressOnParent>
        <rasd:AutomaticAllocation>false</rasd:AutomaticAllocation>
        <rasd:Caption>sound</rasd:Caption>
        <rasd:Description>Sound Card</rasd:Description>
        <rasd:ElementName>sound</rasd:ElementName>
        <rasd:InstanceID>7</rasd:InstanceID>
        <rasd:ResourceSubType>ensoniq1371</rasd:ResourceSubType>
        <rasd:ResourceType>35</rasd:ResourceType>
      </Item>

Nun sollte einen Import über "OVF-Vorlage bereitstellen" Nichts mehr im Wege stehen.


Alternativ möchte ich hier die Konvertierung mit Hilfe des OVFTools über die Kommandozeile ausführen

Konvertierung mit den OVFTools

Diese müssen wie oben bereits erwähnt zunächst heruntergeladen und installiert werden.

OVFTools

Danach genügt es den unten beschriebenen Befehle auszuführen.

C:\Program Files\VMware\VMware OVF Tool\ovftool.exeovftool.exe --lax "C:\Pfad\zum\Image\Dateiname.ova" "C:\Pfad\zum\Image\Dateiname.ovf"


Troubleshooting

Damit auch wirklich keine Hürde bestehen bleibt, hier noch ein paar weitere Tipps

Fehlermeldung

Error:
 - Line 2: Incorrect namespace 'http://schemas.dmtf.org/ovf/envelope/2' found.
Completed with errors

Lösung: Die richtige OVA Version (1.0) beim Exportieren wählen.

Fehlermeldung

Capacity of uploaded disk is larger than requested

Lösung: In der OVF Datei nach "<DiskSection> </DiskSection>" suchen und die Festplattenkapazität anpassen.