Skip to content

SexiLog - OpenSource ELK Stack für ESXi-Hosts und vCenter-Server

Eine beliebte Lösung für Logging Server ist heutzutage ein sogenannter ELK Stack. Dabei handelt es sich um drei Komponenten die zusammen eine Logging Einheit bilden.

  1. Elasticsearch
  2. Logtash
  3. Kibana

Elasticsearch ist in dieser Konstellation für das Speicher und Suchen der Logdateien zuständig. Logtash verarbeitet die entstanden Logdateien und Kibana sorgt für eine optische Ausgabe der angefallenen Daten.

Alle Komponenten lassen sich einzeln auf einem Linux Server installieren und einrichten. Hierfür gibt es Cookbooks. Die einzelnen Schritte durchzuarbeiten ist jedoch aufwendig und fehleranfällig.

sexilog_funktion

Sexilog - ISO Image mit fertig ELK Stack

Eine einfache Lösung auf dem Weg zum fertigen Logserver stellt das aus Frankreich stammende SexiLog dar. Das OpenSource Projekt bietet Nutzern von ESXi-Hosts und vCenter-Servern ein fertiges VMware Image an, welches vom ersten Start weg Logs auswertet und grafisch darstellt. 

sexilog-banner

Die vorkonfigurierte Umgebung bietet alles, was für eine Überwachung und Auswertung von Log Dateien notwendig ist. Durch die freien Komponenten bietet sich SexiLog für kleinere Umgebung an, bei denen nicht allzuviel Geld für eine Loginumgebung vorhanden ist.

Installation SexiLog

Die Open Source Lösung steht als OVA Image zur Verfügung und muss lediglich in die eigene Umgebung importiert bzw. bereitgestellt werden.

OVF-Vorlage_bereitstellen

Sollte beim Import etwas schief gehen oder Fehlermeldungen auftauchen, verweise ich auf den erst neulich veröffentlichen Artikel zum Thema OVA Import.

Nach einer erfolgreichen Bereitstellung kann SexiLog via SSH konfiguriert werden. Der Standardzugang ist "root" mit dem Passwort "Sex!Log".

SexiLog-Konsole

In der Konsole können die Netzwerkeinstellungen und das Mailsetting angepasst werden.

Ist dieser Schritt vollzogen, muss nur noch dem ESXi Server bzw. dem vCenter mitgeteilt werden, wohin die Logdaten weitergereicht werden sollen. Dazu muss unter Konfiguration "erweiterte Einstellungen" aufgerufen werden, hier in das Untermenü "Syslog/global" wechseln.

In diesem Bereich muss unter Syslog.global.logHost die URL udp://logserveradresse:514 angepasst werden.

syslog

SexiLog starten

Das System startet automatisch, sobald alles eingerichtet ist, kann unter der zuvor eingerichteten IP Adresse die Kibana Oberfläche aufgerufen werden.

 sexilog-kibana

SexiBoards - Alles im Blick

Die Kibana Obefläche visualisiert Logs auf verschiedenen Boards. Das VMware Image liefert für verschiedene Events ganze 18 Übersichten. Neben der Startseite "SexyHome" existieren Seiten für vMotion, Veeam, VIM, IOPS, VSAN, Migration, Downtime, usw. Einen Überblick ist hier zu finden.

Fazit

SexiLog ist im jetztigen Stadium sicherlich eine der besten Lösungen, wenn es um das Auswerten von Log auf OpenSource Basis geht. Das VMware Image hat fast alle Mittel an Bord, die zu einer lückenlosen Auswertung dazugehören.

Wie so oft wird das Thema Sicherheit etwas stiefmütterlich behandelt. So fehlt in der Version 0.99g noch ein Unterstützung für SSL oder ein Login Formular für die Hauptseite. Hier muss der Nutzer entweder selbst Hand anlegen oder auf das nächste Release warten.

Wer einen fertig konfigurierten ELK Stack für virtuelle Hosts sucht, ist mit SexiLog sicherlich auf dem richtigen Weg.

VirtualBox to VMware - OVF/OVA Image erstellen und in VMware importieren

Für den Umzug eines virtuellen Systems von VirtualBox zu VMware oder anderen virtuellen Hosts wurde das Format OVF/OVA (Open Virtualization Format) eingeführt.
Dieses ermöglicht den Export/Import von virtuellen Maschinen auf verschiedene Systeme.

So leicht sich dieser Vorgang erscheinen mag, so viele Hürden kann dieser in der Praxis haben.

Ich möchte heute Schritt für Schritt die Konvertierung eines Oracle VirtualBox OVA Images zu einer VMware OVF Vorlage durchgehen. (Als Beispiel könnte der neulich erwähnte Web Security Dojo genommen werden, welches ebenfalls im OVA Format vorliegt).


OVA Image erstellen und in VMware/vSphere (ESXi) importieren

virtualbox-ova-export

Appliance exportieren

Zunächst muss von einer bestehenden virtuellen Maschine in VirtualBox ein OVA Image erstellt werden.

Nachdem im Menü "Appliance exportieren" gewählt wurde, gilt es die ersten Dinge zu beachten:

  • Als OVA Version sollte Version 1.0 gewählt werden
  • Auch sollte der Haken bei "Schreibe Manifest Datei" gesetzt werden

virtualbox-ova-export

Danach ist auf der Festplatte eine "Dateiname.ova" vorhanden.

Image konvertieren

Bevor nun der Import in VMware gestartet werden kann, sollte die Datei konvertiert werden. Dafür stellt VMware die Open Virtualization Format Tools bereit.
Zum Herunterladen dieser Tools ist ein Account notwendig, darum habe ich mich um einen anderen Weg bemüht.

Ein einfacherer Weg ist es die OVA Datei mit 7Zip oder WinZip zu entpacken.

Danach sind im Ordner eine .vmdk, eine .mf und eine *.ovf enthalten. Letztere, also die "Dateiname.ovf", könnte nun mit VMware importiert werden "OCF Vorlage bereitstellen".

ova-entpacken

Image importieren

Oft kommt es jedoch beim ersten Import zu Fehlermeldungen, da in OVF Datei Einträge vorhanden sind, mit denen VMware so seine Probleme hat.

Diese Fehler lassen sich mit etwas Handarbeit beheben.

ova-import-error-ovf

Der Fehler "Nicht unterstützte Hardwarefamilie 'virtualbox-2.2" lässt sich durch editieren der "Dateiname.ovf" behehen.  (Als Editor kann hier Notepad++ oä. genommen werden).

Sobald die Datei geöffnet ist kann mit Strg+F nach dem Wert "virtualbox" gesucht oder gleich die Zeile (29) aufgerufen werden.

<vssd:VirtualSystemType>virtualbox-2.2</vssd:VirtualSystemType>

Diese wird ab ESXi 5.x ersetzt durch:

<vssd:VirtualSystemType>vmx-08</vssd:VirtualSystemType>

Ein weiterer Fehler der aufreten kann ist: "Keine Unterstützung für Gerätetyp 20".

ova-import-error

Auch hier kann eine Lösung mit Hilfe der OVF gefunden werden.

Suche

<Item>
<rasd:Address>0</rasd:Address>
<rasd:Caption>sataController0</rasd:Caption>
<rasd:Description>SATA Controller</rasd:Description>
<rasd:ElementName>sataController0</rasd:ElementName>
<rasd:InstanceID>5</rasd:InstanceID>
<rasd:ResourceSubType>AHCI</rasd:ResourceSubType>
<rasd:ResourceType>20</rasd:ResourceType>
</Item>

Ersetze mit

<Item>
<rasd:Address>0</rasd:Address>
<rasd:Caption>SCSIController</rasd:Caption>
<rasd:Description>SCSI Controller</rasd:Description>
<rasd:ElementName>SCSIController</rasd:ElementName>
<rasd:InstanceID>5</rasd:InstanceID>
<rasd:ResourceSubType>lsilogic</rasd:ResourceSubType>
<rasd:ResourceType>6</rasd:ResourceType>
</Item>

Ein letzter Fehler, der sich bei meinem Test bemerkbar machte, konnte behoben werden, indem der Bereich einfach ignoriert wurde. (Zeile 83)

Suche

     <Item>
        <rasd:AddressOnParent>3</rasd:AddressOnParent>
        <rasd:AutomaticAllocation>false</rasd:AutomaticAllocation>
        <rasd:Caption>sound</rasd:Caption>
        <rasd:Description>Sound Card</rasd:Description>
        <rasd:ElementName>sound</rasd:ElementName>
        <rasd:InstanceID>7</rasd:InstanceID>
        <rasd:ResourceSubType>ensoniq1371</rasd:ResourceSubType>
        <rasd:ResourceType>35</rasd:ResourceType>
      </Item>

Da es sich nur um das Soundmodul handelt, kann dieses erst einmal ignoriert werden.

      <Item ovf:required="false">
        <rasd:AddressOnParent>3</rasd:AddressOnParent>
        <rasd:AutomaticAllocation>false</rasd:AutomaticAllocation>
        <rasd:Caption>sound</rasd:Caption>
        <rasd:Description>Sound Card</rasd:Description>
        <rasd:ElementName>sound</rasd:ElementName>
        <rasd:InstanceID>7</rasd:InstanceID>
        <rasd:ResourceSubType>ensoniq1371</rasd:ResourceSubType>
        <rasd:ResourceType>35</rasd:ResourceType>
      </Item>

Nun sollte einen Import über "OVF-Vorlage bereitstellen" Nichts mehr im Wege stehen.


Alternativ möchte ich hier die Konvertierung mit Hilfe des OVFTools über die Kommandozeile ausführen

Konvertierung mit den OVFTools

Diese müssen wie oben bereits erwähnt zunächst heruntergeladen und installiert werden.

OVFTools

Danach genügt es den unten beschriebenen Befehle auszuführen.

C:\Program Files\VMware\VMware OVF Tool\ovftool.exeovftool.exe --lax "C:\Pfad\zum\Image\Dateiname.ova" "C:\Pfad\zum\Image\Dateiname.ovf"


Troubleshooting

Damit auch wirklich keine Hürde bestehen bleibt, hier noch ein paar weitere Tipps

Fehlermeldung

Error:
 - Line 2: Incorrect namespace 'http://schemas.dmtf.org/ovf/envelope/2' found.
Completed with errors

Lösung: Die richtige OVA Version (1.0) beim Exportieren wählen.

Fehlermeldung

Capacity of uploaded disk is larger than requested

Lösung: In der OVF Datei nach "<DiskSection> </DiskSection>" suchen und die Festplattenkapazität anpassen.

VMware Tools auf Ubuntu, Mint, CentOS oder openSUSE installieren

In virtuellen Umgebungen ist es sinnvoll VMware Tools auf den vorhandenen Systemen zu installieren.
Neben der offiziellen Version von VMware genügt es bei Linux Maschinen die freie Variante zu installieren.

Gibt es einen Unterschied zwischen den offiziellen VMware Tools und open-vm-tools?

Im Prinzip nicht. VMware hat seine Software als Open Source Software freigegeben. Diese wurde unter dem Namen open-vm-tools in viele Distributionen integriert.


 

VMware Tools auf Windows installieren

Für Windows Systeme genügt es einen Rechtsklick auf die VMware Maschine zu machen und die Auswahl VMware Tools installieren im Untermenü Gast zu wählen.

vmware-tools-windows


 

Vmware Tools auf Ubuntu (14.04) oder Mint installieren

Unter Ubuntu werden die Tools mitgeliefert, hier reicht es folgendes einzugeben:

sudo apt-get install open-vm-tools

Troubleshooting Vmware Tools Ubuntu Installation

Es kann vorkommen, dass Ubuntu den xorg Server installieren will, obwohl dieser nicht aktiv ist.

The following extra packages will be installed:
  cvs debhelper defoma diffstat ethtool fontconfig fontconfig-config gettext hicolor-icon-theme html2text intel-gpu-tools intltool-debian libatk1.0-0 libatk1.0-data libcairo2 libcairomm-1.0-1 libcroco3
  libdatrie1 libdirectfb-1.2-0 libfontconfig1 libfontenc1 libgl1-mesa-dri libglibmm-2.4-1c2a libgtk2.0-0 libgtk2.0-bin libgtk2.0-common libgtkmm-2.4-1c2a libice6 libicu42 libjasper1 libmail-sendmail-perl
  libpango1.0-0 libpango1.0-common libpangomm-1.4-1 libpciaccess0 libpixman-1-0 libsm6 libsys-hostname-long-perl libsysfs2 libthai-data libthai0 libtiff4 libts-0.0-0 liburiparser1 libxaw7
  libxcb-render-util0 libxcb-render0 libxcomposite1 libxcursor1 libxdamage1 libxfixes3 libxfont1 libxft2 libxi6 libxinerama1 libxkbfile1 libxmu6 libxpm4 libxrandr2 libxrender1 libxss1 libxt6 libxtst6 libxv1
  libxvmc1 module-assistant open-vm-source open-vm-toolbox po-debconf quilt shared-mime-info tsconf x-ttcidfont-conf x11-common x11-xkb-utils xfonts-base xfonts-encodings xfonts-utils xserver-common
  xserver-xorg xserver-xorg-core xserver-xorg-input-evdev xserver-xorg-input-mouse xserver-xorg-input-vmmouse xserver-xorg-video-all xserver-xorg-video-apm xserver-xorg-video-ark xserver-xorg-video-ati
  xserver-xorg-video-chips xserver-xorg-video-cirrus xserver-xorg-video-fbdev xserver-xorg-video-i128 xserver-xorg-video-intel xserver-xorg-video-mach64 xserver-xorg-video-mga xserver-xorg-video-neomagic
  xserver-xorg-video-nouveau xserver-xorg-video-nv xserver-xorg-video-openchrome xserver-xorg-video-r128 xserver-xorg-video-radeon xserver-xorg-video-rendition xserver-xorg-video-s3
  xserver-xorg-video-s3virge xserver-xorg-video-savage xserver-xorg-video-siliconmotion xserver-xorg-video-sis xserver-xorg-video-sisusb xserver-xorg-video-tdfx xserver-xorg-video-trident
  xserver-xorg-video-tseng xserver-xorg-video-v4l xserver-xorg-video-vesa xserver-xorg-video-vmware xserver-xorg-video-voodoo zerofree

Anscheinend tritt dieser Fehler bei Ubuntu 12.04 Installationen auf. Hier hilft es den Installationsbefehl zu erweitern.

sudo apt-get install --no-install-recommends open-vm-tools


 

VMware Tools auf openSUSE installieren

Zunächst sollte geprüft werden, welches System in Betreib ist.

cat /etc/os-release

NAME=openSUSE
VERSION="13.1 (Bottle)"
VERSION_ID="13.1"
PRETTY_NAME="openSUSE 13.1 (Bottle) (x86_64)"

VMware Tools auf openSUSE 13.1 installieren

zypper addrepo http://download.opensuse.org/repositories/Virtualization:\
VMware/openSUSE_13.1/Virtualization:VMware.repo

    Adding repository 'VMware tools (openSUSE_13.1)' ................[done]
    Repository 'VMware tools (openSUSE_13.1)' successfully added
    Enabled: Yes
    Autorefresh: No
    GPG check: Yes
    URI: http://download.opensuse.org/repositories/Virtualization:/VMware/openSUSE_13.1/


zypper refresh
Retrieving repository 'VMware tools (openSUSE_13.1)' metadata -------------------------[\]
New repository or package signing key received:
Key ID: xxxx
Key Name: Virtualization:VMware OBS Project <Virtualization:VMware@build.opensuse.org>
Key Fingerprint: xxxxx
Repository: VMware tools (openSUSE_13.1)

Do you want to reject the key, trust temporarily, or trust always? [r/t/a/? shows all options] (r): a
Retrieving repository 'VMware tools (openSUSE_13.1)' metadata ..........[done]
Building repository 'VMware tools (openSUSE_13.1)' cache ...............[done]
All repositories have been refreshed.

zypper install open-vm-tools

VMware Tools auf openSUSE 13.2 installieren

Bei der neuesten Version kann auf die gleiche Weise vorgegangen werden.

zypper addrepo http://download.opensuse.org/repositories/Virtualization:VMware\
/openSUSE_13.2/Virtualization:VMware.repo
zypper refresh
zypper install open-vm-tools



VMware Tools auf CentOS 6.x (x64) installieren

Bei CentOS gilt es verschiedene Varianten zu wählen, dieses Mal wird aber nach ESXi Version unterschieden, da die offiziellen VMware Repos verwendet werden.

VMware Tools für ESXi 5.1

yum -y install http://packages.vmware.com/tools/esx/5.1/repos/vmware-tools-repo-RHEL6-9.0.0-2.x86_64.rpm
yum -y install vmware-tools-esx-nox

VMware Tools für ESXi 5.5

yum -y install http://packages.vmware.com/tools/esx/5.5/repos/vmware-tools-repo-RHEL6-9.4.0-1.el6.x86_64.rpm
yum -y install vmware-tools-esx-nox

VMWare Tools für EXSi 6.0

yum -y install http://packages.vmware.com/tools/esx/6.0/repos/vmware-tools-repo-RHEL6-9.10.0-1.el6.x86_64.rpm
yum -y install vmware-tools-esx-nox

VMware Tools auf CentOS 6 (x32) installieren

 

VMware Tools für ESXi 5.1

yum -y install http://packages.vmware.com/tools/esx/5.1/repos/vmware-tools-repo-RHEL6-9.0.0-2.i686.rpm
yum -y install vmware-tools-esx-nox

VMware Tools für ESXi 5.5

yum -y install http://packages.vmware.com/tools/esx/5.5/repos/vmware-tools-repo-RHEL6-9.4.0-1.el6.i686.rpm
yum -y install vmware-tools-esx-nox

VMWare Tools für ESXi 6.0

yum -y install http://packages.vmware.com/tools/esx/6.0/repos/vmware-tools-repo-RHEL6-9.10.0-1.el6.i686.rpm
yum -y install vmware-tools-esx-nox

Unter der gleichen URL sind ebenfalls die Repositories für CentOS 5.x zu finden, hierzu muss einfach "RHEL6" durch "RHEL5" ersetzt werden.