LogInsight ist zu weitaus mehr in der Lage als zur reinen Analyse von Standard Log-Dateien. Im Grunde genommen kann LogInsight Dateien unterschiedlicher Typen analysieren und die Informationen grafisch aufbereitet darstellen. Voraussetzung dafür ist, dass es ein entsprechender „Parser“ vorhanden ist oder erstellt wird.
So wird z.B. ein Standart-Parser für CSV (comma separated value) Dateien bereitgestellt. Damit können Daten, die dem CSV-Format entsprechen, ausgewertet werden. Beispiele dafür sind Wetterdaten, Aktienkurse, Statistiken oder andere.
In diesem Artikel beschreiben wir, wie Verrechnungsdaten aus vRealize Business for Cloud (ehemals vRealize Business Standard) per CSV bereitgestellt sowie in LogInsight importiert und ausgewertet werden können.
Anpassung Regional Settings
Als Vorbereitung dazu ist es empfehlenswert, die regional settings am Client-PC auf „English (United States)“ zu stellen. Hintergrund ist, dass ein Export in vRealize Business for Cloud (vRBC) im Format XLS erfolgt. MS Excel öffnet diese Datei und nutzt die regional settings als Basis, um Dezimalstellen bei Zahlenfeldern als „Komma“ (DE) oder „Punkt“ (US) darzustellen. Wird die Datei dann als CSV abgespeichert, behält Sie das Komma bzw. den Punkt bei. LogInsight kann grundsätzlich mit beiden Varianten umgehen. Allerdings enthalten die Exports von vRBC auch Felder, die als Textfeld bereitgestellt werden und mehrere Werte innerhalb eines Feldes beinhalten können. Für diese Felder verwendet vRBD per default „Punkt“ als Dezimalzeichen. Um Konsistent zu sein, muss daher dafür Sorge getragen werden, dass auch die Zellen mit Zahlenformatierung „Punkt“ als Dezimalzeichen verwenden.
Export der Daten aus vRealize Business for Cloud
Im nächsten Schritt wird die XLS-Datei aus (vRBC) generiert.
Die Export-Funktion in vRBC erzeugt direkt eine XLS-Datei als Download mit der Report-Bezeichnung und einem Zeitstempel im Namen.
LogInsight muss u.a. mitgeteilt werden, wie die einzelnen Felder bezeichnet werden, die die CSV-Datei abbildet. Die aus vRBC exportierte Datei enthält zwar bereits Feldbeschreibungen, diese enthalten aber Sonderzeichen, mit denen der LogInsight-Parser nicht umgehen kann. Aus diesem Grund müssen in der Überschriftszeile Zeichen wie %, $, (,), andere Sonderzeichen und auch Leerzeichen entfernt werden. Leerzeichen können ggf. durch Unterstriche ersetzt werden. MS Excel hilft hier mit der „Suchen und Ersetzen“ Funktion. Wichtig dabei ist auch, dass die Anzahl der Felder in der Beschreibung exakt der Anzahl der Felder mit wirklichen Daten entspricht, was im Falle eines vRBC-Exports gegeben ist.
Im Nachgang wird die Datei mit MS Excel als CSV-Datei abgespeichert. Ein Öffnen der Datei per Notepad gibt dann folgendes Bild wieder:
Import der Dateien in LogInsight
Für einen erfolgreichen Import der CSV-Datei benötigen Sie den Importer für LogInsight (Beschreibung siehe hier). Es empfiehlt sich, das Tool direkt auf dem LogInsight-Server zu installieren (Linux-Version), um kein weiteres System zu benötigen.
Der Importer an sich nutzt eine manifest-Datei, die die Import-Parameter spezifiziert. Dort ist u.a. das Format der zu importierenden Daten (hier csv parser) beschrieben als auch der Pfad, wo die Datei zu finden ist sowie andere Parameter.
Beispiel vrb-csv-manifest.ini
[filelog|vRB]
tags={"filetype":"vRB-VM-csv","testnr":"004"}
directory=
include=vms_export_2016-05-23_13-13-52.csv
parser=vRBparser
[parser|vRBparser]
base_parser=csv
delimiter=","
fields=VM_Name,Infrastructure_Type,vCenter_Server_Name,Data_Center_Name,Number_Of_Configured_vCPUs,Number_Of_Configured_GHz,Size_Of_Configured_RAM,Number_Of_Reserved_GHz,Size_Of_Reserved_RAM_,Server_Name,Data_Store_Name,OS_Type,OS_Name,Is_Fault_Tolerant,Line_of_Business,Business_Unit,Cluster_Name,vCenter_Folder_Path,Storage_Used,Storage_Cost_Per_GB,Actual_Storage_Used,Number_Of_Utilization_Samples_Per_Datastore,Storage_Total_Cost,Compute_RAM_Utilization,Actual_Compute_RAM_Utilization,Number_Of_Memory_Utilization_Samples,Compute_RAM_Rate,Compute_RAM_Cost,Compute_CPU_Utilization,Actual_Compute_CPU_Utilization,Number_Of_CPU_Utilization_Samples,Compute_CPU_Rate,Compute_CPU_Cost,Compute_Total_Cost,OS_Labor,OS_Labor_Cost_Per_Hour,OS_Labor_Total_Cost,OS_Licensing_Cost,Maintenance_Cost,VM_Backup_Cost,VI_Labor,VI_Labor_Cost_Per_Hour,VI_Labor_Total_Cost,Direct_Cost,VM_Tags,Monthly_Up_Time,Monthly_Up_Time,Pricing_Policy_Name,Total_Price,Deleted,Month,Total_Monthly_Cost
Soweit der “directory” Parameter gesetzt ist, muss er auf ein Unterverzeichnis des beim Import im –source Parameter angegebenen Verzeichnisses verweisen. Ansonsten ist der einfachste Weg „directory“ leer zu lassen und mittels –source Parameter auf das richtige Verzeichnis, in dem die CSV-Datei liegt zu verweisen.
Unter „fields“ werden die Bezeichnungen der einzelnen Felder aus der CSV-Datei hinterlegt. Diese können direkt aus der von vRB exportierten Datei aus der ersten Zeile per copy & paste übernommen werden.
Vor dem eigentlichen Import sollte dann die erste Zeile der CSV-Datei, die die Beschreibungen der einzelnen Felder enthält, entfernt werden (LogInsight würde das ansonsten ebenfalls als Daten interpretieren).
Anschließend wird das import-Kommando ausgeführt:
/usr/lib/loginsight-importer/bin # ./loginsight-importer --server localhost --source . --manifest ../manifests/vrb_csv_manifest.ini --debug_level 2
Das Resultat sollte dann in etwa so aussehen:
Connecting to server localhost:9543 Connection successfully established. Extracting log entries from "./vms_export_2016-05-23_13-13-52.csv" Total number of processed files: 1 Total number of extracted log messages: 39 Total number of sent log messages: 39 Total run time: 00:00:00.504397 You have new mail in /var/mail/root
Auswertung der Daten in LogInsight
Bei einer Suche in LogInsight können durch Filterung nach den in der vrb-csv-manifest.ini hinterlegten Tags die Daten direkt eingesehen werden (hier testnr=005):
Möchte man sich dann z.B. die VMs nach monatlichen Gesamtkosten sortiert, grafisch anzeigen lassen, kann man z.B. folgende, grafische Ansicht verwenden:
Das Ergebnis sieht dann in etwa so aus:
- vRealize Automation ISO Upload und Mount - 14. November 2018
- vRealize Automation mit Ansible und Git - 8. März 2018
- Wer ist hier der Boss? vRA Approval per AD-Manager - 1. Dezember 2016