Wetter Content Pack für Log Insight

By | 24. Juni 2016

tb_sc_2016-06-24_09-51-55_AM

In den letzten Jahren haben wir in diesem Blog immer wieder das Thema Wetter behandelt. Wir haben sowohl die Wetterdaten in vC Ops  “Ist das Wetter normal?” analysiert als  auch in einer frühen Version von Log Insight (1.5 beta) angezeigt – “Ich habe das Wetter geloggt” . Seit dem sind 3 Jahre vergangen und sowohl die Datenquellen als auch die Tools haben sich weiter entwickelt. Erstaunlicherweise ist das Thema Wetter aber immer noch aktuell. Ein Bisschen Regen kann ganz Europa verändern, zum Beispiel am Tag der Brexit-Abstimmung.

In diesem Artikel beschreibe ich die Installation und Benutzung eines neuen Wetter – Content Packs für Log Insight (v. 3.3). Die benötigten Wetterdaten werden mit Hilfe eines Skripts von der Seite www.openweathermap.org geholt, in ein Logfile geschrieben und im Log Insight angezeigt.  Die Benutzung des Content Packs erfolgt auf eigene Gefahr und sollte nur auf Test-Sytemen erfolgen.

1. Wir brauchen einen API Schlüssel von  http://openweathermap.org/appid. Ein kostenlose Anmeldung ist ausreichend.

2. Nun können wir uns Wetterdaten auf openweathermap.org anschauen und Städte notieren, die wir in unsere Liste aufnehmen wollen. Wir brauchen jeweils den Namen der Stadt und den zweistelligen Ländercode. Meine Liste sieht so aus: “Yerevan,AM Seattle,US PaloAlto,US Sofia,BG London,UK Frankfurt,DE Sydney,AU”

3.  Ein kleiner Test auf der Shell – bitte den API Schlüssel mit dem eigenen ersetzen:

Die Ausgabe sollte in etwa so aussehen:

4. Wenn der Test erfolgreich war, können wir es automatisieren. Im folgenden ist ein Skript, das die Liste der Städte durchläuft und für jede Stadt die realtime und die “forecast” Daten holt. Diese werden in zwei Log Files geschrieben. Sie müssen den API Schlüssel im Skript anpassen. Das Skript sollte unter /usr/local/bin/getweatherdata.sh gespeichert werden und ausführbar sein.

Nun tragen wir das Skript auch in die crontab ein (mit crontab -e)

5.  Die Daten werden also in die Logfiles geschrieben, jetzt  werden wir den Content Pack installieren und die Agentkonfiguration anpassen. Unter diesem Link finden sie den Conten Pack. Sobald dieser entzippt ist, kann er über  > Content Packs > Import Content Pack importiert werden.  Wenn sie “nur” eine vCenter Edition von Log Insight haben, wird dies nicht möglich sein. (Der Knopf ist nicht da).tb_sc_2016-06-24_03-24-17_PM

 

 

6. Nach dem Import muss die Konfiguration des Agenten aus dem Content Pack geklont und zugewiesen werden:

Zuweisung des Agenten zu der Gruppe:tb_sc_2016-06-24_02-46-43_PM

 

7. Sollten Sie Erfolg haben, werden sie in einigen Minuten zwei neue Dashboards sehen:

tb_sc_2016-06-23_10-18-57_PM

Current weather data

tb_sc_2016-06-23_10-05-53_PM

Weather Forecast dashboard

 

Etwas Hintergrund: Die Daten liegen im XML-Format vor. Wir haben keinen dedizierten Parser für XML-Dateien, deshalb habe ich mit ein Paar Klicks die relevanten Felder in den Logs markiert und auf dem Server extrahiert. Diese extrahieren Felder (z.B. Temperatur) sind meist numerisch und können somit sehr gut für Visualisierungen benutzt werden. Siehe die Definition des Temperatur-Felds im folgenden Screenshot:

Screen Shot 2016-06-22 at 13.46.14

Oder eine ähnliche Definition, andere Visualisierung für die “Wolkigkeit”:

tb_sc_2016-06-22_08-58-17_PM

 

Zum Schluss:

  • Sie können nun auch Alarme für bestimmte Wetterbedingungen erzeugen. Zum Beispiel bei drohenden Sonnenschein einen Alert über Webhook verarbeiten und automatisiert einen Urlaubsantrag stellen
  • Die “forecast” Daten habe ich auf einen Tag eingeschränkt, die openweathermap.org API liefert aber bis zu 16 Tagen
  • Das Skript könnte optimiert werden: mit einer Liste der Städte-IDs bräuchte man gar keine Schleife
  • Das Skript räumt die Logs nicht auf… diese werden immer grösser
  • Wenn Sie wissen wollen, was ich alles nicht befolgt habe und besser machen könnte, schauen sie hier nach: https://developercenter.vmware.com/web/loginsight 
  • Weather Content Pack download link (nach dem Download entzippen)

 

English version: http://blogs.vmware.com/management/2016/06/lets-talk-about-weather-in-log-insight.html

print

Category: Log Insight Tips Schlagwörter: , , , , ,

About Tomas Baublys

Tomas lebt in Bonn und arbeitet als Sr. Cloud Management Solution Architect in VMware EMEA SDDC SWAT Team. Seine Lieblingsthemen sind Operations Management, Log-Analyse, Compliance und Konfigurationsmanagement. Der berufliche Werdegang birgt viele Jahre IBM (Linux on Power, AIX und Tivoli) Erfahrung. Einen gewissen Hang zu Open Source kann er seit den Anfängen bei ID-PRO nicht abstreiten. Es ist schön, für das bezahlt zu werden, was man gerne tut :)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.