Bei hunderten von Blades kann es durchaus nützlich sein, im Rahmen der Wurzelgrunduntersuchung (root-cause-analysis) einen Blick auf den Stand der Firmware zu werfen. Aus diesem Grund habe ich ein einfaches Dashboard erzeugt, das alle Firmware-Levels der Blades visualisiert.
1) SSH im HP Onboard Administrator konfigurieren
Nur Benutzer mit Administrator-Rolle dürfen SSH konfigurieren und SSH Schlüssel hinterlegen. Einfach die id_rsa.pub von einem Linux-System kopieren und reinpasten. Das gewählte System sollte so konfiguriert sein, dass die Logs auf Log Insight weitergeleitet werden.
2) SSH Kommando zum Abfragen der Firmware-Stände
# ssh Administrator@172.16.102.160 'show firmware summary csv' |grep iLO4 1, ProLiant BL460c Gen8, No, System ROM, I31 08/20/2012, , iLO4, 1.10 Jul 17 2012, , Power Management Controller, 3.0, , 2, ProLiant BL460c Gen8, No, System ROM, I31 08/20/2012, , iLO4, 1.10 Jul 17 2012, , Power Management Controller, 3.0, , 3, ProLiant BL460c Gen8, No, System ROM, I31 08/20/2012, , iLO4, 1.10 Jul 17 2012, , Power Management Controller, 3.0, , 4, ProLiant BL460c Gen8, No, System ROM, I31 09/08/2013, , iLO4, 1.30 Jul 18 2013, , Power Management Controller, 3.2, , 5, ProLiant BL460c Gen8, No, System ROM, I31 09/08/2013, , iLO4, 1.30 Jul 18 2013, , Power Management Controller, 3.2, , 6, ProLiant BL460c Gen8, No, System ROM, I31 09/08/2013, , iLO4, 1.30 Jul 18 2013, , Power Management Controller, 3.2, , 7, ProLiant BL460c Gen8, No, System ROM, I31 09/08/2013, , iLO4, 1.30 Jul 18 2013, , Power Management Controller, 3.2, , 8, ProLiant BL460c Gen8, No, System ROM, I31 09/08/2013, , iLO4, 1.30 Jul 18 2013, , Power Management Controller, 3.2, , 9, ProLiant BL460c Gen8, No, System ROM, I31 08/20/2012, , iLO4, 1.10 Jul 17 2012, , Power Management Controller, 3.0, , 16, ProLiant BL460c Gen8, No, System ROM, I31 09/08/2013, , iLO4, 1.30 Jul 18 2013, , Power Management Controller, 3.2, ,
3) Die Ausgabe der Abfrage auf logger umleiten:
# ssh Administrator@172.16.102.160 'show firmware summary csv' |logger
Das Kommando kann in crontab eingetragen weden und es zum Beispiel alle 15 Minuten auszuführen (crontab -e)
*/15 * * * * /usr/local/bin/li-blades.sh
4) Benötigte Felder im Log Insight extrahieren
Markieren Sie das “interessante” Feld und wählen Sie “Extract Field”
5) Dashboard erzeugen
Zum Beispiel als “Maximum” von HP_PMC_FW over time grouped by HP_Bay_nr, HP_SysROM_date,HP_ilo_FW…
6) Das neue Dashboard geniessen 🙂
7) Blade-Fieber messen
/usr/bin/ssh Administrator@172.16.102.160 'show enclosure temp' | /bin/logger
Metriken lassen sich am besten als “Time Series” darstellen:
Dann kann die Darstellung im Dashboard gespeichert werden (Oben links, “add to dashboard”)