VCF NSX-Edge Setup aus Netzwerksicht

This post is also available in: Englisch

In meinem vorher gegangen Beitrag (https://vrealize.it/de/2025/06/02/vcf-workload-domain-setup-aus-netzwerksicht/) habe ich beschrieben, wie eine Workload Domain über den SDDC Manager erstellt und was aus Netzwerksicht benötigt wird. In diesem Beitrag gehe ich auf die Schritte ein, die für die Installation der NSX Edges (inklusive des Routings) benötigt wird. Die NSX Edges in Verbindung mit den logischen Tier-0 Gateway bilden die Brücke zwischen den Overlay Netzwerken (innerhalb des SDDCs) und dem Underlay Netzwerken (außerhalb des SDDCs).

Bevor wir auf das Zieldesign und die Konfiguration schauen möchte ich kurz erklären wie die Edge und der logische Router zusammen spielen.

NSX Edge Funktion

Mit NSX, können auf einer bestehenden Netzwerk Infrastruktur, virtuelle Netzwerkinfrastrukturen erstellt werden. Dafür wird für den Transport, dass Protokoll GENEVE (Generic Network Virtualization Encapsulation) verwendet.

Damit eine Kommunikation zwischen Endgeräten im Overlay und Endgeräten im klassischen VLAN basierten Netzwerk möglich ist, wird eine Box benötigt die zwischen den beiden Welten übersetzen kann. Diese Aufgabe übernimmt das NSX Edge, das sowohl virtuell (OVA File) oder für einen Baremetal Server (ISO File) zur Verfügung steht.

Edge Routing

Die NSX Edge übernimmt in der Regel auch das Routing und wird mit dem externen Router im Datacenter verbunden. Das Routing kann entweder statisch, über das Routing Protokoll OSPF oder BGP erfolgen. BGP ist das empfohlene Routing Protokoll, da es die meisten Möglichkeiten bietet . Für die Konfiguration wird ein logischer Router (Tier-0 Gateway) mit dem NSX Edge Cluster verbunden und über den NSX Manager konfiguriert. Das heißt, dass die NSX Edges sowohl die Aufgabe übernehmen, aus dem Geneve Overlay ein klassisches IP Paket zu machen und zum anderen das Routing zwischen den IP Netzen zu übernehmen.

Routing und Redundanz

Damit das Routing sauber funktioniert und der Ausfall einer einzelnen Komponente nicht zum total Ausfall führt, sollten sich die Edges auf unterschiedlichen ESXi Servern befinden und über separate Links an zwei externe Router angeschlossen sein. Damit ist sichergestellt, dass der Ausfall eines Servers, eines Routers oder einzelner Links abgefangen werden kann.

Zusätzlich sollte BFD (Bidirectional Forwarding Detection) aktiviert werden, um Netzwerk Fehler zwischen dem Datacenter Router und dem logischen Tier-0 Gateway möglichst schnell erkennen zu können.

Das Port Mapping auf die physikalischen Interfaces wird bei dem Deployment automatisch vorgenommen.

Für die Konfiguration werden daher zwei Transit IP Netze in unterschiedlichen Vlans benötigt.

vNIC-2 (grünes Netz) befindet sich im Transit Netz 10.13.17.0/24 (VLAN1317) und vNIC-3 (blaues Netz) im Transit Netz 10.13.18.0/24 (VLAN1318)

Wie schon erwähnt wird zusätzlich ein logischer Router (Tier-0 Gateway) erstellt über den man das Routing konfigurieren kann. Die beiden Edges werden in einem Cluster zusammengefasst und mit dem logischen Router verbunden. In meinem Beispiel wird eBGP konfiguriert. Dafür benötigen wir ein AS-Number für den logischen Router und die AS-Number für den externen Datacenter Router.

An dem logischen Router können intern weitere Router (Tier-1 Gateway) angeschlossen werden. Die Transitnetzwerke zwischen dem Tier-0 Gateway und dem Tier-1 Gateway werden automatisch von NSX erstellt. Dafür werden Netze aus dem CIDR 100.64.0.0/16 herausgeschnitten.

Zieldesign

Wie schon zu Beginn erwähnt, habe ich in meinem vorherigen Beitrag (https://vrealize.it/de/2025/06/02/vcf-workload-domain-setup-aus-netzwerksicht/) gezeigt, wie über den SDDC Manager eine Workload Domain erstellt und auf den ESXi Servern das Netzwerk-Overlay konfiguriert wird. Die ESXi Server mit dem Overlay Netzwerk sind leicht transparent auf der linken Seite des Schaubildes.

Die NSX Edge VMs werden auf den Hosts installiert wo sich auch die Workload VMs befinden. Wenn der ESXi Server nur über 2 physikalische Netzwerkkarten verfügt kann der Geneve Overlay Tunnel entweder an den physikalischen Netzwerkkarten terminieren oder aber wird durchgereicht zu der Edge Komponente und terminiert dort. Beides heißt aber im Umkehrschluss das der Tunnel Endpunkt nicht gleichzeit für Workload VMs und der NSX Edge zur Verfügung stehen kann.

Damit die Konfiguration trotzdem funktioniert, müssen sich die TEPs der Edge VMs in einem anderen IP Netz, als die TEPs der ESXi Server befinden und über einen externen Router miteinander verbunden werden. In dem obigen Beispiel sind die ESXi Server in dem Overlay Netzwerk 10.13.14.0/24 (VLAN1314) und die Edge VMs in dem Overlay Netzwerk 10.13.19.0/24 (VLAN1319). Es gibt auch Konfigurationsmöglichkeiten um die TEPs der ESXi Server und der Edges in dem selben IP Netzwerk zu betreiben. Auf diese Optionen gehe ich aber in diesem Blog nicht ein, da VCF den Konfigurationsweg mit zwei verschiedenen TEP Netzwerken voraussetzt.

Von den NSX Edges werden insgesamt 3 virtuelle Interfaces (vNICs) genutzt. Das Interface vNIC-1 ist das Management Interface mit dem der NSX Manager kommuniziert, oder aber auch ein SSH Zugriff erfolgen kann.

Die Interfaces vNIC-2 und vNIC-3 verarbeiten den Workload Traffic. Beide Interfaces sind mit dem Overlay Netzwerk verbunden und bauen einen Tunnel zu den ESXi Servern auf. Auf den beiden vNICs werden über andere VLANS die Interfaces für das Routing konfiguriert.

Voraussetzungen

Für das Setup müssen folgende Voraussetzungen erfüllt sein:

• Workload Domain wurde über den SDDC Manager erstellt
• Externe Router wurden konfiguriert und Transit IP Adressen wurden festgelegt
• Das Routing Protokoll (Static/OSPF/BGP) wurde ausgewählt und auf den Datacenter Routern eingerichtet
• VLANs für das NSX Edge Overlay wurde konfiguriert und hat eine MTU Size von mindestens 1.700
• Routing zwischen dem Host und Edge Overlay Netzwerk ist möglich
• DNS Einträge sind vorhanden

Setup

Die Konfiguration erfolgt über den SDDC Manager.

Nachdem Login gehen wir zu der Workload Domain in dem das Edge Cluster erstellt werden soll Inventory->Workload Domains->”name der Workload Domain”.

Die Einstellungen befinden sich unter dem Tab “Edge Clusters”.

Über ACTIONS-> Add Edge Cluster, können wir die Konfiguration beginnen.

An dieser Stelle, werden die Voraussetzungen angezeigt. Wenn diese erfüllt sind, können über den “Select All” Button alle Checkboxen gesetzt werden und wir können mit der Konfiguration starten.

Es werden die generellen Informationen zusammen getragen und sollten an die eigene Umgebung angepasst werden:

• Edge Cluster Name: sfo-w01-ec01
• MTU: 8900 (oder mindestens 1700)
• Tier-0 Router Name: VLC-Tier-0
• Tier-1 Router Name: VLC-Tier-1
• Edge Cluster Profile Type_ Default
• Passwörter für die Edges.

In dem nächsten TAB kann entweder ausgewählt werden ob die Edges für Kubernetes genutzt werden und dann würde die Größe automatisch festgelegt oder über Custom können diese Parameter selber bestimmt werden. Bei dem Punkt Tier-0 Service High Availability kann festgelegt werden, ob die Edges im Active/Standby Mode betrieben werden oder aber als Active/Active. In der Regel sollten alle Ressourcen genutzt werden (A/A).

Da wir EBGP nutzen wollen wählen wir das aus und vergeben die ASN, die auf dem logischen Tier-0 Gateway genutzt werden soll. die ASN der Gegenstelle (Datacenter Router) wird zu einem späteren Zeitpunkt angegeben.

Als nächstes werden die Daten für die beiden Edge Nodes angegeben. Neben dem DNS Namen muss ausgewählt werden auf welchem Cluster im vCenter die Edge Nodes installiert werden sollen.

Die Edges bekommen eine eindeutige IP Adresse und da bis jetzt das VLAN und die Port Gruppe noch nicht im vCenter existiert wird zusätzlich das VLAN und ein Name für die Port Gruppe definiert.

Nachdem man ein wenig runtergescrollt hat, werden als nächstes die Felder für die Tunnel Endpunkt Adressen des Overlays sowie das zu nutzende VLAN angegeben.

Danach werden für die beiden Uplinks die Informationen für die Transitnetzwerke (und VLANs) zwischen der Edge und dem Datacenter Router angegeben.

Für das Peering mit dem Datacenter Router wird die Peer IP Adresse (also das Interface des DC Routers) und die ASN angegeben. Sollte man BGP mit einem Passwort geschützt haben, wird außerdem das Passwort benötig was in der BGP Konfiguration sowohl auf der NSX Edge als auch auf dem DC Router identisch sein muss.

Wenn alle Daten für die erste Edge eingetragen sind wird die Edge über den Button “ADD EDGE NODE” gespeichert.

Anschließend wird über “ADD MORE EDGE NODES” die Konfiguration der zweiten Edge gestartet.

Dankenswerterweise werden die Daten der ersten Edge Node übernommen und man muss nur die relevanten Felder abändern.

Das ist zum einen der DNS Name und zum anderen die IP Adresse der zweiten Edge Node…

…die TEP IPs und die IP Adresse des Uplink Interfaces.

Danach kann auch die zweite Node hinzugefügt werden und über Next gelangt man zur Übersicht wo noch einmal alle Daten zusammengefasst wurden.

Nachdem noch einmal alle Daten geprüft wurden, kann über “NEXT” die Validierung gestartet werden. Sollten es bei der Validierung zu Unstimmigkeiten kommen würde der SDDC Manager eine Fehlermeldung bringen und mitteilen wo Handlungsbedarf besteht. Wenn alle Punkte aus Sicht des SDDC Managers richtig sein, kann über “FINISH” das Deployment gestartet werden.

Je nachdem wie Leistungsfähig die Umgebung ist, dauert die Installation zwischen 15 und 45 Minuten.

Überprüfung

Sobald die Konfiguration erfolgreich abgeschlossen ist, wird das erstellte NSX Edge Cluster als ACTIVE im SDDC Manager angezeigt.

Wir können jetzt auf den NSX Manager gehen und prüfen, ob dort auch alles so funktioniert wie wir es wollen. Im NSX Manager schauen wir uns als erstes den Status der Edge Nodes an. System->Nodes->Edge Transport Nodes. Bei beiden Edges sollte der Configuration Status auf Success stehen.

Zusätzlich sollte im NSX Manager der Router angelegt worden sein. Networking->Tier-0 Gateways. In dem Router unter BGP sieht man das zwei BGP Neighbors vorhanden sind. Über die blau eingefärbte 2 gelangt man auf die BGP Neighbors Konfiguration.

Der Status sollte auf Success stehen und über “BGP CONNECTIVITY STATUS” gelangt man zu weiteren Details.

Der Connection Status sollte “Established” anzeigen.

Nachdem wir alle Tabs geschlossen haben können wir uns anschauen, ob auch der T1 Router angelegt und mit dem T0 Gateway verbunden wurde. Networking->Tier-1-Gateways

Über Networking->Network Topology können wir uns das ganze auch graphisch anzeigen lassen.

Wenn ihr bis hierhin gekommen seid, habt ihr erfolgreich das Routing zwischen dem NSX Overlay und dem externen Datacenter Router hergestellt!

Appendix – Konfigurationsübersicht

Die nachfolgenden Screenshots zeigen, was der SDDC Manager alles konfiguriert hat und sollen ein besseres Verständnis über die Backgroundtasks geben.

Unter dem Reiter System->Nodes->Edge Transportnodes, finden wir die beiden konfigurierten NSX Edge Nodes. Die Nodes befinden sich in zwei Transportzonen.

Die Transportzone “overlay-tz-sfo-w01-nsx01” wurde erstellt als die Workload Domain angelegt wurde und in dieser Transportzone befinden sich auch die ESXi Hosts, so dass diese auf die NSX Edges im Overlay Netzwerk zugreifen können.

Die zweite Transportzone “VCF-edge_sfo-w01-ec01_uplink-tz” wurde bei der Erstellung der Edges angelegt und dient für die Verbindung zu dem externen Datacenter Router (vlan basiert).

Die Details zu der Transportzone befinden sich unter System->Transport Zones und dort wählen wir den Namen “VCF-edge_sfo-w01-ec01_uplink-tz” aus. Auf der rechten Seite sieht man die Uplink Teaming Policy Names.

Die gesamten Informationen werden sichtbar, wenn man auf “and 1 More” klickt. Man sieht das zwei Policies existieren, die sich in dem Namen durch xxx_uplink1-xxx und xxx_uplink2-xxx unterscheiden.

Die genauen Details finden wir unter System->Profiles->Uplink Profiles und dort unter dem Namen beginnend mit VCF-edge_[CLUSTERNAME]_uplink-profile-[VLAN ID] je nachdem was bei der Installation für Daten verwendet wurden.

Wenn man auf die “3” neben Teamings klickt öffnet sich ein neues Fenster.

Das “Default Teaming” mit “Load Balance Source” wird für die Overlay Verbindung genutzt und verwendet uplink1 und uplink2 als Aktive Links.

Danach kommen zwei weitere Profile wo es jeweils nur einen Uplink gibt. Das Profile VCF-edge_xxx-uplink1-xxx benutzt ausschließlich uplink1 und VCF-edge_xxx-uplink2-xxx ausschließlich uplink2. Diese Policies werden für die Verbindungen zu den externen Datacenter Routern genutzt so das man ganz klare Transitverbindungen zwischen den Komponenten hat.

Für die externen Verbindungen der NSX Edge werden logische Segmente angelegt, wo zum einen die VLAN Informationen mitgeteilt werden und zum anderen die Teaming Policies festgelegt sind. Die Information befindet sich unter Networking->Segments->NSX->VCF-edge_xxx_segment_xxx

Wie zu erwarten gibt es zwei Segment, die jeweils eine Teamining Policy zugeordnet haben.

Die Segment wurden dem Tier-0 Gateway zugeordnet, wo dann auch die Transit IP Adressen vergeben sind. Dazu gehen wir zu Networking->Tier-0 Gateways-> VLC-Tier-0 und dort auf “INTERFACES AND GRE TUNNELS” hier sollten bei “External and Service Interfaces eine “4” sein über die man sich die Details anschauen kann.

Bei den Interfaces findet man das Mapping zu den einzelnen Segmenten und damit zu den richtigen VLANS sowie zu dem richtigen Uplink.

Zusammenfassung

Die Konfiguration der NSX Edges über den SDDC Manager nimmt einem einige Konfigurationsschritte ab und verringert die Komplexität, da die Abhängigkeiten (Transport Zone, Profiles, Teamining Policies, etc.) von dem SDDC Manager aufgelöst werden. Nichtsdestotrotz benötigt man für die Konfiguration ein gewisses Netzwerk Grundverständnis und die Installation sollte daher sehr Gewissenhaft und zusammen mit allen verantwortlichen Teams geplant werden.