Standorte/Uniklinik-Hochhaus/Konfiguration

Technische Konfiguration der installierten Geräte

Status

Der Standort Uniklink läuft seit Dezember 2014 sehr stabile, die Aufgabe des Standort ist es, die einzelnen Batman Wolken zu Verbinden. Hierzu dient ein Batman Router um die einzelnen Richtfunkverbindungen über Layer2 zu verbinden. In der Betriebszeit wurde die Konfiguration des Standorts öfters verändert. Die aktuelle Seite versucht den aktuellen Status zu beschreiben.

Wir haben im Winter 2016 von Viprinet einen Multichannel VPN Router 2620 und eine vHub Lizenz bekommen um am Uniklinik Standort mehrere Internetverbindungen, welche wir per Wlan Richtfunk an den Standort heranführen zu bündeln zudem wurde eine Ubiquiti Edge Switch gekauft um dem Komplexen Aufbau am Standort 1 gerecht zu werden.

Zudem wurde nach einem Sturmschaden die Nanostations am Standort2 gegen Ubiquiti Litebeam AC 120 ausgetauscht.

The Big Picture

Die Batmanpakete werden über die Richtfunkstrecken empfangen und über einzelnen VLANs in die Switches geführt um von dort zu dem Batman-Router geschickt zu werden. Als Batman-Router existieren zwei Geräte die per Gbit an die Switch an Standort 1 angeschlossen sind. Zum einen der Batman Router, in Form eines TP-Links 1043v3 und zum anderen das Backkbonegateway eine VM die Virtualisiert auf der X86 Hardware am Standort 1 läuft.

Zum Anschluss von Richtfunkantennen sind an der Switch am Standort 1 die Anschlüsse 1-10 und am Standort 2 die Anschlüsse 2-5 vorgesehen. An jedem dieser Anschlüsse liegt für Ubiquiti Hardware ein getaggedes VLAN aus dem Bereich 101-120 und das VLAN 3 als Management Netzwerk (Freifunk IP-Range) an. Sollte Gluon Richtfunkhardware angeschlossen sein so liegt auf dem entsprechendem Switch-Port ein Batman-VLAN aus dem Bereich 101-120 untagged an. So ist es einfach möglich Batmangeräte mit aktivierten Mesh-On-Wan anzuschließen. Eine Trennung der einzelnen Geräte und damit das Routen über den Batman Router wird über die Batman-VLANs sichergestellt. Die Batman VLANs werden per Gbit sowohl in den Batman Router als auch in das Backbone Gateway geführt. Im Batman Router als auch im Backbone Gateway ist das VLAN3 Teil der Client-Bridge und die VLANs 101-120 sind als 'Eingangs'-Schnittelle dem bat0 zugeordnet. Der Unterschied zwischen den beiden Geräten ist, dass beim Batmanrouter alle VLANs auf auto=False stehen auser VLAN101, um im Havarierfall den Router erreichen zu können und die Funktionalität des Backkbonestandorts zu erhalten. WICHTIG: Es darf nur auf einem der beiden Batman Router das VLAN3 teil der Client Bridge sein sonst erzeugt man eine Layer3 loop.

Um dem Backbone Gateway eine Feste IP geben zu können setzen wir einen VIPRINET Multichannel 2620 Router mit einem vHub auf einem KVM Hypervisor als Gegenstelle ein. Dies ermöglicht es uns eine Feste öffentliche IP aus der IP-Range des Rechenzentrums auf den Uniklink Standort zu routen und gleichzeitig bis zu 6 Internet-Uplinks an diesem Standort zu Bündeln. Die Viprinet Hardware baut hierfür über mehrere Uplink Netzwerke eine verschlüsselte VPN-Verbindung zu der vHub Gegenstelle im Rechenzentrum auf und bündelt dann die einzelnen Datenströme zu einer einzelnen Verbindung über die sich die IP routen lässt. Über den LAN Ausgang des Viprinet Routers wird das so erzeugte private Uplinknetzwerk (192.168.0.0/24) als VLAN2 in die Switch an Standort 1 geführt und steht so sowohl dem Backbone Gateway als auch dem Batman Router als WAN-Uplink zur Verfügung. Für den FASTd uplink des Batman Routers reicht eine genatted IP aus dem Privaten Bereich. Das vHub routed auf die private IP des Backbone Gateways zusätzlich die öffentliche IP Addresse aus dem Rechenzentrum welche von dem Rechenzentrumsgateway auf die öffentliche IP des vHubs gerouted wird. Somit ist es möglich auf dem Uniklink Standort eine GRE Verbindung zum Freifunk Rheinland auf-zumachen. In diesem privaten Uplinknetzwerk liegt auch die IP-Addresse des dedizierten IPMI Anschluss des Backbone-Hypervisors. Dieser ist somit per Tunnel über den Batman Router oder das Backbone Gateway erreichbar.

Die Internet Uplinks sind über sechs einzelnen Gbit Ethernet Module im Viprinet Router realisiert. Jeder einzelne Port wird untagged in die Switch am Standort 1 geführt und hier als getaggedes VLAN aus dem Bereich 61-66 an die entsprechende Richtfunkantenne geliefert. Auf dieser Richtfunkstrecke liegt dieser Uplinkport nun als WLAN0.6x an. Schickt ein Backbone-Client seine Internetverbindung an die Uniklink so geschieht das in einem WLAN0.6x parallel zu dem normalen Batman Strom über das ungetaggede WLAN0. Es empfiehlt sich auf Backbone Client Seite ein Extra Netz in Form einer DMZ oder eines Gastnetzes zu nutzen. Über diese Verbindung werden nur Daten verschlüsselt mit unserem vHub ausgetauscht. Um sicherzustellen das niemand diesen Uplink innerhalb des Backbone missbrauchen kann lässt sich der Netzwerkverkehr auf Backbone-Client Seite per Firewall auf der Ubiquiti Hardware auf die IP des vHubs beschränken.

]

Geräte

Die relevanten beteiligten Geräte in der hiesigen Betrachtung sind:

• div. Ubiquiti-Geräte (NSM, Loco, oder stärker gerichtete)
• Batman-sprechendes Gerät (z.B. TP-Link)
• zwei Switche, einer pro Antennenstandort (also pro Mast)
• der Viprinet Router an Standort 1
• das Backbongateway Extrasahne sowie der Hypervisor an Standort 1
• die Glasfaserverbindung zwischen Standort 1 und Standort 2

Backofen Hypervisor

• Motherboard: | Supermicro X9SCM-F Mainboard
• CPU: Intel Xeon E3-1225v2
• RAM: 8Gb ECC DDR Ram
• HDD: 64Gb SSD
• 1He 19" Server-Gehaeuse

Mikrowellen Hypervisor

• Motherboard: | Supermicro X9SCM-F Mainboard
• CPU: Intel Xeon E3-1235LV3
• RAM: 8Gb ECC DDR Ram
• HDD: 250Gb 2.5" HDD

Layer 1

Alle ubnt-Geräte werden an den Switch des jeweiligen Antennenstandortes verkabelt.

Die Switches an den beiden Antennenstandorten sind über eine 1-GBit/s-Ports LWL Leitung (80m) verbunden.

An Standort 1 ist auch die restliche Hardware stationiert und ist per GBit angebunden.

Layer 2

Das Netzwerk ist in folgende VLANs unterteilt:

2        : WAN-Netzwerk
3        : Freifunk-Managment
101-120  : Batman VLANs
61-66    : Internet Uplink VLANs

An die Switch an Standort 2 werden nur folgende VLANs weitergeleitet : 3,110-120,61-66

Das WAN-Netzwerk dient als Uplink für das Backbone Gateway und als Managment Netzwerk des Backbone-Hypervisors.

Das Freifunk-Managment Netzwerk liegt als getaggtes VLAN3 an allen ubnt Antennen an und ermöglicht so das erreichen des Webinterface über das Freifunk-Netzwerk.

Die Batman-Datenströme der einzelnen ubnt-Geräte werden durch die Batman VLANs getrennt, hierfür bekommt jedes ubnt-Gerät für die Kommunikation mit dem Batman-Gerät sein eigene VLAN. Dem Batman Router werden als Eingang alle diese Batman VLANs hinzugefügt, somit erscheinen alle Teilnehmer nicht mehr als Mesh innerhalb des Backbones sondern werden über den Batman-Router gerouted.

Über die Internet Uplink VLANs werden die einzelnen Internetuplinks welche per WLAN VLAN 61-63 an die Uniklink geschickt werden getrennt und dann als untagged an die WAN-Module des Viprinet Routers geliefert. Das entsprechende WLAN VLAN liegt nur an dem Port der Richtfunkantenne an die den Datenstrom empfängt.

Layer 3

Auf ein Layer-3-Routing können wir vorerst verzichten. Sobald die Mainzer Batman-Wolke zu groß wird und eine Layer-3-Unterteilung erforderlich macht, oder wir Links zu anderen Communities schlagen wollen (Wiesbaden, Frankfurt, Darmstadt), müssen wir über Layer-3-Routing und z.B. BGP nachdenken.

Da zwei Batman geräte parallel arbeiten muss sichergestellt werden das nur ein br-client Netzwerk mit dem VLAN3 verbunden ist. Sonst tritt eine Layer3 Loop im Netzwerk auf.

Die einzelnen Geräte

Ubiquiti-Geräte

Hier sind die einzelnen Ubiquiti Geräte und ihre Konfigurationsparameter aufgezeigt:

Device Name	SSID	Frequency	Freifunk IP	VLAN
NSM5 FFMZ-BB Uniklinik Altstadt	ffmwu-UM-as	5500	10.37.2.10	101
NSM5 FFMZ-BB Uniklinik Neustadt	ffmz-bb-uk-ns-108-40	5540	10.37.2.11	102,105,64
NSM5 FFMZ-BB Uniklinik Hartenberg	ffmz-bb-uk-ns-112-40	5680	10.37.2.12	103,109
PBM5-300 FFMZ-BB Uniklinik Waldhausen	bbmz-wh-um (client)	5560	10.37.2.13	104
LB120ac FFMZ-BB Uniklinik ASB	ffmwuum-actest	5605	10.37.2.15	105,64
LB120ac FFMZ-BB Uniklinik Bretzenheim	ffmwu-UM-br	5605	10.37.2.20	114,62
LB120ac FFMZ-BB Uniklinik Oberstadt	ffmwu-UM-os	5580	10.37.2.21	115
LB120ac FFMZ-BB Uniklinik Finthen	ffmwu-UM-fi	5540	10.37.2.22	113
NB19SAC FFMZ-BB Uniklinik Holzturm	ffmwu-um-ht	5700	10.37.2.201	106,61,63
NB19SAC FFMZ-BB Uniklinik Wiesbaden	ffmwu-opelbad-11ac-170 (client)	5500	10.37.2.44	55

Die Grundkonfiguration der Geräte kann hier nachgelesen werden:[1]

Batman-Gerät

Wenn man ein Batman-VLAN untagged auf einen der Ports ausgibt kann man Gluon Hardware z.B. NSLM2 einfach als Mesh-On-(L)WAN konfigurieren und anschliessen. Es muss nur sichergestellt sein das kein Freifunk Client Netzwerk als untagged oder tagged auf VLAN3 anliegt.

Switche

Switch Standort 1

Geraetetyp UBNT EdgeSwitch 24

Die Konfiguration der VLANs kann folgender Liste entnommen werden: Portmapping EdgeSwitch Unimedizin

Switch Standort 2

Geraetetyp RRB260GSP

Wichtig: update auf neuste FW

Konfiguration

SNMP angeschaltet fuer Monitoring

Unter VLANs müssen alle genutzten VLANs aufgeführt sein sonst entfernt die Mikrotik Switch einfach den VLAN Tag und schickt die daten untagged weiter.

Port	Geraet	GeraeteVLAN	Kabelbezeichnung	Anmerkung
?	NB19SAC (Lerchenberg 220°)		2O - rot
?	NSM5 (Finthen 270°)		2Q - gelb
2	NSM5 (Oberstadt 130°)		2R - grün	Switch POE aktiv
3	NSM5 (Bretzenheim 225°)	11	2S - blau	Switch POE aktiv
?
SFP	UK-SW1	all		LWL Verbindung Standort1

Kabel

Kabel an Standort 1

Kabel	Switchport	Gerät	Anmerkung
1A	2	NSM5 (Hartenberg 315°)
1B	4	NSM5 (Neustadt 355°)
1C	X
1D	3	NSM5 (Altstadt 70°)
1E	X
1F	X
1G	X		Defekt
1H	1	NSLM2-1	Defekt
1I	X

Kabel an Standort 2

Kabel	Switchport	Gerät	Anmerkung
2N	X		Gelbes Kabel - auf Switch-Seite nicht konfektioniert
2O	?	NB19SAC (Lerchenberg 220°)	Rotes Kabel
2P	X		Rotes Kabel - auf Switch-Seite nicht konfektioniert
2Q	?	NSM5 (Finthen 270°)	Gelbes Kabel
2R	1	NSM5 (Oberstadt 130°)	Grünes Kabel
2S	3	NSM5 (Bretzenheim 225°)	Blaues Kabel