Standorte/Uniklinik-Hochhaus/Konfiguration

Technische Konfiguration der installierten Geräte

Status

Der Standort Uniklinkk laeuft seit Dezember 2014 sehr stabile, die Aufgabe des Standort ist es, die einzelnen Batman Wolken zu Verbinden. Hierzu dient ein Batman Router um die einzelnen Richtfunkverbindungen ueber Layer2 zu verbinden. In der Betriebszeit wurde die Konfiguration des Standorts öfters verändert. Die aktuelle Seite versucht den aktuellen Status zu beschreiben.

Wir haben im Winter 2016 von Viprinet einen Multichannel VPN Router 2620 und eine vHub Lizenz bekommen um am Uniklinik Standort mehrere Internetverbindungen, welche wir per Wlan Richtfunk an den Standort heranfuehren zu buendeln zudem wurde eine Ubiquiti Edge Switch gekauft um dem Komplexen Aufbau am Standort 1 gerecht zu werden.

Zudem wurde nach einem Sturmschaden die Nanostations am Standort2 gegen Ubiquiti Litebeam AC 120 ausgetauscht.

The Big Picture

Die Batmanpakete werden über die Richtfunkstrecken empfangen und über einzelnen VLANs in die Switches gefÜhrt um von dort zu dem Batman-Router geschickt zu werden. Als Batman-Router existieren zwei Geräte die per Gbit an die Switch an Standort 1 angeschlossen sind. Zum einen der Batman Router, in Form eines TP-Links 1043v3 und zum anderen das Backkbonegateway eine VM die Virtualisiert auf der X86 Hardware am Standort 1 läuft.

Zum Anschluss von Richtfunkantennen sind an der Switch am Standort 1 die Anschluesse 1-10 und am Standort 2 die Anschlüsse 2-5 vorgesehen. An jedem dieser Anschlüsse liegt fuer Ubiquiti Hardware ein getaggedes VLAN aus dem Bereich 101-116 und das VLAN 3 als Managment Netzwerk (Freifunk IP-Range) an. Sollte Gluon Richtfunkhardware angeschlossen sein so liegt auf dem entsprechendem Switch-Port ein Batman-VLAN aus dem Bereich 101-106 untaggen an. So ist es einfach möglich Batmangeräte mit aktivierten Mesh-On-Wan anzuschliessen. Eine Trennung der einzelnen Geräte und damit das Routen ueber den Batman Router wird über die Batman-VLANs sichergestellt. Die Batman VLANs werden per Gbit sowohl in den Batman Router als auch in das Backbone Gateway geführt. Im Batman Router als auch im Backbone Gateway ist das VLAN3 Teil der Client-Bridge und die VLANs 101-116 sind als 'Eingangs'-Schnitstelle dem bat0 zugeordnet. Der Unterschied zwischen den beiden Geräten ist, dass beim Batmanrouter alle VLANs auf auto=False stehen auser VLAN101, um im Havariefall den Router erreichen zu können und die Funktionalität des Backkbonestandorts zu erhalten. WICHTIG: Es darf nur auf einem der beiden Batman Router das VLAN3 teil der Client Bridge sein sonst erzeugt man eine Layer3 loop.

Um dem Backbone Gateway eine Feste IP geben zu könnene setzen wir einen VIPRINET Mulltichanne 2620 Router mit einem vHub auf einem KVM Hypervisor als Gegenstelle ein. Dies ermöglicht es uns eine Feste öffentiche IP aus der IP-Range des Rechenzentrums auf den Uniklink Standort zu routen und gleichzeitig bis zu 6 Internet-Uplinks an diesem Standort zu Bündeln. Die Viprinet Hardware baut hierfür über mehrer Uplink Netzwerke eine verschlüsselte VPN-Verbindung zu der vHub Gegenstelle im Rechenzentrum auf und bündelt dann die einzelnen Datenstroeme zu einer einzelnen Verbindung über die sich die IP routen lässt. Über den LAN Ausgang des Viprinet Routers wird das so erzeugte private Uplinknetzwerk (192.168.0.0/24) als VLAN2 in die Switch an Standort 1 geführt und steht so sowohl dem Backbone Gateway als auch dem Batman Router als WAN-Uplink zur Verfügung. Für den FASTd uplink des Batman Routers reicht eine genated IP aus dem Privaten Bereich. Das vHub routed auf die private IP des Backbone Gateways zusätzlich die öffentliche IP Addresse aus dem Rechenzentrum welche von dem Rechenzentrumsgateway auf die öffentliche IP des vHubs gerouted wird. Somit ist es möglich auf dem Uniklink Standort eine GRE Verbindung zum Freifunk Rheinland aufzumachen. In diesem privaten Uplinknetzwerk liegt auch die IP-Addresse des dedizierten IPMI anschluss des Backbone-Hypervisors. Dieser ist somit per tunnel über den Batman Router oder das Backbone Gateway erreichbar.

Die Internet Uplinks sind über sechs einzelnen Gbit Ethernet Module im Viprinet Router realisiert. Jeder einzelne Port wird untagged in die Switch am Standort 1 geführt und hier als getaggedes VLAN aus dem Bereich 61-66 an die entsprechende Richtfunkantenne geliefert. Auf dieser Richtfunkstecke liegt dieser Uplinkport nun als WLAN0.6x an. Schickt ein Backbone-Client seine Internetverbindung an die Uniklink so geschieht das in einem WLAN0.6x parallel zu dem normalen Batman Strom über das ungetaggede WLAN0. Es empfiehlt sich auf Backbone Client Seite ein Extra Netz in Form einer DMZ oder eines Gastnetzes zu nutzen. Über diese Verbindung werden nur Daten verschluesselt mit unserem vHub ausgetauscht. Um sicherzustellen das niemand diesen Uplink innerhalb des Backbone missbrauchen kann lässt sich der Netzwerkverkehr auf Backbone-Client Seite per Firewall auf der Ubiquiti Hardware auf die IP des vHubs beschränken.

]

Geräte

Die relevanten beteiligten Geräte in der hiesigen Betrachtung sind:

• div. Ubiquiti-Geräte (NSM, Loco, oder stärker gerichtete)
• Batman-sprechendes Gerät (z.B. TP-Link)
• zwei Switche, einer pro Antennenstandort (also pro Mast)
• der Viprinet Router an Standort 1
• das Backbongateway Extrasahne sowie der Hypervisor an Standort 1
• die Glasfaserverbindung zwischen Standort 1 und Standort 2

Layer 1

Alle ubnt-Geräte werden an den Switch des jeweiligen Antennenstandortes verkabelt. Die Switches an den beiden Antennenstandorten sind über eine 1-GBit/s-Ports LWL Leitung (80m) verbunden.

An Standort 1 ist auch die restliche Hardware stationiert und ist per GBit angebunden.

Layer 2

Um die Datenströme der einzelnen ubnt-Geräte getrennt zu halten (die full-mesh-Teilnetze sollen nicht zu groß werden!), bekommt jedes ubnt-Gerät für die Kommunikation mit dem Batman-Gerät sein eigene vLAN.

Moritz, magst Du das genauer ausführen?

Layer 3

Auf ein Layer-3-Routing können wir vorerst verzichten. Sobald die Mainzer Batman-Wolke zu groß wird und eine Layer-3-Unterteilung erforderlich macht, oder wir Links zu anderen Communities schlagen wollen (Wiesbaden, Frankfurt, Darmstadt), müssen wir über Layer-3-Routing und z.B. BGP nachdenken.

Die einzelnen Geräte

5Ghz

Ubiquiti-Geräte

Die NanoStations wurden konfiguriert, wie hier gezeigt. Die Grundlage sind die factory defaults; hier werden nur Werte gezeigt, die sich demgegenüber ändern. Gezeigt ist hier beispielhaft nur die config der NSM5 Richtung Hartenberg. Die anderen NSM5 sind analog bestückt; alle unterschiedlichen Werte zeigt diese Tabelle:

Device Name	SSID	Frequency	coords	brdg0-IP	brdg1-IP	VLAN
NSM5 FFMZ-BB Uniklinik Hartenberg	ffmz-bb-uk-ns-112-40	5560	49.992974 8.262149	10.37.2.12	192.168.100.12	7
NSM5 FFMZ-BB Uniklinik Neustadt	ffmz-bb-uk-ns-108-40	5540	[s. Gerät]	10.37.2.11	192.168.100.11	10
NSM5 FFMZ-BB Uniklinik Altstadt	ffmz-bb-uk-wo-100-40	5500	[s. Gerät]	10.37.2.10	192.168.100.10	5
NSM5 FFMZ-BB Uniklinik Oberstadt	ffmz-bb-uk-ns-136-40	5680	[s. Gerät]	10.37.2.21	192.168.100.21	12
NSM5 FFMZ-BB Uniklinik Bretzenheim	ffmz-bb-uk-wo-120-40	5600	[s. Gerät]	10.37.2.20	192.168.100.20	11
NSM5 FFMZ-BB Uniklinik Finthen	ffmz-bb-uk-wo-116-40	5580	[s. Gerät]	10.37.2.22	192.168.100.22	13
NB19SAC FFMZ-BB Uniklinik Voldermort	ffmz-bb-uk-wo-104-80	5520?	[s. Gerät]	10.37.2.25	192.168.100.25	?

Hier werden die Tabs der HTML-Oberfläche von rechts nach links durchgegengen, das ist im konkreten Fall aber natürlich weitgehend beliebig.

System

Wir benennen das Gerät sinnvoll, setzen die Zeitzone, geben dem admin-user ein gutes Passwort und legen einen ro-user mit Passwort an; schließlich sagen wir dem Gerät noch, wo es aufgestellt ist.

Services

Hier ist nichts zu tun, außer die IP von Spinat als NTP-Server einzutragen.

Advanced

Auch hier nur eins: die Entfernung (zu der weitesten Gegenstelle) kann im Sinne eines preset auf etwa 6km gesetzt werden. Auf jeden Fall aber muss auto adjust aktiviert sein.

Network

Die Architektur des Standortes verlangt VLANs. Während der normale Freifunk-Clients-Traffic "untagged" auf dem LAN verkehrt (also nicht in einem VLAN), bekommt jede NSM5 ihr eigenes VLAN, um B.A.T.M.A.N-traffic ungestört zum OpenWRT-Gerät zu transportieren, wo dieser mit dem entsprechenden traffic der übrigen NSM5 ge-mesh-t wird. Aus Gründen der rückwärts-Kompatibilität schicken alle NSM5 ihren B.A.T.M.A.N-traffic zusätzlich auf das VLAN 10.

Um das zu erreichen, werden die 4 VLANs angelegt und - zusammen mit dem WLAN-interface - sinnvoll auf zwei bridges verteilt. Beide bridges werden noch mit IP-Adressen versehen, damit das Gerät von außen erreichbar bleibt.

Wireless

Und schlussendlich ans Eingemachte! Nun stelle wir den WDS-master-mode ("Access Point") ein und setzen die SSID. Die Kanalbreite von 40MHz ist das einstellbare Maximum. Auch wenn die Fequenz auf "Auto" steht, wird die gewünscht Frequenz als einzige in der Frequenzliste vorgegeben. Nun noch die Sendeleistung auf Maximum und die Senderate auf "MCS 15" (aber automatisch!). Als Verschlüsselung wählen wir WPA2 und setzen den Schlüssel dafür.

Ubiquiti

Im allerersten tab sollte airMAX aktiviert sein.

Main

Der "Main"tab zeigt dann eine gute Übersicht:

Vermittlung zwischen Batman-Wolken

tbc...

Switche

Geraetetyp RRB260GSP

Wichtig: update auf neuste FW Konfiguration: SNMP angeschaltet fuer Monitoring

Switch Standort 1

Port	Geraet	GeraetVLAN	Kabelbezeichnung	Anmerkung
0	UK-MASTER (Gluon Router)	alle vlan tagged		ohne POE
1	NSLM2-1	10	1H	switch POE deaktiviert - externer ubnt POE
2	NSM5 (hartenberg)	7	1A	switch POE aktiv
3	NSM5 (altstadt)	5	1D	switch POE aktiv
4	NSM5 (neustadt)	6	1B	switch POE aktiv
SFP	UK-SW2	all		LWL Verbindung Standort2

Switch Standort 2

Port	Geraet	GeraeteVLAN	Kabelbezeichnung	Anmerkung
?	NB19SAC (Lerchenberg 220°)		2O - rot
?	NSM5 (Finthen 270°)		2Q - gelb
2	NSM5 (Oberstadt 130°)		2R - grün	Switch POE aktiv
3	NSM5 (Bretzenheim 225°)	11	2S - blau	Switch POE aktiv
?
SFP	UK-SW1	all		LWL Verbindung Standort1

Kabel

Kabel an Standort 1

Kabel	Switchport	Gerät	Anmerkung
1A	2	NSM5 (Hartenberg 315°)
1B	4	NSM5 (Neustadt 355°)
1C	X
1D	3	NSM5 (Altstadt 70°)
1E	X
1F	X
1G	X		Defekt
1H	1	NSLM2-1	Defekt
1I	X

Kabel an Standort 2

Kabel	Switchport	Gerät	Anmerkung
2N	X		Gelbes Kabel - auf Switch-Seite nicht konfektioniert
2O	?	NB19SAC (Lerchenberg 220°)	Rotes Kabel
2P	X		Rotes Kabel - auf Switch-Seite nicht konfektioniert
2Q	?	NSM5 (Finthen 270°)	Gelbes Kabel
2R	1	NSM5 (Oberstadt 130°)	Grünes Kabel
2S	3	NSM5 (Bretzenheim 225°)	Blaues Kabel