Technische Konfiguration der installierten Geräte

Status

Der Standort Uniklink läuft seit Dezember 2014 sehr stabile, die Aufgabe des Standort ist es, die einzelnen Batman Wolken zu Verbinden. Hierzu dient ein Batman Router um die einzelnen Richtfunkverbindungen über Layer2 zu verbinden. In der Betriebszeit wurde die Konfiguration des Standorts öfters verändert. Die aktuelle Seite versucht den aktuellen Status zu beschreiben.

Wir haben im Winter 2016 von Viprinet einen * Viprinet Mulitchannel Router 2620 und eine vHub Lizenz bekommen um am Uniklinik Standort mehrere Internetverbindungen, welche wir per Wlan Richtfunk an den Standort heranführen zu bündeln zudem wurde eine Ubiquiti Edge Switch gekauft um dem Komplexen Aufbau am Standort 1 gerecht zu werden.

Zudem wurde nach einem Sturmschaden die Nanostations am Standort2 gegen Ubiquiti Litebeam AC 120 ausgetauscht.

The Big Picture

Die Batmanpakete werden über die Richtfunkstrecken empfangen und über einzelnen VLANs in die Switches geführt um von dort zu dem Batman-Router geschickt zu werden. Als Batman-Router existieren zwei Geräte die per Gbit an die Switch an Standort 1 angeschlossen sind. Zum einen der Batman Router, in Form eines TP-Links 1043v3 und zum anderen das Backkbonegateway eine VM die Virtualisiert auf der X86 Hardware am Standort 1 läuft.

Zum Anschluss von Richtfunkantennen sind an der Switch am Standort 1 die Anschlüsse 1-10 und am Standort 2 die Anschlüsse 2-5 vorgesehen. An jedem dieser Anschlüsse liegt für Ubiquiti Hardware ein getaggedes VLAN aus dem Bereich 101-120 und das VLAN 3 als Management Netzwerk (Freifunk IP-Range) an. Sollte Gluon Richtfunkhardware angeschlossen sein so liegt auf dem entsprechendem Switch-Port ein Batman-VLAN aus dem Bereich 101-120 untagged an. So ist es einfach möglich Batmangeräte mit aktivierten Mesh-On-Wan anzuschließen. Eine Trennung der einzelnen Geräte und damit das Routen über den Batman Router wird über die Batman-VLANs sichergestellt. Die Batman VLANs werden per Gbit sowohl in den Batman Router als auch in das Backbone Gateway geführt. Im Batman Router als auch im Backbone Gateway ist das VLAN3 Teil der Client-Bridge und die VLANs 101-120 sind als 'Eingangs'-Schnittelle dem bat0 zugeordnet. Der Unterschied zwischen den beiden Geräten ist, dass beim Batmanrouter alle VLANs auf auto=False stehen auser VLAN101, um im Havarierfall den Router erreichen zu können und die Funktionalität des Backkbonestandorts zu erhalten. WICHTIG: Es darf nur auf einem der beiden Batman Router das VLAN3 teil der Client Bridge sein sonst erzeugt man eine Layer3 loop.

Um dem Backbone Gateway eine Feste IP geben zu können setzen wir einen VIPRINET Multichannel 2620 Router mit einem vHub auf einem KVM Hypervisor als Gegenstelle ein. Dies ermöglicht es uns eine Feste öffentliche IP aus der IP-Range des Rechenzentrums auf den Uniklink Standort zu routen und gleichzeitig bis zu 6 Internet-Uplinks an diesem Standort zu Bündeln. Die Viprinet Hardware baut hierfür über mehrere Uplink Netzwerke eine verschlüsselte VPN-Verbindung zu der vHub Gegenstelle im Rechenzentrum auf und bündelt dann die einzelnen Datenströme zu einer einzelnen Verbindung über die sich die IP routen lässt. Über den LAN Ausgang des Viprinet Routers wird das so erzeugte private Uplinknetzwerk (192.168.0.0/24) als VLAN2 in die Switch an Standort 1 geführt und steht so sowohl dem Backbone Gateway als auch dem Batman Router als WAN-Uplink zur Verfügung. Für den FASTd uplink des Batman Routers reicht eine genatted IP aus dem Privaten Bereich. Das vHub routed auf die private IP des Backbone Gateways zusätzlich die öffentliche IP Addresse aus dem Rechenzentrum welche von dem Rechenzentrumsgateway auf die öffentliche IP des vHubs gerouted wird. Somit ist es möglich auf dem Uniklink Standort eine GRE Verbindung zum Freifunk Rheinland auf-zumachen. In diesem privaten Uplinknetzwerk liegt auch die IP-Addresse des dedizierten IPMI Anschluss des Backbone-Hypervisors. Dieser ist somit per Tunnel über den Batman Router oder das Backbone Gateway erreichbar.

Die Internet Uplinks sind über sechs einzelnen Gbit Ethernet Module im Viprinet Router realisiert. Jeder einzelne Port wird untagged in die Switch am Standort 1 geführt und hier als getaggedes VLAN aus dem Bereich 61-66 an die entsprechende Richtfunkantenne geliefert. Auf dieser Richtfunkstrecke liegt dieser Uplinkport nun als WLAN0.6x an. Schickt ein Backbone-Client seine Internetverbindung an die Uniklink so geschieht das in einem WLAN0.6x parallel zu dem normalen Batman Strom über das ungetaggede WLAN0. Es empfiehlt sich auf Backbone Client Seite ein Extra Netz in Form einer DMZ oder eines Gastnetzes zu nutzen. Über diese Verbindung werden nur Daten verschlüsselt mit unserem vHub ausgetauscht. Um sicherzustellen das niemand diesen Uplink innerhalb des Backbone missbrauchen kann lässt sich der Netzwerkverkehr auf Backbone-Client Seite per Firewall auf der Ubiquiti Hardware auf die IP des vHubs beschränken.




 ]

Geräte

Die relevanten beteiligten Geräte in der hiesigen Betrachtung sind:

  • div. Ubiquiti-Geräte (NSM, Loco, oder stärker gerichtete)
  • Batman-sprechendes Gerät (z.B. TP-Link)
  • zwei Switche, einer pro Antennenstandort (also pro Mast)
  • Viprinet Mulitchannel Router 2620 an Standort 1
  • das Backbongateway Extrasahne sowie der Hypervisor an Standort 1
  • die Glasfaserverbindung zwischen Standort 1 und Standort 2

Backofen Hypervisor

[[File:Backofen.jpg | 640px]

Mikrowellen Hypervisor

 

Layer 1

Alle ubnt-Geräte werden an den Switch des jeweiligen Antennenstandortes verkabelt.

Die Switches an den beiden Antennenstandorten sind über eine 1-GBit/s-Ports LWL Leitung (80m) verbunden.

An Standort 1 ist auch die restliche Hardware stationiert und ist per GBit angebunden.

Layer 2

Das Netzwerk ist in folgende VLANs unterteilt:

2        : WAN-Netzwerk
3        : Freifunk-Managment
101-120  : Batman VLANs
61-66    : Internet Uplink VLANs

An die Switch an Standort 2 werden nur folgende VLANs weitergeleitet : 3,110-120,61-66

Das WAN-Netzwerk dient als Uplink für das Backbone Gateway und als Managment Netzwerk des Backbone-Hypervisors.

Das Freifunk-Managment Netzwerk liegt als getaggtes VLAN3 an allen ubnt Antennen an und ermöglicht so das erreichen des Webinterface über das Freifunk-Netzwerk.

Die Batman-Datenströme der einzelnen ubnt-Geräte werden durch die Batman VLANs getrennt, hierfür bekommt jedes ubnt-Gerät für die Kommunikation mit dem Batman-Gerät sein eigene VLAN. Dem Batman Router werden als Eingang alle diese Batman VLANs hinzugefügt, somit erscheinen alle Teilnehmer nicht mehr als Mesh innerhalb des Backbones sondern werden über den Batman-Router gerouted.

Über die Internet Uplink VLANs werden die einzelnen Internetuplinks welche per WLAN VLAN 61-63 an die Uniklink geschickt werden getrennt und dann als untagged an die WAN-Module des Viprinet Routers geliefert. Das entsprechende WLAN VLAN liegt nur an dem Port der Richtfunkantenne an die den Datenstrom empfängt.

Layer 3

Auf ein Layer-3-Routing können wir vorerst verzichten. Sobald die Mainzer Batman-Wolke zu groß wird und eine Layer-3-Unterteilung erforderlich macht, oder wir Links zu anderen Communities schlagen wollen (Wiesbaden, Frankfurt, Darmstadt), müssen wir über Layer-3-Routing und z.B. BGP nachdenken.

Da zwei Batman geräte parallel arbeiten muss sichergestellt werden das nur ein br-client Netzwerk mit dem VLAN3 verbunden ist. Sonst tritt eine Layer3 Loop im Netzwerk auf.

Die einzelnen Geräte

Ubiquiti-Geräte

Hier sind die einzelnen Ubiquiti Geräte und ihre Konfigurationsparameter aufgezeigt:

Device Name SSID Frequency Freifunk IP VLAN
NSM5 FFMZ-BB Uniklinik Altstadt ffmwu-UM-as 5500 10.37.2.10 101
NSM5 FFMZ-BB Uniklinik Neustadt ffmz-bb-uk-ns-108-40 5540 10.37.2.11 102,105,64
NSM5 FFMZ-BB Uniklinik Hartenberg ffmz-bb-uk-ns-112-40 5680 10.37.2.12 103,109
PBM5-300 FFMZ-BB Uniklinik Waldhausen bbmz-wh-um (client) 5560 10.37.2.13 104
LB120ac FFMZ-BB Uniklinik ASB ffmwuum-actest 5605 10.37.2.15 105,64
LB120ac FFMZ-BB Uniklinik Bretzenheim ffmwu-UM-br 5605 10.37.2.20 114,62
LB120ac FFMZ-BB Uniklinik Oberstadt ffmwu-UM-os 5580 10.37.2.21 115
LB120ac FFMZ-BB Uniklinik Finthen ffmwu-UM-fi 5540 10.37.2.22 113
NB19SAC FFMZ-BB Uniklinik Holzturm ffmwu-um-ht 5700 10.37.2.201 106,61,63
NB19SAC FFMZ-BB Uniklinik Wiesbaden ffmwu-opelbad-11ac-170 (client) 5500 10.37.2.44 55

Die Grundkonfiguration der Geräte kann hier nachgelesen werden:[1]

Batman-Gerät

Wenn man ein Batman-VLAN untagged auf einen der Ports ausgibt kann man Gluon Hardware z.B. NSLM2 einfach als Mesh-On-(L)WAN konfigurieren und anschliessen. Es muss nur sichergestellt sein das kein Freifunk Client Netzwerk als untagged oder tagged auf VLAN3 anliegt.

Switche

Switch Standort 1

Geraetetyp UBNT EdgeSwitch 24

Die Konfiguration der VLANs kann folgender Liste entnommen werden: Portmapping EdgeSwitch Unimedizin

Switch Standort 2

Geraetetyp RRB260GSP

Wichtig: update auf neuste FW

Server Remote Zugriff

Hier ein kleiner Script der den Zugriff auf das IPMI erleichtert:

 #!/bin/bash
 set -x
 shell='foo@10.37.0.42'
 ipmihost='192.168.1.223'
 ifalias='127.0.0.1'
 ports="80 443 623 5900 5901 5120 5123 8889"
 for p in $ports; do
     fwportspec=" ${fwportspec} -L $ifalias:$p:$ipmihost:$p "
 done
 sudo ifconfig lo alias $ifalias
 sudo ssh -v -p 23 -C $fwportspec $shell


Konfiguration

SNMP angeschaltet fuer Monitoring

Unter VLANs müssen alle genutzten VLANs aufgeführt sein sonst entfernt die Mikrotik Switch einfach den VLAN Tag und schickt die daten untagged weiter.

Port Geraet GeraeteVLAN Kabelbezeichnung Anmerkung
? NB19SAC (Lerchenberg 220°) 2O - rot
? NSM5 (Finthen 270°) 2Q - gelb
2 NSM5 (Oberstadt 130°) 2R - grün Switch POE aktiv
3 NSM5 (Bretzenheim 225°) 11 2S - blau Switch POE aktiv
?
SFP UK-SW1 all LWL Verbindung Standort1

Kabel

Kabel an Standort 1

Kabel Switchport Gerät Anmerkung
1A 2 NSM5 (Hartenberg 315°)
1B 4 NSM5 (Neustadt 355°)
1C X
1D 3 NSM5 (Altstadt 70°)
1E X
1F X
1G X Defekt
1H 1 NSLM2-1 Defekt
1I X

Kabel an Standort 2

Kabel Switchport Gerät Anmerkung
2N X Gelbes Kabel - auf Switch-Seite nicht konfektioniert
2O ? NB19SAC (Lerchenberg 220°) Rotes Kabel
2P X Rotes Kabel - auf Switch-Seite nicht konfektioniert
2Q ? NSM5 (Finthen 270°) Gelbes Kabel
2R 1 NSM5 (Oberstadt 130°) Grünes Kabel
2S 3 NSM5 (Bretzenheim 225°) Blaues Kabel