Standorte/Uniklinik-Hochhaus/Konfiguration
Technische Konfiguration der installierten Geräte
Status
Der Standort Uniklink läuft seit Dezember 2014 sehr stabile, die Aufgabe des Standort ist es, die einzelnen Batman Wolken zu Verbinden. Hierzu dient ein Batman Router um die einzelnen Richtfunkverbindungen über Layer2 zu verbinden. In der Betriebszeit wurde die Konfiguration des Standorts öfters verändert. Die aktuelle Seite versucht den aktuellen Status zu beschreiben.
Wir haben im Winter 2016 von Viprinet einen * Viprinet Mulitchannel Router 2620 und eine vHub Lizenz bekommen um am Uniklinik Standort mehrere Internetverbindungen, welche wir per Wlan Richtfunk an den Standort heranführen zu bündeln zudem wurde eine Ubiquiti Edge Switch gekauft um dem Komplexen Aufbau am Standort 1 gerecht zu werden.
Zudem wurde nach einem Sturmschaden die Nanostations am Standort2 gegen Ubiquiti Litebeam AC 120 ausgetauscht.
The Big Picture
Die Batmanpakete werden über die Richtfunkstrecken empfangen und über einzelnen VLANs in die Switches geführt um von dort zu dem Batman-Router geschickt zu werden. Als Batman-Router existieren zwei Geräte die per Gbit an die Switch an Standort 1 angeschlossen sind. Zum einen der Batman Router, in Form eines TP-Links 1043v3 und zum anderen das Backkbonegateway eine VM die Virtualisiert auf der X86 Hardware am Standort 1 läuft.
Zum Anschluss von Richtfunkantennen sind an der Switch am Standort 1 die Anschlüsse 1-10 und am Standort 2 die Anschlüsse 2-5 vorgesehen. An jedem dieser Anschlüsse liegt für Ubiquiti Hardware ein getaggedes VLAN aus dem Bereich 101-120 und das VLAN 3 als Management Netzwerk (Freifunk IP-Range) an. Sollte Gluon Richtfunkhardware angeschlossen sein so liegt auf dem entsprechendem Switch-Port ein Batman-VLAN aus dem Bereich 101-120 untagged an. So ist es einfach möglich Batmangeräte mit aktivierten Mesh-On-Wan anzuschließen. Eine Trennung der einzelnen Geräte und damit das Routen über den Batman Router wird über die Batman-VLANs sichergestellt. Die Batman VLANs werden per Gbit sowohl in den Batman Router als auch in das Backbone Gateway geführt. Im Batman Router als auch im Backbone Gateway ist das VLAN3 Teil der Client-Bridge und die VLANs 101-120 sind als 'Eingangs'-Schnittelle dem bat0 zugeordnet. Der Unterschied zwischen den beiden Geräten ist, dass beim Batmanrouter alle VLANs auf auto=False stehen auser VLAN101, um im Havarierfall den Router erreichen zu können und die Funktionalität des Backkbonestandorts zu erhalten. WICHTIG: Es darf nur auf einem der beiden Batman Router das VLAN3 teil der Client Bridge sein sonst erzeugt man eine Layer3 loop.
Um dem Backbone Gateway eine Feste IP geben zu können setzen wir einen VIPRINET Multichannel 2620 Router mit einem vHub auf einem KVM Hypervisor als Gegenstelle ein. Dies ermöglicht es uns eine Feste öffentliche IP aus der IP-Range des Rechenzentrums auf den Uniklink Standort zu routen und gleichzeitig bis zu 6 Internet-Uplinks an diesem Standort zu Bündeln. Die Viprinet Hardware baut hierfür über mehrere Uplink Netzwerke eine verschlüsselte VPN-Verbindung zu der vHub Gegenstelle im Rechenzentrum auf und bündelt dann die einzelnen Datenströme zu einer einzelnen Verbindung über die sich die IP routen lässt. Über den LAN Ausgang des Viprinet Routers wird das so erzeugte private Uplinknetzwerk (192.168.0.0/24) als VLAN2 in die Switch an Standort 1 geführt und steht so sowohl dem Backbone Gateway als auch dem Batman Router als WAN-Uplink zur Verfügung. Für den FASTd uplink des Batman Routers reicht eine genatted IP aus dem Privaten Bereich. Das vHub routed auf die private IP des Backbone Gateways zusätzlich die öffentliche IP Addresse aus dem Rechenzentrum welche von dem Rechenzentrumsgateway auf die öffentliche IP des vHubs gerouted wird. Somit ist es möglich auf dem Uniklink Standort eine GRE Verbindung zum Freifunk Rheinland auf-zumachen. In diesem privaten Uplinknetzwerk liegt auch die IP-Addresse des dedizierten IPMI Anschluss des Backbone-Hypervisors. Dieser ist somit per Tunnel über den Batman Router oder das Backbone Gateway erreichbar.
Die Internet Uplinks sind über sechs einzelnen Gbit Ethernet Module im Viprinet Router realisiert. Jeder einzelne Port wird untagged in die Switch am Standort 1 geführt und hier als getaggedes VLAN aus dem Bereich 61-66 an die entsprechende Richtfunkantenne geliefert. Auf dieser Richtfunkstrecke liegt dieser Uplinkport nun als WLAN0.6x an. Schickt ein Backbone-Client seine Internetverbindung an die Uniklink so geschieht das in einem WLAN0.6x parallel zu dem normalen Batman Strom über das ungetaggede WLAN0. Es empfiehlt sich auf Backbone Client Seite ein Extra Netz in Form einer DMZ oder eines Gastnetzes zu nutzen. Über diese Verbindung werden nur Daten verschlüsselt mit unserem vHub ausgetauscht. Um sicherzustellen das niemand diesen Uplink innerhalb des Backbone missbrauchen kann lässt sich der Netzwerkverkehr auf Backbone-Client Seite per Firewall auf der Ubiquiti Hardware auf die IP des vHubs beschränken.
.png)
]
Geräte
Die relevanten beteiligten Geräte in der hiesigen Betrachtung sind:
- div. Ubiquiti-Geräte (NSM, Loco, oder stärker gerichtete)
- Batman-sprechendes Gerät (z.B. TP-Link)
- zwei Switche, einer pro Antennenstandort (also pro Mast)
- Viprinet Mulitchannel Router 2620 an Standort 1
- das Backbongateway Extrasahne sowie der Hypervisor an Standort 1
- die Glasfaserverbindung zwischen Standort 1 und Standort 2
Backofen Hypervisor
- Motherboard: Supermicro X9SCM-F Mainboard
- CPU: Intel Xeon E3-1225v2
- RAM: 8Gb ECC DDR Ram
- HDD: 64Gb SSD
- 1He 19" Server-Gehaeuse
Mikrowellen Hypervisor
- Motherboard: Supermicro X9SCM-F Mainboard
- CPU: Intel Xeon E3-1235LV3
- RAM: 8Gb ECC DDR Ram
- HDD: 250Gb 2.5" HDD
- 2He 19" Server-Gehaeuse
Layer 1
Alle ubnt-Geräte werden an den Switch des jeweiligen Antennenstandortes verkabelt.
Die Switches an den beiden Antennenstandorten sind über eine 1-GBit/s-Ports LWL Leitung (80m) verbunden.
An Standort 1 ist auch die restliche Hardware stationiert und ist per GBit angebunden.
Layer 2
Das Netzwerk ist in folgende VLANs unterteilt:
2 : WAN-Netzwerk 3 : Freifunk-Managment 101-120 : Batman VLANs 61-66 : Internet Uplink VLANs
An die Switch an Standort 2 werden nur folgende VLANs weitergeleitet : 3,110-120,61-66
Das WAN-Netzwerk dient als Uplink für das Backbone Gateway und als Managment Netzwerk des Backbone-Hypervisors.
Das Freifunk-Managment Netzwerk liegt als getaggtes VLAN3 an allen ubnt Antennen an und ermöglicht so das erreichen des Webinterface über das Freifunk-Netzwerk.
Die Batman-Datenströme der einzelnen ubnt-Geräte werden durch die Batman VLANs getrennt, hierfür bekommt jedes ubnt-Gerät für die Kommunikation mit dem Batman-Gerät sein eigene VLAN. Dem Batman Router werden als Eingang alle diese Batman VLANs hinzugefügt, somit erscheinen alle Teilnehmer nicht mehr als Mesh innerhalb des Backbones sondern werden über den Batman-Router gerouted.
Über die Internet Uplink VLANs werden die einzelnen Internetuplinks welche per WLAN VLAN 61-63 an die Uniklink geschickt werden getrennt und dann als untagged an die WAN-Module des Viprinet Routers geliefert. Das entsprechende WLAN VLAN liegt nur an dem Port der Richtfunkantenne an die den Datenstrom empfängt.
Layer 3
Auf ein Layer-3-Routing können wir vorerst verzichten. Sobald die Mainzer Batman-Wolke zu groß wird und eine Layer-3-Unterteilung erforderlich macht, oder wir Links zu anderen Communities schlagen wollen (Wiesbaden, Frankfurt, Darmstadt), müssen wir über Layer-3-Routing und z.B. BGP nachdenken.
Da zwei Batman geräte parallel arbeiten muss sichergestellt werden das nur ein br-client Netzwerk mit dem VLAN3 verbunden ist. Sonst tritt eine Layer3 Loop im Netzwerk auf.
Die einzelnen Geräte
Ubiquiti-Geräte
Hier sind die einzelnen Ubiquiti Geräte und ihre Konfigurationsparameter aufgezeigt:
| Device Name | SSID | Frequency | Freifunk IP | VLAN |
|---|---|---|---|---|
| NSM5 FFMZ-BB Uniklinik Altstadt | ffmwu-UM-as | 5670 | 10.37.2.10 | 101 |
| NSM5 FFMZ-BB Uniklinik Neustadt | ffmz-bb-uk-ns-108-40 | 5540 | 10.37.2.11 | 102 |
| [off] NSM5 FFMZ-BB Uniklinik Hartenberg | ffmz-bb-uk-ns-112-40 | 5680 | 10.37.2.12 | 103,109 ?? |
| PBM5-300 FFMZ-BB Uniklinik Waldhausen | ffmwu-UM-WH | 5700 | 10.37.2.13 | 105 |
| FFMZ-BB Uniklinik - Holzturm | ffmwu-UM-HT | 5630 | 10.37.2.14 | 104,61,63 |
| Client: FFWI-Opelbad [access?] | ffmwu-Opelbad-11ac-170 | 5605 | 10.37.2.15 | 55 ?? |
| LB120ac FFMZ-BB Uniklinik Bretzenheim | ffmwu-UM-br | 5605 | 10.37.2.20 | 114 |
| LB120ac FFMZ-BB Uniklinik Oberstadt | ffmwu-UM-os | 5580 | 10.37.2.21 | 115 |
| LB120ac FFMZ-BB Uniklinik Finthen | ffmwu-UM-fi | 5540 | 10.37.2.22 | 113 |
Die Grundkonfiguration der Geräte kann hier nachgelesen werden:[1]
Batman-Gerät
Wenn man ein Batman-VLAN untagged auf einen der Ports ausgibt kann man Gluon Hardware z.B. NSLM2 einfach als Mesh-On-(L)WAN konfigurieren und anschliessen. Es muss nur sichergestellt sein das kein Freifunk Client Netzwerk als untagged oder tagged auf VLAN3 anliegt.
Switche
Switch Standort 1
Geraetetyp UBNT EdgeSwitch 24
Die Konfiguration der VLANs kann folgender Liste entnommen werden: Portmapping EdgeSwitch Unimedizin
Switch Standort 2
Geraetetyp RRB260GSP
Wichtig: update auf neuste FW
Server Remote Zugriff
Hier ein kleiner Script der den Zugriff auf das IPMI erleichtert:
#!/bin/bash
set -x
shell='foo@10.37.0.42'
ipmihost='192.168.1.223'
ifalias='127.0.0.1'
ports="80 443 623 5900 5901 5120 5123 8889"
for p in $ports; do
fwportspec=" ${fwportspec} -L $ifalias:$p:$ipmihost:$p "
done
sudo ifconfig lo alias $ifalias
sudo ssh -v -p 23 -C $fwportspec $shell
Konfiguration
SNMP angeschaltet fuer Monitoring
Unter VLANs müssen alle genutzten VLANs aufgeführt sein sonst entfernt die Mikrotik Switch einfach den VLAN Tag und schickt die daten untagged weiter.
| Port | Geraet | GeraeteVLAN | Kabelbezeichnung | Anmerkung |
|---|---|---|---|---|
| ? | NB19SAC (Lerchenberg 220°) | 2O - rot | ||
| ? | NSM5 (Finthen 270°) | 2Q - gelb | ||
| 2 | NSM5 (Oberstadt 130°) | 2R - grün | Switch POE aktiv | |
| 3 | NSM5 (Bretzenheim 225°) | 11 | 2S - blau | Switch POE aktiv |
| ? | ||||
| SFP | UK-SW1 | all | LWL Verbindung Standort1 |
Kabel
Kabel an Standort 1
| Kabel | Switchport | Gerät | Anmerkung |
|---|---|---|---|
| 1A | 2 | NSM5 (Hartenberg 315°) | |
| 1B | 4 | NSM5 (Neustadt 355°) | |
| 1C | X | ||
| 1D | 3 | NSM5 (Altstadt 70°) | |
| 1E | X | ||
| 1F | X | ||
| 1G | X | Defekt | |
| 1H | 1 | NSLM2-1 | Defekt |
| 1I | X |
Kabel an Standort 2
| Kabel | Switchport | Gerät | Anmerkung |
|---|---|---|---|
| 2N | X | Gelbes Kabel - auf Switch-Seite nicht konfektioniert | |
| 2O | ? | NB19SAC (Lerchenberg 220°) | Rotes Kabel |
| 2P | X | Rotes Kabel - auf Switch-Seite nicht konfektioniert | |
| 2Q | ? | NSM5 (Finthen 270°) | Gelbes Kabel |
| 2R | 1 | NSM5 (Oberstadt 130°) | Grünes Kabel |
| 2S | 3 | NSM5 (Bretzenheim 225°) | Blaues Kabel |