Freifunk MWU Wiki

Änderungen

Standorte/Uniklinik-Hochhaus/Konfiguration (Quelltext anzeigen)

Version vom 10. September 2021, 17:40 Uhr

8.080 Bytes entfernt ,  17:40, 10. Sep. 2021
→‎Status: Gründlich aufgeräumt
Zeile 1: Zeile 1: −
= Technische Konfiguration der installierten Geräte =
+
=Technische Konfiguration der installierten Geräte=
   −
== Status ==
+
==Status ''[September 2021]''==
   −
Der Standort Uniklink läuft seit Dezember 2014 sehr stabile, die Aufgabe des Standort ist es, die einzelnen Batman Wolken zu Verbinden. Hierzu dient ein Batman Router um die einzelnen Richtfunkverbindungen über Layer2 zu verbinden. In der Betriebszeit wurde die Konfiguration des Standorts öfters verändert. Die aktuelle Seite versucht den aktuellen Status zu beschreiben.
+
Der Standort Uniklink läuft seit Dezember 2014. Die Aufgabe des Standortes ist es, die einzelnen Batman Wolken zu Verbinden. Hierzu dient ein Batman Router um die einzelnen Richtfunkverbindungen über Layer2 zu verbinden. In der Betriebszeit wurde die Konfiguration des Standorts öfters verändert. Diese Seite hier versucht den aktuellen Status (Sept. 2021) zu beschreiben.
   −
Wir haben im Winter 2016 von Viprinet einen * [https://www.viprinet.com/en/products/multichannel-vpn-router-modular/multichannel-vpn-router-2620  Viprinet Mulitchannel Router 2620] und eine [https://www.viprinet.com/de/produkte/multichannel-vpn-hub/viprinet-virtual-vpn-hub vHub Lizenz] bekommen um am Uniklinik Standort mehrere Internetverbindungen, welche wir per Wlan Richtfunk an den Standort heranführen zu bündeln zudem wurde eine Ubiquiti Edge Switch gekauft um dem Komplexen Aufbau am Standort 1 gerecht zu werden.
+
Wir haben im Winter 2016 eine Ubiquiti Edge Switch gekauft um dem Komplexen Aufbau am Standort 1 gerecht zu werden. Nach einem Defekt im August 2021 am Standort 2, wurde nicht nur ein Ubi EdgeSwitch 8 150W PoE installiert sondern auch die Glasfaserverbindung wegen Störungen gegen ein neues 100m Cat6 Kabel ersetzt.
−
 
+
===Geräte===
−
Zudem wurde nach einem Sturmschaden die Nanostations am Standort2 gegen Ubiquiti Litebeam AC 120 ausgetauscht.
  −
 
  −
== The Big Picture ==
  −
Die Batmanpakete werden über die Richtfunkstrecken empfangen und über einzelnen VLANs in die Switches geführt um von dort zu dem Batman-Router geschickt zu werden. Als Batman-Router existieren zwei Geräte die per Gbit an die Switch an Standort 1 angeschlossen sind. Zum einen der Batman Router, in Form eines TP-Links 1043v3 und zum anderen das Backkbonegateway eine VM die Virtualisiert auf der X86 Hardware am Standort 1 läuft.
  −
 
  −
Zum Anschluss von Richtfunkantennen sind an der Switch am Standort 1 die Anschlüsse 1-10 und am Standort 2 die Anschlüsse 2-5 vorgesehen. An jedem dieser Anschlüsse liegt für Ubiquiti Hardware ein getaggedes VLAN aus dem Bereich 101-120 und das VLAN 3 als Management Netzwerk (Freifunk IP-Range) an. Sollte Gluon Richtfunkhardware angeschlossen sein so liegt auf dem entsprechendem Switch-Port ein Batman-VLAN aus dem Bereich 101-120 untagged an. So ist es einfach möglich Batmangeräte mit aktivierten Mesh-On-Wan anzuschließen. Eine Trennung der einzelnen Geräte und damit das Routen über den Batman Router wird über die Batman-VLANs sichergestellt. Die Batman VLANs werden per Gbit sowohl in den Batman Router als auch in das Backbone Gateway geführt. Im Batman Router als auch im Backbone Gateway ist das VLAN3 Teil der Client-Bridge und die VLANs 101-120 sind als 'Eingangs'-Schnittelle dem bat0 zugeordnet. Der Unterschied zwischen den beiden Geräten ist, dass beim Batmanrouter alle VLANs auf auto=False stehen auser VLAN101, um im Havarierfall den Router erreichen zu können und die Funktionalität des Backkbonestandorts zu erhalten. WICHTIG: Es darf nur auf einem der beiden Batman Router das VLAN3 teil der Client Bridge sein sonst erzeugt man eine Layer3 loop.
  −
 
  −
Um dem Backbone Gateway eine Feste IP geben zu können setzen wir einen VIPRINET Multichannel 2620 Router mit einem vHub auf einem KVM Hypervisor als Gegenstelle ein. Dies ermöglicht es uns eine Feste öffentliche IP aus der IP-Range des Rechenzentrums auf den Uniklink Standort zu routen und gleichzeitig bis zu 6 Internet-Uplinks an diesem Standort zu Bündeln. Die Viprinet Hardware baut hierfür über mehrere Uplink Netzwerke eine verschlüsselte VPN-Verbindung zu der vHub Gegenstelle im Rechenzentrum auf und bündelt dann die einzelnen Datenströme zu einer einzelnen Verbindung über die sich die IP routen lässt. Über den LAN Ausgang des Viprinet Routers wird das so erzeugte private Uplinknetzwerk (192.168.0.0/24) als VLAN2 in die Switch an Standort 1 geführt und steht so sowohl dem Backbone Gateway als auch dem Batman Router als WAN-Uplink zur Verfügung. Für den FASTd uplink des Batman Routers reicht eine genatted IP aus dem Privaten Bereich. Das vHub routed auf die private IP des Backbone Gateways zusätzlich die öffentliche IP Addresse aus dem Rechenzentrum welche von dem Rechenzentrumsgateway auf die öffentliche IP des vHubs gerouted wird. Somit ist es möglich auf dem Uniklink Standort eine GRE Verbindung zum Freifunk Rheinland auf-zumachen. In diesem privaten Uplinknetzwerk liegt auch die IP-Addresse des dedizierten IPMI Anschluss des Backbone-Hypervisors. Dieser ist somit per Tunnel über den Batman Router oder das Backbone Gateway erreichbar.
  −
 
  −
Die Internet Uplinks sind über sechs einzelnen Gbit Ethernet Module im Viprinet Router realisiert. Jeder einzelne Port wird untagged in die Switch am Standort 1 geführt und hier als getaggedes VLAN aus dem Bereich 61-66 an die entsprechende Richtfunkantenne geliefert. Auf dieser Richtfunkstrecke liegt dieser Uplinkport nun als WLAN0.6x an. Schickt ein Backbone-Client seine Internetverbindung an die Uniklink so geschieht das in einem WLAN0.6x parallel zu dem normalen Batman Strom über das ungetaggede WLAN0. Es empfiehlt sich auf Backbone Client Seite ein Extra Netz in Form einer DMZ oder eines Gastnetzes zu nutzen. Über diese Verbindung werden nur Daten verschlüsselt mit unserem vHub ausgetauscht. Um sicherzustellen das niemand diesen Uplink innerhalb des Backbone missbrauchen kann lässt sich der Netzwerkverkehr auf Backbone-Client Seite per Firewall auf der Ubiquiti Hardware auf die IP des vHubs beschränken. 
  −
 
  −
 
  −
 
  −
 
  −
  −
 
  −
 
  −
[[Datei:Uniklink_Aufbau_V2_-_Page_1(1).png|frameless|800px]]]
  −
=== Geräte ===
      
Die relevanten beteiligten Geräte in der hiesigen Betrachtung sind:
 
Die relevanten beteiligten Geräte in der hiesigen Betrachtung sind:
−
* div. Ubiquiti-Geräte (NSM, Loco, oder stärker gerichtete)
  −
* Batman-sprechendes Gerät (z.B. TP-Link)
  −
* zwei Switche, einer pro Antennenstandort (also pro Mast)
  −
* [https://www.viprinet.com/en/products/multichannel-vpn-router-modular/multichannel-vpn-router-2620  Viprinet Mulitchannel Router 2620] an Standort 1
  −
* das Backbongateway Extrasahne sowie der Hypervisor an Standort 1
  −
* die Glasfaserverbindung zwischen Standort 1 und Standort 2
     −
==== Backofen Hypervisor ====
+
*div. Ubiquiti-Geräte
−
* Motherboard: [https://www.supermicro.com/products/motherboard/xeon/c202_c204/x9scm-f.cfm Supermicro X9SCM-F Mainboard]
+
*Batman-sprechendes Gerät (z.B. TP-Link)
−
* CPU: Intel Xeon E3-1225v2
+
*zwei Switche, einer pro Antennenstandort
−
* RAM: 8Gb ECC DDR Ram
+
*Ein Patchfeld am Standort 1 (für die einzelnen Masten jeweils eine Gruppe)
−
* HDD: 64Gb SSD
  −
* 1He 19" Server-Gehaeuse
     −
[[File:Backofen.jpg | 640px]]
+
<br />
   −
==== Mikrowellen Hypervisor ====
+
===Layer 1===
−
* Motherboard: [https://www.supermicro.com/products/motherboard/xeon/c202_c204/x9scm-f.cfm Supermicro X9SCM-F Mainboard]
  −
* CPU: Intel Xeon E3-1235LV3
  −
* RAM: 8Gb ECC DDR Ram
  −
* HDD: 250Gb 2.5" HDD
  −
* 2He 19" Server-Gehaeuse
  −
 
  −
[[ File:Mikrowelle.jpg | 640px | Mikrowellen Hypervisor]]
  −
 
  −
=== Layer 1 ===
      
Alle ubnt-Geräte werden an den Switch des jeweiligen Antennenstandortes verkabelt.  
 
Alle ubnt-Geräte werden an den Switch des jeweiligen Antennenstandortes verkabelt.  
   −
Die Switches an den beiden Antennenstandorten sind über eine 1-GBit/s-Ports LWL Leitung (80m) verbunden.
+
Die Switches an den beiden Antennenstandorten sind über eine 1-GBit/s-Ports LAN Kabel (Cat6/7) ca. 100m verbunden.
    
An Standort 1 ist auch die restliche Hardware stationiert und ist per GBit angebunden.
 
An Standort 1 ist auch die restliche Hardware stationiert und ist per GBit angebunden.
   −
=== Layer 2 ===
+
===Layer 2===
    
Das Netzwerk ist in folgende VLANs unterteilt:
 
Das Netzwerk ist in folgende VLANs unterteilt:
   −
2        : WAN-Netzwerk
   
  3        : Freifunk-Managment
 
  3        : Freifunk-Managment
 
  101-120  : Batman VLANs
 
  101-120  : Batman VLANs
−
61-66    : Internet Uplink VLANs
     −
An die Switch an Standort 2 werden nur folgende VLANs weitergeleitet : 3,110-120,61-66
+
An die Switch an Standort 2 werden nur folgende VLANs weitergeleitet : 3,114-120
−
 
  −
Das WAN-Netzwerk dient als Uplink für das Backbone Gateway und als Managment Netzwerk des Backbone-Hypervisors.
      
Das Freifunk-Managment Netzwerk liegt als getaggtes VLAN3 an allen ubnt Antennen an und ermöglicht so das erreichen des Webinterface über das Freifunk-Netzwerk.
 
Das Freifunk-Managment Netzwerk liegt als getaggtes VLAN3 an allen ubnt Antennen an und ermöglicht so das erreichen des Webinterface über das Freifunk-Netzwerk.
Zeile 78: Zeile 38:  
Die Batman-Datenströme der einzelnen ubnt-Geräte werden durch die Batman VLANs getrennt, hierfür bekommt jedes ubnt-Gerät für die Kommunikation mit dem Batman-Gerät sein eigene VLAN. Dem Batman Router werden als Eingang alle diese Batman VLANs hinzugefügt, somit erscheinen alle Teilnehmer nicht mehr als Mesh innerhalb des Backbones sondern werden über den Batman-Router gerouted.  
 
Die Batman-Datenströme der einzelnen ubnt-Geräte werden durch die Batman VLANs getrennt, hierfür bekommt jedes ubnt-Gerät für die Kommunikation mit dem Batman-Gerät sein eigene VLAN. Dem Batman Router werden als Eingang alle diese Batman VLANs hinzugefügt, somit erscheinen alle Teilnehmer nicht mehr als Mesh innerhalb des Backbones sondern werden über den Batman-Router gerouted.  
   −
Über die Internet Uplink VLANs werden die einzelnen Internetuplinks welche per WLAN VLAN 61-63 an die Uniklink geschickt werden getrennt und dann als untagged an die WAN-Module des Viprinet Routers geliefert. Das entsprechende WLAN VLAN liegt nur an dem Port der Richtfunkantenne an die den Datenstrom empfängt.
+
<br />
   −
=== Layer 3 ===
+
==Die einzelnen Geräte==
   −
Auf ein Layer-3-Routing können wir vorerst verzichten. Sobald die Mainzer Batman-Wolke zu groß wird und eine Layer-3-Unterteilung erforderlich macht, oder wir Links zu anderen Communities schlagen wollen (Wiesbaden, Frankfurt, Darmstadt), müssen wir über Layer-3-Routing und z.B. BGP nachdenken.
+
====Ubiquiti-Geräte====
−
 
  −
Da zwei Batman geräte parallel arbeiten muss sichergestellt werden das nur ein br-client Netzwerk mit dem VLAN3 verbunden ist. Sonst tritt eine Layer3 Loop im Netzwerk auf.
  −
 
  −
== Die einzelnen Geräte ==
  −
 
  −
==== Ubiquiti-Geräte ====
      
Hier sind die einzelnen Ubiquiti Geräte und ihre Konfigurationsparameter aufgezeigt:
 
Hier sind die einzelnen Ubiquiti Geräte und ihre Konfigurationsparameter aufgezeigt:
Zeile 94: Zeile 48:  
{| class="wikitable" border="1"
 
{| class="wikitable" border="1"
 
|-
 
|-
−
! Device Name
+
!Device Name
−
! SSID
+
!SSID
−
! Frequency
+
!Frequency
−
! Freifunk IP
+
!Freifunk IP
−
! VLAN
+
!VLAN
 
|-
 
|-
−
| NSM5 FFMZ-BB Uniklinik Altstadt
+
|NSM5 FFMZ-BB Uniklinik Altstadt
−
| ffmwu-UM-as
+
|ffmwu-UM-as
−
| 5670
+
|variabel
−
| 10.37.2.10
+
|10.37.2.10
−
| 101
+
|101
 
|-
 
|-
−
| NSM5 FFMZ-BB Uniklinik Neustadt
+
|NSM5 FFMZ-BB Uniklinik Neustadt
−
| ffmz-bb-uk-ns-108-40
+
|ffmwu-UM-ns
−
| 5540
+
|variabel
−
| 10.37.2.11
+
|10.37.2.11
−
| 102
+
|102
 
|-
 
|-
−
| '''[off]''' NSM5 FFMZ-BB Uniklinik Hartenberg  
+
|NSM5 FFMZ-BB Uniklinik Hartenberg
−
| ffmz-bb-uk-ns-112-40
+
|ffmwu-UM-HB
−
| 5680
+
|variabel
−
| 10.37.2.12
+
|10.37.2.12
−
| 103,109 ??
+
|103
 
|-
 
|-
−
| PBM5-300 FFMZ-BB Uniklinik Waldhausen
+
|PBM5-300 FFMZ-BB Uniklinik Waldhausen
−
| ffmwu-UM-WH
+
|ffmwu-UM-WH
−
| 5700
+
|variabel
−
| 10.37.2.13
+
|10.37.2.13
−
| 105
+
|105
 
|-
 
|-
−
| FFMZ-BB Uniklinik - Holzturm
+
|FFMZ-BB Uniklinik - Holzturm
−
| ffmwu-UM-HT
+
|ffmwu-UM-HT_A
−
| 5630
+
|variabel
−
| 10.37.2.14
+
|10.37.2.14
−
| 104,61,63
+
|104
 
|-
 
|-
−
| ''Client:'' FFWI-Opelbad '''[access?]'''
+
|'''[OFF]''' ''Client:'' FFWI-Opelbad
−
| ffmwu-Opelbad-11ac-170
+
|ffmwu-Opelbad-11ac-170
−
| 5605
+
|variabel
−
| 10.37.2.15
+
|10.37.2.15
−
| 55 ??
+
|55 ??
 
|-
 
|-
−
| LB120ac FFMZ-BB Uniklinik Bretzenheim
+
|LB120ac FFMZ-BB Uniklinik Gonsenheim
−
| ffmwu-UM-br
+
|ffmwu-UM-br
−
| 5605
+
|variabel
−
| 10.37.2.20
+
|10.37.2.20
−
| 114
+
|114
 
|-
 
|-
−
| LB120ac FFMZ-BB Uniklinik Oberstadt
+
|LB120ac FFMZ-BB Uniklinik Oberstadt
−
| ffmwu-UM-os
+
|ffmwu-UM-os
−
| 5580
+
|variabel
−
| 10.37.2.21
+
|10.37.2.21
−
| 115
+
|115
 
|-
 
|-
−
| LB120ac FFMZ-BB Uniklinik Finthen
+
|LB120ac FFMZ-BB Uniklinik Finthen
−
| ffmwu-UM-fi
+
|ffmwu-UM-fi
−
| 5540
+
|variabel
−
| 10.37.2.22
+
|10.37.2.22
−
| 113
+
|113
 
|-
 
|-
 
|}
 
|}
Zeile 158: Zeile 112:  
Die Grundkonfiguration der Geräte kann hier nachgelesen werden:[https://wiki.freifunk-mwu.de/index.php/Howto/Backbone-AP]
 
Die Grundkonfiguration der Geräte kann hier nachgelesen werden:[https://wiki.freifunk-mwu.de/index.php/Howto/Backbone-AP]
   −
=== Batman-Gerät ===
+
===Batman-Gerät===
 
Wenn man ein Batman-VLAN untagged auf einen der Ports ausgibt kann man Gluon Hardware z.B. NSLM2 einfach als Mesh-On-(L)WAN konfigurieren und anschliessen. Es muss nur sichergestellt sein das kein Freifunk Client Netzwerk als untagged oder tagged auf VLAN3 anliegt.
 
Wenn man ein Batman-VLAN untagged auf einen der Ports ausgibt kann man Gluon Hardware z.B. NSLM2 einfach als Mesh-On-(L)WAN konfigurieren und anschliessen. Es muss nur sichergestellt sein das kein Freifunk Client Netzwerk als untagged oder tagged auf VLAN3 anliegt.
   −
=== Switche ===
+
===Switche===
   −
==== Switch Standort 1 ====
+
====Switch Standort 1====
 
Geraetetyp UBNT EdgeSwitch 24
 
Geraetetyp UBNT EdgeSwitch 24
   −
Die Konfiguration der VLANs kann folgender Liste entnommen werden: [[media:Unimedizin_portmapping.pdf | Portmapping EdgeSwitch Unimedizin]]
+
Die Konfiguration der VLANs kann folgender Liste entnommen werden: [[Medium:Unimedizin portmapping.pdf| Portmapping EdgeSwitch Unimedizin]]
−
 
  −
==== Switch Standort 2 ====
  −
 
  −
Geraetetyp RRB260GSP
  −
 
  −
Wichtig: update auf neuste FW
  −
 
  −
==== Server Remote Zugriff ====
  −
 
  −
Hier ein kleiner Script der den Zugriff auf das IPMI erleichtert:
  −
 
  −
  #!/bin/bash
  −
  set -x
  −
  shell='foo@10.37.0.42'
  −
  ipmihost='192.168.1.223'
  −
  ifalias='127.0.0.1'
  −
  ports="80 443 623 5900 5901 5120 5123 8889"
  −
  for p in $ports; do
  −
      fwportspec=" ${fwportspec} -L $ifalias:$p:$ipmihost:$p "
  −
  done
  −
  sudo ifconfig lo alias $ifalias
  −
  sudo ssh -v -p 23 -C $fwportspec $shell
  −
 
  −
 
  −
===== Konfiguration =====
  −
SNMP angeschaltet fuer Monitoring
  −
 
  −
Unter VLANs müssen alle genutzten VLANs aufgeführt sein sonst entfernt die Mikrotik Switch einfach den VLAN Tag und schickt die daten untagged weiter.
  −
 
  −
{| class="wikitable"
  −
!Port
  −
!Geraet
  −
!GeraeteVLAN
  −
!Kabelbezeichnung
  −
!Anmerkung
  −
|-
  −
|?
  −
|NB19SAC (Lerchenberg 220°)
  −
|
  −
|2O - rot
  −
|
  −
|-
  −
|?
  −
|NSM5 (Finthen 270°)
  −
|
  −
|2Q - gelb
  −
|
  −
|-
  −
|2
  −
|NSM5 (Oberstadt 130°)
  −
|
  −
|2R - grün
  −
|Switch POE aktiv
  −
|-
  −
|3
  −
|NSM5 (Bretzenheim 225°)
  −
|11
  −
|2S - blau
  −
|Switch POE aktiv
  −
|-
  −
|?
  −
|
  −
|
  −
|
  −
|
  −
|-
  −
|SFP
  −
|UK-SW1
  −
| all
  −
|
  −
|LWL Verbindung Standort1
  −
|-
  −
|}
     −
=== Kabel ===
+
====Switch Standort 2====
−
==== Kabel an Standort 1 ====
  −
{| class="wikitable"
  −
!Kabel
  −
!Switchport
  −
!Gerät
  −
!Anmerkung
  −
|-
  −
|1A
  −
|2
  −
|NSM5 (Hartenberg 315°)
  −
|
  −
|-
  −
|1B
  −
|4
  −
|NSM5 (Neustadt 355°)
  −
|
  −
|-
  −
|1C
  −
|X
  −
|
  −
|
  −
|-
  −
|1D
  −
|3
  −
|NSM5 (Altstadt 70°)
  −
|
  −
|-
  −
|1E
  −
|X
  −
|
  −
|
  −
|-
  −
|1F
  −
|X
  −
|
  −
|
  −
|-
  −
|1G
  −
|X
  −
|
  −
|Defekt
  −
|-
  −
|1H
  −
|1
  −
|NSLM2-1
  −
|Defekt
  −
|-
  −
|1I
  −
|X
  −
|
  −
|
  −
|-
  −
|}
     −
==== Kabel an Standort 2 ====
+
Geraetetyp UBNT EdgeSwitch 8 150W
−
{| class="wikitable"
+
=====Konfiguration=====
−
!Kabel
+
siehe Plan
−
!Switchport
  −
!Gerät
  −
!Anmerkung
  −
|-
  −
|2N
  −
|X
  −
|
  −
|Gelbes Kabel - auf Switch-Seite nicht konfektioniert
  −
|-
  −
|2O
  −
|?
  −
|NB19SAC (Lerchenberg 220°)
  −
|Rotes Kabel
  −
|-
  −
|2P
  −
|X
  −
|
  −
|Rotes Kabel - auf Switch-Seite nicht konfektioniert
  −
|-
  −
|2Q
  −
|?
  −
|NSM5 (Finthen 270°)
  −
|Gelbes Kabel
  −
|-
  −
|2R
  −
|1
  −
|NSM5 (Oberstadt 130°)
  −
|Grünes Kabel
  −
|-
  −
|2S
  −
|3
  −
|NSM5 (Bretzenheim 225°)
  −
|Blaues Kabel
  −
|-
  −
|}
      +
<br />
    +
===Kabel===
 +
====Kabel an Standort 1====
 +
====Kabel an Standort 2====
 
[[Kategorie:Backbone]]
 
[[Kategorie:Backbone]]
Abgerufen von „https://wiki.freifunk-mwu.de/w/Spezial:Mobiler_Unterschied/10009“