EdgeMax router retten …

Ich hatte die vergangene Woche relativ viel Pech und ich beide meiner EdgeMax-Router (EdgeMax Lire und EdgeMax 5PoE) in einen zustand gebracht, in dem sie nicht mehr ordentlich booteten. Beide Zustände waren selbst verschuldet: Bei einem Router hab ich scheinbar einen wichtigen BootSkript modifiziert, so dass in einem bestimmten Zustand ein Booten nicht mehr möglich war. Bei dem anderen Router hab ich wohl durch „ungünstiges“ Reseten das FileSystem geschrottet.

Es stehen nun zwei Varianten für das Recovery zur Verfügung.

  1. Recovery System vie TFTP booten und Fehler beheben
  2. Router aufschrauben, USB Stick ausbauen, Stick an anderem System mounten und die Reperatur starten

Alles setzt auf dem EdgeMax RecoveryKit auf. Will man via TFTP sein system retten, geht man nach dieser Anleitung vor: https://community.ubnt.com/t5/EdgeMAX/EdgeMax-rescue-kit-now-you-can-reinstall-EdgeOS-from-scratch/td-p/514857

In meinem fall musste ich jedoch nicht alles neu installieren. Wenn man das Rettungs-OS hoch gefahren hat, ist unter /root/w das overlay gemounted. Hat man im EdgeOS irgendein Script oder Config File geändert, taucht es hier auf. Löscht man es, hat man wieder die original Version. Im Zweifelsfall kann man einfach alle Änderungen in einen Sicherungs-Ordner verschieben und von Scratch starten …

Eine andere Hausnummer war der IO Defect. Hier musste ich erst mal den Stick ausbauen und testen. Nach mehrfachen „badblock“ Durchläufen war klar, dass es nur das FileSystem zerschossen hatte. Da nach den Durchlauf von Badblock die PartionsTabelle zerstört wurde muss ich komplett vom scratch aufsetzten.

Mit folgendem script habe ich angefangen: https://github.com/vyos/emrk/blob/master/bin/emrk-reinstall.

Da ich keine Risiko eingehen wollte, habe ich alle befehle einzeln per hand ausgeführt, man kann aber auch einfach die variablen korrekt setzten und das Skript im ganzen ausführen. Anschließend Stick wieder einbauen router hochfahren und neu konfigurieren…

IP-Connection-Track erkennt keine stehenden Verbindungen

Wer das Problem hat, dass bei iptables-Rules wie der folgenden keine (oder nur vereinzelt) Verbindungen nach draußen zustande kommen hat das gleiche Problem wie ich es hatte:

iptables -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A FORWARD -i eth1 -o pppoe0               -j ACCEPT

Die Regel besagt, alles von „Drinnen“ (eth1) nach „Draußen“ (pppoe0) zuzulassen und alle Pakete der Verbindungstatus als ESTABLISHED oder RELATED erkannt wird zuzulassen. Kurz: eine StateFull-Firewall die alles von drinnen nach draußen routet aber von draußen nur angefragtes rein lässt.

Wer auf etwas „stabilere“ (oder ältere) Software setzt (in Worten: debian squeeze) ist noch mit einem 2.6er Kernel unterwegs. Bei diesem sind die Module fürs ConnectionTracking wohl noch etwas schärfer/unbrauchbarer.

Erst mit folgendem Befehl verhält sich das ConnectionTracking wie man es erwarten würde:

echo 1 > /proc/sys/net/netfilter/nf_conntrack_tcp_be_liberal

Ab Kernel 2.6.22 ist dies nicht mehr notwendig.

Quelle: http://conntrack-tools.netfilter.org/manual.html

EdgeMax Router und die eigene DHCP-Server Config

Wer einen EdgeMax Router im Einsatz hat, kann über die Configschnittstelle seinen DHCP Server aufsetzten. Wer aber einen bestehenden DHCP Server migrieren will, wird blöde, alles über dieses Interface einzuhacken. Es geht auch einfacher. Die bestehende dhcpd.conf unter /config ablegen. Man kass es prinzipjell überall hinlegen, aber dort überlebt die Datei ein Firmware-Upgrade.

 

Anschließend die Datei /etc/init.d/dhcpd anpassen und von der automatisch generierten auf die /config/dhcpd.conf umbiegen. Wenn man im Configmenu den DHCP-Server abgeschaltet hat (kein Eintrag unter services) muss man nun noch den DHCP-Server beim Start mit starten lassen:

update-rc.d dhcpd default

Schon hat man seinen selbst-konfigurierten DHCP Server am Start.

EdgeMax Lite – eine kurze Review

Seit 14 Tagen verrichtet ein Router der Marke „EdgeMax Lite“ von Ubiquiti seinen Dienst in meinem Netzwerk. Hier eine kleine Zusammenfassung meiner Erfahrungen.

Kurzfazit: Dieser Router wurde darauf ausgelegt 1Gbit über alle drei Ethernet Interfaces zu routen. Dafür wurde auf die üblichen Dinge wie WLAN, integrierter Switch, TK-Anlage und weitere Features verzichtet. Wer hingegen einen leistungsstarken Router und nur „einen Router“ braucht, der liegt mit diesem Gerät goldrichtig.

Der EdgeMax Lite wird es als Produkt nicht leicht haben, dass wird schon bei einem einfachen Blick auf die Featureliste und Technischen Daten klar. Andere Produkte im 100€ Segment bieten für die „normale Nutzung“ wesentlich mehr zusätzliche Features. Spätestens 30 Minuten nach Inbetriebnahme dürfte der Normalnutzer entgeistert aufgeben und bereuen sich keine „Eierlegende Wollmichsau“ zum gleichen Preis gekauft zu haben. Wie ein solcher „Vergleich“ sich dann in einem Test niederschlägt, kann man bei SmallnetBuilder nachlesen. Den EdgeMax mit einer FritzBox zu vergleichen ist ungefähr so als wolle man einen Combi mit einem Sportwagen vergleichen. Das kann man machen, viel Sinn macht es aber nicht.

Ich hab mich für einen Einsatz des EdgeMax entschieden, da mein „alter“ Buffalo AG300H einige Features einfach nicht abdecken konnte. Das Killer-Feature war dabei der Routing-Durchsatzt. Ich wollte meinen Server von meinem lokalen LAN isolieren. Etwas was jeder IT-Azubi im ersten Lehrjahr lernen sollte. Mit dem Buffalo war das nicht möglich. Ein frisches OpenWRT mit geflushten Iptables brachte gerade mal 400mbits über den Router. Sobald ein paar Iptables Rules zum Einsatz kamen, sank der Durchsatz auf unter 300mbits. HD Filme die von einem NAS gestreamt werden, fangen jetzt an zu ruckeln. Das war keine Option.

Der EdgeMax gibt sich hier keine Blöße. Wie von Ubiquiti beworben legt er das Gigabit auf die Leitung. Der Einsatz von Firewall-Regeln oder QoS  hat dabei keinen Einfluss auf den Durchsatz, wenn man sich an kleinere Einschränkungen hält (erleuterung folgt gleich). Mittels IPerf konnte ich 850mbits ermitteln. Wobei mein Switch 900mbits auf die Leitung legt. Dieser Durchsatz wird erreicht, ohne dass der CPU auch nur Notiz davon nimmt (Load von 0).

Ein Blick auf die technischen Daten macht aber klar, dass dieses Ergebnis zu erwarten ist. Zum Einsatz kommt ein Cavium Octeon 500MHz Dual Core (Hardware Einheit zur Paketverarbeitung inklusive), 512MB RAM und 2GB Flashspeicher. Das ist einfach eine andere Hausnummer als meine bisherige Routerhardware. Auch so hinterlässt der EdgeMax einen anderen Eindruck als jeder SoHo Router den ich bis jetzt in die Finger bekommen habe. Er blinkt nicht wie ein Weihnachtsbaum und buhlt auch nicht um Aufmerksamkeit wie die letzten Asus und Netgear Geräte.

EdgeMaxLite
EdgeMax-Lite während der Konfiguration

Das auffälligste ist im ersten Moment der vierte RJ45 Port – die gute alte Serielle Schnittstelle ist zu Wartungszwecken raus geführt worden. Gut selbst Cisco nutzt dafür jetzt USB Ports aber egal, ob Hauptsache sie ist raus geführt. Danach bekommt man (normalerweise) als erstes die (Web) GUI zu Gesicht. Diese kann man wohlwollend mit „managementtauglich“ Beschreiben. Man kann quasi jedem Azubi Zugriff geben, viel kaputt machen kann er nicht… Selbst für das Konfigurieren der Interfaces braucht man Zugriff via Konsole. Eine Konsole kann man zwar auch über die GUI bekommen, aber dass ist dann nicht mehr Klicki-Bunti. Überhaupt die GUI noch die sichtbarste Baustelle. Das einrichten einer Firewall Rule geht noch alles andere als intuitive von der Hand.

Wenn man sich via SSH (muss aktiviert werden) oder gar Seriellen Konsole auf den Router verbindet bekommt man direkten Zugriff auf das Router OS. Zum Einsatz kommt ein von Ubiquiti geforktes Vyatta. Dies ist eine Debian basierte Router Distribution. Anders als z.B Chanonical setzt Ubiquiti aber auf die standart Debian (squeeze) Quellen.

Die zur Verfügung gestellte vbash lehnt sich in Aufbau und Bedienung an die IOS (Cisco) Devices an. Das kann man mögen, muss aber man nicht. Standardmäßig wird zudem eine eingeschränkte Quagga Routing Suite eingesetzt. Wobei ich das Gefühl nicht loswerden, dass diese nur eingeschränkt wurde, weil man noch nicht das ganze Spektrum in der Konfigurations-Schnittstelle abdecken kann.

Das Konfigurieren geht dabei gut von der Hand. Schnittstellen und Routing sind schnell und übersichtlich Konfiguriert und der Router einsatzbereit. Besonders angenehm fällt dabei die „Commit/Rollback“-Fähigkeit der Konfigurationsoberfläche auf. Änderungen müssen erst via „Commited“ freigegeben werden bevor man sie final in den VRAM raus schreiben kann. So kann man zu jedem Zeitpunkt seine Änderungen „einsehen“. Beim Commit werden die neuen Einstellungen auf „Konsistenz“ geprüft. Firewall Rules ohne Interface werden gar nicht erst gespeichert. Anschließend werden alle Änderungen wirksam gemacht: Befehle angewendet, Dienste neu gestartet usw. Erst jetzt kann der finale „Save“ ausgeführt werden. Fehlkonfigurationen bei denen man sich selber Aussperrt, werden so erschwert. Zusätzlich können mehrere Einstellungssets vorgehalten werden. Das wirkt alles ausgereift und durchdacht. Nur leider bleibt das was man konfigurieren kann, weit hinter dem zurück, was dieser Router bietet.

Für mich war bei der Einrichtung der Firewall Schluss mit der vbash. Ich weiß nicht wie viele Versuche ich gesehen habe das Iptables-Kommando vor dem Benutzer zu verstecken. Dies ist ein weiterer auf der Liste. Kurz: ich führe nur noch das Nötigste (interfaces, web-gui abschalten, logins) in der Konfiguration, danach geht es über einen zweiten Benutzer (alternativ sudo su) an das „eigentliche“ Debian.

Ab jetzt spielt der „Router“ seine Stärke aus: brachiale Performance, Platz und Debian halt. 2GB sind für den Anfang mehr als genug um ein paar zusätzliche Dienste zu installieren. Da man die kompletten Debian-Quellen im Zugriff hat, findet man eigentlich jeden Dienst, den man irgendwie im Netzwerk gebrauchen könnte. Man hat aber auch nur 2GB Speicher. Eine Erweiterung via USB oder anderen BusSystem ist nicht vorgesehen. Zum Hosten kleiner WebSites würde es reichen, ist aber nicht zu empfehlen. Begründung folgt gleich…

Bei muss der Router FreeRadius , Kerberos  zur Verfügung stellen und mehrere Clients mit einer 2 DMZ-Lans verbinden. Zu Testzwecken hab ich vier simultane (unterschiedliche Rechner) bonnie++ auf eine NFS Freigabe losgegangen. Der Durchsatz über den Router lag immer  im Bereich 750 bis 850 mbits und die CPUs langweilten sich bei einem Load von 0. Auch versuche die CPU mit normalen Radius/Kerberos anfragen zu quälen, waren nicht von Erfolg gekrönt. Das sollte für den „Heimgebrauch“ reichen. Der Durchsatz ist aber stark vom Einsatz-Szenario abhängig. Die Hardwarebeschleunigung greift nicht überall. Sobald Bridging oder VLANs in Spiel kommen, muss die CPU rann. IPv6 wird erst mit der neusten Firmware auch „beschleunigt“ (disabled by default.). Wenn die Hardwarebeschleunigung fehlt bricht der Durchsatz rapide ein. Jeh nach Szenario landet man bei 500mbits oder gar 400 mbits (Firewall, NAT, QOS, IPv6 ohne HW) und der CPU ist am Limit. Der Router war allerding noch  ansprechbar, und gut bedienbar. Ich hab es mit fünf Simultanen Floodings nicht geschafft, den Router so weg zu schießen, dass er nicht mehr bedienbar war. Ob er einem richtigen DDOS angriff stand hält würde ich mal bezweifeln.

Ein Wort zu den VLANs/Bridging Einschränkungen. Es ist möglich auf einem Interface „ungebridged“/“ungetagged“ und gleichzeitig „bridged“/“tagged“ zu arbeiten. Dabei wird der „ungebridged“/“ungetagged“ Traffic durch die Hardware beschleunigt und der Rest muss über die CPU. Man hat also, wenn man es clever anstellt, genügend Spielraum diesen „Makel“ zu umgehen. Zumal der Hersteller in Aussicht gestellt hat, dass sich dieser Umstand in Zukunft noch verbessert, sprich VLANs auch Hardware beschleunigt werden. Überhaupt sind noch viele der Eckpunkte des EdgeMax „im Fluss“. Ubiquiti erweitert mit jedem Update die Funktionalitäten, den Umfang der Hardwarebeschleunigung und behebt (natürlich) Bugs. Dabei hatte ich nie das Gefühl eine Beta im Einsatz zu haben. (Wobei man sich für selbige anmelden kann.) Die FirmwareUpdates machen immer einen sehr runden Eindruck.

Wo wir bei den Firmware Updates waren. Die kommen momentan recht zügig (zwischen 1.1.0 und 1.2.0 lagen 4 Monate). Das Firmwareupdate läuft dabei ähnlich wie bei OpenWRT. Einmal geflasht gehen alle Informationen verloren. Einzig die ConfigDatei und alles was in bestimmten Ordnern liegt wird erhalten. Größere Datenmengen oder gar Datenbanken verbieten sich da. Da nach einem Update sowieso die zusätzlichen Dienste neu installiert werden müssen, sollte man sich nur Keys, Certs und ähnliches auf dem Router vorhalten. Ein richtiger Webserver schließt sich somit fast aus. Komfortabel ist das noch nicht. Ein Mitarbeiter von Ubiquiti hat jedoch erläutert, dass in späteren Versionen auf einen RollingRelease angeboten werden könnte…

Wo wir beim letzten wichtigen Thema sind: dem Support von Ubiquiti. Der wird recht häufig gescholten. Ich hatte bis jetzt nur das „Vergnügen“ ihn in den Foren zu erleben und muss sagen, dass es wirklich ein Vergnügen ist. Es scheinen ein paar Mitarbeiter der EdgeMax Produktlinie abgestellt worden zu sein, durch die Foren zu streifen. Zu jeder wichtigeren Frage findet man immer eine, meist sogar mehrere Antworten von Ubiquiti-Mitarbeitern. Sie begründen Entscheidung, gehen auf Testergebnisse ein oder geben Hilfestellungen. Alles in allem macht es einen ungewohnt offenen Eindruck. Dies ist aber angesichts der Funktionalität und der (fehlenden) Dokumentation auch nötig. Während die meisten etablierten Router-Hersteller eine selbsterklärende GUI oder dicke (sinnfreie) Manuals anbieten, baut Ubiquiti gerade erste ihre KnowledgeBase auf. Bei vielen Fragen muss man aufs Forum zurückgreifen. In diesem Fall sehe ich das aber nicht als Nachteil. Die Suche funktioniert gut die passenden Antworten sind markiert.

Ein letztes Wort zum Thema OpenSource: Hier blick ich nicht mehr ganz durch. Laut Ubiquiti ist es möglich sich einen eigenen Kernel oder gar Image selber zu erzeugen. Bei Freebsd und OpenWRT gibt es auch Builds die wohl den Chip unterstützen. In wie weit dort die Hardware-Beschleunigung inbegriffen ist konnte ich in Ermangelung an Zeit nicht Testen. Interessant ist in jedem Fall, das für einen SDK von Cavium erst mal ein NDA unterzeichnet werden muss. Man bekommt also einen Kernel mit ClosedSource Binaries. Für Leute die nur 100% frei Software im Einsatz haben wollen, ist die Büchse aktuell erst mal nichts.

Für alle anderen, die einen „echten“ Router suchen, ist der EdgeMax genau das richtige. Klein, Unscheinbar, Leistungsstark und wenn man Linux beherrscht simpel in der Bedienung. Hatte ich den serielle Konsole schon erwähnt? Ende des Jahres sollte die 5Port POE Version des Routers im Handel verfügbar sein, dann werden meine Buffalos endgültig ausgemistet…