Ich baue mir einen Switch

Zitat von anton

ohne bös zu sein, dann würde ich an einen fertigen Switch denken. und nicht das ganze selber bauen wollen.

Ja Ich trage gern die Pioner kosten Mein Server was Ich für Switch gebaut habe läuft eigentlich Perfekt, mit den Händler werde Ich schon klar kommen, sonst würde Ich die Karte hier verkaufen, das geht auch, und dann schreibt hier jemand ob es leicht war diese zu flaschen, Ich vermute die Karten sind nur für Lenovo Server besondere Hardware geeignet.

Zitat von DoPe

Wird wahrsccheinlich eine "Lenovo" Firmware drauf sein, was ja bei Serverkomponenten nicht unüblich ist. Gerade Lenovo sorgt gerne dafür, dass In ihren Servern nur Original Lenovoteile, also mit bestimmten Firmwareversionen "erkannt" und betrieben werden können. Gute Beispiele sind in deren Notebooks auch die WWAN und Wireless Module.

Solche Hardwareeinschränkungen hätte der Händler aber auch erwähnen können, selbst wenn er die Dinger dann auch nirgends an den Mann bringt.

Was ich aber hier mal wieder krass finde, ist wenn einem die Arbeit zu aufwändig ist, diesen Aufwand und das Risiko die Karten zu killen, jemand anderem überlassen zu wollen. Die Wahrscheinlichkeit, dass hier jemand einen passenden Server rumstehen hat, der nicht in Nutzung ist, dürfte wohl auch sehr gering sein.

Ich glaube wir wissen warum der Händler die Karten so günstig verkauft hat , ja In der Tat um die Netzwerkkarten nutzen zu können, muss man die Flaschen, Ich hätte das gern gemacht, aber mir fehlt eine Festplatte , würde aber mal mit anderen Netzwerkkarten probieren.
Ich weiß jetzt genau was Ich brauche, die Karte muss kein iPXE boot besitzen und auch unter Win11 laufen können, wenn dafür die Treiber schwierig zu finden , dann wählt man die andere Karte.

Zitat von swag

andere Frage willst Du Deinen Switch unter Windows betreiben? (WIN11)

Nein Ich habe extra Linux Server , das Problem ist die iPXE Boot, da es bei booten auf meinem Server hängt.

Zitat von swag

k.A. evt boot rom option im bios disablen?

Hab Ich probiert, die Karte wird einfach mit iPXE initialisiert und es hängt.
Ok, bei scharfen hinkuken, hab Ich sehr kleinen Sticker auf der Karte gefunden welches sagt: MNPH29D-XTR

Ok dann mal Ich bestelle die Festplatte , mach ma gescheit und hoffentlich es funktioniert, weil vorher wusste Ich nicht um welchen Modell sich handelt.

Das ganze wird wie folgt laufen:
Debian Linux installieren (ist einfach diese Distro hat alles was man braucht und der Linux Treiber für Debian funktioniert !)

Ein Haufen von Software Paketen installieren.

mlxup verwenden, Ich mag dieses für Flash Vorgang
Netzwerkkarte Identifizieren:
mlxup -d

Kein Backup , ja weil in meinem Fall macht es sowieso kein Sinn den Lenovo Firmware weiter zu verwenden.

Dann einfach "brennen" :

mlxup -d /dev/mst/yournetworkcard -i fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin

yournetworkcard ist einfach ein Platzhalter für die Bezeichnung von der Netzwerkkarte.

Und ein letzter Feinschliff :

flint -d /dev/mst/yournetworkcard --allow_rom_change drom

Überprüfe ob die xPXE boot nicht aktiviert:

flint -d /dev/mst/yournetworkcard query

So neues Rom gebrannt und hoffentlich ohne iPXE boot rom , dann einfach das gleiche für weitere Netzwerkkarten n mal wiederholen.

Ist natürlich viel Arbeit drin, aber da gibt es die Hoffnung , das alles wieder "gerade gebogen" wurde und es dann nun endlich stabil und schnell laufen wird!

So es war eine Menge von der Arbeit , vorher beschriebenes Flash Prozess funktioniert nur wenn man sehr altes mlxup hat.

Meine Empfehlung besser mit mstflint arbeiten, das hat bei mir tatsächlich funktioniert!

1. Sehr alte mstflint holen , Version 3.7.0 , Ubuntu repo bietet kompatible Pakete dafür kostenlos an.

2. Unbedingt vorher prüfen, dass die richtige Kernel Module geladen sind: lsmod | grep mlx

3. Sicherheitskopie von Ihrer Netzwerkkarte Image anlegen: msflint -d /dev/mst/mt26448_pci_cr0 -i backup.bin extract

4. Die Mellanox Netzwerkkarte mit folgenden Befehl flashen:

mstflint -d /dev/mst/yournetworkcard -i fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin --allow_psid_change burn

5. Den iPXE Boot Rom löschen, wer braucht das noch? Hier ist der Befehl :

mstflint -d /dev/mst/mt26448_pci_cr0 --allow_rom_change drommstflint -d /dev/mst/mt26448_pci_cr0 query

6. Prüfen ob tatsächlich der iPXE weg ist: mstflint -d /dev/mst/mt26448_pci_cr0 query

Fazit: oh man das war wirklich viel Arbeit den passenden mstflint zu finden, Quellcode kompilieren kann man getrost vergessen, einfach den passenden deb Paketen installieren und fertig.

Ok, wirklich tolles Gefühl, wenn man weiss , dass diese Netzwerkkarten noch was taugen!
Die schlechte Nachricht ist: Mellanox connectX2 hat kein autonegotiation!

Ich hatte in einem anderen Beitrag erwähnt, dass Ich ein 2.5 Gbit Tranceiver gekauft habe mit der Absicht in so einem Switch zu verwenden,
klar der Tranceiver funktioniert , aber dadurch dass die Geschwindigkeit der Netzwehrkarte lässt sich nicht verwalten:

Kommt es nicht zu eine Verbindung, welche die Netzübertagung zulässt.

Eigentlich es ist nicht schlimm, da Ich wahrscheinlich noch ein Rechner mit "billigen" 10Gbit konfigurieren werde.
Unter Windows läuft diese Netzwerkkarte Einwandfrei.

Windows Treiber für Win11 gibt es nicht, aber dafür passen die Treiber von Windows10, es war lustig wo Ich an einem Test vor dem Flaschen nur Blaue Bildschirm mit Fehlermeldungen gesehen habe.

Nun Gut damit Ich endlich zum kompletten Erfolg kommen kann, Ich werde billigere 2.5Gbit Netzwerkkarte anschaffen müssen.
Mein Gateway hat 2.5 Gbit Port und die neue Netzwerkkarte hat ein 2.5Gbit Port , in jeden Fall mit so einem Setup Ich werde schneller als 1 Gbit sein.

Dann endlich die Konfiguration wird wie folgt laufen:
Karte 1 Mellanox ConnectX-2 an diese 10Gbit Port mit 1 Rechner (jeder Rechner hat jeweils eine 10Gbit Mellanox Netzwerkkarte) verbinden.

Karte 2 Mellanox ConnectX-2 an diese 10Gbit Port mit den 2 Rechner (jeder Rechner hat jeweils eine 10Gbit Mellanox Netzwerkkarte) verbinden.
Dann folgt 2.5 Gbit Netzwerkkarte TP-link TX201 für die Verbindung mit den Gateway, die Karte wird auf eine Pcie-4x Slot betrieben, diese aber verfügt über PCIE8x(Mechanisches Kontakt) Schnittstelle, von der Leistung für 2,5 Gbit reicht es vollkommen aus!

Zuletzt 1Gbit integrierte Karte diese wird mit den Wlan Fritzbox verbunden.

Wie bewerte Ich aktuell meine Erfahrung mit so einem Projekt?
SFP+ Switches nach wie vor teuer, Ich habe ein Server , der einfach mehr kann als einfaches Switchen und es lässt sich erweitern durch Festplatten, bessere Netzwerkkarte , CPU und Speicher, dieses Funktionalität haben keine Switches unter 200 Euro.

Würde Ich empfehlen allen das zu probieren?

Wenn man die benötigten Netzwerkkomponenten von Anfang an hat, dann bestimmt Ich werde sagen Nein, aber wenn man lernen will wie alles zusammen funktioniert, nun dann nur in diesem Fall es lohnt sich.

Zitat von anton

8 Port 300€ ? Was ist daran teuer (und dazu stromsparender)

Mein Switch hat weniger als 300 € gekostet, aber der Weg dorthin war mit viel Arbeit und Stress verbunden.
Ich denke, das wäre nicht für jeden etwas – und das ist völlig in Ordnung.

Zitat von swag

Spannend so etwas zu bauen. Kannst Du den Port nicht fest auf 2.5 setzen? Oder Ethernet 10gbit Modul am sfp+ vom Gateway?

Naja ein Gateway wird eh nicht viel schneller sein.

Wie läuft der Switch so als Switch zwischen den Geräten?

Wirst Du Ihn als Level 3 Switch nutzen?

Alles anzeigen

Die Mellanox Connectx2 hat kein Autonegotiation und es lässt sich nicht auf eine festgelegte Geschwindigkeit verwalten, hab schon alles mögliches mit ethtool ausprobiert, diese Netzwerkkarte kann nur in Full Duplex 10Gbit laufen!

Für die Switch Funktionalität Ich nutze systemd-networkd , alle Netzwerkkarten werden in eine virtuelle Brücke hinzugefügt und so konfiguriert das zwischen den Netzwerkschnittstellen eine transparente Kommunikation besteht , zusätzlich Ich nutze kein DHCP sondern eine Statische Netzwerkkonfiguration, so dass für alle Netzwerkkarten eine globale statische IP gilt und wegen den Routing alles wird an ein Gateway geroutet.
Dadurch , dass Ich auf Debian Server alles betreibe, hab Ich sogar die KVM\QEMU in den Betrieb mit einen Gast Linux System mit "Docker inside" und es läuft sehr Gut!

Wer von so einer Arbeit nicht scheut wird am Ende des Tages Gut belohnt, aber klar wenn man nur ein SFP+ Switch braucht , dann Ich würde da Empfehlen einfach auf den Markt üblichen Switch zu nehmen, meine Überlegung war und ist für den Preis unter 300 € habe Ich einen robusten Server bekommen der einfach mehr für meine Netzwerk leisten kann, es ist stark erweiterbar und kann jederzeit für neu Aufgaben konfiguriert werden.

In einem solchen Fall stößt man mit einem herkömmlichen, marktüblichen Switch schnell an die Grenzen seiner Möglichkeiten.
Leute bedenkt, wenn man Irgendwann anstatt von 10Gbit auf 20Gbit wechseln will, dann muss man wieder einen neuen Switch kaufen , aber bei meiner Hardware Ich muss nur noch die Netzwerkkarten austauschen und fertig.

Zitat von anton

Und er braucht auch nur rund 10-15W im Betrieb?

Trotzdem ein Interessantes Projekt, will ich auf keinen Fall klein reden.

„Schnelle“ Netzwerkkarten sind dann aber auch erheblich teurer Und der PC muss es Leistungsmäßig auch schaffen (PCIe Lanes,…) , das wird mit PC Hardware nix, dazu brauchst du Serverhardware mit entsprechend Lanes, die dann auch entsprechend Strom brauchen.

Also meine Motherboard kann bis zu 80Gb/s bei 2 PcieX16 noch mithalten, nochmals die Karten kann man kaufen, Ich behaupte die Preise werden mit der Zeit nachlassen, oder man findet gute Angebote im Internet Versteigerungen bei Insolvenzfirmen, kleine Händler die irgendwelche Serverteile verkaufen oder sogar im Ausland in Großbritannien.

Zitat von anton

Ich hab nur grad den Überblick verloren, welche PC Komponenten hast du eingesetzt (abseits der Netzwerkkarte)

Arbeitsspeicher DDR 18Gb, CPU Xeon 3,33 (6 Kerne) , die Motherboard hat 2 PCIEx16 (PCI Gen 2) , 2 PCIEx4 (Max PCIEx8 Bus Übertragung) und 2 PCI.

Auf jeden Fall , dass ist für den Setup was Ich betreibe mehr als genug, Ich warte noch auf die 2.5G Netzwerkkarte, weil erst dann kann Ich mit meinen Gateway kommunizieren und erst ab da kann man alles richtig vermessen.

Wie Ich bereits erwähnt habe, eine der größten Hürden war die Mellanox ConnectX2 Netzwerkkarten "gerade zu biegen" damit die auch bei nicht Lenovo Hardware ohne Probleme in Betrieb genommen werden können.