Probleme mit 20GBit Teaming Trunking mit meinen Dualport SFP+ Karten

Nach 2 Tagen "Buckelei" steht nun endlich das neue UniFi Hausnetzwerk

OG , EG , Keller alles 20Gbit Trunked ...Plan: vom PC im Dachgeschoss bis runter zum Serverraum.

  


WAN2 via : Ubiquiti UF-RJ45 Gigabit LAN-Transceiver, RJ-45, SFP (UF-RJ45-1G)
Uplink UDM-Pro -> USW-Aggregation Erdgeschoss via Ubiquiti UniFi 10G 0.5m LAN-DAC, Twinax, SFP+ (UC-DAC-SFP+)
20GBit Trunks: USW-Aggregation OG+EG je zum Pro-24 und Pro-48 dito mit 2x UC-DAC-SFP+
Die Stockwerk mit 4 (je 2x 20m) Activ Optisches Kabel Direct Attached
von FS.COM (https://www.fs.com/de/products/120517.html) (Endgeile Kabels, 100% Unifi-Kompatibel !!! )

Mein Problem:

Aktuell zicken die Fujitsu D2755-A11 unter Win10 und Server 2019 noch,
suche daher Karten die unter Win10/Server 2019 definitiv mit 2x 10Gbit funktionstüchtig trunkbar sind
(...und bitte mit den originalen 3m DAC Kabeln von Ubiquiti NICHT rumzicken)

Server 2019 fully patched:

nur ein Port connected via "UDC-3" working 10Gbit
beide Ports connected via 2x "UDC-3" (der jeweils zweite Port --> ERROR im Gerätemanager )

Win 10 fully patched (aktuell 21H1 19043.870):

Via UDC-3's GAR KEINE FUNKTION ....
jeder Port der angeschlossen wird geht auf ERROR im Gerätemanager
nur ein Port connected via "UF-RJ45-10G" Copper Transceiver --> geht , aber nur einer
Verbindet man den zweiten Port, gehen beide Ports im Gerätemanager auf ERROR.....nervig

Aktuelles Intel ProSet 26.2 installiert
...geht auch mit den neuesten Treibern aus diesem Pack vom 2020-11 leider nicht.

Die Karte hat den Intel 82599ES Chipsatz und ist quasi Baugleich mit der Intel X520-DA2)

Die selbe Karte in meiner Synology DS1819+ läuft ohne Probleme im 20Gbit LACP am USW-Aggregation.
Denn ich glaube kaum das die Karte das "technisch" nicht kann (denn dafür ist sie ja nunmal da)
Aber DSM ist halt Linux Basis und kein Windows....daher vermute ich mal das die Windows Treiber das Problem sind



So....

Kann mir bitte mal jemand vielleicht mal verraten WELCHE DUAL SFP+ KARTE
mal gescheit mit BEIDEN PORTS gleichzeitig unter Win10/ Server 2019 läuft

Wollte eigentlich NICHT erst 10 verschiedene Modelle kaufen und selber testen, bis der Kram mal Bock hat.

Danke im voraus an alle

P.S.: Support Ticket bei Ubiquiti habe ich offen, versuche aber mehrgleisig das Problem zu lösen

Jo....bei der Menge an Karten die ich bräuchte sind die natürlich heftig teuer gegenüber den 100% perfekt erhaltenen gebrauchten aus eBay für Spotpreis von 30-50€ das Stück. Das gesamte UniFi-Geraffel gab es ja auch nicht gerade geschenkt....
Dachte halt ich kann bei den Karten etwas Kohle Sparen (Normalerweise ist Intel eine Bank und läuft einfach....Tja, war wohl nüscht

Für ne Syno NAS langen die Dinger allemal (und stehen da ja mit dem Intel X520-DA2 Pendant auch auf der Kompat-Liste !)

Dann such ich mir halt die von dir beschriebene mit den neueren Chipsatz von Intel.
(Ggf. gibts die dann auch günstiger im Nachbau)
Danke für den Hinweis auf die 710er

P.S.:
Reines Hobby , mein 1GBE Netz wurde mir bei den Datenmengen bei meiner Video-Verarbeitung langsam zu blöde
Schnittprojekte (gerade bei UHD-Videos), dazu die Encodings zollen ihren Tribut via "Datenmengen-Frass".
Da gehen die TBs schneller flöten als das Geld für das schöne neue UniFi Netzwerk-Geraffel....
und dann transferier den ganzen Krams mal "zügig" via Netz ? Ähmmm.....gäääähnnn ! Ausgedehnte Kaffeepausen !

Deshalb: Wenn schon , Denn schon....ich bin ein Freund von Tabula Rasa (Best Buddies)

so...2 x Intel X710-DA2 Dualport geordert (die sollten auch gehen),
zusätzlich zum testen in eBay noch 2 günstige Mellanox CX312A ConnectX-3 abgestaubt.
werde dann die Tage mal ein paar Quertests machen...

Aktuell kann ich - rein logisch betrachtet - ein mögliches Kompatibilitätsproblem in der Gesamtkette
zwischen den SFP+ Karten , den Kabeln und den UniFi-Switchen nicht völlig ausschliessen.

Warum ?

Siehe mein W10-Fall von oben, wo die Fujitsu-Karte mit den original 3m DAC Kabeln von UniFi sogar nicht will,
wohl aber zumindest über einen Port mit einem Paar 10Gbit RJ45 Transceivern von UniFi.
--> Ubiquiti UF-RJ45 10G LAN-Transceiver, RJ-45, SFP+ (UF-RJ45-10G)

Trotzdem "strange" das die gleiche Karte unter Server 2019 mit dem exakt GLEICHEN TREIBER zumindest eines der 3m DACs funktionell bekommt.

na....dann dürfen die Testszenarien beginnen

die Intel X520-DA2 ist technisch baugleich mit der Fujitsu D2755-A11 da der gleiche Intel 82559ES Chip darin werkelt.

sicherlich könnte ich die von dir angepriesenen Transceivers probieren, erklärt die generellen Probleme auch mit verschieden Anschluss Methoden nicht vollständig.
Unter Server 2019 wurde meine Fujitsu Auto-Eingebunden, zwar mit einem älteren Treiber von 2016 jedoch machte das funktionstechniisch was den Betrieb als LACP Trunk betrifft (Teaming LACP Dynamisch im Server manager) keinerlei unterschied..
1 Port geht, egal ob via original Unifi 3m copper Direct Attach Kabel, 2 Port gleichzeitig ? NADA ! 2ter Port geht im Geräte Manager sofort auf ERROR
auch mit dem aktuellsten Intel Treiber im ProSet 26.2 (Driver Datum vom November 2020)

Unter Windows 10 ist das ganz NOCH schlimmer..Hier hab ich erst überhaupt einen Port zum laufen bekommen.
die UDC3-DAC Kabel versagen hier auf ganzer Linie......nix geht , never ever
wohl aber (immerhin) 1 Port mit den 10GBE RJ45 Transceivers...., sobald ich den 2ten Port Richtung Switch (aggregated oder nicht egal) anstöpsele,

gehen BEIDE NIC Ports im GM auf ERROR und nix geht mehr bis ich einen Leitung rausziehe und die Kiste reboote.

Wie erwähnt versuche ich mal durch eine erweiterte Ausschlusssuche der Sache näher auf den Zahn zu fühlen.
(Siehe Excel Tabelle oben)

Allerdings erhoffe ich mir von den neueren Intels eine bessere Funktion in dieser Hinsicht.
Die ganze Sache mit 2x 10Gbit SFP+ erscheint mir (zumindest unter Windows) leider EXTREMST Zickig.

Zitat von DellTree

20Gig AGG funktioniert technisch zwar ganz Ordentlich - Aber von der Leistung bin ich eher 'enttäuscht' - da ich einige Settings Umstellen musste im Intel Treiber um auf 8GBit Netto kommen zu können (Zu lasten von der CPU leider). Da hätte ich mir 'mehr' erwartet - wenn auch mit 2x8Gbit es schon meckern auf sehr hohem Niveou ist

Ich habe gelesen, das man hier mit JUMBO Frames arbeiten soll
Das ist auch vom Sinn her logisch nachvollziehbar....
Denn sonst - wie Du schreibst - ist die "Kiste" schnell dicht !
Die zu kleinen Frames (die zu schnell kommen ballern) sonst die "Mühle" im quasi Dicht machen,
die CPU kommt dann mit dem "Wegschaufeln" nicht mehr klar.
Ist letzten Endes an dieser Stelle auch eine Frage der CPU/Cores/Gesamtperformance des jeweiligen Systems.
Aber eine CPU ist für eine Derartige Aufgabe auch nicht optimiert ausgelegt.

Die aktuellen Topmodelle der SFP+ Karten entlasten daher die in diesen Punkten CPU auch schon vollends....
kosten aber auch ein "Schweine Geld" und haben dann so geile Features wie RDMA ect. pp.

Version4.1.229.0; Datum (Date)25.11.2020.
ist auch mein Driver Stand unter W10 wie auch Server 2019

Server2019 : es geht mit dem UDC-3 3m DAC entweder nur der eine ODER der andere Port....
sobald im 2ten was eingesteckt wird, geht diese auf ERROR

Win10: hier geht mit den UDC-3 so oder so NIX....kaum ist das Kabel "Online" geht der Port im GM "offline" und auf ERROR

wie beschrieben, mit den 10GBE Transc. geht HIER zumindest einer....kaum kommt #2 dazu ---> "puff" geht GAR nix mehr auf beiden.
Ein sehr stranges Verhalten

Mit 2 x gleichen DAC Kabeln geht ein BOND mit 2x 10GBit LACP Dynamisch im DSM der Synology DS1819+ PROBLEMLOS
(aber das ist auch Linux-based)

Hier die DS1819+ :



Aggregation auf dem USW Port 3+4:



Original Ubiquiti 3m DAC Kabel (UDC-3) werden hier sogar aufgeführt....
Port 3 Port 4


It "Works like charm" here.....

Ich vermute daher mittlerweile eine Gemenge-Lage aus:

1) generell "madigen" Intel Treibern unter Windows , weil bei Synology geht der ***censored*** OOB
2) ...ggf. im Zusammenspiel - wie und auf welche Art & Weise - die SFP+ Ports gekoppelt werden...
3) ... und / oder der SFP+ Karte selber

HauptFokus: Treiber !

Zitat von DellTree

Intel(R) PROSet Adapter Configuration Utility den ich nutze ist auf Windows 10 bei mir Version4.1.229.0; Datum (Date)25.11.2020.

Das Einrichten ging ganz easy - die Intel Tranciever in die Intel Karte und die Ubiqiti Tranciever in das Aggregate - Kabel Rein und los ging es. Ein DAC hab ich garnicht versucht, da ich über 7m Distanze zu überbrücken habe.

Evtl. gibt es ja limitierungen bzgl. Strom im DAC Betrieb.

Wenn du den Rechner hoch fährst und dann das Kabel von dem Port in dem es gerade funktioniert in den anderen Port steckst - streickt es dann auch direkt? Hast du auch den richtigen typ (802.3ad) für den Bond ausgewählt gehabt? Oder testest du aktuell noch ohne Agg - und schon da funktionieren die beiden Ports nicht?

Lt. Ubiquiti wird ohnehin nur LACP Unterstützt
Static geht eh nicht , wenn ich das neulich des Nachts richtig gelesen habe.
Ich habe natürlich trotzdem alles unter Server 2019 an Möglichkeiten durchprobiert..
die Ports wollten aber selbst ohne Team auch solo NICHT beide gleichzeitig werkeln.
Egal wie , egal was ....Kreuz und quer alles ausprobiert...2 Ports gleichzeitig mag nicht.
Und ja....ich hab das auch zusätzlich mit stecker ziehen / re-plug zusätzlich Cross-Getestet...
Ohne Erfolg

Ich bin mal auf die Funktion via der 2m AOC DAC Kabel gespannt.....die 20m Variante nutze ich ja zum Stockwerk Trunking unter den USW-Aggregations....ich finde die Kabel sehr gut, da die 20m Dinger nun verlegt sind kann/will ich mit denen nicht mehr testen.
Die Tage kommen 2x 2m Teile an....mal sehen wie die dann reagieren.
Wollen wir hoffen das der Intel Windows Treiber nur eine generelle Nutzung von DAC/COPPER was auch immer nicht so richtig mag.
Ansonsten fliegt die Karte raus....und die Mellanox und die X710 werden getestet.

Win10: mal testhalber das 0,5m kurze Ubiquiti DAC Kabel probiert....die Kiste steht aktuell direkt daneben, hat gerade so gereicht die Länge.

ohne Kabels nach Reboot



... ist klar soweit....ist ja nix dran

auch mit einem Kurzen 0,5m DAC Kabel (UC-DAC-SFP+) keine Funktion schon beim ERSTEN Port....
Das selbe Spiel wie mit dem schwarzen 3M DAC
Der USW-Aggregation sagt, der Port ist "UP" , die Karte selber auch....
aber die entsprechend connectierte Karte des Port fliegt mit ERROR aus dem GM raus

und verschwindet somit aus der NIC Liste...



und die UC-DAC-SFP+ funzeln bei mir als Trunk-connector zwischen den USWs ohne Probleme unterhalb der Unifi Komponenten selber.

Leute , jetzt wird immer mehr GAGA....
Neulich habe ich ja die 10GBE Transceiver alternativ getestet
und konnte immer mit einem 1 Port sauber aufbauen. das einstecken des 2ten killte dann sofort beide Ports im GM weg.

Soeben das gleiche nochmal probiert:
Erst einen Port....UP and running (kannte ich ja schon)
Mit einem 2ten Paar transceivers das RJ45 Kabel #2 dazwischen geklemmt.....und geht nun !

?!?



EigentIich will ich diese Dinger aber NICHT einsetzen,
da sie m.E. viel zu heiß (autsch'n) werden und somit vermutlich extrem viel Strom versenken..

    

Soeben das Team via ProSet eingerichtet.








REBOOT TEST.....ob der Trunk das "Übersteht"......sieht gut als






Teilerfolg !!! ....Zufrieden bin ich erst wenn das Ding auch mit den 2m AOC Kabeln so weiter funktioniert.

so langsam beschleicht mich hier das Gefühl das die Intel Windows Treiber ein Problem mit COPPER DAC Kabeln haben könnten...
Ja. die 10GBE-RJ45 Transceiver nutzen RJ45 Kabel
....ABER......

Die NIC denkt es wäre eine SR-Glasfaser !!!

!

"Fake it , when you cannot make it" Prinzip....wie ???

die 2 x 2m AOC DAC Kabel von FS.COM sind angekommen....

Test läuft......geht ! .....Genau das hatte ich auch genau so erwartet gehabt...

Port 1Port 2

Medientyp unbekannt...


vermutlich kennt der Intel Treiber u/o die NIC die Activ Optischen DACs ja gar nicht..WAYNE...
solange es geht ....was es nun tut...



bestens....
als nächstes der Test unten im Keller mit quasi gleicher HW im Server 2019

Nur unter Server 2019 und da GIBT es wie wir alle wissen sollten
KEINE TEAMING Möglichkeit via Intel Proset mehr ("last in line" war Server 2012 R2)

Ab 2016 soll dafür bitte der M$ Multiplexor mit den Server2019 Bordmitteln genutzt werden.


stay tuned guys....

Neuer Teststand damit:

Server 2019 Test mit den FS.COM 2m AOC Kabel mit der Fujitsu D2755-A11 Dualport SFP+ NIC

GEHT !!!

Well....it's DONE !!!

Ok, ab sofort nehm ich nur noch diese AOC Kabel und RUHE ists im Karton.....
Unglaublich das die Originalen DAC Kabels von Ubiquiti hier versagen...
So wie es aussieht mag dieser Intel Chipsatz auf der Fujitsu wohl KEINERLEI COPPER DACs
und arbeitet nur mit Fiber (oder vorgegaukelten Fibers wie den 10GBE RJ45 Transceivern)
Klingt ggf. nach einer zu alten Firmware, die man hier bei der Karte aber nicht updaten kann...
Karte zu alt, nix zu finden dazu

neuer Teststand damit nun:

Das Ganze wie jetzt NOCH unverständlicher !

Festhalten...!!!

SOBALD....(zumindest ist das hier bei mir so mit W10) .... das INTEL PRoset Team erst einmal sauber aufgebaut ist,

dann geht das 20GBE Team auch mit den 3m Copper DAC von Ubiquiti
(und auch mit einem paar 3m Copper DACs von CISCO) ...lol
--> beide Kabelsätze jeweils angeschlossen im POWEROFF.
Wenn man über diese , nennen wir es mal "Teaming" Barriere drüber ist ,
hat das "20GBE" Konstrukt damit dann offenbar kein Problem mehr.

* Einschub: mittlerweile weiß ich schon nicht mehr wie ich dieses ganze Wirr Warr an Abhängigkeiten in der Tabelle genau darstellen soll. *

Ob das unten im Server 2019 dann auch so ist mit dem
Server 2019 eigenen Microsoft Teaming Multiplexor Driver,
das werde ich am WE man genauer untersuchen.

Weil Intel Proset internes Teaming kann ich hier auf dem 2019er ja KNICKEN da "IS NICH"

Btw... sind heute

2x Mellanox 312A
2x Intel X710-DA2

Dual SFP+ Karten reingeflattert, mit denen ich dann auch zusätzliche Testreihen

u.a. auch in der ebenfalls heute reingeschneiten DS1821+ durchführen kann (Synology DSM Linux)


RANDNOTIZ 1:

Ich habe wegen diesem "Tohuwabohu" mit den Karten/Kabel-Kombi's einen CASE bei Ubiquiti am Laufen...

RANDNOTIZ 2:

Bei mir haben aktuell alle 20GBE geteamten Clients (OS ist vollkommen egal, Kabel dito) ein TOPOLOGY Problem !
Die Teile springen wild im Minutentakt manchmal alle paar Sekunden durch die USW-Switch Landschaft
bis hoch direkt hin zur UDM-Pro....*kopfkratz*
Und dann überall , wenn falscher Switch, "logischerweise mit den entsprechend mit falschen Connect-Port-Angaben.
Hier werden dann bei die jeweiligen Trunk-Link Prime-Ports angezeigt

Auch dafür hatte ich dieser Tage ein Case bei Ubiquiti eröffnet, welches
nachdem ich denen fleißig alle erdenklichen Infos, Screenshots, UDM-Logs und Supportfiles
zukommen lassen habe...nun HÖRT HÖRT !!! beim TIER 2 Team angelangt bin,
das sich heute im Laufe des Tages (ich musste ja arbeiten) gemeldet hat.

Ich poste mal die Passage 1:1

Zitat

Hello,

I'm from the Tier 2 support team and will be assisting you further.

The topology is being worked upon.

We have some edge cases with incorrect topology being displayed.

Be rest assured, in one of the future releases, it should be fixed.

However, no ETA at this point in time.

Once it is fixed, we'll add it to the release notes of the firmware.

You can see the newer releases here: https://community.ui.com/releases

If you have any other questions, please let us know!

Thanks!

Best,

UI Support

Ubiquiti Inc.

Alles anzeigen