Probleme mit 20GBit Teaming Trunking mit meinen Dualport SFP+ Karten

Newsticker...

so langsam habe ich mit Ubiquiti 3m DAC Kabeln die Nase voll...
Da mein paar 3m AOCs unten an den FileServer gewandert ist
habe ich oben notgedrungen ja wieder die Ubi DACs am laufen

ging anfangs mit aufgebauten Trunk mit der Fujitsu auch..
heute 10x aus und an gemacht den neue Hauptrechner....nur noch 1 Port im Team UP....der 2te mit Error wieder mal Down im GM.

Es langte...Karte ausgebaut und gegen die X710 ausgetauscht...
Booten.....2 unknown NICs im GM , obwohl der Proset 26.2 von der Fujitsu mit dem 82599ES Chips (aka X520-DA2) schon installiert war

Proset 26.2 mit Setup drüber ....nix...immer noch 2 Unknown GM drin......wtf ?!?
GM --> Treiber aktualieren und auf den 10GB Part des Treibers angesetzt....via INF geht...
Strange !!!

Auch hier der gleiche Stress.....trunk LACP Dyn. aufgebaut. nix geht mit 2ter NIC...
beide Ubi-Kabel raus....ein paar Copper DACs von CISCO rein.....geht sofort !!!

lol

Damit wars das mit den Ubiquiti 3m DAC Kabeln für mich....die Taugen nur für Single Line.... !!!

und /oder mögen keine Intels...

Die CISCOs haben NULL Probleme damit.

hoffentich kommt bald der Satz AOC DACs.....dann hat der Zauber hoffentlich bald ein Ende...

Teste nun als nächstes noch die Mellanox

Tja...so...

Hauptsystem und Fileserver auf die neueren Intel X710er umgestellt....
Die AOC's sind da...keine Probleme mehr...

Es rennt alles ! Jetzt muss Ubiquiti nur noch das nervige Topology Hopping der SFP+ Endgeräte in den Griff bekommen

(Wir müssen warten auf das/die Bugfix-Updates des TIER2-Teams zu diesem Thema !!!)

Mein Abschlussinfo bzgl Kabel-Kompatibilität an Ubiquiti-Support....

(leider mit schlechten Nachrichten für die Jungs da)

Zitat

After a going back to Ubiquity 3m Original copper DACs
Win10/Server 2019 has same problem with the second port of the D2755-A11 Dual SFP+
I has nothing to do with the drivers (Intel Proset 26.2 Team under Win10 // MS Multiplexor under Server 2019)

I take a pair 3m copper DACs from Cisco....and they work w/o any problems from scratch.

Also the Active Optical DACs from FS.COM works like charm here.

Btw.: I have exact the same problem with new Intel X710 Converged Network Adapter !!!

Actually I do not have time to test more (like the Mellanox 312A Card)

I want my systems finally "up and running" in the end...without endless cable-compatiblity tests...

regards,

Michael

Alles anzeigen

Tja....nach all den Cross-Tests....besteht m.E. nicht der geringste Zweifel mehr !

Die schwarzen Ubiquiti 3m copper Direct Attached Cable mögen KEINE 2 Ports gleichzeitig mit den Dual SFP+ an ihren eigenen Switchen verbinden
(USW-Aggregation, USW-Pro-48, USW-Pro-24)
Wie oben beschrieben.....
CISCO DAC's 3m Paar oder FS.COM's Active Optische DACs (getestet 2 /3 /20m) ....NIX Problem !!!! geht...
Ubiquti DACs = Error (43) einer der beiden NIC Einträge im Gerätemanager und GAMEOVER bis Stecker raus und Reboot !

1)

Für mich Preis/Leistungstechnisch die beste Wahl...

2)

Man spart sich so je ein paar SR-Transceivers UND das Kabel extra dazu

und ist so unter dem Strich sogar vermutlich billiger...
20m sind zwar (wegen dem doofen "Spirelli"-Effekt) *bescheiden* zu verlegen...bis man die in der Länge erstmal halbwegs geglättet hat
und dabei aufpassen muss das kein Knick oder Knoten reinkommt......gäää
Bei der Länge muss man dann leider einmal "durch"....
Bei 2-3 Metern hat man so Probleme eher nicht...

3)

Zudem dürften diese AOC DACs hier auch am wenigstens Strom verbraten....(hab ich irgendwo gelesen...Quelle k.a. mehr...sorry)



Alles in allem bin ich sehr froh das ich auf diese Kabel gestoßen bin.

Die ursprünglich zum Einsatz geplanten Ubiquiti SFP+ to RJ45 10GBE Transceiver-Module
werde ich nun wohl nicht mehr benötigen , zumal die Dinger nach 5 Minuten so heiß werden,
das man sich die Finger daran verbrennt !

Bei der Verlustleistung in Form von Abwärme und über den damit einhergehenden Stromverbrauch
will ich bei den Dinger erst gar nicht nachdenken.
Zumal bei der Hitzeendwicklung ein "defekt" schnell mal passieren kann

oder das die Leitung auf 5, 2.5 oder 1Gbit gedrosselt wird, damit das Ding nicht komplett aussteigt

wg. Überhitzung.
Für die Stockwerk Trunks mit 4x 20m RJ45 CAT6a hätte ich sonst 8 dieser Transceivers geichzeitig in Betrieb nehmen müssen.

Das kann ich im Nachhinein -alles in allem- NUN NICHT empfehlen so eine Lösung einzusetzen.

Ich hoffe, ich konnte allen ein wenig weiterhelfen bzgl. der Kabel-Kompatibilität bei den SFP+ Ports.
Somit kann man unbedenklich auf die supergünstigen Dual SFP+ Karten mit Intel 82559ES Chip zurückgreifen

(Original: Intel X520-DA2, Nachbau: Fujitsu D2755-A11)
sowie die neueren Intel X710er Single/wie Dual-Ports....usw.

Beide obigen Karten laufen in einer
1) Synology NAS (wie der DS1819+, DS1821+) mit 20GBit BOND LACP Dynamisch dann "Out of Box",

2) Win10 mit dem Teaming-Driver aus dem Intel ProSet (aktuell 26.2)
3) Server 2019 mit dem eingebauten MS Multiplexor (benötigt hier nur den reinen NIC Driver der Karten als Basis)
Den Rest macht dann der Multiplexor selber (via Servermanager GUI in wenigen Sekunden einzurichten)....Handzahm
Das ist halt nun unter den Servern seit dem Server 2016 so...nix Intel Proset Teaming mehr !

(....WENN man die richtigen Kabels hat.....*hust*)

P.S.:

Falls ich die Tage mal die Zeit habe,
werde ich an meinem TestServer mal ggf. doch noch die Mellanox 312A Karten testen
mal schauen wie die "Abschneiden" in der Gesamtmenge-Lage

mache ich gerne mal an einem WE...wenn der Rest der Arbeiten hier erledigt ist...

Das nächste WE wird vermutlich mit dem kompletten Neuaufbau meines Schreibtisches im Dachgeschoss drauf gehen.
- 3HE 19" Untertisch Halter für die Switche-
- KOMPLETTE Neuverkabelung LAN/STROM
- 3 x 32" an den Tripple VESA Halter montieren (Arctic Monitorhalterung Z3 Pro (Gen 3) mit USB 3.0 Hub - schwarz matt)

Es folgt dann der Serverraum Umbau und auch der Stück für Stück Umzug aller Geräte
vom alten LAN ins neue Unifi Netzwerk.
inkl. Windows Domänen Subnet Change.....

Frage an alle...

ist das normal bei den Switchen ???

^

Der Witz ist....KEINERLEI PROBLEME feststellbar...
nicht ein Hänger, nicht ein Problem ersichtlich oder vorhanden
Zumal diese Meldungen immer zu vollen Stunden kommen

und daher für mich verdächtig nach einem "Scheduled Task" irgendeiner Art aussehen.
Auto-Provisioning zu vollen Stunden ?!? oder was läuft da für ein Film

Das Netzwerk selber läuft 100% Stable DURCH
und von OFFLINE Times und Disconnects der Switche/Trunks ect. pp kann gar keine Rede sein.

wie gesagt, das kommt bei mir jeden Tag ohne das es "irgendwelche" Impact irgendeiner Art wirklich gibt..
ALLES LÄUFT 100% sauber durch
Diese Meldungen zur Vollen Stunde in die Pushnachrichten auf dem iPhone sind für mich dann unverständlich...
und verwirren zudem, da man denkt es wäre etwas nicht in Ordnung...

Das "Core"-Konstrukt läuft 100% stable



Wenn da in irgendeiner Etage ein Aggregation SW wegfliegen würde aus der Gleichung, dann wäre mir das aufgefallen
weil dann diverse Tools die gerade via durch das Netzwerk laufen dann allesamt den Dienst verweigert hätten....

RSTP
Priority: standard
+ JumboFrames enabled (macht ja auch Sinn)

+ Flow Control enabled

Anmerkung: Ich habe hier auch nur reine Trunks in der Gesamt-Gerätekette am laufen
und keine Switch Redundanz Konstrukte (wäre dann doch ein wenig "oversized" für daheim)

Damit rennt das bei mir alles wie "Wiesel" ....Netzwerk-Probleme die auf die Geräte-Funktion inkl. Betriebssytemsebene durchschlagen
sind definitiv keine bei mir zu sehen...



Die Switche sind nun seit dem letzten FW-Update >8 Tage 100% verfügbar online gewesen,
Auch in den LOGs ist NIX zu sehen.

Ausser diesen komischen "Dis-Reconnect" Messages die für mich so gar keine Sinn ergeben.
weil es GAB keinerlei Dis/-Re-Connects laut den Logs der UDMPro
Hier stehen nur ECHTE drinnen, die ich selber - absichtlich - durch umbauten verursacht habe und daher auch korrekt gelistet erscheinen.

Den Letzten Switch (Pro48) hatte ich mal kurz Stromtod am 7.4. wegen einer Platzverlagerung.
Seit dem ist egal auf welcher Ebene nix mehr verzeichnet ...auch nicht in den Logs auf der UDMPro selber im UniFI OS
(ich erspare mir/euch das auflisten dieser Augentöter an dieser Stelle mal)

Am Wochenende ersetze ich ENDLICH die restlichen schwarzen originalen Ubiquiti copper DAC Kabel 3m durch die 2m AOC DACs
auch an der DS1819+
Nach deren rumgezicke unter W10 / Server 2019 mit obigen von mir erwähnten Karten sind diese DACs für mich erstmal "durch"
...auch wenn das Kabel-Paar das an der Fujitsu in der DS1819+ hängt - wohl wegen derer Linux Drivers - stabil & problemlos lief.

P.S.

Am Update Scheduler kann es auch nicht liegen, das diese komischen Dis-/reconnect Meldungen des Controllers
(die auch nur auf der Handy-App angezeigt werden

zu ganz anderen vollen Stunden passieren....

So....habe mal den Fall hier OFFZIELL auf ERLEDIGT gesetzt,
weil es m.E. definitiv an den originalen Ubiquiti Copper DAC Kabeln (3m) lag....
Sind diese im Einsatz gibt's unter W10/Server2019 zumindest mit den von mir getesteten Karten nur Probleme.

Ob mein Topologie Problem ggf. hier auch mit "reinstreut" kann ich aktuell nicht sagen.
Subjektiv habe ich den Eindruck das die SFP+ Clients mit den AOCs kaum bis gar nicht mehr bouncen

UniFI topology "SFP+ client - switchbouncing" ... Habe extra einen Begriff für diesen Effekt ersonnen....

(Möge die Macht...ähm...das Ubiquiti TIER2 -Team mit mir sein... und den BUG durch ein Update baldigst lösen)