Projekt 42HE Komplettlösung für Büro

Hallo Community!

Ich bin neu hier und benötige Hilfe/Ideen/Meinungen zu meinem Projekt. Ich plane jetzt bereits seit mehreren Wochen eine Komplettlösung für mein Büro.
Da ich aber lieber alles 100x durchplane und sicherlich auch falsche Lösungswege, dumme Ideen und sonstige Fehler mache, würde ich mich freuen, wenn hier ein paar kreative und auch kritische Köpfe mir hier helfen könnten.
(mehr Infos kommen noch, bitte um Nachsicht. Ich möchte vorerst alle meine Ideen und Informationen hier zusammenfassen)

Ausgangssituation:

Ich habe...
... einen Serverraum mit ca. L_3,40m x B_2m x H_2,70m, kann noch abgeändert werden, da gerade in Bau.
...✅ 3 Serverschränke mit je 42HE, (T_120 x B_60cm x H_200cm), komplett neu und komplett leer auf einem 15cm Sockel.
...Stromanbindung, pro Serverschrank je 2 Stromkreise mit 16A Sicherung. Also Insgesamt 6 Stromkreise mit 16A, Zuleitung von der Decke.
...Der Serverraum ist ausreichend klimatisiert.
...die 3 Schränke haben genug Platz vorne und hinten. Hinter den Schränken ca. 120cm Platz, vor den Schränke ca. 100cm Platz. Die Schränke stehen nebeneinander.
...der Zugang zur Vorderseite und Rückseite erfolgt über jeweils eine Tür seitlich.
...Bilder dazu:

Legende: schwarz 3 Serverschränke, hellblau: Klimatisierung, JA an der Front des Serverraums steht eine Glaswand aus Sicherheitsglas.

In Planung:
...Zutrittskontrolle zu Serverraum? (Serverraum ist innerhalb eines gesicherten Raumes, zusätzliche Zutrittskontrolle zum Serverraum eine Option, aber kein Muss).
...Videoüberwachung, Unifi 2 Kameras im gesicherten Raum, 2 Kameras im Serverraum.
...Videoaufzeichnung, möglicherweise an einem anderen Ort, zB VPN Tunnel zu einem anderen Standort.

Erledigt:
...✅ Brandschutz (https://www.bonpet-systems.com/).
...✅ ESD Boden (Infos kommen noch).

Was habe ich vor: (Achtung dies betrifft nur den 1. Serverschrank!)
Ich plane ein HA System. Es soll möglichst alles redundant sein
# Stromzuleitung: 1x PowerWalker ATS (https://powerwalker.com/de/produkt/10120543/)
# UPS: 2x PowerWalker VFI 3000 ICR IoT (https://powerwalker.com/de/produkt/10122199/)
# UPS Batterieerweiterung: 2x PowerWalker BP I72R-12x9Ah (https://powerwalker.com/de/produkt/10134054/)
# Internet: mindestens 1x Glasfaser vom ISP (1Gbit/250Mbit), 1x 5G als Failover/Loadbalance? (falls der Haupt ISP ausfällt gibt es hier keinen alternativen Glasfaseranbieter, leider)
# Netzwerk: 10GBit SFP+, komplett Unifi (genaue Topologie folgt noch)
# NAS: Qnap TS-h1886XU-RP-R2-D1622-32G, Filesystem wird ZFS sein. (https://www.qnap.com/de-de/product/ts-h1886xu-rp%20r2)
# ✅ Serverdienste:1 proxmox HA-Cluster: (3x minisforum-MS01 96GB RAM, 4TB nvme), 1x proxmox PBS (1x minisforum-MS01 32GB RAM, 4-12TB nvme)
# Arbeitsdienste: 1. Ausbaustufe (4x minisforum-A2, 96GB RAM, 4TB nvme), 2. Ausbaustufe (4x minisforum-A2, 96GB RAM, 4TB nvme)

Zusätzliche Umbauten:
# angepasste Gehäuse für die minisforum, 3D gedruckter Rackmount mit integrierten 140mm Noctua NF-A14 5V PWM Lüfter (https://www.noctua.at/en/products/nf-a14-5v-pwm).
# EMV 35 Abschirmlack in den minisforum Gehäusen.
# ✅Ausbau der WLAN-Module aus den minisforum. KEIN WLAN!
# Verlegung der minisforum Netzteile an den letzten Punkt wo die Klimaanlage ansaugt. Keine unnötige Wärme herumwirbeln.

Der 2. Serverschrank wird separat aufgebaut, aber basiert teilweise auf den 1. Serverschrank (Strom, UPS, Zusatzbatterie, aber zusätzlich KI-Server verbunden mit 1. Serverschrank).
Der 3. Serverschrank wird separat aufgebaut, aber basiert teilweise auf den 1. Serverschrank (Strom, UPS, Zusatzbatterie, Internet, Netzwerk, NAS, BüroPCs, MiniPCs usw., KEINE physische Verbindung zu 1. und 2. Serverschrank).

✅ Grundsätzlich soll KEIN WLAN zur Verfügung stehen! Zumindest nicht in den Serverracks.

✅ Gäste WLAN komplett von der restlichen Infrastruktur getrennt. Ein geschenktes Zyxel USG60W (https://www.zyxel.com/us/en-us/produ…sg40-40w-60-60w) reicht hier völlig aus. Danke Rene!

Es soll kein SPOF vorhanden sein!

Die Stromversorung, die UPS Versorgung ist soweit geplant und müsste halten.


Warum das alles:
Die minisforum-A2 (proxmox 8-Node-Cluster zur Lastverteilung mit mehreren LXC Containern) dienen als Suchmaschinen zu einem wechselnden Datenbestand welcher am NAS liegt. Die Suchmaschinen haben ihre Indizies lokal gespeichert und indizieren auch lokal. Die indizierten Rohdaten liegen grundsätzlich am NAS. Daher ist zwingend 10GBit SFP+ notwendig um bottlenecks zu vermeiden.
Das NAS sichert in der Nacht die laufenden LXC Container, beziehungsweise konstant.
Die minisforum-MS01 (proxmox 3-Node HA-Cluster mit proxmox PBS), ist der Core (Rustdesk, DNS, Pihole, caddy-proxy, Wireguard, Server Dashboard usw.).

Das Unifi Netzwerk:
Mein aktuelles Setup würde aktuell so aussehen.

ISP1
|
v
UniFi WAN Switch (USW-WAN https://eu.store.ui.com/eu/en/category…roducts/usw-wan)
|
v
UniFi Dream Machine Pro Max (UDM-Pro-Max https://eu.store.ui.com/eu/en/category…cts/udm-pro-max)
|
v
UniFi Hi-Capacity Aggregation (USW-Pro-Aggregation https://eu.store.ui.com/eu/en/category…pro-aggregation)
(Normaler Mode)


ISP2
|
v
UniFi WAN Switch (USW-WAN https://eu.store.ui.com/eu/en/category…roducts/usw-wan)
|
v
UniFi Dream Machine Pro Max (UDM-Pro-Max https://eu.store.ui.com/eu/en/category…cts/udm-pro-max)
|
v
UniFi Hi-Capacity Aggregation (USW-Pro-Aggregation https://eu.store.ui.com/eu/en/category…pro-aggregation)
(Shadow Mode)


UniFi Redundant Power (USP-RPS https://eu.store.ui.com/eu/en/products/usp-rps) (4 von 6 DC Ports belegt, alle UniFi Geräte sind damit verbunden)

Zusatz zu Hi-Capacity Aggregation: Es wird JEDER minisforum-MS01, minisforum-A2, das NAS 2x 2xSFP+Bond (mit Upgradekarte dann eben 2x 20GBit Bond) an jeden einzelnen Hi-Capacity Aggregation angeschlossen. Somit Failover und kein SPOF.
Somit sind 16/28 SFP+ ports belegt, inkl. der Anbindung an die beiden UDM-Pro-Max.
Beide Hi-Capacity Aggregation sind mit ihren 4x 25G SFP28 ports im 100GBit Bond untereinander verbunden.

==============================
| Aktueller Stand: 20251204-04:15
==============================

Quote from Networker

Spannendes Projekt, sicherlich nicht für's Privatvergnügen, oder?

Ja brauche das gewerblich.

Quote from Networker

Auf jeden Fall mal herzlich willkommen in der Community!

Dankeschön!

Quote from Networker

Sollte eine verfügbare Internet...

Du hast Recht. Habe leider nur einen einzigen ISP hier. Sämtliche anderen ISP sind Subunternehmer beim Haupt ISP... Fällt der Haupt ISP aus, gibts hier garnichts. Daher bin ich auch noch auf der Suche nach einem 5G Anbieter oder eventuell Starlink. Aber das soll erst irgendwann 2026 kommen. Ahja bin in Ö daheim. Da ist alles anders.

Quote from Networker

Ubiquiti hat gerade neu auch USVs...

Ja habe ich mir auch angesehen. Das Problem bei den Unifi USV sind halt leider nur die 4 aktiven Anschlüsse, die anderen 4 sind nur Überspannungsschutz.

Das mit den Updates stimmt, ein Freund von mir hat mir das ebenfalls gesagt. Da vertraue ich auf UniFi, es wird sicher noch etliches auf den Markt kommen und bestehendes verbessert.

Quote from Bigdog71

Kurze Frage, warum keine richtige Server?...

Vorrangig reine Kostenfrage und danach Performance und Skalierbarkeit!
Ich versuche möglichst professionell aufzubauen, aber gleichzeitig nicht in Enterprise Hardware zu investieren. Ein Mittelding sozusagen.
Die minisforum habe ich teilweise schon bei mir, und habe sie ausführlich getestet. proxmox HA-Cluster läuft wunderbar und braucht keine 25W und wird nichtmal lauwarm. Sind eigentlich sogar extrem overpowered für die Aufgabe die sie haben.
Etwas anders sieht das bei meinem "normalen" 8 Node Arbeitscluster aus. Da war tatsächlich die Frage ob ich nicht Serverhardware anschaffe. Aber auch das wäre zu teuer und schlechter skalierbar. Meine Ausgangslage sind aktuell etwa 20 Notebooks, die zuerst einen Indizierungsjob und danach den Suchmaschinenjob erledigen. Das läuft seit einigen Jahren perfekt.
Jetzt ist es so, dass ein minisforum-MS-A2 von den Leistungsdaten tatsächlich etwa 2-5 Notebooks ersetzt. Bei geringerem Stromverbrauch, weniger overhead (Bildschirm, unterschiedliche Updates, das ganze klimbim rundherum, ständige Treiberupdates, Ausfälle, Akkutausch usw.).
Ist ein Projekt erledigt, wird die Suchmaschine gelöscht, kommt ein neues Projekt mache ich dieses Prozedere von vorne.
Es kann vorkommen, ich habe 10 gleichzeitg am Laufen, oder auch einfach mal nur einen einzigen. Power OFF/ON.
Ein weiterer gewaltiger Vorteil den die minisforum hier haben, ich habe 2x 10GBit SFP+ ! von den restlichen ports ganz zu schweigen. Hochgerechnet auf einen "fetten Server" müsste ich dann da schon 160GBit reinstopfen
Die Zukunft soll eben ein LXC Container (als Template) unter proxmox sein. Den richte ich einmal vernünftig ein und brauche ihn nurmehr zu klonen. Eventuell nach Bedarf ein update, welches ich dann auf alle ausrollen kann. Oder eben um die Last zu verteilen einfach auf einen anderen Node verschieben. Grund: Manche Suchmaschinen brauchen fast nichts an Ressourcen, andere wiederum fressen Speicher ohne Ende. Kommt immer auf die Suchmaschine an.

Quote from Networker

Das NAS wird ausschließlich als Backup-Ziel verwendet, nicht als Storage für Proxmox?

Das habe ich vielleicht noch nicht komplett ausgeführt (mache ich noch!).
Das NAS soll in der Nacht Backups von allen Nodes machen (inkrementiell).
Zu Bürozeiten dient es als Hauptstorage für alle proxmox LXC's. Auf den 8 Nodes laufen ja möglicherweise mehrere LXC's und die brauchen richtig Bandbreite und vereinzelt zwischen 40GB oder sogar 8TB Datenbestand.
Die Indizes selbst liegen auf den LXC's, werden nur einmalig erzeugt und verändern sich nicht mehr bis Projektende. Da reicht ein einziges Backup aus, nur mehr Veränderungen werden inkrementiell gesichert.

-------------------------------
Danke für Euer Feedback.
Generelle Fragen wäre für mich, ist der Aufbau des UniFi Netzes soweit in Ordnung?
Übersehe ich etwas? Kann ich was verbessern? Kann ich was reduzieren, fehlt noch was?

Achja und es werden 3 VLAN eingerichtet. Das muss ich aber erst noch alles zusammenschreiben.

Quote from Bigdog71

Alleine wegen dem Airflow im Schrank

Ja, ich drucke gerade Prototypen für ein Rackmount. Es werden die Gehäuse entfernt und die Platinen direkt in einem 30 Grad Winkel mit Noctua 120mm Lüfter (https://www.noctua.at/en/products/nf…ialppc-3000-pwm) angestrahlt.
Verwende die seit etlichen Jahren, noch NIE ist einer kaputt gegangen, die laufen und laufen und laufen. Bilder zu den Prototypen kann ich ja demnächst mal nachreichen.

Quote from tomtim

Boards alle offen liegen und es EMV Probleme gibt …

Gute Idee. Würde zB ein "EMV 35 Abschirmlack" ausreichen? Heute kam im Gespräch unter anderem die Idee auf, das gedruckte Gehäuse mit einem Primer zu lackieren, sauber zu schleifen, und dann bei einem Bekannten meine Gehäuseteile zu verchromen, er verchromt und verzinkt meine Autoteile.
(Bilder von meinen Prototypen kommen noch, muss erst neu zeichnen)

Hier wären ähnliche, die ich schon gedruckt habe. Sind aber zu schwach, nicht optimal mit den 40mm Lüftern.
Link: (https://www.printables.com/model/1351975-…mount-kit/files)

Heute kamen die 3 Serverschränke per Spedition. Alles einwandfrei und gleich mal auf die Seite gestellt.
Ich hoffe mal auf Rabattaktionen für die Black Friday oder Cyber Monday Zeit.

Quote from tomtim

Zeig mal deine Prototypen… was du dir so denkst

Hier mal ein Testdruck. Muss die Teile aber erst testen und natürlich ordentlich verändern. Die 40mm Lüfter sind sinnfrei, aber wollte das mal in der Hand halten und ansehen. Das Thema EMV werde ich jetzt natürlich mit einbeziehen. Also doch mehr Plastik drumherum mache, und vielleicht eine Art Luftkanal für die Zusatzlüfter konstruieren.

Kleines Update zu den Prototypen. Die ersten Versuche waren grauenhaft, schlechtes Design, instabil, fehlerhaft. Habe mir ein paar Testobjekte gedruckt. Momentan konstruiere ich die Teile komplett neu.

Des endgültige Design wird noch Zeit in Anspruch nehmen. EMV ist auch noch ein Thema.

- In der Zwischenzeit ist der ESD Boden für den Serverraum angeliefert worden. (Fotos und Daten dazu kommen noch), bin nicht vor Ort.

- Brandschutzsystem ist auch schon bestellt. (https://www.bonpet-systems.com)

- Cyber Monday udgl. war nichts. Kein einziges brauchbares Angebot.

- Diese Woche werde ich die ersten Ubiquiti Teile bestellen.

Danke! Echt guter Tip! Stöbere dort gerade nach passenden Bauteilen. Da kann ich wirklich etliches davon verwenden.