Homelab mit Proxmox Nodes und Kubernetes

Moin,

hier im Forum hat vor kurzem jemand nach einem [kleinen] Mini Server für Proxmox gefragt und es reizt mich, es größer und überflüssiger zu gestalten.

Was habe ich vor:

• 3 Mini PCs als Nodes in einem Proxmox VE Cluster
• 1 Kubernetes Cluster über VMs auf allen Nodes (also min. 1 VM pro Mini PC)
• Rancher Longhorn als Storage Provider mit Replikation für Persistent Volumes im Kubernetes Cluster

Dann kann ich meine Anwendungen, welche aktuell als Container auf 2 "fetten" Servern laufen in den Cluster migrieren und diese abbauen. Das sollte im Endeffekt Strom sparen und die Ausfallsicherheit erhöhen.

Jedenfalls habe ich jetzt einen Beelink EQ13 mit Proxmox VE installiert. Davon sollen noch 2 weitere angeschafft werden, aber aktuell ist das meine Labor-Plattform. Entsprechend sollen auf diesem Host 3 VMs laufen, in denen dann Kubernetes mit Longhorn verprobt wird. Für die VMs wird Talos Linux verwenden, ein minimales, unveränderliches Linux mit integriertem Kubernetes Setup.

Aber - meine aktuelle Herausforderung ist viel trivialer:

Der Mini Server hat 2x GbE. Ein NIC soll mit VLAN 30 ("LAN") verbunden werden, zur Steuerung des Proxmox Hosts. Das Netz dahinter ist 192.168.30.0/24. Der 2. NIC soll mit VLAN 80 ("LAB") verbunden werden (192.168.80.0/24) und die VMs sollten statische IPs aus diesem Netz verbunden werden. Sie sollen Internet-Zugriff (GW ist eine Dream Machine Pro) bekommen und der Zugriff soll aus dem "LAN"-VLAN möglich sein.

VLAN 30 bestand bereits, der Proxmox Host hat via DHCP die (in der UDM Pro fix eingestellte) Adresse 192.168.30.90 bekommen. VLAN 80 habe ich neu angelegt, ohne DHCP (s.u.) und als native VLAN auf den Port des Switches gelegt, der mit dem 2. NIC des Mini PC verbunden ist. In Proxmox habe ich eine weitere Bridge angelegt und dort die IP 192.168.80.2 eingetragen. Ich kann - aus dem LAN - die Adresse 192.168.80.2 pingen und über diese IP auf Proxmox VE zugreifen.

Jetzt das Problem (endlich): Erstelle ich eine VM, binde sie an die "LAB" Bridge und lege die Adresse 192.168.80.10/24 fest, kommt die VM ins Internet. Aber ich kann sie aus dem VLAN 30 "LAN" nicht erreichen und ich verstehe nicht, warum. Denn - ich verbiete zwar grundsätzlich den inter-VLAN-Traffic, aber erlaube explizit Traffic aus dem LAN Vlan in alle anderen VLANs.

Hilfe!

VLAN 80 ("LAB")

"LAB" als native VLAN auf Port 22 eines USW 24 PoE, angeschlossen an NIC #2 des EQ13

Proxmox Bridge für VLAN "LAB"

Firewall Regeln UDM Pro (Übersicht):

VLAN LAN nach alle VLANs Regel:

VLAN zu VLAN Regel:

Diese Regel ist auch bei mir die Erste, siehe Screenshot.

Quote

Ich kann - aus dem LAN - die Adresse 192.168.80.2 pingen und über diese IP auf Proxmox VE zugreifen

Grundsätzlich scheint das Routing aus Richtung LAN nach VLAN 80 in Ordnung, denn den Proxmox Host kann ich erreichen. Das bringt mich zu der Vermutung, dass es auf Proxmox Ebene liegen können, dass dort vielleicht eine Firewall-Freigabe fehlt oder ähnliches. Aber - im Rahmen meiner Versuche hatte ich im Vorfeld auch VMs im "LAN" VLAN und konnte problemlos drauf zugreifen. Grunsätzlich scheint Proxmox nichts zu blocken.

Quote

Erstelle ich eine VM, binde sie an die "LAB" Bridge und lege die Adresse 192.168.80.10/24 fest, kommt die VM ins Internet.

Okay, es scheint ein Problem mit Talos Linux zu sein, denn eine VM mit alpine und gleichem Netzwerk-Device (vmbr1) funktioniert und kann von außen erreicht werden. Ich werd' mal weiter tüfteln.