Ich habe heute die Umstellung noch einmal versucht.
Leider war es einfach ein dummer Fehler von mir.
Ich hatte vor einiger Zeit den IP Bereich der FRITZ!Box geändert, damit ich auf diese auch im Bridge Mode zugreifen kann, indem ich nur das LAN Kabel in einen anderen Port stecke.
Das habe ich allerdings nie benutzt, weil ich dafür in den Keller gehen musste um das Kabel umzustecken. Es war einfach bequemer den VPN zu aktivieren um auf die FritzBox zu kommen.
Nachdem ich den Bridge Mode deaktiviert hatte, war am LAN Port 2 keine öffentliche IP sondern der IP Bereich der UDM. Deshalb wurde sie zwar von der FRITZ!Box erkannt, aber keine IP zugewiesen.
Nachdem ich den IP Bereich der FRITZ!Box korrigiert habe, hat alles wie gewünscht funktioniert.
Edit:
Für diejenigen, die es interessiert. Ein Speed Test am 1G Port und ohne Bridge Mode am 2,5G Port.