UDM-PRO-SE FW 3.x und der AD Blocker - How it Works

Moin,

So FW 3.x is raus im EA und zusammen mit dem 7.3.x ist nun ein AD Blocker dazu gekommen.

Wie an und Aus:

Einstellungen -> Traffic Management hat nun unter den statischen Routen einen AD Blockig Schalter.

Einstellen kann man dort aber nur für welches VLAN das Ding aktive sein soll.

Was tut es:

Mit dem einschalten wird eine Firewall Regel für das jeweilige VLAN Netz hinzugefügt.

Diese biegt den DNS Traffic eine 203.0.113.0/24 IP um (unabhängig was ihr ggf. am Client direkt oder per DHCP

eingestellt habt. Sofern der DNS auf oder hinter der UDM liegt, wird umgebogen).

# iptables -v -t nat -L DNSFILTER
Chain DNSFILTER (1 references)
  pkts bytes target     prot opt in     out     source               destination         
    0     0 DNAT       tcp  --  any    any     10.0.20.0/24         anywhere             tcp dpt:domain to:203.0.113.3:53
    0     0 DNAT       udp  --  any    any     10.0.20.0/24         anywhere             udp dpt:domain to:203.0.113.3:53
    0     0 DNAT       tcp  --  any    any     192.168.1.0/24       anywhere             tcp dpt:domain to:203.0.113.2:53
    6   424 DNAT       udp  --  any    any     192.168.1.0/24       anywhere             udp dpt:domain to:203.0.113.2:53

KEINE Sorge die IP ist Local!
203.0.113.0/24 is das TEST-NET-3 und eigentlich für Dokumentation gedacht. Keine Ahnung was Ubiquiti da geritten hat

den Bereich zu nutzen. Können sich aber wohl sicher sein das den kein anderer irgendwie nutzt.

Wie man sehen kann bekommt jedes VLAN Netz seien eigne Ziel Adresse auf den der DNS Verkehr umgeleitet wird.

Jede Zieladresse ist dabei in einem eignen Netzwerk Namespace, eine Technik wie sie beim betreiben von Container

Anwendung findet um eigne Interfaces/ip/routingtabellen/Firewall Tabellen zu nutzen die sich gegenseitig nicht beeinflussen.

Als Routing Brücke im „default“ Netzwerk die "203.0.113.1/24“. Das is mehr oder minder elegant, Network Basierte Namensräume

sind eine mächtige Waffe, macht es aber nicht leichter.

Aber am ende des Tages läuft dann für jedes Vlan eine eigne DNSMasq Instanz.

# ps -ef
nobody   2429550       1  0 22:08 ?        00:00:01 dnsmasq -r /run/dnsfilter/dns-192.168.1.1-resolv.conf -C /run/dnsfilter/dns-192.168.1.1-conf.conf --pid-file=/run/dnsfilter/dns-192.168.1.1.pid
nobody   2429606       1  0 22:08 ?        00:00:00 dnsmasq -r /run/dnsfilter/dns-10.0.20.1-resolv.conf -C /run/dnsfilter/dns-10.0.20.1-conf.conf --pid-file=/run/dnsfilter/dns-10.0.20.1.pid

Jede Instanz bekommt über die „resolve.conf“ die 203.0.113.1 als Forwarder, damit wird der normale UDM DNS benutzt, der seinerseits die im WAN konfigurierten DNS server benutzt. Damit sind eigne DNS einstellungen auf Client Seite ausgehebelt. Es wird alles auf die UDM umgebogen in dem VLAN sobald ein DNS Paket vorbei kommt. Ich Hoffe das wird noch etwas flexibler.

Dazu gesellt sich dann ein configfile mit ca. 155000 Einträgen von bekannten Werbeservern die auf die 0.0.0.0 aufgelöst werden.

Aktualisiert wird das ganze so wie die IDS Rules einmal alle 24 stunden (keine Ahnung wie oft da was geändert wird ich hab mal von heute eine copy zum vergleichen in ein paar tagen (Files liegen in /run/utm)

Und ja es funktioniert ganz anständig aber so ohne daschbord, Statistiken, Counter macht das keinen Spaß. Da ist PI-hole naturgemäß auf einen ganz anderen level.

Zitat von Bassfly

Beeinträchtigt das einen vorhandenen Pi-Hole im Netz?

Das ist nur schwer zu verallgemeinern, weil es drauf ankommt wie du deinen PI Hole eingebunden hast.

von: der PI-Hole wird garnicht mehr gefragt , über: Pi-Hole und SD Blocker werden hintereinander gefragt,

bis zu: der eine fragt den anderen an und es ensteht ein loop der das Universum in sich einsaugen wird

(na ja oder dein client sagt irgendwann DNS timeout) ist alles möglich.

Beide im Betrieb zu haben macht aber auch keinen Sinn.

Das es A die DNS anfrage wieder verlangsamt (noch ein server dazwischen) und B die Block Listen

ähnlich sein werden wobei die UniFi Lösung ja nur Werbung blockt und nicht noch

Sex / Hass / Gewalt / Wetter als Filter hat.

Beispiele:

192.168.1.1 -> UDM bekommt hat am WAN Port die 1.1.1.1 (Cloudflare) AD BLOCK AN

192.168.1.2 -> PI Hole mit 8.8.8.8 (GOOGLE) als DNS UPLINK

192.168.1.23 -> Client (Rechner, Tabes, whatever)

10.10.10.23 -> Client im VLAN 10 mit 192.168.1.2 (als dem PiHole als DNS) AD Block AN

Dein Rechner hat die 192.168.1.1 als DNS, da wird der AD Blocker gefragt und dann 1.1.1.1

Dein Rechner hat die 192.168.1.2 als DNS, da wird der Pi-Hole gefragt, der sendet dann an die 8.8.8.8

Das ist aber DNS und wird auf der UDM umgebogen, vom AD block geprüft und dann an die 1.1.1.1.

weitergeleitet. Der Google DNS sieht nie die anfrage.

Das VLAN10 Tablet, 192.168.1.2 als DNS an.

wird aber gleich umgebogen auf DIE UDM und dann weiter zum 1.1.1.1

der PI Hole sieht die anfrage nicht.

Ich mach das an deutlich weniger Werbung fest…der Postillion freut sich das mein ad blocker funktioniert bedauert aber weniger Einnahmen (musste schmunzeln).

YouTube werbebanner sind zu 80% durchsichtig geworden (Rahman Danneberg kein inhalt)

Die typische Recht von der Seite Banner bei vielen Webseiten sind quasi weg…

Und und und und…

Ah und es gibt in den Security insights eine Spalte wie oft der ad block angesprungen ist für das device… kein high end Report aber fürs gute Gefühl.

Sieht dann so aus…

Wenn nicht hast du noch irgendwas krumm

Ja genau mehr ist das nicht und mehr ist auch nicht möglich.

Hast du auf deinem Client evt. Einstellungen oder Mechaniken die dafür sorgen das die UDM

das nicht mitbekommt ? Besondere Firewall Einstellungen die ggf. DNS beeinflussen,

nen DNS server der im Lokalen lan link und seien Weiterleitungen über ein vlan macht

das nicht eingeschaltet ist. Oder so Moderenen kram wie DNSovertls, DNS over http(s)

oder ähnliches ?

schneller test auf deinem Client :

nslookup adtech.de

nslookup adtech.de 192.168.1.1 (die ip durch dein gateway für das vlan ersetzen)

da sollte als ip „0.0.0.0“ zurückkommen, wenn nicht dann wie gesagt ist was komisch bei dir.

mhhh, wenn die beiden tests von gleichen Rechner waren hast du ein Problem.

Die erste Abfrage fragt den im deinem Client system eingestellten DNS server,

die zweite Anfrage fragt explizit den angegebenen DNS Server.

Beide DNS Anfragen werden bei dir (aus der Antwort ersichtlich) von der 192.168.0.1

beantwortet also nach außen hin von dem gleichen Server.

Aber einmal mit den P Adressen vom „WerbeServer“ und das andere mal

korrekt mit der 0.0.0.0 „geblockt“ Antwort.

Was passiert wenn du ein paar mal hintereinander

"nslookup adtech.de“ ausführst ?

Kann mir da so keinen Reim drauf machen. Außer das der „ADBlock“ Part bei dir nicht ganz 100%

funktioniert. keine Umleitung, fehlerhafte listen, das timeouts doof, irgendwelche firewall regeln

von dir... das kann alles mögliche sein.

Anfangen würde ich mit ausschalten einen altmodischen reboot der UDM und wider einschalten.

Zitat von columbo1979

Habe den Befehl: "nslookup adtech.de" nun ein paar mal ausgeführt... mal kommt ein 0.0.0.0 (einige Male) und dann wieder externe IP Adressen.... und dann wieder 0.0.0.0 - sehr Unterschiedlich... habe als DNS 1.1.1.1 laufen... sollte damit aber nichts zu tun haben, oder?

kurz gesucht du hattest och auch eine UDM-PRO-SE oder ?

Habe grade 1000 mal die abfrage gesendet wurde immer wie zu erwarten immer mit 0.0.0.0 beantwortet.

for i in `seq 1 10000`; do nslookup adtech.de; done (batch, von Mac osx)

Hattest du mal einen Neustart gemacht ?

Klingt fast do als wenn er das Zonen mit den AD Domain nicht immer anfragt.

das ist komisch und will mir nicht so recht in den sinn

Wie gesagt, will mir nicht so in denn sinn was bei die schief ist.

Dafür müsse man das Ganze Setup kennen mit allen Details.

Es klingt ein wenig danach das das Zonenfile mit den ganzen

Domainname drinnen nicht gut gelesen wird der DNS denkt

da ist nicht und die anfrage normal nach draußen gibt.

du könntest mal schau:

das Update Manual zu triggern mir der Hoffnung die den Inhalt nicht alles

10 min ändern sollten du ähnliche Ergebnisse bekommen.

Dann schauen ob die Dateien da sind, aktuelles Datum haben (um Zeitpunkt des Updates rum)

ud gfg mal schauen ob die Iptables rules auch gesetzt sind.

/usr/share/ubios-udapi-server/ips/bin/getsig.sh

Starting rule update.

alien enabled, starting update.
alien extracted, reloading.
alien update finished.

tor enabled, starting update.
tor extracted, reloading.
tor update finished.

Ads Filter enabled, starting update.
Ads database extracted.

IDS/IPS enabled, starting update.
IDS/IPS rules extracted.
IDS/IPS fixing rules file names.
IDS/IPS reload signal sent.
UTM PID file found, sending sig usr1 signal.
UTM reload signal sent.


#ls -l /run/utm/ads.list
-rw-r--r-- 1 root root 4257130 Oct 25 11:46 /run/utm/ads.list

#md5sum /run/utm/ads.list
457b62bc7b8669ff9ad38be83aa79563  /run/utm/ads.list

#ls -l /run/dnsfilter/dns-192.168.1.1-ads.list 
-rw-r--r-- 1 root root 6907430 Oct 25 11:46 /run/dnsfilter/dns-192.168.1.1-ads.list

#md5sum /run/dnsfilter/dns-192.168.1.1-ads.list
812f65f837b70337d9caddf9a78dfd6d  /run/dnsfilter/dns-192.168.1.1-ads.list

# iptables -v -t nat -L DNSFILTER
Chain DNSFILTER (1 references)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 DNAT       tcp  --  any    any     192.168.1.0/24       anywhere             tcp dpt:domain to:203.0.113.2:53
  301 21500 DNAT       udp  --  any    any     192.168.1.0/24       anywhere             udp dpt:domain to:203.0.113.2:53

die md5 Hash kann man vergleichen, wenn die gleich sind haben wir das gleiche file.

Da sich da aber auch ändert, Zeit und Datum sollten

Zitat von noexpand

Beispielsweise https://canyoublockit.com/extreme-test/

genau die hatte ich tage auch mal...so ca. 60% Schaft die ubiquiti Ad Block Liste.

im echten leben... Viele nervige Seiten Werbung sind weg. YouTube Bannerwerbung

ist zu 90% weg (na ja es wird ein durchsichtiger Kasten geladen).

z.B heise.de, mikrocontroller.net, dict.leo.org 100% werbe frei

Ich bin ganz glücklich damit... ist ok... aber denke der

Das π-Loch Performed besser vorallem weil der nicht nur Werbung kann

Zitat von noexpand

Und ich habe die Möglichkeit, einzelne Seiten, die mich ganz besonders nerven, selbst zu sperren.

könnte mit vorstellen das da noch was kommt, es werden aktuell pro VLAN eine

dns-x.x.x.x-ads.list

dns-x.x.x.x-black.list

dns-x.x.xx.-white.list

angelegt (x.x.x-x is die jeweilige Gateway IP auf dem UDM) und bereits in die jeweilige

DNSMasq config eingetragen. Black und Whitelist sind aber leer..

aber alleine das die da sind... aber das ist natürlich Spekulatius....

Aber ja Pi-hole ist das da das maß der dinge und Ubiquiti Meilenweit von entfernt..