|
Wycinanie reklam z poziomu routera
|
| joks |
Dodano 20-05-2016 12:19
|
User
Posty: 82
Dołączył: 24/03/2016 16:25
|
a czy nie prościej skorzystać z:
https://github.com/StevenBlack/hosts
autor tej listy korzysta wlasnie z list: adaway.org, mvps.org, malwaredomains.com, someonewhocares.org, yoyo.org oraz innych i robi to samo  aktualizacja jest wykonywana codziennie. nie wiem na ile zasobożerna jest taka operacja na routerze przy uzyciu Twojego skryptu (ile zajmuje pobranie wszystkich list, jak duzo mb zajmują one w pamieci zanim nie zostana usuniete itd.) ale po co komplikować sobie życie skoro juz ktos codziennie takie listy łączy i usuwa duplikaty dajac gotowy jeden plik host. dodatkowo plik host ma same 0.0.0.0 czyli jest przystosowany do dnsmasq.
edit: z czystej ciekawosci jestem ciekaw czy Twój skrypt z tych samych stron po usunięciu duplikatów pokaże taka samą ilość unikalnych wpisow co jest w pliku stevnablack-a
Edytowany przez joks dnia 20-05-2016 12:30
|
| |
|
|
| qrs |
Dodano 20-05-2016 14:55
|
Maxi User
Posty: 749
Dołączył: 02/12/2012 00:55
|
Cytat shibby napisał(a):
Oczywiście nie będzie pięknego panelu ze statsami, bo to tylko zbedna robota dla mnie Wazny jest efekt i poprawność działania adblocka a nie wykresiki.
Posiadanie statystyk bądź samej listy zablokowanych stron ma jeden plus, mianowicie widać co zostało zablokowanie i można dzięki temu stwierdzić czy nie zostało zablokowane za dużo. Ostatnio miałem sytuację, że PlayStation Store na PS4 przestał mi działać, dopiero selekcja adresów zablokowanych pozwoliła znaleźć adresy jakie nie powinny być zablokowane i dodać je jako wyjątki
---
Netgear R7000 • Netgear WNR3500L v2 • MikroTik hAP ac^2 • TP-LINK M7650
|
| |
|
|
| Przemo |
Dodano 20-05-2016 20:51
|
User
Posty: 58
Dołączył: 26/11/2015 18:43
|
Hmm... To nie będzie listy zablokowanych stron? qrs dobrze napisał, jak będę mógł sprawdzić czy adblock mi czegoś nie zablokował co jest mi potrzebne. Przy liście zablokowanych stron szybko można dodać coś do whitelisty, skorygować błąd adblocka.
Netgear R7000 (1400MHz)
Tomato tomato-R7000-ARM--140-AIO-64K
Internet UPC - Cisco EPC3212
RBM5 - MTC 827F (Huawei e3372s-153)
APC [color=#CCCCCC]APC Back-UPS 500 [/co
|
| |
|
|
| majkel152 |
Dodano 20-05-2016 21:41
|
OL Maniac
Posty: 1716
Dołączył: 09/06/2010 14:36
|
a czy będzie blokować zakodowane przekierowania w base64?
nie znam się na tym ^^
kupię coś fajnego
sieć domowa:
router z pfsense https://i.imgur.com/IuB6Zwy.png, jakieś dziwne urządzenia , ups, światłowody, apeki i działa miło |
| |
|
|
| shibby |
Dodano 21-05-2016 11:12
|
SysOp
Posty: 17110
Dołączył: 15/01/2009 20:30
|
Cytat I tak się kłóci, ja u siebie mam tomato z adblockiem, który teoretycznie ma pixelserv ale gdy chcesz np uruchomić ngnix na porcie 443 dla https, to już się nie da bo pixelserv go blokuje podobnie ngnix nie działa dla portu 80 gdy pracuje pixelserv. Wyłączyłem go i wszystko działa
pixelserv uruchamia się tylko na jednym interfejsie (wirtualnym aliasie), zaś nginx na wszystkich dostępnych interfejsach. Dlatego się kłócą. To tak jakbyś chciał uruchomić GUI tomato i Nginx na tych samych portach.
Cytat a czy nie prościej skorzystać z:
https://github.com/StevenBlack/hosts
autor tej listy korzysta wlasnie z list: adaway.org, mvps.org, malwaredomains.com, someonewhocares.org, yoyo.org oraz innych i robi to samo
to już dowolność użytkownika. Każdy może włączyć sobie jakie listry chce i ile chce. Plusem kilku list jest to, że gdy zablokuje nam się strona lub usługa to można wyłączyć jedną blacklistę i zobaczyć czy problem się rozwiązał. Mając jedną listę musimy de facto zdezaktywować całego adblocka.
Cytat z czystej ciekawosci jestem ciekaw czy Twój skrypt z tych samych stron po usunięciu duplikatów pokaże taka samą ilość unikalnych wpisow co jest w pliku stevnablack-a
w wolnej chwili sprawdzę to.
Cytat Hmm... To nie będzie listy zablokowanych stron? qrs dobrze napisał, jak będę mógł sprawdzić czy adblock mi czegoś nie zablokował co jest mi potrzebne. Przy liście zablokowanych stron szybko można dodać coś do whitelisty, skorygować błąd adblocka.
wszelkie statystyki jak i listy zablokowanych stron pochodzą z adblocka. Skoro z niego nie korzystam to nie ma takowej listy. Tłumaczyłem jak działa adblock który będzie w tomato. On nie przekierowuje żadnych połączyć do podprocesów (typu pixelserv), nie analizuje ruchu. Po prostu DNS podaje zły adres IP hostingu z reklamą, dlatego też reklama nie ma prawa się otworzyć. Ot cała filozofia.
Sam miałem ostatnio taką sytuację, że origin mi się nie uruchamiał - nie mogłem zalogować się do origina ani uruchomić grę BF4. Zacząłem wyłączać poszczególne blacklisty i odnalazłem tą, która mi origina zablokowała. W ten sposób można dojść, która blacklista nam miesza, można ją otworzyć w przeglądarce i spróbować odszukać zablokowaną domenę.
Whitelista działa tak, że dodanie słowa lub części domeny powoduje usuniecie wszystkich wpisów z blacklisty, które pasują do wzorca.
Router: Unifi Cloud Gateway Max
Switch: Netgear MS510TXPP
Switch: Unifi USW-Flex-Mini - szt. 2
Wi-Fi: Unifi U6-Lite - szt. 2
Proxmox VE: i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+
VM #1: Synology SA6400
VM #2: Debian, WWW
VM #3: Home Assistant OS
|
| |
|
|
| majkel152 |
Dodano 21-05-2016 11:15
|
OL Maniac
Posty: 1716
Dołączył: 09/06/2010 14:36
|
dobra dobra  kiedy testujemy?
nie znam się na tym ^^
kupię coś fajnego
sieć domowa:
router z pfsense https://i.imgur.com/IuB6Zwy.png, jakieś dziwne urządzenia , ups, światłowody, apeki i działa miło |
| |
|
|
| shibby |
Dodano 21-05-2016 11:16
|
SysOp
Posty: 17110
Dołączył: 15/01/2009 20:30
|
mam pomysł. Mogę dodać opcję w stylu "Enable Debug Mode". Wtedy DNSmasq zacznie logować do sysloga wszystkie zapytania.
np.:
Cytat May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: query[A] clients1.google.com from 10.0.0.159
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: forwarded clients1.google.com to 8.8.8.8
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients1.google.com is
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.121
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.91
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.101
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.95
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.84
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.102
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.99
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.112
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.88
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.110
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.106
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.123
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.117
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.90
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.80
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply clients.l.google.com is 109.173.137.113
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply document.issuu.com is
May 21 11:13:19 Tomato daemon.info dnsmasq[19342]: reply c.global-ssl.fastly.net is 185.31.17.175
May 21 11:13:20 Tomato daemon.info dnsmasq[19342]: query[A] issuu.com from 10.0.0.159
May 21 11:13:20 Tomato daemon.info dnsmasq[19342]: forwarded issuu.com to 8.8.8.8
May 21 11:13:20 Tomato daemon.info dnsmasq[19342]: query[A] pixel.quantserve.com from 10.0.0.159
May 21 11:13:20 Tomato daemon.info dnsmasq[19342]: forwarded pixel.quantserve.com to 8.8.8.8
May 21 11:13:20 Tomato daemon.info dnsmasq[19342]: reply issuu.com is 52.72.26.162
wpisy rozwiązane do adresu 0.0.0.0 to domeny zablokowane przez adblocka. W ten sposób łatwiej będzie namierzyć zablokowaną domenę. Po dopisaniu jej do whitelisty wyłączamy Debug Mode i po temacie.
Wystarczy takie rozwiązanie?
Połączony z 21 maj 2016 11:23:47:
przykład zablokowanej domeny w logu:
Cytat May 21 11:18:36 RT-AC3200 daemon.info dnsmasq[9925]: query[A] ad.doubleclick.net.28556.9225.302br.net from 127.0.0.1
May 21 11:18:36 RT-AC3200 daemon.info dnsmasq[9925]: config ad.doubleclick.net.28556.9225.302br.net is 0.0.0.0
Edytowany przez shibby dnia 21-05-2016 11:23
Router: Unifi Cloud Gateway Max
Switch: Netgear MS510TXPP
Switch: Unifi USW-Flex-Mini - szt. 2
Wi-Fi: Unifi U6-Lite - szt. 2
Proxmox VE: i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+
VM #1: Synology SA6400
VM #2: Debian, WWW
VM #3: Home Assistant OS
|
| |
|
|
| qrs |
Dodano 21-05-2016 15:06
|
Maxi User
Posty: 749
Dołączył: 02/12/2012 00:55
|
Będzie spoko
---
Netgear R7000 • Netgear WNR3500L v2 • MikroTik hAP ac^2 • TP-LINK M7650
|
| |
|
|
| Birkoff |
Dodano 24-05-2016 15:59
|
User
Posty: 47
Dołączył: 20/04/2012 09:57
|
Za czasów Tomato 109-112 jak testowałem blokadę po hosts, to wtedy częściej wyświetlał się błąd "nie odnaleziono serwera" zwłaszcza na mobilnych przeglądarkach, tylko nieliczne przeglądarki nie wyświetlały tego błędu np. firefox po włączeniu browser.xul.error_pages.enabled i żeby poprawić wygląd stron trzeba było zastosować pixelserv.
Teraz tez nieraz pojawi się ten błąd.
Tutaj przykłady jak wygląda ten komunikat na różnych przeglądarkach. Po lewej blokada hosts, po prawej hosts + pixelserv (strona http i reklama po http)
https://imgur.com/1aRGC0p
Jeszcze można by było dodać sprawdzanie sum kontrolnych przed pobraniem pliku, żeby nie pobierał jak się nie zmieniła jego zawartość.
Tutaj http://jazz.tvtom.pl/adblock-w-openwr...-gargoyle/ zamiast pixelservera zastosowano 1px gif w skrypcie do Gargoyle. Może można by było wykorzystać wbudowany nginx do wyświetlania gifa? |
| |
|
|
| Boczek |
Dodano 24-05-2016 21:07
|
Power User
Posty: 206
Dołączył: 02/05/2014 21:09
|
@shibby po kliku kliknięciach może syslog być zawalony. Może /var/log/adblock.log lub same zablokowane domeny...
EdgeRouter X: EdgeOS
RT-AX56U: AsusWRT
EA6900: tbd
EA6350: tbd
|
| |
|
|
| krzynek1 |
Dodano 03-06-2016 06:51
|
User
Posty: 90
Dołączył: 31/08/2007 16:21
|
A czy jest możliwość aby blokowac reklamy ale dla wybranych hostow w sieci LAN? |
| |
|
|
| shibby |
Dodano 03-06-2016 10:56
|
SysOp
Posty: 17110
Dołączył: 15/01/2009 20:30
|
adblock działa w oparciu o dnsmasq, zatem działa dla wszystkich hostów, którzy korzystają z serwera DNS na routerze. Wystarczy więc na hoście na którym nie chcemy mieć blokowanych reklam wpisać inne DNSy lub przez zaawansowaną konfigurację dnsmasq wymusić by danemu hostowi router wysyłał inne DNSy i gotowe.
@boczek - debug mode włącza pełne logowanie zapytań dnsmasq. Można go przekierować ale wtedy mniej zaawansowani użytkownicy mogą mieć problem z jego czytaniem. Dlatego jednak syslog jest lepszy. Włączasz debug, wchodzisz na stronę, która jest blokowana, wyłączasz debug i analizujesz logi. Przecież nikt rozgarnięty nie zostawi debug mode włączone na stałe  Ew mogę dodać zabezpieczenie, że po północy, gdy wykonywany jest update list skrypt sprawdzi czy debug jest włączony. Jak tak to go wyłączy z komunikatem w logu "Oops, you probably forgot to turn off debug mode "
@Birkoff - testuję adblocka bez pixelserva od kilku tygodni i przyznam szczerze nie trafiłem na żadną stronę, która by źle wygląda po zablokowaniu reklam. Podaj proszę kilka przykładowych stron. Sprawdzę je u siebie jak wyglądają przed i po blokadzie.
Router: Unifi Cloud Gateway Max
Switch: Netgear MS510TXPP
Switch: Unifi USW-Flex-Mini - szt. 2
Wi-Fi: Unifi U6-Lite - szt. 2
Proxmox VE: i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+
VM #1: Synology SA6400
VM #2: Debian, WWW
VM #3: Home Assistant OS
|
| |
|
|
| krzynek1 |
Dodano 05-06-2016 07:16
|
User
Posty: 90
Dołączył: 31/08/2007 16:21
|
Cytat shibby napisał(a):
adblock działa w oparciu o dnsmasq, zatem działa dla wszystkich hostów, którzy korzystają z serwera DNS na routerze. Wystarczy więc na hoście na którym nie chcemy mieć blokowanych reklam wpisać inne DNSy lub przez zaawansowaną konfigurację dnsmasq wymusić by danemu hostowi router wysyłał inne DNSy i gotowe.
Dzieki za podpowiedz, jesli ktos jak ja potrzebuje takiego rozwiazania to ponizej przedstawiam sposob:
dhcp-host=xx:xx:xx:xx:xx,set:nazwa_grupy,123.456.789.012
dhcp-option=tag:nazwa_grupy,option:dns-server,adres(y) serwerow dns
gdzie:
xx:xx:xx:xx:xx - adres mac hosta
123.456.789.012 - adres ip hosta
Wracajac do tematu adblocka, jesli dobrze rozumiem przez plik hosts blokujemy szkodliwe witryny po http, czy mozemy cos jeszcze zrobic aby uwzglednic takze https, tak jak to robia wtyczki w przegladarkach lub chociazby androidowy (i nie tylko) Adguard? |
| |
|
|
| Boczek |
Dodano 05-06-2016 08:34
|
Power User
Posty: 206
Dołączył: 02/05/2014 21:09
|
@krzynek1 https i http to protokoły. DNS zamienia adresy nazwy domenowe na adresy IP i odwrotnie. Możliwe, że na 1 serwerze będą skonfigurowane protokoły http i https. Wtedy blokuje je 1 rekord z pliku hosts w Adblocku.
EdgeRouter X: EdgeOS
RT-AX56U: AsusWRT
EA6900: tbd
EA6350: tbd
|
| |
|
|
| majkel152 |
Dodano 05-06-2016 12:10
|
OL Maniac
Posty: 1716
Dołączył: 09/06/2010 14:36
|
@Birkoff - testuję adblocka bez pixelserva od kilku tygodni i przyznam szczerze nie trafiłem na żadną stronę, która by źle wygląda po zablokowaniu reklam. Podaj proszę kilka przykładowych stron. Sprawdzę je u siebie jak wyglądają przed i po blokadzie.[/quote]
podobno coś się miało kompilować :E ?
nie znam się na tym ^^
kupię coś fajnego
sieć domowa:
router z pfsense https://i.imgur.com/IuB6Zwy.png, jakieś dziwne urządzenia , ups, światłowody, apeki i działa miło |
| |
|
|
| shibby |
Dodano 06-06-2016 05:52
|
SysOp
Posty: 17110
Dołączył: 15/01/2009 20:30
|
Miało ale wyskoczył problem z ipset - można poczytać na moim repo w bitbucket. Dlatego też kompilacja się opóźnia.
Router: Unifi Cloud Gateway Max
Switch: Netgear MS510TXPP
Switch: Unifi USW-Flex-Mini - szt. 2
Wi-Fi: Unifi U6-Lite - szt. 2
Proxmox VE: i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+
VM #1: Synology SA6400
VM #2: Debian, WWW
VM #3: Home Assistant OS
|
| |
|
|
| qrs |
Dodano 06-06-2016 09:52
|
Maxi User
Posty: 749
Dołączył: 02/12/2012 00:55
|
jeszcze zobaczcie czy nie będzie timeoutów po połączeniu się przez OpenVPN bo obecnie testuję sobie własne rozwiązanie i na Wifi jest OK ale na OpenVPN reklamy wycina ale wszystko wolno się ładuje bo strona czeka na załadowanie się reklamy.
---
Netgear R7000 • Netgear WNR3500L v2 • MikroTik hAP ac^2 • TP-LINK M7650
|
| |
|
|
| majkel152 |
Dodano 06-06-2016 20:05
|
OL Maniac
Posty: 1716
Dołączył: 09/06/2010 14:36
|
Cytat shibby napisał(a):
Miało ale wyskoczył problem z ipset - można poczytać na moim repo w bitbucket. Dlatego też kompilacja się opóźnia.
trzymam kciuki i czekam
nie znam się na tym ^^
kupię coś fajnego
sieć domowa:
router z pfsense https://i.imgur.com/IuB6Zwy.png, jakieś dziwne urządzenia , ups, światłowody, apeki i działa miło |
| |
|
|
| qrs |
Dodano 28-06-2016 23:12
|
Maxi User
Posty: 749
Dołączył: 02/12/2012 00:55
|
v. 137 - adblock działa bezbłędnie. Zastanawia mnie to odświeżanie co 5 min - czy nie lepiej aby każdy sam ustalał u siebie jak chce?
---
Netgear R7000 • Netgear WNR3500L v2 • MikroTik hAP ac^2 • TP-LINK M7650
|
| |
|
|
| shibby |
Dodano 29-06-2016 06:41
|
SysOp
Posty: 17110
Dołączył: 15/01/2009 20:30
|
Odświeżanie co 5 min jest tylko wtedy gdy nie uda mu się ściągnąć choć jednej blacklists - brak neta.
Normalnie odświeżanie blacklist jes raz dziennie w nocy.
Router: Unifi Cloud Gateway Max
Switch: Netgear MS510TXPP
Switch: Unifi USW-Flex-Mini - szt. 2
Wi-Fi: Unifi U6-Lite - szt. 2
Proxmox VE: i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+
VM #1: Synology SA6400
VM #2: Debian, WWW
VM #3: Home Assistant OS
|
| |
|
' target='_blank'>Link
