Blokowanie po dns
Załóżmy taką sytuację, że ISP blokuje pewne strony – pornografia, wegetarianie, cykliści – obojętnie. Lista jest oczywiście tajna, a by chcemy wiedzieć co tam jest. Chcemy też, by świat się o tym dowiedział grając na nosie dupkom pokroju Ministranta Do Spraw Cenzury Conroya (aka wielebnego stefana podpierdka)
Co robimy?
Bardzo proste. Potrzebujemy 3 składniki:
- IP serwera, na który odwiedzający zostanie przekierowany (zamiast na prawidłową stronę)
- IP serwera dns, na którym jest blokada
- Listę wieeeeeeeeeelu stron internetowych.
No i narzędzie dig.
$ dig @[serwer dns] -f list in +noall +answer \ | grep '[podstawiony ip]' > result.txt
I czekać. Moja lista ma zaledwie milion adresów, później trzeba będzie coś lepszego znaleźć... może własny crawler?
A teraz czekam… zzzz… niedługo WL opublikuje listę używaną we Włoszech :)
Wystarczy, że zamiast na 1 adres IP przekierują na wiele istniejących stron i metodę możesz OKDR.
Ano, wtedy trzeba do grep podstawić inne adresy, by dopasowało jeden z nich. Ale tutaj akurat wiem że blokowanie zawsze kieruje na jeden adres.
Czekać... taa. Od wczoraj jeszcze leci… mam nadzieję że się kiedyś skończy.
No i wyszło w praniu, że jeden proces dig-a to za mało. Martwiłem się że milion stron pójdzie szybko i mało co znajdzie. Od wczoraj do rana nie znalazł nic (1 proces), od rana do teraz – 122 rekordy, przy 10 procesach dig-a.
crawler masz wygodny w zestawie z yacy