Anonymizer als Ersatz für den Proxy. Überprüfung der Gültigkeit von Proxy-
27. August 2010 | Autor: dimio 
Stolperte über eine interessante Notiz mit dem Titel " Und ein wenig mehr über die Google Hack ", in dem der Autor beschreibt die Verwendung von Proxy (Anonymizer Beispiel - die Website ) Anstelle der öffentlichen Proxys zu umgehen Captcha auf Google.
Diese Methode der Verwendung von Proxy-Mir gefiel auch, und ich beschloss, ein Skript zu sammeln und zu überprüfen, die Gültigkeit der Liste der öffentlichen Web-Proxy zu schreiben.
Vorteile für den Anonymisierungsdienst "klassischen" öffentlichen Proxy
- Proxies, die von einem öffentlichen Proxy zu unterscheiden, selten sterben und sind fast immer online verfügbar
- Proxies in der Regel eine Geschwindigkeit höher als die von öffentlichen Proxys oder Tor
- Anonymizer wird nicht nur verstecken Sie Ihre IP-Adresse, sondern je nach den Einstellungen können Cookies verstecken, user-agent, etc. "Tails"
- Arbeiten über einen Web-Proxy vereinfacht zu "lehren" ihr Programm - genug, um die codierte Zeichenfolge Schnittstelle anonymizer Pass
Denn was ist sinnvoll und was kann nützlich Anonymizer (Web Proxy) werden?
- für den Einsatz in Verbindung mit dem Parser von Suchmaschinen - zu umgehen captcha, durch die SAR ausgegeben, wenn Sie eine große Anzahl von Anfragen von einer Adresse erhalten
- Senden von Anfragen an die richtige Stelle durch verschiedene Proxies, können Sie zu betrügen Zähler Besucher (diese Hypothese muss Verifikation)
- Skripten für die Buchung in verschiedenen Foren für die Buchung Kommentare auf Websites
- in einer anderen Analyse, wo die Gefahr besteht, das Verbot ist Anonymizer auch nützlich (zum Beispiel, wenn das Parsen ein Verzeichnis site nakolesah.ru , die ich erwähnt)
Sammeln Sie eine Liste von öffentlichen Web-Proxy
Erstellen und testen Sie die Proxy-Liste, vertrauen wir Perl-Script, einige Fragmente, die im Folgenden angegeben und den vollständigen Text wie gewohnt zum Download zur Verfügung in der " Soft- "(ebd. es wird zu aktualisieren.)
So führen Sie das Skript in den Modus der Liste der Proxies, müssen Sie über die Option-i-Wert oder google ajax übergeben:
anocheck.pl -i google
Erläuterung der Optionen:
- google - Suche nach öffentlichen Web-Proxies verwendet Parsen Thema Web-Suche Google. Die Liste ist in diesem Fall groß genug, aber es ist eine Chance, ein Captcha oder ein zeitweiliges Verbot bekommen
- ajax - eine Liste von Proxies aus eine Anfrage an die Google-API erhalten zu suchen. Am Ausgang von 8 Ergebnissen, aber es gibt keine captcha.
Es scheint mir die beste Version dieses Skripts - die primäre Proxy-Liste zusammengestellt mit der Option google, dann auf den Prüfstand Liste Datei übertragen.
Um für einen Proxy-Suche, Arbeit an Motoren und PHPProxy Glype verwenden Sie die folgende Abfrage-Parameter:
A 2 3 4 | # 1 - auf den Motor PHPProxy = '"Rotate13" "Base64" "Strip" inurl:index.php?q=' ; my $ phproxy_sreq = '"Rotate13" "Base64" "Strip" inurl: index.php q ='; # 2 - am Motor Glype = '"Encode URL" "Allow Cookies" "Remove Scripts" inurl:browse.php?u=' ; my $ glype_sreq = '"Encode URL", "Cookies zulassen" "Remove Scripts" inurl:? browse.php u ='; |
Dies wird durch die Analyse der Ergebnisse von Google und der Eingabe von Adressen in den Web-Proxy-Liste gefunden gefolgt:
A 2 3 4 5 6 7 8 | # 1 - Die Suchmaschine für PHProxy Basis $source =~ m #<h3 class="r"><a href="(https?://w{0,3}\.?[\w-]+\.[az]{2,4}[/\w-]*/index\.php)\?q#ig) { while ($ source = ~ m # <h3 class="r"> <a href = "(https:?.?. / / w {0,3} \ [\ w-] + \ [az] {2, 4} [/ \ w-] * / index \. php) \? q # ig) { { $1 } ++; $ Proxy_list -> {$ 1} + +; } # 2 - für die Arbeit an Glype Blick $source =~ m #<h3 class="r"><a href="(https?://w{0,3}\.?[\w-]+\.[az]{2,4}[/\w-]*/browse\.php)\?u#ig) { while ($ source = ~ m # <h3 class="r"> <a href = "(https:?.?. / / w {0,3} \ [\ w-] + \ [az] {2, 4} [/ \ w-] * / browse \. php) \? u # ig) { { $1 } ++; $ Proxy_list -> {$ 1} + +; } |
Überprüfung der Gültigkeit von Proxy-
Neben der Erstellung einer Liste von Web-Proxy, das Skript kann die bestehende Liste auf Gültigkeit überprüfen, ist es genug, um ihn durch die Option-i auf die Datei mit den Proxy-Liste Namen senden:
anocheck.pl -i proxy.txt
Mechanismus, um die Gültigkeit von Vollmachten zu überprüfen als nicht zu kompliziert (ich nahm seine Idee, die Noten im ersten Absatz genannten) - jedes gefundene anonymizer sendet eine Anforderung an die Hauptseite von Google, die dann analysiert wird, um zu sehen öffnen, wenn es den richtigen Titel. Wenn der Header vorhanden ist - zu prüfen, Proxies arbeiten - auf andere Weise übertragen, um die Liste der Feiertage:
A 2 3 4 5 6 7 8 9 10 11 12 13 14 | ( keys %$proxy_list ) { foreach my $ proxy_url (keys% $ proxy_list) { = $ua -> get ( $proxy_url . '?q=' . encode_base64 ( 'http://www.google.com' ) ) ; my $ response = $ ua -> get ($ proxy_url 'q =? encode_base64 ("http://www.google.com")..); # Über "Fehler: $ response-> status_line \ n" unless $ response-> is_success; $response -> decoded_content =~ m #<title>Google</title>#) { if ($ response -> decoded_content = ~ m # <title> Google </ title> #) { "%-45s %10s" , $proxy_url , " \x 1b[32m [OK] \x 1b[0m \n " ) ; printf ("%-45s% 10s", $ proxy_url ", \ x 1b [32m [OK] \ x 1b [0m \ n"); } else { "%-45s %10s" , $proxy_url , " \x 1b[31m [ERROR] \x 1b[0m \n " ) ; printf ("%-45s% 10s", $ proxy_url ", \ x 1b [31m [ERROR] \ x 1b [0m \ n"); @bad_proxy , $proxy_url ) ; push (@ bad_proxy, $ proxy_url); $proxy_list -> { $proxy_url } ) ; delete ($ proxy_list -> {$ proxy_url}); } } |
Die Ergebnisse bestätigen die Proxy-Liste
Als Ergebnis Proxy Prüfung der Gültigkeit der Ergebnisse in zwei Dateien (standardmäßig mit Namen und good.txt bad.txt), mit jeweils Listen mit den letzten und nicht validiert Proxy.
Gültig Proxies, wie oben erwähnt, können Sie den Parser zu verbinden, und die ungültige - von Zeit zu Zeit noch einmal zu überprüfen (nicht überschreiben die Liste der gültigen, ergänzt), und im allgemeinen Sprachgebrauch gefunden Web-Proxy hängt von der Verfügbarkeit der eigenen Ideen, jeder, von denen Ich wünsche Ihnen noch mehr gute-bye!
Mehr zu ähnlichen Themen:
Filed under: Internet , Coding , Search Engines | 
8 Kommentare 
Ausgezeichnete Artikel, bin ich sicher, wird es hilfreich sein, viele. Sorry, meine technischen Niveau nicht erlauben, es zu benutzen.
Profitieren Sie von einer Art ist einfach - download ein Programm gestartet, das Ergebnis zu erhalten.
Dmitry, halten Sie es für die Buchung in verschiedenen acca ein Blogging-System verwendet werden kann?
Ich denke, dass ist möglich. Prüfen Sie ist nicht kompliziert - genug Hände zu durchlaufen und zu tun anonymizer notwendigen Maßnahmen.
Vielen Dank für die Erwähnung meines Blogs
Seite durch die Art und Weise haben Sie eine interessante, angemeldet.
Und ich danke Ihnen für Ihre freundlichen Worte, froh, als es kennen zu lernen
Das ist großartig! guter Artikel!
Ich benutze immer die Website dostupest.ru, auf der anderen vyrusov fangen kann