Anonymizer als Ersatz für den Proxy. Überprüfung der Gültigkeit von Proxy-
27. August 2010 | Autor: dimio 
Stolperte über eine interessante Note mit dem Titel " Und ein wenig mehr über die Google-Hack ", in dem der Autor beschreibt die Verwendung von Proxy (Anonymizer Beispiel - Website ) Anstelle von öffentlichen Proxys zu umgehen, das Captcha auf Google.
Diese Methode der Verwendung von Proxy-Mir gefiel auch, und ich beschloss, ein Skript zu sammeln und zu überprüfen, die Gültigkeit der Liste der öffentlichen Web-Proxy zu schreiben.
Vorteile für den Anonymisierungsdienst "klassischen" öffentlichen Proxy
- Proxies in der Proxy unterscheidet sich von der Öffentlichkeit, selten sterben, und fast immer online verfügbar
- Proxies in der Regel eine höhere Leistung als die von öffentlichen Proxys oder Tor
- Anonymizer wird nicht nur zu verstecken Ihre IP-Adresse, sondern, abhängig von den Einstellungen können Cookies, User-Agent, etc. verbergen "Tails"
- Arbeiten Sie sich durch einen Web-Proxy einfacher zu "lehren" ihr Programm - genug, um die codierte Zeichenfolge Schnittstelle Anonymizer passieren
Denn was ist sinnvoll und was kann nützlich sein, Anonymizer (Web-Proxy)?
- zur Verwendung in Verbindung mit dem Parser von Suchmaschinen - Captcha umgehen, durch den PS bei Aufnahme gab eine große Anzahl von Anfragen von einer Adresse
- Senden von Anfragen an die richtige Stelle durch verschiedene Proxies, können Sie wickeln den Zugriffszähler (Diese Hypothese muss Verifikation)
- Skripten für die Buchung in verschiedenen Foren für Abgabe von Kommentaren auf Websites
- in jedem anderen Parsing, wo die Gefahr besteht, das Verbot, ist auch nützlich, Anonymizer (zum Beispiel, wenn das Parsen Verzeichnis nakolesah.ru Website , die ich erwähnt)
Wir versammeln uns eine Liste von öffentlichen Web-Proxy
Erstellen und testen Sie die Proxy-Liste, vertrauen wir das Perl-Skript, von denen einige Fragmente sind unten aufgeführt und der vollständige Text der Regel zum Download zur Verfügung in der " Weiche "(ebd., und es wird zu aktualisieren.)
Um das Skript in der Liste der Proxy-Modus auszuführen, müssen Sie über die Option-i auf den Wert der Google-oder Ajax übergeben:
anocheck.pl -i google
Erläuterung der Optionen:
- Google - Suche nach öffentlichen Web-Proxies verwendet Parsing-Problem Websuche von Google. Die Liste ist in diesem Fall groß genug, aber es gibt eine Chance, ein vorübergehendes Verbot oder ein Captcha zu bekommen
- Ajax - eine Liste von Proxy wird von einer Anfrage an den Google-API für die Suche erhalten. Am Ausgang von 8 Ergebnisse, aber es gibt keine Captcha.
Ich denke, die beste Möglichkeit, mithilfe eines Skripts - der primäre Proxy-Liste mit der Option Google kompiliert wird, dann überprüfen Sie die Datei in die Liste übertragen wird.
Um sich für einen Proxy zu suchen, beschäftigte sich mit Motoren und PHPProxy Glype verwenden Sie die folgende Abfrage-Parameter:
Ein 2 3 4 | # 1 - auf dem Motor PHPProxy = '"Rotate13" "Base64" "Strip" inurl:index.php?q=' ; my $ phproxy_sreq = '"Rotate13" "Base64" "Strip" inurl: index.php? q ='; # 2 - am Motor Glype = '"Encode URL" "Allow Cookies" "Remove Scripts" inurl:browse.php?u=' ; my $ glype_sreq = '"Encode URL" Sie "Cookies zulassen" "Remove Scripts" inurl:? browse.php u ='; |
Dies wird durch die Analyse der Ergebnisse von Google und der Eingabe von Adressen in der Web-Proxy-Liste gefunden gefolgt:
Ein 2 3 4 5 6 7 8 | # 1 - Die Suchmaschine basiert auf PHProxy $source =~ m #<h3 class="r"><a href="(https?://w{0,3}\.?[\w-]+\.[az]{2,4}[/\w-]*/index\.php)\?q#ig) { while ($ source = ~ m # <h3 class="r"> <a href = "(https? :/ / w {0,3} \.? [\ w-] + \. [az] {2, 4} [/ \ w-] * / index \. php) \? q # ig) { { $1 } ++; $ Proxy_list -> {$ 1} + +; } # 2 - bei der Betriebstemperatur Glype aussehen $source =~ m #<h3 class="r"><a href="(https?://w{0,3}\.?[\w-]+\.[az]{2,4}[/\w-]*/browse\.php)\?u#ig) { while ($ source = ~ m # <h3 class="r"> <a href = "(https? :/ / w {0,3} \.? [\ w-] + \. [az] {2, 4} [/ \ w-] * / browse \. php) \? u # ig) { { $1 } ++; $ Proxy_list -> {$ 1} + +; } |
Überprüfung der Gültigkeit von Proxy-
Neben der Erstellung einer Liste von Web-Proxy, das Skript kann die bestehende Liste die Gültigkeit zu überprüfen, ist es genug, um ihn durch die Option-i, um die Datei mit der Liste der Proxies Name Verschicken:
anocheck.pl -i proxy.txt
Mechanismus, um die Gültigkeit des Proxy zu überprüfen ist nicht allzu kompliziert (es ist eine Idee, die ich aus der Kenntnis im Sinne des ersten Absatzes GOT) - für jede erkannte Anonymizer sendet eine Anfrage an die Hauptseite von Google, die dann analysiert wird, um zu sehen, ob es richtig Titel zu öffnen. Wenn der Header vorhanden ist - zu prüfen, arbeitet Proxy - sonst in der Liste der Feiertage toleriert:
Ein 2 3 4 5 6 7 8 9 10 11 12 13 14 | ( keys %$proxy_list ) { foreach my $ proxy_url (keys% $ proxy_list) { = $ua -> get ( $proxy_url . '?q=' . encode_base64 ( 'http://www.google.com' ) ) ; my $ response = $ ua -> get ($ proxy_url encode_base64 ("http://www.google.com"). 'q =?'.); # Über "Fehler: $ response-> status_line \ n" unless $ response-> is_success; $response -> decoded_content =~ m #<title>Google</title>#) { if ($ response -> decoded_content = ~ m # <title> Google </ title> #) { "%-45s %10s" , $proxy_url , " \x 1b[32m [OK] \x 1b[0m \n " ) ; printf ("%-45s% 10s", $ proxy_url, "\ x 1b [32m [OK] \ x 1b [0m \ n"); } else { "%-45s %10s" , $proxy_url , " \x 1b[31m [ERROR] \x 1b[0m \n " ) ; printf ("%-45s% 10s", $ proxy_url, "\ x 1b [31m [ERROR] \ x 1b [0m \ n"); @bad_proxy , $proxy_url ) ; push (@ bad_proxy, proxy_url $); $proxy_list -> { $proxy_url } ) ; delete ($ proxy_list -> {$ proxy_url}); } } |
Die Ergebnisse bestätigen die Proxy-Liste
Als ein Ergebnis, prüft der Proxy die Zuverlässigkeit der Ergebnisse in zwei Dateien (standardmäßig die Namen und good.txt bad.txt), enthaltend, jeweils Listen der Vergangenheit und validiert Proxy.
Gültig Proxies, wie oben erwähnt, können Sie an den Parser verbinden, und die ungültige - von Zeit zu Zeit noch einmal zu überprüfen (die Liste ist gültig wird nicht überschrieben, ergänzt), und im allgemeinen gefunden, um eine Web-Proxy zu verwenden ist abhängig von der Anwesenheit von ihren eigenen Ideen, jeder, von denen Ich wünsche Ihnen mehr verabschieden!
Mehr zu ähnlichen Themen:
Abgelegt unter: Internet , Programmierung , Suchmaschinen | 
8 Kommentare 
Ausgezeichnete Artikel, sicher zu sein für viele nützlich. Leider bekomme ich bei technischen Niveau nicht erlauben, es zu benutzen.
Um so etwas wie nicht schwer zu verwenden - Heruntergeladene Programm startete, war das Ergebnis.
Dmitry, glaubst du, es für die Buchung in verschiedenen ACCA ein Blogging-System verwendet werden kann?
Ich denke, das ist möglich. Check ist nicht schwer - nur durch den Anonymisierungsdienst Hände gehen und die erforderlichen Maßnahmen.
Vielen Dank für die Erwähnung meinem Blog
Die Website Sie haben eine interessante Art und Weise, hat sich registriert.
Und ich danke Ihnen für Ihre freundlichen Worte, freut sich, bekannt zu werden sozusagen
das ist toll! guter Artikel!
Ich benutze immer den Standort dostupest.ru, kann auf der anderen Seite fangen vyrusov