Anonymizer comme un remplacement pour le proxy. Vérification de la validité de la procuration
27 août 2010 | Auteur: dimio 
Nous sommes tombés sur une note intéressante intitulée " Et un peu plus sur le Hack Google ", dans lequel l'auteur décrit l'utilisation de proxy (par exemple anonymizer - le site ) Au lieu de mandataires publics pour contourner le captcha sur Google.
Cette méthode d'utilisation proxy J'ai bien aimé aussi, et j'ai décidé d'écrire un script pour recueillir et vérifier la validité de la liste des proxy Web public.
Avantages pour l'anonymisation proxy public "classique"
- Les procurations dans le proxy diffère du public, meurent rarement, et presque toujours en ligne disponible
- Les procurations fournissent généralement des performances supérieures à celle de mandataires publics ou Tor
- Anonymizer ne sera pas seulement cacher votre adresse IP, mais, en fonction des paramètres peut se cacher des cookies, user-agent, etc "Tails"
- Travailler à travers un proxy web plus facile à «enseigner» leur programme - assez pour passer l'anonymisation chaîne encodée l'interface
Pour ce qui est utile et ce qui peut être utile d'anonymisation (proxy web)?
- pour une utilisation en conjonction avec l'analyseur de moteurs de recherche - afin de contourner les captcha, délivré par le PS à l'admission d'un grand nombre de demandes d'une adresse
- l'envoi des demandes sur le bon site à travers les proxies différents, vous pouvez enrouler le compteur d'accès (cette hypothèse a besoin de vérification)
- scripts pour poster dans les forums divers pour poster des commentaires sur les sites
- dans toute analyse d'autres, où il ya un risque que l'interdiction, anonymizer est également utile (par exemple, lorsque l'analyse répertoire nakolesah.ru le site , qui je l'ai mentionné)
Nous nous réunissons une liste de proxy Web public
Construire et tester la liste de proxy, nous confions la script perl, dont quelques fragments sont énumérés ci-dessous et le texte intégral normalement disponible pour le téléchargement dans le " mou "(ibid., et il mettra à jour.)
Pour exécuter le script dans la liste du mode proxy, vous devez passer par l'option-i à la valeur de google ou ajax:
anocheck.pl -i google
Explication des options:
- google - recherche de proxys Web publics utilisés analyse Web émission de recherche de Google. La liste dans ce cas est assez grande, mais il ya une chance d'obtenir une interdiction temporaire ou d'un captcha
- ajax - une liste de proxy est obtenu à partir d'une requête à l'API Google pour rechercher des. A la sortie de 8 résultats, mais il n'ya pas de captcha.
Je pense que la meilleure option d'utiliser un script - la liste de proxy primaire est compilé avec l'option de google, puis vérifier que le fichier est transféré sur la liste.
Pour rechercher un proxy, travaille sur les moteurs et PHPProxy Glype utiliser les paramètres de la requête ci-après:
Une 2 3 4 | # 1 - sur le moteur de PHPProxy = '"Rotate13" "Base64" "Strip" inurl:index.php?q=' ; my $ phproxy_sreq = "Rotate13" "Base64" "Strip" inurl:? index.php q = '; # 2 - sur le moteur de Glype = '"Encode URL" "Allow Cookies" "Remove Scripts" inurl:browse.php?u=' ; my $ glype_sreq = "Encode URL" "Autoriser les cookies" "supprimer des scripts" inurl:? browse.php u = '; |
Elle est suivie par l'analyse des résultats de Google et la saisie des adresses trouvées dans la liste de proxy Web:
Une 2 3 4 5 6 7 8 | # 1 - Le moteur de recherche basé sur PHProxy $source =~ m #<h3 class="r"><a href="(https?://w{0,3}\.?[\w-]+\.[az]{2,4}[/\w-]*/index\.php)\?q#ig) { while ($ source = ~ m # <h3 class="r"> <a href = "(https? :/ / w {0,3} \.? [\ w-] + \. [az] {2, 4} [/ \ w-] * / index \. php) \? q # ig) { { $1 } ++; $ Proxy_list -> {$ 1} + +; } # 2 - regardez le Glype d'exploitation $source =~ m #<h3 class="r"><a href="(https?://w{0,3}\.?[\w-]+\.[az]{2,4}[/\w-]*/browse\.php)\?u#ig) { while ($ source = ~ m # <h3 class="r"> <a href = "(https? :/ / w {0,3} \.? [\ w-] + \. [az] {2, 4} [/ \ w-] * / browse \. php) \? u # ig) { { $1 } ++; $ Proxy_list -> {$ 1} + +; } |
Vérification de la validité de la procuration
En plus de créer une liste de proxy web, le script peut vérifier la liste existante de validité, il suffit de lui envoyer par l'option-i pour nommer le fichier contenant la liste des procurations:
anocheck.pl -i proxy.txt
Mécanisme permettant de vérifier la validité de la procuration n'est pas trop compliqué (c'est une idée que j'ai eu de la note visée à l'alinéa premier) - pour chaque anonymizer détecté envoie une demande pour ouvrir la page principale de Google, qui est ensuite analysé pour voir si elle le titre correct. Si l'en-tête est présent - envisager de travailler par procuration - sinon toléré dans la liste des jours fériés:
Une 2 3 4 5 6 7 8 9 10 11 12 13 14 | ( keys %$proxy_list ) { foreach my $ proxy_url (keys% $ proxy_list) { = $ua -> get ( $proxy_url . '?q=' . encode_base64 ( 'http://www.google.com' ) ) ; my $ response = $ ua -> get ($ proxy_url encode_base64 ('http://www.google.com'). 'q =?'.); # Avertir "Erreur: $ response-> status_line \ n" unless $ response-> is_success; $response -> decoded_content =~ m #<title>Google</title>#) { if ($ response -> decoded_content = ~ m # <title> Google </ title> #) { "%-45s %10s" , $proxy_url , " \x 1b[32m [OK] \x 1b[0m \n " ) ; printf ("% 10s% 45s-", proxy_url $ », \ x 1b [32m [OK] \ x 1b [0m \ n"); } else { "%-45s %10s" , $proxy_url , " \x 1b[31m [ERROR] \x 1b[0m \n " ) ; printf ("% 10s% 45s-", proxy_url $ », \ x 1b [31m [ERROR] \ x 1b [0m \ n"); @bad_proxy , $proxy_url ) ; push (@ bad_proxy, proxy_url $); $proxy_list -> { $proxy_url } ) ; delete ($ proxy_list -> {$} proxy_url); } } |
Les résultats permettent de valider la liste de proxy
En conséquence, le proxy vérifie la validité des résultats dans deux fichiers (par défaut, avec les noms et bad.txt good.txt) contenant, respectivement, des listes de proxy passé et validé.
Procurations valides, comme mentionné ci-dessus, vous pouvez vous connecter à l'analyseur, et le malade - de temps en temps pour vérifier à nouveau (la liste est valable n'est pas écrasé, tel que complété), et en général trouvé pour utiliser un proxy web est dépendante de la présence de leurs propres idées, chacune, dont Je vous souhaite plus de bien-bye!
Plus d'informations sur des sujets similaires:
Filed under: Internet , les codage , les moteurs de recherche | 
8 commentaires 
Excellent article, sûr d'être utile pour beaucoup. Désolé, mon niveau technique ne permet pas à l'utiliser.
Pour utiliser quelque chose comme pas difficile - programme téléchargé, lancé, a été le résultat.
Dmitry, pensez-vous qu'il peut être utilisé pour l'affichage dans le système de l'ACCA blogs différents celui-ci?
Je pense que c'est possible. Vérifier n'est pas difficile - il suffit de passer par les mains d'anonymisation et de faire les mesures nécessaires.
Merci de mentionner mon blog
Le site vous avez une façon intéressante, signé.
Et je vous remercie pour vos aimables paroles, heureux de se familiariser ainsi dire
ce qui est excellent! bon article!
J'ai toujours utiliser le site de dostupest.ru, sur l'autre peut prendre vyrusov