Парсер база наколесах.ру

4. децембар 2009 | Аутор: димио

Пример парсер сајта наколесах.ру

Ух, причврстите наколесах парсер приписати држави и зграбите избор гума на аутомобилу. Кога је брига - референцу на скрипта на крају пост.

Нешто у њему ће морати да се промени, стварно не волим логику овог рада, на основу ГЕТ-захтева (ако прегледач добије све информације које се односе на АСП-скрипта преноса разних параметара у пост-захтев). Ја само ПОСТ на крају, а ми треба да покушамо да дуплирате рад претраживача, али време није био нарочито разумеју.

То није као штаке као функцију замене имена модела аутомобила. Приликом парсирања нколесах суочени са проблемом (релевантна само за ГЕТ-захтева) друго име бренда и модификације на аутомобилу падајуће листе и адресу стране, као што су:

 под ТрансформМодел ($ $) {ми ($ бренд, $ цар_модел) = @ _; цар_модел $ = ~ с / - / / ако је $ Г бренд ~ / Сааб | Јагуар | ниссан | Хонда | Цитроен | МГ | Мерцедес | Мазда! ! | Форд / И; цар_модел $ = ~ с / [- +] / _ / г, ако бренд $ ~ / ЦИТРОЕН / И иф ($ бренд = ~ / НИССАН / з) = {$ цар_модел ~ с/З/350з / И; цар_модел $ = ~ с / ГТ_Р / ГТР / б;} $ цар_модел = 'навигарор_1' ако бренд $ = ~ м # # и и Линколн $ цар_модел ек То Навигатор '; $ цар_модел =' ду% Д1% 81ато ' ако је $ бренд = ~ м # Фиат # и и цар_модел $ = ~ / дусато / И иф ($ бренд = ~ / Цхери / И) {$ цар_модел = 'ц_еастар' ако је $ цар_модел ек То ЦроссЕастар '; $ = $ цар_модел бренд '_'..  $ $ Цар_модел ако цар_модел = ~ / Кимо | к \ Д / И;?} Врати $ цар_модел;} 

Пуна истовар траје око 12 сати у секвенцијални мод (ради у потоку, купац није потребна мулти-тхреадинг, али нисам имао времена да га причврстити за забаву). Ако неко одлучи да учитавање и анализи - на пример, се саветује да четири копије писма и прекине низ брендова аутомобила у четири групе, респективно (све у бази наколесах 61 бод у овом тренутку). Можете да користите спреман распадања, који је код сам урадио:

  # $ Следећа ако бренд ~ / Ровер | ФАВ |! Волксваген | Ферари | Јагуар | Смарт | Сузуки | гас | Бентли |
 Пеугеот | Понтиац | Хонда | Мајбах | Ваз | Инфинити | Буицк | Субару Импреза / И;
 # $ Следећа ако бренд ~ / Ланциа | Опел | Даихатсу | Хуммер | Киа | Фиат | ниссан | Сатурна |!
 Мини | Хиундаи | Ренаулт | Цитроен | Линколн | Цхевролет | Додге / И;
 # $ Следећа ако бренд ~ / Цхери | Мазда |! Форд | Уаз | Ацура | Порсцхе | Лотос | Волво | Тоиота |
 Скода | Цадиллац | Сцион | Сааб | Меркур | Даевоо / И;
 # $ Следећа ако бренд ~ / Цхрислер | БМВ |! Исузу | МГ | Мерцедес | ГМЦ | Седиште | Масерати |
 Митсубисхи | Јееп | Лекус | Ауди | Лифан | Геели / И; 

У свакој од четири примерка да откоментирајте одговарајући опсег, фајлови се боље описати на различите начине, јер по дефаулту излаз иде у датотеци под именом имиа_скрипта.кмл (иако можете да зпуске тастер на пренос оутпут филе).

Успут, да ли скриптик да потврди резултате парсер наколесах.ру, опет драго лепота јечма регулиарок:

  М | <(\ в +) \ а \ В * =? "\ В *?"> \ с * </ \ 1> $ | ИГ 

линија провера ознака на станарског (да ли је све преузимање), разуме ознаке са атрибутима и без. Валидатор резултати наколесах.ру истовар се може преузети уз парсер.

За забаву, мало социјалне статистике (можда када повуците поносталгироват ):

• нето база у КСМЛ (нема празних редова):

    $ ВЦ-л наколесах.ру_фулл_басе_4.12.2009.кмл
   550.657 наколесах.ру_фулл_басе_4.12.2009.кмл 

• 577 модела аутомобила

Као што је обећано, линк за довнлоад граббер сајта, парсера наколесах.ру (Валидатор излаз, такође, налази се у архиви): + наколесах.ру_парсер Валидатор

Срећно!

Више о сличним темама:

• Парсера граббер наколесах.ру
• Поређење перформанси мрежних библиотека у Перл
• Анонимизер као замена за проки. Проверу аутентичности проксија

Коментари