Парсер бази nakolesah.ru

4 грудня 2009 | Автор: dimio

Приклад роботи парсера сайту nakolesah.ru

Уф, докрутивши парсер nakolesah до осудного стану і сграбіл підбір шин по автомобілю. Кому цікаво - посилання на сам скрипт в кінці посту.

Щось у ньому ще буду міняти, не дуже мені подобається логіка роботи нинішня, заснована на GET-запити (тоді як браузер отримує всю інформацію, звертаючись до asp-скрипту з передачею різних параметрів в POST-запиті). У мене POST тільки в кінці, а треба б спробувати роботу браузера повністю скопіювати, та часу особливо не було розбиратися.

Ще не подобається милицю у вигляді функції заміни назв моделей машин. При парсінгу nkolesah зіткнувся з проблемою (актуально тільки для роботи GET-запитами) різних імен марок і модифікацій машин у випадних списках і в адресі сторінки, наприклад:

 sub TransformModel ($$){ my ($ brand, $ car_model) = @ _; $ car_model = ~ s / - / / g if $ brand! ~ / Saab | Jaguar | Nissan | Honda | Citroen | MG | Mercedes | Mazda | Ford / i; $ car_model = ~ s /[-+]/_/ g if $ brand! ~ / Citroen / i; if ($ brand = ~ / Nissan / i) {$ car_model = ~ s/Z/350z / i; $ car_model = ~ s / GT_R / GTR / i;} $ car_model = 'navigaror_1' if $ brand = ~ m # Lincoln # i and $ car_model eq 'Navigator'; $ car_model = 'Du% D1% 81ato' if $ brand = ~ m # Fiat # i and $ car_model = ~ / duсato / i; if ($ brand = ~ / Chery / i) {$ car_model = 'c_eastar' if $ car_model eq 'CrossEastar'; $ car_model = $ brand .'_'.  $ Car_model if $ car_model = ~ / kimo | qq \ d? / I;} return $ car_model;} 

Повне вивантаження займає близько 12 годин на послідовному режимі (працює в один потік, замовнику багатопоточність не була потрібна, а мені ніколи було її заради інтересу приробити). Якщо хтось надумає вивантаження і парсинг виробити - раджу зробити наприклад чотири копії скрипта і розбити діапазон марок машин на чотири групи відповідно (всього в базі nakolesah 61 марка на даний момент). Можна скористатися готовим розбивкою, яке в коді у мене зроблено:

  # Next if $ brand! ~ / Rover | FAW | Volkswagen | Ferrari | Jaguar | Smart | Suzuki | gaz | Bentley |
 Peugeot | Pontiac | Honda | Maybach | vaz | Infiniti | Buick | Subaru / i;
 # Next if $ brand! ~ / Lancia | Opel | Daihatsu | Hummer | Kia | Fiat | Nissan | Saturn |
 Mini | Hyundai | Renault | Citroen | Lincoln | Chevrolet | Dodge / i;
 # Next if $ brand! ~ / Chery | Mazda | Ford | uaz | Acura | Porsche | Lotus | Volvo | Toyota |
 Skoda | Cadillac | Scion | Saab | Mercury | Daewoo / i;
 # Next if $ brand! ~ / Chrysler | BMW | Isuzu | MG | Mercedes | GMC | Seat | Maserati |
 Mitsubishi | Jeep | Lexus | Audi | Lifan | Geely / i; 

У кожній з чотирьох копій розкоментувати потрібний діапазон, файли краще назвати по-різному, оскільки за замовчуванням висновок йде у файл з ім'ям імя_скріпта.xml (втім можна при зпуске ключиком ім'я вихідного файлу передати).

Попутно зробив скриптик для валідації результатів роботи парсера nakolesah.ru, в черговий раз порадів красі перлових регулярок:

  m | <(\ w +) \ s? \ w *=?"? \ w * "?> \ s * </ \ 1> $ | ig 

один рядок перевіряє теги на заповненість (чи все скачано), розуміє теги з атрибутами і без. Валідатор результатів вивантаження nakolesah.ru можна скачати разом з парсером.

Заради інтересу трохи статистки (може коли потягне поностальгувати ):

• чиста база в XML (без порожніх рядків):

    $ Wc-l nakolesah.ru_full_base_4.12.2009.xml
   550657 nakolesah.ru_full_base_4.12.2009.xml 

• 577 моделей машин

Як і обіцяв, посилання на скачування парсера-граббера сайту nakolesah.ru (валідатор виходу теж лежить в архіві): nakolesah.ru_parser + validator

Всім удачі!

Ще на схожі теми:

• Парсер-граббер nakolesah.ru
• Порівняння ефективності мережевих бібліотек в Perl
• Анонімайзер як заміна проксі. Перевірка анонімайзерів на валідність

Comments