Парсер-граббер наколесах.ру

25. новембар 2009 | Аутор: димио

Је био заузет у слободном (од главни посао), време - није хацк, који је тражио да напише парсер да зграбите структури избор точкова на возилу са сајта наколесах.ру (Наравно, језик Перл ).
И она је сада спреман (које је започео прошле недеље), а у фази тестирања од стране купца. Лепа ствар је да је ово први пут да је мој хоби је донео мали новчић (који ћу узети на други хоби - лов ).

Не могу да кажем да је парсер је идеалан. Ја упорно тежи утисак да је све могло да се уради лакше и боље
Али, поред тога што је ово мој први писани у циљу скрипта парсера наколесах.ру за мене лично је такође изузетан из неколико разлога:

• Прво, сам први пут користио нивоа структуре података (пре даље списак је приложен хеш не пада) и баве дереференцинг веза, респективно;
• Друго - први пут сусрео аспк-скрипте на серверу (искрено, не постоје најпријатније осећање, у поређењу са Перл и ПХП Међутим, шта да очекују од Мицрософт-а.?).

Структура података након парсирање већ наколесах седам нивоа гнезда, које на први донекле уплашени и збуњени. Међутим, због одличне књиге "Перлу - истраживање дубље" , поглед на ствар није веома тешко.

Овде је мали комад података структура за јасноћу:

 "Ниссан" => {
          "Примера '=> {
                     '1994 '=> {
                            '30Ди '=> {
                                   'Точкови' => {
                                             '8 Кс 16 ЕТ10 '=> {
                                                      'Замена' => 1
                                                                 }
                                             '7 Кс 15 ЕТ12 '=> {
                                                      "ОЕМ '=> 1
                                                                 }
                                             '8 Кс 18 ЕТ '=> {
                                                      'Замена' => 1
                                                                }
                                             '8 Кс 17 ЕТ '=> {
                                                      'Замена' => 1
                                                                }
                                                   }

На почетку развоја, предложио сам да ће прилог бити још дубљи - додавањем на крају дрво са низом перформансе точкова и гума, али то није било потребно.

Али, тако је резултат парсера наколесах.ру (добијање у КСМЛ-фајл):

 <бранд наме="Цхрислер">
	 <модел наме="Пацифица">
		 <иеар валуе="2005">
			 <модифи наме="35и">
				 <типе наме="вхеелс">
					 <лабел наме="8 к 17 ЕТ38">
						 <цомплетион> Замена </ завршетак>
						 <акле> </ осовина>
					 </ Лабел>
					 <лабел наме="7,5 к 17 ЕТ45">
						 <цомплетион> ОЕМ </ завршетак>
						 <акле> </ осовина>
					 </ Лабел>
					 <лабел наме="8 к 19 ЕТ35">
						 <цомплетион> Замена </ завршетак>
						 <акле> </ осовина>
					 </ Лабел>
					 <лабел наме="8 к 18 ЕТ35">
						 <цомплетион> Замена </ завршетак>
						 <акле> </ осовина>
					 </ Лабел>
				 </ Врста>
				 <типе наме="тирес">
					 <лабел наме="235/60 Р18">
						 <цомплетион> Замена </ завршетак>
						 <акле> </ осовина>
					 </ Лабел>
					 <лабел наме="235/65 Р17">
						 <цомплетион> ОЕМ </ завршетак>
						 <акле> </ осовина>
					 </ Лабел>
					 <лабел наме="235/55 Р19">
						 <цомплетион> Замена </ завршетак>
						 <акле> </ осовина>
					 </ Лабел>
				 </ Врста>
			 </ Статична>

У међувремену, парсера за сајт наколесах.ру тестиран од стране купца, мислим да полако причвршћен то прилика да се настави подацима, а можда и мулти-тхреадинг (последњи се користи библиотеку теме за пре скоро годину дана, да видимо шта је ново у њему).

Уз најбоље жеље, димио !

Више о сличним темама:

• Парсера база наколесах.ру
• Поређење перформанси мреже библиотека у Перлу
• Анонимизер као замена за прокси. Проверу аутентичности проксија

Коментари