Поиск по auto.ru, поиск по avito.ru, поиск по drom.ru, поиск по irr.ru, поиск по am.ru, а также по ngs.ru, e1.ru, chance.ru, gorod55.ru, 24auto.ru, cian.ru, avtomarket.ru и т.д.
|| 20 июля 2013, 21:09
    

Видеоролик 1. Настройка программы на примере auto.ru и avito.ru.

 

Ссылка для просмотра на youtube: https://www.youtube.com/watch?v=TPKegUuRqZ4 

1. Настройка поиска для сайтов, принимающих простой Get-запрос

Данное описание является продолжением общей методики настройки программы edrom для задания собственных критериев поиска по сайтам объявлений auto.ru, avito.ru, drom.ru, irr.ru, am.ru, ngs.ru, e1.ru, chance.ru, gorod55.ru, 24auto.ru, cian.ru, avtomarket.ru и т.д. Вернуться к предыдущей странице можно по этой ссылке.

Задание собственных критериев поиска рассмотрим на примере auto.ru и avito.ru.

1.1. Пример поиска по auto.ru

Информацию по работе с последней версией auto.ru см. по этой ссылке. Далее рассмотрен пример поиска по старой версии сайта. Пусть требуется проводить мониторинг объявлений на auto.ru по следующим критериям: Иномарки, 2005-2007 г.в., в диапазоне цен от 450 тыс.руб. до 500 тыс.руб.

1. В Редакторе запросов настраиваем фильтр (Регион поиска – Москва, Категория объявлений – Автомобили и спецтехника), выбираем Сайт для поиска auto.ru и нажимаем кнопку "..." для запуска браузера, см. рис.:

Окно Редактора запросов при настройке поиска по auto.ru

2. Открывается браузер с формой расширенного поиска auto.ru, в котором необходимо установить требуемые настройки фильтра. Заполненная форма показана на следующем рисунке: 

Заполнение формы расширенного поиска на auto.ru

При установке периода времени, за который будут выбираться объявления, можно дать следующие рекомендации:
а) если предполагается непрерывный мониторинг 24 часа в сутки, лучше всего выбрать период времени "За сегодня". Это позволит до минимума уменьшить количество запросов, а значит и время, необходимое на каждый цикл мониторинга;
б) если предполагается периодический запуск программы (к примеру, 2-3 раза в сутки), рекомендуется выбрать период времени "За 2 суток", с тем чтобы "не потерять" некоторые объявления. К примеру, работа программы завершена в 22:00. Следующий запуск проведен уже на следующий день в 8:00. Для того, чтобы "не потерять" объявления, которые были размещены (обновлены) в период времени с 22:00 до 23:59  и необходимо выбирать период "За 2 суток";
в) выбор периода "За все время" может оказаться полезным, если необходимо отслеживать изменение цен на размещенные в отдаленном промежутке времени объявления. Это связано с тем, что при простом изменении цены объявление не поднимается в поиске. Обработка результатов "За все время" требует достаточно много времени и такой выбор не является оправданным при мониторинге в режиме реального времени (если только не проводится поиск конкретной марки/модели).

3. После того, как расширенная форма поиска заполнена, необходимо нажать кнопку Найти, см. рис.:

Завершение заполнения формы расширенного поиска на auto.ru

4. В окне браузера откроются результаты поиска. На странице с результатами поиска важными являются два значения: 1) содержимое поля адресной строки браузера; 2) количество страниц (всего 6 страниц с результатами поиска), см. рис.:

Результаты поиска auto.ru в браузере

5. Копируется адресная строка браузера в буфер обмена, см. рис.:

Копирование адресной строки браузера сайта auto.ru

6. В поле Строка запроса (HTTP запрос типа GET) из буфера обмена вставляется содержимое адресной строки браузера и в поле Комментарий задается краткое пояснение к запросу:

Окно Редактора запросов
В поле Частота загрузки страницы также можно задать Периодичность. Как было отмечено ранее, для сайта auto.ru необходимо устанавливать значение этого параметра всегда в 1.

7. После нажатия на кнопку "ОК" в критериях поиска добавился новый запрос:

Новая строка запроса в главном окне edrom
На этот запрос сервер посылает первую страницу с результатами поиска. Вспомним, что в браузере количество страниц с результатами поиска было равно шести (всего 6 страниц с результатами поиска). Поскольку общее количество страниц 6, необходимо сформировать запросы и к последующим страницам. Для этого, выделяя строку с запросом, следует вызывать контекстное меню правой кнопкой мыши и выбрать команду Автоматическая генерация... см. рис.:

Генерация запросов к последующим страницам при поиске на auto.ru

8. В открывшемся диалоговом окне следует ввести количество страниц – 6 (количество страниц можно задать с небольшим запасом, – если число объявлений в течении дня может увеличиться и их список не вместится в 6 страниц), см. рис.:

Диалоговое окно количества страниц для автоматической генерации

9. В результате генерируется список всех запросов, по которым будет производиться мониторинг:

Окончательный вид настройки поиска по auto.ru

1.2. Пример поиска по avito.ru

Несмотря на то, что формирование запросов ко всем сайтам объявлений принципиально ни чем не отличается и является аналогичным поиску по auto.ru, тем не менее рассмотрим формирование запросов к avito.ru, но уже на примере поиска предложений по сдаче в аренду квартир в г. Москва от частных лиц.

1. В Редакторе запросов настраиваем фильтр (Регион поиска – Москва, Категория объявлений – недвижимость), выбираем Сайт для поиска avito.ru и нажимаем кнопку "..." для запуска браузера, см. рис.:

Окно Редактора запросов при настройке поиска по avito.ru

2. Открывается браузер с формой общего поиска avito.ru, где необходимо установить требуемые настройки фильтра. Заполненная форма показана на следующем рисунке:

Результаты поиска avito.ru в браузере

Нажимаем "Найти" и если интересуют объявления только от частных лиц, не забываем отметить ссылку "Частные".

3. Копируется адресная строка браузера в буфер обмена, см. рис.:

Копирование адресной строки браузера сайта avito.ru

4. В поле Строка запроса (HTTP запрос типа GET) из буфера обмена вставляется содержимое адресной строки браузера и в поле Комментарий задается краткое пояснение к запросу:

Результат заполнения полей в Редакторе запросов

5. После нажатия на кнопку "ОК" в критериях поиска добавился новый запрос:

Новая строка запроса в главном окне edrom

6. На этот запрос сервер посылает первую страницу с результатами поиска (50 последних объявлений). Общее количество предложений – более 3000. Если требуется, к примеру, собрать данные о последних 1000 объявлений, необходимо сформировать запросы к последующим 49 страницам. Для этого, выделяя строку с запросом, следует вызывать контекстное меню правой кнопкой мыши и выбрать команду Автоматическая генерация... см. рис.:

Генерация запросов к последующим страницам при поиске на avito.ru

7. В открывшемся диалоговом окне следует ввести количество страниц – 49:

Диалоговое окно количества страниц для автоматической генерации

8. В результате генерируется список всех запросов, по которым будет производиться мониторинг:

Окончательный вид настройки поиска по avito.ru

Можно обратить внимание, что периодичность для первой страницы была установлена в "1", для страниц 2-10 в "10", для страниц 11-50 в "200". Это означает, что если интервал между мониторингами составляет, к примеру, 1 минуту, то первая страница будет проверяться на наличие новых объявлений через каждую минуту, для страниц 2-10 проверка на наличие новых (измененных) объявлений – через каждые 10 минут и, наконец, для станиц 11-50 проверка будет проводиться фактически только при пером запуске мониторинга.

Таким образом, формирование запросов для всех сайтов, принимающих простой Get-запрос (auto.ru, drom.ru, avito.ru, irr.ru, am.ru, mail.ru, autonavigator.ru и т.д.) принципиально одинаково. Единственное отличие может быть при задании параметра Периодичность. Как было отмечено ранее, на сайтах auto.ru и avtobizon.ru новые объявления "появляются" на произвольной странице с результатами поиска и поэтому значение периодичности для данных сайтов всегда равно "1". Для всех остальных сайтов (avito.ru, drom.ru, irr.ru, am.ru, mail.ru и т.д.), чтобы ускорить мониторинг, можно устанавливать значение Периодичности отличным от 1.

 

 

Смотрите также:

Общая методика настройки программы edrom для задания собственных критериев поиска

2. Настройка поиска для сайтов, принимающих Get-запрос с "cookie"

3. Настройка поиска для сайтов, принимающих Post-запрос

4. Объявления до опубликования с avito.ru

Введите два слова, показанных на изображении:
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Поиск по сайту


Реклама
Теги