Видеоролик 1. Настройка программы на примере auto.ru и avito.ru.

Ссылка для просмотра на youtube: https://www.youtube.com/watch?v=TPKegUuRqZ4 

1. Настройка поиска для сайтов, принимающих простой Get-запрос

Данное описание является продолжением общей методики настройки программы edrom для задания собственных критериев поиска по сайтам объявлений auto.ru, avito.ru, drom.ru, irr.ru, am.ru, ngs.ru, e1.ru, chance.ru, gorod55.ru, 24auto.ru, avito.ru, avtomarket.ru и т.д. Вернуться к предыдущей странице можно по этой ссылке.

Задание собственных критериев поиска рассмотрим на примере auto.ru и avito.ru.

1.1. Пример поиска по auto.ru

Информацию по работе с последней версией auto.ru см. по этой ссылке. Далее рассмотрен пример поиска по старой версии сайта. Пусть требуется проводить мониторинг объявлений на auto.ru по следующим критериям: Иномарки, 2005-2007 г.в., в диапазоне цен от 450 тыс.руб. до 500 тыс.руб.

1. В Редакторе запросов настраиваем фильтр (Регион поиска – Москва, Категория объявлений – Автомобили и спецтехника), выбираем Сайт для поиска auto.ru и нажимаем кнопку "..." для запуска браузера, см. рис.:

2. Открывается браузер с формой расширенного поиска auto.ru, в котором необходимо установить требуемые настройки фильтра. Заполненная форма показана на следующем рисунке: 

При установке периода времени, за который будут выбираться объявления, можно дать следующие рекомендации:
а) если предполагается непрерывный мониторинг 24 часа в сутки, лучше всего выбрать период времени "За сегодня". Это позволит до минимума уменьшить количество запросов, а значит и время, необходимое на каждый цикл мониторинга;
б) если предполагается периодический запуск программы (к примеру, 2-3 раза в сутки), рекомендуется выбрать период времени "За 2 суток", с тем чтобы "не потерять" некоторые объявления. К примеру, работа программы завершена в 22:00. Следующий запуск проведен уже на следующий день в 8:00. Для того, чтобы "не потерять" объявления, которые были размещены (обновлены) в период времени с 22:00 до 23:59  и необходимо выбирать период "За 2 суток";
в) выбор периода "За все время" может оказаться полезным, если необходимо отслеживать изменение цен на размещенные в отдаленном промежутке времени объявления. Это связано с тем, что при простом изменении цены объявление не поднимается в поиске. Обработка результатов "За все время" требует достаточно много времени и такой выбор не является оправданным при мониторинге в режиме реального времени (если только не проводится поиск конкретной марки/модели).

3. После того, как расширенная форма поиска заполнена, необходимо нажать кнопку Найти, см. рис.:

4. В окне браузера откроются результаты поиска. На странице с результатами поиска важными являются два значения: 1) содержимое поля адресной строки браузера; 2) количество страниц (всего 6 страниц с результатами поиска), см. рис.:

5. Копируется адресная строка браузера в буфер обмена, см. рис.:

6. В поле Строка запроса (HTTP запрос типа GET) из буфера обмена вставляется содержимое адресной строки браузера и в поле Комментарий задается краткое пояснение к запросу:

В поле Частота загрузки страницы также можно задать Периодичность. Как было отмечено ранее, для сайта auto.ru необходимо устанавливать значение этого параметра всегда в 1.

7. После нажатия на кнопку "ОК" в критериях поиска добавился новый запрос:

На этот запрос сервер посылает первую страницу с результатами поиска. Вспомним, что в браузере количество страниц с результатами поиска было равно шести (всего 6 страниц с результатами поиска). Поскольку общее количество страниц 6, необходимо сформировать запросы и к последующим страницам. Для этого, выделяя строку с запросом, следует вызывать контекстное меню правой кнопкой мыши и выбрать команду Автоматическая генерация... см. рис.:

8. В открывшемся диалоговом окне следует ввести количество страниц – 6 (количество страниц можно задать с небольшим запасом, – если число объявлений в течении дня может увеличиться и их список не вместится в 6 страниц), см. рис.:

9. В результате генерируется список всех запросов, по которым будет производиться мониторинг:

1.2. Пример поиска по avito.ru

Несмотря на то, что формирование запросов ко всем сайтам объявлений принципиально ни чем не отличается и является аналогичным поиску по auto.ru, тем не менее рассмотрим формирование запросов к avito.ru, но уже на примере поиска предложений по сдаче в аренду квартир в г. Москва от частных лиц.

1. В Редакторе запросов настраиваем фильтр (Регион поиска – Москва, Категория объявлений – недвижимость), выбираем Сайт для поиска avito.ru и нажимаем кнопку "..." для запуска браузера, см. рис.:

2. Открывается браузер с формой общего поиска avito.ru, где необходимо установить требуемые настройки фильтра. Заполненная форма показана на следующем рисунке:

Нажимаем "Найти" и если интересуют объявления только от частных лиц, не забываем отметить ссылку "Частные".

3. Копируется адресная строка браузера в буфер обмена, см. рис.:

4. В поле Строка запроса (HTTP запрос типа GET) из буфера обмена вставляется содержимое адресной строки браузера и в поле Комментарий задается краткое пояснение к запросу:

5. После нажатия на кнопку "ОК" в критериях поиска добавился новый запрос:

6. На этот запрос сервер посылает первую страницу с результатами поиска (50 последних объявлений). Общее количество предложений – более 3000. Если требуется, к примеру, собрать данные о последних 1000 объявлений, необходимо сформировать запросы к последующим 49 страницам. Для этого, выделяя строку с запросом, следует вызывать контекстное меню правой кнопкой мыши и выбрать команду Автоматическая генерация... см. рис.:

7. В открывшемся диалоговом окне следует ввести количество страниц – 49:

8. В результате генерируется список всех запросов, по которым будет производиться мониторинг:

Можно обратить внимание, что периодичность для первой страницы была установлена в "1", для страниц 2-10 в "10", для страниц 11-50 в "200". Это означает, что если интервал между мониторингами составляет, к примеру, 1 минуту, то первая страница будет проверяться на наличие новых объявлений через каждую минуту, для страниц 2-10 проверка на наличие новых (измененных) объявлений – через каждые 10 минут и, наконец, для станиц 11-50 проверка будет проводиться фактически только при пером запуске мониторинга.

Таким образом, формирование запросов для всех сайтов, принимающих простой Get-запрос (auto.ru, drom.ru, avito.ru, irr.ru, am.ru, mail.ru, autonavigator.ru и т.д.) принципиально одинаково. Единственное отличие может быть при задании параметра Периодичность. Как было отмечено ранее, на сайтах auto.ru и avtobizon.ru новые объявления "появляются" на произвольной странице с результатами поиска и поэтому значение периодичности для данных сайтов всегда равно "1". Для всех остальных сайтов (avito.ru, drom.ru, irr.ru, am.ru, mail.ru и т.д.), чтобы ускорить мониторинг, можно устанавливать значение Периодичности отличным от 1.

Облако тегов: до модерации авто ру, сервис авто ру, пользователь, процесс, реклама, рынок автомобилей, покупатель автомобиля, несколько, вакансии, бизнес, базы автомобилей авто ру, лучший, приложение, видео, подробнее, технологии, получает первым авто ру, политика, помощью авто ру, кузова машины, миллионы машин на авто ру, случае, конфиденциальности, искать автомобили на авто ру, правила авто ру, место на авто ру, большую, продажа машин на авто ру, ответ от авто ру, часть автомобиля, даже, занимает, любого автомобиля, огромен выбор машин на авто ру, года выпуска, сделать, позицию, интересных машин на авто ру, стоит, поколения, проверить машины авто ру, отзывы авто ру, популярное приложение, ресурсов, подержанных машин, история, текст, снять с авто ру, немца, салона, технических, канал, стал, защите, сейчас, адрес, лет, страна, источник, мобильные, деле, открытая, теперь, месяц, получить, очень, бесплатно, доступ к авто ру, полный, проект, службой, поддержкой, машины, сети, доступен, человек, фото, публикации авто ру, позволяет, компании, детей, продавцу, известны, россии, ли, гороскоп, интернет, хочется, прошлом, пробег, владельца, отношение, дороги, увидели, яндекс, дом, приняли, соответствуют, стоить, ждать, изучило, дилеров, точно, появится на авто ру, варианты, экраны, подписаться, добавить, рассказала, объяснила, фотографийи автомобилей, российский, рассказываем, действия, три, хотя, ответить, удобным, выделите, бывшей, персональных, войти, системы, выгодные

 

 

Смотрите также:

Общая методика настройки программы edrom для задания собственных критериев поиска

2. Настройка поиска для сайтов, принимающих Get-запрос с "cookie"

3. Настройка поиска для сайтов, принимающих Post-запрос

4. Объявления до опубликования с avito.ru