Поиск по auto.ru, поиск по cian.ru, поиск по drom.ru, поиск по irr.ru, поиск по am.ru, а также по ngs.ru, e1.ru, chance.ru, gorod55.ru, 24auto.ru, cian.ru, avtomarket.ru и т.д.
Видеоролик 1. Настройка программы на примере auto.ru и avito.ru.
Ссылка для просмотра на youtube: https://www.youtube.com/watch?v=TPKegUuRqZ4
1. Настройка поиска для сайтов, принимающих простой Get-запрос
Данное описание является продолжением общей методики настройки программы edrom для задания собственных критериев поиска по сайтам объявлений auto.ru, avito.ru, drom.ru, irr.ru, am.ru, ngs.ru, e1.ru, chance.ru, gorod55.ru, 24auto.ru, avito.ru, avtomarket.ru и т.д. Вернуться к предыдущей странице можно по этой ссылке.
Задание собственных критериев поиска рассмотрим на примере auto.ru и avito.ru.
1.1. Пример поиска по auto.ru
Информацию по работе с последней версией auto.ru см. по этой ссылке. Далее рассмотрен пример поиска по старой версии сайта. Пусть требуется проводить мониторинг объявлений на auto.ru по следующим критериям: Иномарки, 2005-2007 г.в., в диапазоне цен от 450 тыс.руб. до 500 тыс.руб.
1. В Редакторе запросов настраиваем фильтр (Регион поиска – Москва, Категория объявлений – Автомобили и спецтехника), выбираем Сайт для поиска auto.ru и нажимаем кнопку "..." для запуска браузера, см. рис.:
2. Открывается браузер с формой расширенного поиска auto.ru, в котором необходимо установить требуемые настройки фильтра. Заполненная форма показана на следующем рисунке:
При установке периода времени, за который будут выбираться объявления, можно дать следующие рекомендации:
а) если предполагается непрерывный мониторинг 24 часа в сутки, лучше всего выбрать период времени "За сегодня". Это позволит до минимума уменьшить количество запросов, а значит и время, необходимое на каждый цикл мониторинга;
б) если предполагается периодический запуск программы (к примеру, 2-3 раза в сутки), рекомендуется выбрать период времени "За 2 суток", с тем чтобы "не потерять" некоторые объявления. К примеру, работа программы завершена в 22:00. Следующий запуск проведен уже на следующий день в 8:00. Для того, чтобы "не потерять" объявления, которые были размещены (обновлены) в период времени с 22:00 до 23:59 и необходимо выбирать период "За 2 суток";
в) выбор периода "За все время" может оказаться полезным, если необходимо отслеживать изменение цен на размещенные в отдаленном промежутке времени объявления. Это связано с тем, что при простом изменении цены объявление не поднимается в поиске. Обработка результатов "За все время" требует достаточно много времени и такой выбор не является оправданным при мониторинге в режиме реального времени (если только не проводится поиск конкретной марки/модели).
3. После того, как расширенная форма поиска заполнена, необходимо нажать кнопку Найти, см. рис.:
4. В окне браузера откроются результаты поиска. На странице с результатами поиска важными являются два значения: 1) содержимое поля адресной строки браузера; 2) количество страниц (всего 6 страниц с результатами поиска), см. рис.:
5. Копируется адресная строка браузера в буфер обмена, см. рис.:
6. В поле Строка запроса (HTTP запрос типа GET) из буфера обмена вставляется содержимое адресной строки браузера и в поле Комментарий задается краткое пояснение к запросу:
В поле Частота загрузки страницы также можно задать Периодичность. Как было отмечено ранее, для сайта auto.ru необходимо устанавливать значение этого параметра всегда в 1.
7. После нажатия на кнопку "ОК" в критериях поиска добавился новый запрос:
На этот запрос сервер посылает первую страницу с результатами поиска. Вспомним, что в браузере количество страниц с результатами поиска было равно шести (всего 6 страниц с результатами поиска). Поскольку общее количество страниц 6, необходимо сформировать запросы и к последующим страницам. Для этого, выделяя строку с запросом, следует вызывать контекстное меню правой кнопкой мыши и выбрать команду Автоматическая генерация... см. рис.:
8. В открывшемся диалоговом окне следует ввести количество страниц – 6 (количество страниц можно задать с небольшим запасом, – если число объявлений в течении дня может увеличиться и их список не вместится в 6 страниц), см. рис.:
9. В результате генерируется список всех запросов, по которым будет производиться мониторинг:
1.2. Пример поиска по avito.ru
Несмотря на то, что формирование запросов ко всем сайтам объявлений принципиально ни чем не отличается и является аналогичным поиску по auto.ru, тем не менее рассмотрим формирование запросов к avito.ru, но уже на примере поиска предложений по сдаче в аренду квартир в г. Москва от частных лиц.
1. В Редакторе запросов настраиваем фильтр (Регион поиска – Москва, Категория объявлений – недвижимость), выбираем Сайт для поиска avito.ru и нажимаем кнопку "..." для запуска браузера, см. рис.:
2. Открывается браузер с формой общего поиска avito.ru, где необходимо установить требуемые настройки фильтра. Заполненная форма показана на следующем рисунке:
Нажимаем "Найти" и если интересуют объявления только от частных лиц, не забываем отметить ссылку "Частные".
3. Копируется адресная строка браузера в буфер обмена, см. рис.:
4. В поле Строка запроса (HTTP запрос типа GET) из буфера обмена вставляется содержимое адресной строки браузера и в поле Комментарий задается краткое пояснение к запросу:
5. После нажатия на кнопку "ОК" в критериях поиска добавился новый запрос:
6. На этот запрос сервер посылает первую страницу с результатами поиска (50 последних объявлений). Общее количество предложений – более 3000. Если требуется, к примеру, собрать данные о последних 1000 объявлений, необходимо сформировать запросы к последующим 49 страницам. Для этого, выделяя строку с запросом, следует вызывать контекстное меню правой кнопкой мыши и выбрать команду Автоматическая генерация... см. рис.:
7. В открывшемся диалоговом окне следует ввести количество страниц – 49:
8. В результате генерируется список всех запросов, по которым будет производиться мониторинг:
Можно обратить внимание, что периодичность для первой страницы была установлена в "1", для страниц 2-10 в "10", для страниц 11-50 в "200". Это означает, что если интервал между мониторингами составляет, к примеру, 1 минуту, то первая страница будет проверяться на наличие новых объявлений через каждую минуту, для страниц 2-10 проверка на наличие новых (измененных) объявлений – через каждые 10 минут и, наконец, для станиц 11-50 проверка будет проводиться фактически только при пером запуске мониторинга.
Таким образом, формирование запросов для всех сайтов, принимающих простой Get-запрос (auto.ru, drom.ru, avito.ru, irr.ru, am.ru, mail.ru, autonavigator.ru и т.д.) принципиально одинаково. Единственное отличие может быть при задании параметра Периодичность. Как было отмечено ранее, на сайтах auto.ru и avtobizon.ru новые объявления "появляются" на произвольной странице с результатами поиска и поэтому значение периодичности для данных сайтов всегда равно "1". Для всех остальных сайтов (avito.ru, drom.ru, irr.ru, am.ru, mail.ru и т.д.), чтобы ускорить мониторинг, можно устанавливать значение Периодичности отличным от 1.
Смотрите также:
Общая методика настройки программы edrom для задания собственных критериев поиска
2. Настройка поиска для сайтов, принимающих Get-запрос с "cookie"