3.18. AUTO.RU: мониторинг, парсинг, обработка и сбор данных
В новой версии сайта auto.ru появились некоторые особенности настроек поиска для мониторинга, обработки объявлений и сбора данных. Представленная далее информация актуальна по состоянию на июль 2016 года и будет обновляться по мере новых изменений на сайте.
1. Настройка мониторинга auto.ru производится либо в обычном порядке (простое копирование адресной строки), либо с установкой cookies. Для настройки мониторинга auto.ru (разделы Легковые авто или Коммерческий транспорт) откройте форму расширенного поиска, выберите регион и/или параметры поиска. Далее скопируйте адресную строку браузера в программу. Если мониторинг настраивается на один регион, то строка включает название региона в поддомене и никаких дополнительных действий не требуется.
Если мониторинг настраивается на несколько регионов (или по всей территории России), то требуется установка cookies. В этом случае адресная строка браузера не включает название региона в поддомене, см. рисунок:
Если адресная строка браузера не включает название региона в поддомене, программа предложит настроить Cookies для задания региона поиска, см. рисунок:
2. В поиске по умолчанию выбраны объявления только с фото, не забудьте снять эту опцию, чтобы видеть все объявления, см. рис.:
3. Отображаются только первые 25 страниц с результатами поиска по 37 объявлений на каждой странице (т.е. первые ~900 объявлений в зависимости от сортировки), см. рис.:
Если необходимо автоматически обработать большее число объявлений, следует разбить результаты поиска по дополнительным критериям. Например, если необходимо обработать ~18500 объявлений с ценой до 2 млн. рублей, следует разбить критерии поиска следующим образом:
1. Все авто с ценой 0-100 тыс. руб (25 запросов) ~ 900 объявлений
2. Все авто с ценой 100-200 тыс. руб (25 запросов) ~ 900 объявлений
3. Все авто с ценой 200-300 тыс. руб (25 запросов) ~ 900 объявлений
4. Все авто с ценой 300-400 тыс. руб (25 запросов) ~ 900 объявлений
и т.д.
19. Все авто с ценой 1.8-1.9 млн руб (25 запросов) ~ 900 объявлений
20. Все авто с ценой 1.9-2.0 млн руб (25 запросов) ~ 900 объявлений
_______________________________________________
Итого: 20x25=500 запросов. 500x37=18500 объявлений.
В программе это будет выглядеть следующим образом:
Обновленные условия поиска auto.ru (для других регионов будет обновлено в ближайшее время):
Имя файла | Наименование настроек поиска |
Автомобили Москва. Realtime Monitoring 2016.fndx | |
Автомобили Санкт-Петербург. Realtime Monitoring 2016.fndx | |
Поиск по всей России 2016, Все авто. Частные.fndx | |
Автомобили Краснодарский край 2016 | |
Автомобили Казань 2016 | |
Автомобили Екатеринбург 2016 | |
Автомобили Волгоград 2016 | |
Автомобили Красноярск 2016 | |
Автомобили Нижний Новгород 2016 | |
Автомобили Новосибирск 2016 | |
Автомобили Омск 2016 | |
Автомобили Пермь 2016 | |
Автомобили Ростов-на-Дону 2016 | |
Автомобили Самара 2016 | |
Автомобили Уфа 2016 | |
Автомобили Челябинск 2016 |
Следующий файл обновляет edrom до последней версии:
Версия 3.18 от 27/03/2016 (версия не актуальна). Описание основных изменений:
1. Исправлены некоторые ошибки (irr.ru, auto.ru, avitomarket.ru).
2. Исправлена отправка подтверждений об оплате.
3. Исправлена отправка уведомлений по email через собственный почтовый ящик.