3.18. AUTO.RU: мониторинг, парсинг, обработка и сбор данных
|| 27 марта 2016, 11:53
    

В новой версии сайта auto.ru появились некоторые особенности настроек поиска для мониторинга, обработки объявлений и сбора данных. Представленная далее информация актуальна по состоянию на июль 2016 года и будет обновляться по мере новых изменений на сайте. 

1. Настройка мониторинга auto.ru производится либо в обычном порядке (простое копирование адресной строки), либо с установкой cookies. Для настройки мониторинга auto.ru (разделы Легковые авто или Коммерческий транспорт) откройте форму расширенного поиска, выберите регион и/или параметры поиска. Далее скопируйте адресную строку браузера в программу. Если мониторинг настраивается на один регион, то строка включает название региона в поддомене и никаких дополнительных действий не требуется.

Если мониторинг настраивается на несколько регионов (или по всей территории России), то требуется установка cookies. В этом случае адресная строка браузера не включает название региона в поддомене, см. рисунок:


Если адресная строка браузера не включает название региона в поддомене, программа предложит настроить Cookies для задания региона поиска,  см. рисунок: 

В открывшемся окне браузера, используя интерфейс сайта, задайте регион поиска, в котором будет осуществляться поиск объявлений

2. В поиске по умолчанию выбраны объявления только с фото, не забудьте снять эту опцию, чтобы видеть все объявления, см. рис.:

3.18. AUTO.RU: мониторинг, парсинг, обработка и сбор данных 

3. Отображаются только первые 25 страниц с результатами поиска по 37 объявлений на каждой странице (т.е. первые ~900 объявлений в зависимости от сортировки), см. рис.:

3.18. AUTO.RU: мониторинг, парсинг, обработка и сбор данных 

Если необходимо автоматически обработать большее число объявлений, следует разбить результаты поиска по дополнительным критериям. Например, если необходимо обработать ~18500 объявлений с ценой до 2 млн. рублей, следует разбить критерии поиска следующим образом: 

1. Все авто с ценой 0-100 тыс. руб (25 запросов) ~ 900 объявлений
2. Все авто с ценой 100-200 тыс. руб (25 запросов) ~ 900 объявлений
3. Все авто с ценой 200-300 тыс. руб (25 запросов) ~ 900 объявлений
4. Все авто с ценой 300-400 тыс. руб (25 запросов) ~ 900 объявлений
и т.д.
19. Все авто с ценой 1.8-1.9 млн руб (25 запросов) ~ 900 объявлений
20. Все авто с ценой 1.9-2.0 млн руб (25 запросов) ~ 900 объявлений

_______________________________________________
Итого: 20x25=500 запросов. 500x37=18500 объявлений. 

В программе это будет выглядеть следующим образом:

3.18. AUTO.RU: мониторинг, парсинг, обработка и сбор данных

 

Обновленные условия поиска auto.ru (для других регионов будет обновлено в ближайшее время):

  Имя файла   Наименование настроек поиска
 avtomobili-moskva.-realtime-monitoring-2016.zip [4,59 Kb]  Автомобили Москва. Realtime Monitoring 2016.fndx
 avtomobili-sankt-peterburg.-realtime-monitoring-2016.zip [4,75 Kb]  Автомобили Санкт-Петербург. Realtime Monitoring 2016.fndx 
 poisk-po-vsey-rossii-2016-vse-avto.-chastnye.zip [2,27 Kb]  Поиск по всей России 2016, Все авто. Частные.fndx
 avtomobili-krasnodarskiy-kray-2016.zip [2,68 Kb]  Автомобили Краснодарский край 2016
 avtomobili-kazan-2016.zip [2,04 Kb]  Автомобили Казань 2016
 avtomobili-ekaterinburg-2016.zip [2,63 Kb]  Автомобили Екатеринбург 2016
 avtomobili-volgograd-2016.zip [2,3 Kb]  Автомобили Волгоград 2016
 avtomobili-krasnoyarsk-2016.zip [2,83 Kb]  Автомобили Красноярск 2016
 avtomobili-nizhniy-novgorod-2016.zip [2,52 Kb]  Автомобили Нижний Новгород 2016
 avtomobili-novosibirsk-2016.zip [3,3 Kb]  Автомобили Новосибирск 2016
 avtomobili-omsk-2016.zip [2,47 Kb]  Автомобили Омск 2016
 avtomobili-perm-2016.zip [2,33 Kb]  Автомобили Пермь 2016
 avtomobili-rostov-na-donu-2016.zip [2,71 Kb]  Автомобили Ростов-на-Дону 2016
 avtomobili-samara-2016.zip [2,34 Kb]  Автомобили Самара 2016
 avtomobili-ufa-2016.zip [2,63 Kb]  Автомобили Уфа 2016
 avtomobili-chelyabinsk-2016.zip [2,82 Kb]  Автомобили Челябинск 2016

 

Следующий файл обновляет edrom до последней версии:

edrom_update_3.18.zip [4,73 Mb]  Версия 3.18 от 27/03/2016 (версия не актуальна). Описание основных изменений:
1. Исправлены некоторые ошибки (irr.ru, auto.ru, avitomarket.ru).
2. Исправлена отправка подтверждений об оплате.
3. Исправлена отправка уведомлений по email через собственный почтовый ящик.

  • Гости
    Публикаций: 0
    Комментариев: 0
  • Виктор пишет:
  • 28 марта 2016, 08:13
Добрый день. Не понял для чего нужны эти манипуляции со страничкой поиска на авто ру? Что это даст, без этого поиск будет не корректным?
  • Администраторы
    Публикаций: 220
    Комментариев: 2552
  • admin пишет:
  • 28 марта 2016, 08:21
Все будет работать вполне корректно и без этих манипуляций.
Но если программа автоматически открыла эту страницу, то это значит, что у вас есть запросы к старой версии сайта auto.ru.
Если не обновить старые запросы, программа не будет отображать объявления, которые размещены без фотографий.
Таким образом, если вам необходимы все объявления (включая те, что без фото), нужно обновить настройки поиска.
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Виктор пишет:
  • 28 марта 2016, 09:30
Т.е надо просто открыть сайт авто ру, выбрать регион показа, скопировать ссылку, убрать галочку "С фото" и все? А что делать со скопированной ссылкой? Как вообще мои действия в браузере связаны с программой? Я че то запутался...
  • Администраторы
    Публикаций: 220
    Комментариев: 2552
  • admin пишет:
  • 28 марта 2016, 09:47
Если вы ранее никогда не настраивали программу, а использовали поиск по умолчанию, просто загрузите из таблицы ваш файл, например Автомобили Москва. Realtime Monitoring 2016 avtomobili-moskva.-realtime-monitoring-2016.zip.
Распакуйте архив в любую папку и загрузите настройки в программу через Главное меню\Файл\Открыть условия поиска....
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Ekaterina пишет:
  • 2 апреля 2016, 04:40
нужен ключ, ключ как получить? Интересуют автомобили на Дальнем востоке, Амурской области

Добрый день! Нужен ключ на Автомобили Дальнего востока, Амурской области

Добрый день! Нужен ключ на Автомобили Дальнего востока, Амурской области
  • Администраторы
    Публикаций: 220
    Комментариев: 2552
Введите два слова, показанных на изображении:
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Поиск по сайту


Реклама
Теги