Особенности настройки мониторинга объявлений cian.ru
На сайте cian.ru используется защита от программ и ботов, которая требует некоторых дополнительных настроек. На сайте появляется reCAPTCHA после ~100 обращений к сайту с высокой частотой, после чего дальнейший мониторинг невозможен (октябрь 2023).
Например:
Пример ссылки: https://kazan.avito.ru/cat.php?deal_type=sale&engine_version=2&is_by_homeowner=1&offer_type=flat®ion=5024
Если при копировании в программу ссылки из браузера появляется какая-либо ошибка, например, как на рисунке:
Используйте следующие пояснения (показаны на рисунке):
1. Выберите расширенный список фильтров через кнопку «Еще фильтры».
2. Отметьте какой-либо параметр, например, «От собственников».
3. Нажмите «Показать объекты».
4. В результате этих действий строка запроса в браузере принять вид, в котором регион поиска задается через параметр «region=XYZ», где ZYZ — выбранный регион поиска.
reCAPTCHA не позволяет мониторить программно появление новых объявлений на avito.ru. Рассмотрим рекомендуемые способы обхода reCAPTCHA в программе edrom:
1. Настройка частоты обращений через каждые 60 сек.
2. Использование мобильных прокси.
1. Настройка частоты обращений через каждые 60 сек.
Настройка частоты обращений производится через параметр «Периодичность» в свойствах запроса. Описание параметра «Периодичность». Рассмотрим на простом примере, как настроить параметр «Периодичность», чтобы не было reCAPTCHA.
К примеру, частота мониторинга в настройках программы составляет «10 сек»:
Чтобы частота загрузки страницы для запроса составляла 60 сек, необходимо найти значение параметра «Периодичность»:
Данное значение вводится в свойства запроса:
Такой простой способ позволяет в обычном режиме проводить проверку новых объявлений. Однако с некоторыми ограничениями:
Если же требуется высокое быстродействие и/или большее число ссылок, можно использовать способ мониторинга через использование мобильных прокси.
2. Использование мобильных прокси.
В настройках программы необходимо задать параметры подключения к мобильному прокси:
Подходят любые мобильные HTTP-прокси с ротацией 2-3 мин или менее. Мобильные прокси можно приобрести на многочисленных сервисах. Пример одного из таких сервисов показан на рисунке далее со стоимостью одного прокси 450 руб/месяц:
Расчет частоты мониторинга и количества ссылок можно произвести в зависимости от ротации. Если одна ссылка и ротация 2 мин (120 сек), то:
где 1.2 сек – минимально допустимый (рекомендуется установить с запасом – 3 сек).
Если две ссылки и ротация 2 мин, то:
где 2.4 сек – минимально допустимый (рекомендуется установить с запасом – 6 сек).
Если вы затрудняетесь самостоятельно найти мобильные прокси, напишите в техподдержку.
Минимально допустимая частота мониторинга одной ссылки со статического Ip-адреса - 31 сек [28-10-2023].
Например:
• если добавить мониторинг одной страницы cian.ru с частотой через каждые 10 секунд, reCAPTCHA появится через 10 сек*100 = 1000 сек = 15 мин;
• если добавить мониторинг одной страницы cian.ru с частотой через каждые 30 секунд, reCAPTCHA появится через 30 сек*100 = 3000 сек = 45 мин.
• если добавить мониторинг одной страницы cian.ru с частотой через каждые 60 секунд, reCAPTCHA не появится.
Пример ссылки: https://kazan.avito.ru/cat.php?deal_type=sale&engine_version=2&is_by_homeowner=1&offer_type=flat®ion=5024
Если при копировании в программу ссылки из браузера появляется какая-либо ошибка, например, как на рисунке:
Используйте следующие пояснения (показаны на рисунке):
1. Выберите расширенный список фильтров через кнопку «Еще фильтры».
2. Отметьте какой-либо параметр, например, «От собственников».
3. Нажмите «Показать объекты».
4. В результате этих действий строка запроса в браузере принять вид, в котором регион поиска задается через параметр «region=XYZ», где ZYZ — выбранный регион поиска.
reCAPTCHA не позволяет мониторить программно появление новых объявлений на avito.ru. Рассмотрим рекомендуемые способы обхода reCAPTCHA в программе edrom:
1. Настройка частоты обращений через каждые 60 сек.
2. Использование мобильных прокси.
1. Настройка частоты обращений через каждые 60 сек.
Настройка частоты обращений производится через параметр «Периодичность» в свойствах запроса. Описание параметра «Периодичность». Рассмотрим на простом примере, как настроить параметр «Периодичность», чтобы не было reCAPTCHA.
К примеру, частота мониторинга в настройках программы составляет «10 сек»:
Чтобы частота загрузки страницы для запроса составляла 60 сек, необходимо найти значение параметра «Периодичность»:
60 сек / 10 сек = 6.
Данное значение вводится в свойства запроса:
Такой простой способ позволяет в обычном режиме проводить проверку новых объявлений. Однако с некоторыми ограничениями:
• относительно невысокая частота проверки;
• можно мониторить только одну ссылку.
Если же требуется высокое быстродействие и/или большее число ссылок, можно использовать способ мониторинга через использование мобильных прокси.
2. Использование мобильных прокси.
В настройках программы необходимо задать параметры подключения к мобильному прокси:
Подходят любые мобильные HTTP-прокси с ротацией 2-3 мин или менее. Мобильные прокси можно приобрести на многочисленных сервисах. Пример одного из таких сервисов показан на рисунке далее со стоимостью одного прокси 450 руб/месяц:
Расчет частоты мониторинга и количества ссылок можно произвести в зависимости от ротации. Если одна ссылка и ротация 2 мин (120 сек), то:
120 сек / 100 = 1.2 сек ≈ 3 сек,
где 1.2 сек – минимально допустимый (рекомендуется установить с запасом – 3 сек).
Если две ссылки и ротация 2 мин, то:
2 ссылки * (120 сек / 100 ) = 2*1.2 сек = 2.4 сек ≈ 6 сек,
где 2.4 сек – минимально допустимый (рекомендуется установить с запасом – 6 сек).
Если вы затрудняетесь самостоятельно найти мобильные прокси, напишите в техподдержку.
Минимально допустимая частота мониторинга одной ссылки со статического Ip-адреса - 31 сек [28-10-2023].
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Поиск по сайту
Теги
24auto.ru 29.ru auto.ru autochel.ru autonavigator.ru avito avito.ru avtomarket.ru bibika.ru carsguru.net drom.ru e1.ru irr.ru mail.ru samara24.ru slando.ru Telegram vdv-kavkaz.ru youla.ru Поиск объявлений по номеру телефона Услуги авито авто из Литвы без посредников до выхода до проверки ключевые слова купить мониторинг недвижимость объявления отслеживание перехват прокси самые дешевые авто срочные статистика цен телефоны фильтр 3 юла