Особенности настройки мониторинга объявлений cian.ru
|| 28 октябрь 2023, 21:20
    
На сайте cian.ru используется защита от программ и ботов, которая требует некоторых дополнительных настроек. На сайте появляется reCAPTCHA после ~100 обращений к сайту с высокой частотой, после чего дальнейший мониторинг невозможен (октябрь 2023).
 
Например:

• если добавить мониторинг одной страницы cian.ru с частотой через каждые 10 секунд, reCAPTCHA появится через  10 сек*100  = 1000 сек = 15 мин;
• если добавить мониторинг одной страницы cian.ru с частотой через каждые 30 секунд, reCAPTCHA появится через  30 сек*100  = 3000 сек = 45 мин.
• если добавить мониторинг одной страницы cian.ru с частотой через каждые 60 секунд, reCAPTCHA не появится.
 
Пример ссылки: https://kazan.cian.ru/cat.php?deal_type=sale&engine_version=2&is_by_homeowner=1&offer_type=flat&region=5024
 
reCAPTCHA не позволяет мониторить программно появление новых объявлений. Рассмотрим рекомендуемые способы обхода reCAPTCHA в программе edrom:
 
1. Настройка частоты обращений через каждые 60 сек.
2. Использование мобильных прокси.
 
1. Настройка частоты обращений через каждые 60 сек.

Настройка частоты обращений производится через параметр «Периодичность» в свойствах запроса. Описание параметра «Периодичность». Рассмотрим на простом примере, как настроить параметр «Периодичность», чтобы не было reCAPTCHA.

К примеру, частота мониторинга в настройках программы составляет «10 сек»:

Чтобы частота загрузки страницы для запроса составляла 60 сек, необходимо найти значение параметра «Периодичность»:

60 сек / 10 сек = 6. 

Данное значение вводится в свойства запроса:
  
Такой простой способ позволяет в обычном режиме проводить проверку новых объявлений. Однако с некоторыми ограничениями:

• относительно невысокая частота проверки;
• можно мониторить только одну ссылку.
 
Если же требуется высокое быстродействие и/или большее число ссылок, можно использовать способ мониторинга через использование мобильных прокси.
 
2. Использование мобильных прокси.
 
В настройках программы необходимо задать параметры подключения к мобильному прокси:
 
Подходят любые мобильные HTTP-прокси с ротацией 2-3 мин или менее.  Мобильные прокси можно приобрести на многочисленных сервисах. Пример одного из таких сервисов показан на рисунке далее со стоимостью одного прокси 450 руб/месяц:
Расчет частоты мониторинга и количества ссылок можно произвести в зависимости от ротации. Если одна ссылка и ротация 2 мин (120 сек), то:
120 сек / 100 = 1.2 сек ≈ 3 сек,

где 1.2 сек – минимально допустимый (рекомендуется установить с запасом – 3 сек).
 
Если две ссылки и ротация 2 мин, то:

2 ссылки * (120 сек / 100 ) = 2*1.2 сек = 2.4 сек ≈ 6 сек, 

где 2.4 сек – минимально допустимый (рекомендуется установить с запасом – 6 сек).
 
Если вы затрудняетесь самостоятельно найти мобильные прокси, напишите в техподдержку.
Минимально допустимая частота мониторинга одной ссылки со статического Ip-адреса - 31 сек [28-10-2023].
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Октябрь 2023 (2)
Июнь 2022 (1)
Август 2021 (1)
Апрель 2021 (1)
Март 2021 (2)
Май 2020 (2)
Поиск по сайту


Теги