Особенности настройки мониторинга объявлений cian.ru
|| 28 октябрь 2023, 21:20
    
На сайте cian.ru используется защита от программ и ботов, которая требует некоторых дополнительных настроек. На сайте появляется reCAPTCHA после ~100 обращений к сайту с высокой частотой, после чего дальнейший мониторинг невозможен (октябрь 2023).
 
Например:

• если добавить мониторинг одной страницы cian.ru с частотой через каждые 10 секунд, reCAPTCHA появится через  10 сек*100  = 1000 сек = 15 мин;
• если добавить мониторинг одной страницы cian.ru с частотой через каждые 30 секунд, reCAPTCHA появится через  30 сек*100  = 3000 сек = 45 мин.
• если добавить мониторинг одной страницы cian.ru с частотой через каждые 60 секунд, reCAPTCHA не появится.
 
Пример ссылки: https://kazan.avito.ru/cat.php?deal_type=sale&engine_version=2&is_by_homeowner=1&offer_type=flat&region=5024
 
Если при копировании в программу ссылки из браузера появляется какая-либо ошибка, например, как на рисунке:
Используйте следующие пояснения (показаны на рисунке):
1. Выберите расширенный список фильтров через кнопку «Еще фильтры».
2. Отметьте какой-либо параметр, например, «От собственников».
3. Нажмите «Показать объекты».
4. В результате этих действий строка запроса в браузере принять вид, в котором регион поиска задается через параметр «region=XYZ», где ZYZ — выбранный регион поиска. 

reCAPTCHA не позволяет мониторить программно появление новых объявлений на avito.ru. Рассмотрим рекомендуемые способы обхода reCAPTCHA в программе edrom:
 
1. Настройка частоты обращений через каждые 60 сек.
2. Использование мобильных прокси.
 
1. Настройка частоты обращений через каждые 60 сек.

Настройка частоты обращений производится через параметр «Периодичность» в свойствах запроса. Описание параметра «Периодичность». Рассмотрим на простом примере, как настроить параметр «Периодичность», чтобы не было reCAPTCHA.

К примеру, частота мониторинга в настройках программы составляет «10 сек»:

Чтобы частота загрузки страницы для запроса составляла 60 сек, необходимо найти значение параметра «Периодичность»:

60 сек / 10 сек = 6. 

Данное значение вводится в свойства запроса:
  
Такой простой способ позволяет в обычном режиме проводить проверку новых объявлений. Однако с некоторыми ограничениями:

• относительно невысокая частота проверки;
• можно мониторить только одну ссылку.
 
Если же требуется высокое быстродействие и/или большее число ссылок, можно использовать способ мониторинга через использование мобильных прокси.
 
2. Использование мобильных прокси.
 
В настройках программы необходимо задать параметры подключения к мобильному прокси:
 
Подходят любые мобильные HTTP-прокси с ротацией 2-3 мин или менее.  Мобильные прокси можно приобрести на многочисленных сервисах. Пример одного из таких сервисов показан на рисунке далее со стоимостью одного прокси 450 руб/месяц:
Расчет частоты мониторинга и количества ссылок можно произвести в зависимости от ротации. Если одна ссылка и ротация 2 мин (120 сек), то:
120 сек / 100 = 1.2 сек ≈ 3 сек,

где 1.2 сек – минимально допустимый (рекомендуется установить с запасом – 3 сек).
 
Если две ссылки и ротация 2 мин, то:

2 ссылки * (120 сек / 100 ) = 2*1.2 сек = 2.4 сек ≈ 6 сек, 

где 2.4 сек – минимально допустимый (рекомендуется установить с запасом – 6 сек).
 
Если вы затрудняетесь самостоятельно найти мобильные прокси, напишите в техподдержку.
Минимально допустимая частота мониторинга одной ссылки со статического Ip-адреса - 31 сек [28-10-2023].
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Александр пишет:
  • 16 январь 2024, 01:14
Здравствуйте 
Есть ссылка на объяву в Авито но оно закрыто и я не могу посмотреть профиль человека или его объявлени,он продал машину,я хотел узнать кому что попробовать выкупить грузовую если он согласиться 


https://www.avito.ru/ob/avtomobili/mercedes-benz_t1_2.9_mt_1992_290000km_280395
7808?utm_campaign=native&utm_medium=item_page_ios&utm_source=soc_sharin
g
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Март 2024 (1)
Январь 2024 (1)
Октябрь 2023 (2)
Июнь 2022 (1)
Август 2021 (1)
Апрель 2021 (1)
Поиск по сайту


Теги