Прокси для avito
|| 19 ноябрь 2014, 04:19
    

Программа поддерживает работу через прокси-сервер. Использование прокси может оказаться необходимым при сборе больших объемов данных, отсутствии «белого» ip-адреса, блокировке ip-адреса на каком-либо из ресурсов и т.д. Для работы с прокси используются настройки, показанные на следующем рисунке:

Настройки программы для работы с avito.ru и другими сайтами через прокси 

После включения опции Использовать прокси-сервер и ввода адреса и порта прокси-сервера в поля Адрес и Порт возможна работа в двух режимах: 

Использовать для всех HTTP-подключений (мониторинг и анализ со всех сайтов) ­– все соединения со всеми досками объявлений реализуются через указанный прокси-сервер. Работа таких внутренних функций, как уведомления по email, icq ведется через прямое соединение. 

Использовать только для анализа (сбора телефонов) с avito.ru – при включении этого режима HTTP-запросы к avito.ru при анализе (получении контактных данных из объявлений) используют соединение через прокси-сервер. Подключение ко всем другим ресурсам, а также мониторинг сайта avito.ru проводятся через прямое соединение. Данный режим может быть рекомендован при обработке достаточно больших объемов данных с avito.ru, т.к. позволяет распараллеливать задачу сбора данных при наличии нескольких прокси. Для параллельного сбора потребуется запускать сразу несколько копий программы (по количеству доступных прокси). К примеру, ставиться задача непрерывного сбора всех новых объявлений из раздела «Детская одежда и обувь» при наличии 5 прокси. Распараллеливание производится в 5 копиях программы, каждая из которых работает через свой прокси-сервер. Также желательно (но необязательно) разделить мониторинг по уникальным критериям поиска для каждой копии. Например, первая копия программы настраивается на сбор данных по объявлениям ценовой категории до 1000 руб, вторая – 1001-3000 руб, третья – 3001-5000 руб, четвертая – 5001-10000 руб, пятая – от 10000 руб. Используя по такому принципу одновременный запуск нескольких копий, возможно ускорить сбор данных пропорционально их количеству и количеству прокси-серверов. Следует отметить, что прокси для авито должны поддерживать протокол HTTPS и принадлежать российскому диапазону ip-адресов, и при этом не должны быть скомпрометированы в спам-рассылках.

Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Март 2024 (1)
Январь 2024 (1)
Октябрь 2023 (2)
Июнь 2022 (1)
Август 2021 (1)
Апрель 2021 (1)
Поиск по сайту


Теги