Прокси для avito
Программа поддерживает работу через прокси-сервер. Использование прокси может оказаться необходимым при сборе больших объемов данных, отсутствии «белого» ip-адреса, блокировке ip-адреса на каком-либо из ресурсов и т.д. Для работы с прокси используются настройки, показанные на следующем рисунке:
После включения опции Использовать прокси-сервер и ввода адреса и порта прокси-сервера в поля Адрес и Порт возможна работа в двух режимах:
Использовать для всех HTTP-подключений (мониторинг и анализ со всех сайтов) – все соединения со всеми досками объявлений реализуются через указанный прокси-сервер. Работа таких внутренних функций, как уведомления по email, icq ведется через прямое соединение.
Использовать только для анализа (сбора телефонов) с avito.ru – при включении этого режима HTTP-запросы к avito.ru при анализе (получении контактных данных из объявлений) используют соединение через прокси-сервер. Подключение ко всем другим ресурсам, а также мониторинг сайта avito.ru проводятся через прямое соединение. Данный режим может быть рекомендован при обработке достаточно больших объемов данных с avito.ru, т.к. позволяет распараллеливать задачу сбора данных при наличии нескольких прокси. Для параллельного сбора потребуется запускать сразу несколько копий программы (по количеству доступных прокси). К примеру, ставиться задача непрерывного сбора всех новых объявлений из раздела «Детская одежда и обувь» при наличии 5 прокси. Распараллеливание производится в 5 копиях программы, каждая из которых работает через свой прокси-сервер. Также желательно (но необязательно) разделить мониторинг по уникальным критериям поиска для каждой копии. Например, первая копия программы настраивается на сбор данных по объявлениям ценовой категории до 1000 руб, вторая – 1001-3000 руб, третья – 3001-5000 руб, четвертая – 5001-10000 руб, пятая – от 10000 руб. Используя по такому принципу одновременный запуск нескольких копий, возможно ускорить сбор данных пропорционально их количеству и количеству прокси-серверов. Следует отметить, что прокси для авито должны поддерживать протокол HTTPS и принадлежать российскому диапазону ip-адресов, и при этом не должны быть скомпрометированы в спам-рассылках.