Парсер avito, slando, drom, bibika
|| 22 июля 2012, 13:08
    

Ключевыми данными, на которых основан функционал программы edrom по анализу объявлений, являются контактные телефоны из объявлений и качество работы программы во многом определяется ее возможностями по автоматическому извлечению номеров телефонов. К сожалению, все больше сайтов объявлений применяют различные методы защиты для предотвращения парсинга (автоматической загрузки данных с www-страниц программами-роботами). Как правило, защищаются именно контактные номера телефонов, что несколько затрудняет работу программы edrom

Такими примерами являются: 1) avito.ru; 2) slando.ru; 3) drom.ru; 4) bibika.ru и многие др. сайты.

Применяемые методы защиты достаточно разнообразны и основаны на различных методах:
1) блокировка ip-адреса;
2) выдача капчи для возможности продолжения дальнейшей загрузки информации с сайта;
3) динамическая генерация ключей скриптами; 
4) представление текстовой информации в виде изображений;
5) шифрация скриптов на странице.

При этом, как правило, применяется не один, а сразу комбинация нескольких или даже всех перечисленных выше методов защиты. Последняя версия программы edrom достаточно эффективно преодолевает все перечисленные методы защиты и позволяет автоматически извлекать номера телефонов с перечисленных сайтов для последующего анализа. Для автоматического распознавания капчи с сайтов drom.ru и bibika.ru используются возможности одного из известных online OCR-сервисов. Cтоимость распознавания одной капчи составляет всего 1$ за 1000 изображений и поэтому использование данных сервисов является экономически оправданным.

Начиная с версии edrom 1.60 скорость сбора данных с сайтов сландо, дром, бибика зависит от используемого способа подключения к Интернет. Для наиболее эффективной работы программы необходимо VPN-соединение с провайдером, при котором выделяется динамический ip-адрес

Подавляющее число Интернет-провайдеров предоставляют именно динамический ip-адрес: "Стрим", "Билайн" ("Корбина"), "Акадо", "Дом.ру", мобильный 4G-интернет "Yota", Мегафон GPRS/EDGE и т.д. 

Преимущества использования динамического ip-адреса при загрузке контактных телефонов с сайтов avito.ru, bibika.ru, slando.ru, drom.ru указаны в следущей таблице.

Табл. 1 - Скорость загрузки телефонов (без обращения к кешу сервера edrom)

Сайт

Интервал загрузки одного телефона*

Кол-во телефонов, загружаемых за 1 час работы программы*

Статический ip-адрес

Динамический ip-адрес, VPN

Статический ip-адрес

Динамический ip-адрес, VPN

avito.ru
(измен. с 25.07.12)

3 мин
10 сек

4 сек
10 сек

20
360

~700
360

slando.ru

25 сек

1 сек

120

~3000

bibika.ru

1 мин

1 сек

60

~3000

drom.ru

4 сек

2 сек

900

~1500

* Необходимо обратить внимание, что данные ограничения на скорость загрузки установлены при работе программы без обращения к кешу сервера edrom. Если мониторинг объявлений идет в реальном времени по крупным регионам, то за счет распределенного анализа между одновременно работающими копиями программы скорость загрузки может быть выше (см. Табл.2).  

Табл. 2 - Realtime Monitoring по крупным регионам (Мск, Спб) с поддержкой кеширования

Сайт

Кол-во телефонов, загружаемых за 1 час работы программы

 

Стат. ip-адрес

Дин. ip-адрес

avito.ru

нет явных ограничений

нет явных ограничений

slando.ru

нет явных ограничений

нет явных ограничений

bibika.ru

нет явных ограничений

нет явных ограничений

drom.ru

нет явных ограничений

нет явных ограничений

Таким образом, если компьютер подключается к сети Интернет посредством VPN-соединения и выделяемый провайдером ip-адрес является динамическим, то для использования полных возможностей программы рекомендуется включить автоматическую смену ip-адреса для ускорения анализа и обхода блокировки. Настройки программы для включения автоматической смены ip-адреса рассматриваются далее.

Отметим, что при отсутствии VPN-соединения с динамическим ip-адресом, программа полностью сохраняет свою работоспособность, однако скорость сбора данных с avito.ru, bibika.ru, slando.ru и drom.ru будет ниже в связи с необходимостью выдержки таймаутов при соединениях и временем, затрачиваемым на распознавание капчи (на bibika.ru при статическом ip-адресе время на распознавание капчи в среднем составляет около 30 сек - 1 мин, загрузка контактных данных производится со скоростью до 120 телефонов/час).

Далее рассмотрим настройки программы для автоматической смены ip-адреса (при VPN-соединении), для этого необходимо воспользоваться командой Главное менюСервисПараметры мониторингавкладка Динамический ip-адрес, в результате отображается следующее диалоговое окно:

Настройки для сбора телефонов с avito.ru, slando.ru, drom.ru, bibika.ru

Как видно из рисунка, возможны следующие режимы автоматической смены ip-адреса:

Не использовать автоматическую смену ip-адреса Обычный режим работы программы - без смены ip-адреса.
Динам. ip-адрес обеспечивается VPN-соединением с провайдером Автоматическая смена ip-адреса возможна при наличии VPN-соединения
Внешний динамический ip-адрес (прямое подключение по локальной сети) Опция недоступна.
Внешний динамический адрес, подключение через LAN-ADSL или через роутеры Опция недоступна. 

Таким образом, при выборе опции Динам. ip-адрес обеспечивается VPN-соединением с провайдером возможен режим автоматической смены ip-адреса. При этом становятся активными следующие элементы управления настройками:
Имя соединения Определяет имя подключения, с которым при необходимости будет производится автоматическое соединение или отключение.
Задержка между соединениями Временной интервал в секундах после разрыва соединения и до момента начала установки соединения (в некоторых случаях, в зависимости от используемого провайдером оборудования, смена ip-адреса возможна только при установке задержки 2-3 сек)
Тестовая смена ip-адреса Позволяет в тестовом режиме проверить возможность программы автоматически менять ip-адрес компьютера. Если тестовая смена ip-адреса проходит успешно, появляется соответствующее сообщение:

Тестирование VPN-соединения

VPN-лог Отображает ход смены ip-адреса (см. пред. рисунок). Информация обновляется при каждой смене ip-адреса.
Уточнить текущий ip-адрес Открывает в браузере страницу www.internet.yandex.ru для уточнения ip-адреса.

Если тестовая смена ip-адреса прошла успешно, программа может работать в режиме автоматической смены ip-адреса. Если программе не удается выполнить тестовую смену ip-адреса из-за особенностей Интренет-подключения, а стабильная и быстрая работа с avito.ru, slando.ru, drom.ru или bibika.ru необходима, рекомендуется сменить провайдера. Как уже отмечалось выше, подавляющее число Интернет-провайдеров предоставляют именно динамический ip-адрес.

В заключении необходимо отметить, что при использовании USB-модемов всегда можно создать VPN-соединение, см. Как для USB-модема создать VPN-соединение?

  • Гости
    Публикаций: 0
    Комментариев: 0
  • Валентин пишет:
  • 26 декабря 2012, 15:43
возможно ли в тестовой версии поставить ограничения по цене и году выпуска авто?
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 26 декабря 2012, 15:45
Да, если создать собственные условия поиска см. http://edrom.ru/userguide/23-search-terms.html
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Алекс пишет:
  • 1 января 2013, 22:57
Здравствуйте возможно ли искать и парсить по городам и по определенному слову, например, в питере москве и тюмени парсить обьявы по слову СВИТЕР. Заголовок текст и контакты продавца? И в каком формате будет выдаваться информация. И какова стоимость программы вместе с настройкой и установкой? спасибо жду ответа
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 2 января 2013, 02:55
Данная функция реализована только для авто.ру. Для авито ключевые слова можно задавать прямо в форме поиска и копировать адресную строку браузера в программу. Объявления с ключевыми словами выделяются (фильтруются) среди множества других объявлений. Услуги по развертыванию программы временно не предоставляются (вы делаете это самостоятельно)
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Kamil пишет:
  • 10 апреля 2013, 22:04
Как купить парсер авито?

как купить парсер авито?
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 11 апреля 2013, 07:59
Выслано на email
  • Гости
    Публикаций: 0
    Комментариев: 0
  • All_ex74 пишет:
  • 29 апреля 2013, 08:20
напишите, как купить данный программный продукт и как его оплатить...
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 29 апреля 2013, 08:36
Выслано на email
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Ваше имя пишет:
  • 19 июня 2013, 21:48
Как купить напишите
  • Гости
    Публикаций: 0
    Комментариев: 0
  • 777 пишет:
  • 30 июня 2013, 20:53
тот же вопрос!
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Андрей пишет:
  • 18 июля 2013, 00:55
Привет, есть программа для Сландо UA и какая цена ?
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 18 июля 2013, 20:57
Для RU раньше работала, для UA не тестировалась..
  • Гости
    Публикаций: 0
    Комментариев: 0
  • дмитрий пишет:
  • 31 августа 2013, 14:38
Мне тоже информацию такую вышли,где и что купить
  • Гости
    Публикаций: 0
    Комментариев: 0
  • андрей пишет:
  • 23 сентября 2013, 09:41
как купить?
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Александр пишет:
  • 11 ноября 2013, 05:55
Скиньте на почту условия
  • Гости
    Публикаций: 0
    Комментариев: 0
  • eded пишет:
  • 8 января 2014, 20:39
Текст слишком короткий и по мнению администрации не несет полезной информации. А как же - напишите, как купить данный программный продукт и как его оплатить.
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 8 января 2014, 20:40
  • Гости
    Публикаций: 0
    Комментариев: 0
  • сургей пишет:
  • 5 марта 2014, 12:45
нужен парсинг ,извлечение тел. номеров из авто.ру и подобных сайтов по Москве. Сколько стоит услуга на месяц,как оплатить и как установить программу?
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Сергей пишет:
  • 15 апреля 2016, 19:05
Добрый вечер! Подскажите пожалуйста avito do больше вообще не будет функционировать? Если нет то подскажите какя будет альтернатива?
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 15 апреля 2016, 19:08
Объявления доступны. Про телефоны и альтернативы сложно сказать
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Дмитрий пишет:
  • 17 апреля 2016, 20:58
Друзья, почти даром отдаю прогу Land of Fire, прога действительно хороша, можете поискать видосы на ютубе, может как и чекать так и генерировать номера телефонов, пишите в скайп avtoderby
  • Гости
    Публикаций: 0
    Комментариев: 0
  • ROMAN пишет:
  • 21 октября 2016, 10:15
Добрый день подскажите идет мониторинг а обьявления не выходят.что делать
  • Администраторы
    Публикаций: 225
    Комментариев: 2596
  • admin пишет:
  • 21 октября 2016, 10:17
Возможно у вас сбились настройки поиска. Попробуйте их обновить из файла (оправлено на почту).
Введите два слова, показанных на изображении:
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Поиск по сайту


Реклама
Теги