Базы телефонов с досок объявлений avito.ru, auto.ru, drom.ru, irr.ru, am.ru, bibika.ru и других сайтов объявлений
|| 22 января 2013, 14:30
    

Достаточно часто программа edrom используется не только для мониторинга и быстрого оповещения об интересных предложениях на сайтах объявлений, но и простого сбора с них информации (парсинга). Как правило, производится сбор контактных данных (телефонов) из объявлений на avito.ru, slando.ru, auto.ru, drom.ru, irr.ru, bibika.ru, chance.ru и т.д. Наиболее популярными категориями объявлений для парсинга являются компьютерная и бытовая техника, недвижимость, услуги, автомобили.

Если вам нужна качественная база телефонов из свежих объявлений, можно воспользоваться возможностями программы edrom, в реальном времени производя сбор данных. При этом стоимость базы получается в 5-10 раз дешевле, чем покупка "готовых" баз неизвестного происхождения.

Некоторые возможности, которые обеспечивает использование программы при парсинге досок объявлений:
1) пользователи сами устанавливают критерии, по которым производится отбор объявлений (регион, категория объявлений, цена и т.д.);
2) сбор базы можно осуществлять ежедневно, 2 раза в день и т.д.;
3) программа (если нужно) не собирает повторяющиеся номера;
4) при необходимости можно "сбрасывать" базу, например, ежемесячно (и тем самым вновь "обработать" найденные ранее номера до нового сброса);
5) автоматическое обновление программы при изменении принципа работы сайтов. За последние 2 года на основных сайтах внедрены и постоянно меняются различные механизмы защиты от парсинга, тем не менее, программа все это время работает...

Если у вас все же нет возможности заниматься сбором необходимых данных с использованием программы edrom, всегда есть возможность приобретения собираемых с ее помощью уже готовых баз, а также баз по широкой группе товаров и услуг сайта avito.ru.

Рассмотрим основные особенности работы с программой и настройки, которые можно использовать при парсинге и сборе телефонов с досок объявлений. Программа предусматривает два основных режима экспорта контактных данных: в формат Excel (CSV) и в текстовые файлы last.txt и all.txt. 

1. Форматы экспорта данных

 

1.1. Экспорт в формат Excel/CSV
При этом способе производится экспорт как контактных данных, так и другой дополнительной информации, см. рисунок:

Вид документа Excel после экспорта из программы результатов мониторинга и анализа по доскам объявлений auto.ru, avito.ru, slando.ru, drom.ru, irr.ru и т.д.

Рассмотрим некоторые рекомендации, которыми можно воспользоваться, если производится экспорт данных в формат Excel. 

Чтобы вести сбор только новых (уникальных) телефонов (т.е. на которые ранее по базе программы объявления не размещались), необходимо в настройках программы (Главное меню\Сервис\Парметры мониторинга\Фильтр), установить значение "1" для параметра "Объявления перекупщиков. Если количество других объявлений продавца превышает" – "1", см. рисунок:
Рекомендуемые настройки фильтра при сборе телефонов с досок объявлений auto.ru, avito.ru, slando.ru, irr.ru, drom.ru

После установки этой опции в таблице "Результаты мониторинга" отображаются объявления только с уникальными телефонами, см. рисунок:  

В таблице "Результаты мониторинга" отображаются объявления только с уникальными телефонами

Таким образом при сохранении результатов в Excel экспортируются только объявления с уникальными контактными данными. Другая часть результатов с телефонами, на которые ранее уже размещались другие объявления, фильтруются в отдельную таблицу "Удаленные", которую также можно экспортировать в Excel (для этого следует сделать активной вкладку "Удаленные"), см. рисунок:
Другая часть результатов с телефонами, на которые ранее уже размещались другие объявления, фильтруются в отдельную таблицу "Удаленные"

В условиях фильтра также рекомендуется отметить опции Объявления, для которых не удалось определить контактные данные, Страницы, при загрузке которых возникла ошибка, а также Объявления с сайтов, по которым анализ не поддерживается (см. рисунок выше).

После окончания мониторинга и анализа объявлений для экспорта данных из таблиц  "Результаты мониторинга" или "Удаленные" необходимо открыть вкладку с нужной таблицей и воспользоваться командой Главное меню\Файл\Экспорт результатов в Excel

1.2. Экспорт в текстовые файлы last.txt и all.txt
Кроме экспорта в Excel, существует возможность производить автоматизированный вывод телефонов из объявлений в текстовые файлы. Содержимое текстового файла показано на рис.:

Содержимое текстового файла при автоматизированном выводе телефонов из досок объявлений auto.ru, avito.ru, slando.ru, irr.ru
Для включения этой функции необходимо отметить флажок в опции "Дополнительно сохранять контактные данные в файлы last.txt и all.txt (если требуется спец. работа с телефонами)", см. рис.:
Подключение экспорта в текстовые файлы

После выбора этой опции собираемая база телефонов автоматически экспортируется в 2 файла:
last.txt – список уникальных телефонов, найденных за время с последнего запуска до закрытия программы.
all.txt – список собранных уникальных телефонов за все время работы программы (включая телефоны, содержащиеся в файле last.txt).

В файлы last.txt и all.txt вносятся только уникальные телефоны (на них согласно БД истории объявлений – объявлений ранее не размещалось), которые находит программа в процессе мониторинга и анализа.

На формируемые списки не оказывают влияние установленные фильтры – экспортируются только уникальные телефоны.

Файлы обновляются только при закрытии программы: last.txt – перезаписывается, в all.txt – каждый раз добавляется текущее содержимое файла last.txt. При этом, если выбирается команда "Выход (без сохранения)" содержимое файлов не обновляются и результаты не сохраняются. Расположение данных файлов - тот же каталог, где находится файл edrom.exe.

Содержимое файлов last.txt и all.txt синхронизируется с основной БД истории объявлений, поэтому файлы никогда не содержат повторяющихся номеров телефонов (если специальным образом не производится сброс БД истории объявлений, см. ниже).

Важным моментом работы является возможность удалить или переместить в другую папку файл all.txt в любой момент времени. Это может оказаться полезным, к примеру, если программа в течении нескольких дней проводила сбор списка уникальных телефонов. После того, как по списку проведена какая-либо операция (смс-рассылка, обзвон и т.д.), чтобы уже по "обработанным" номерам эти операции не повторять, можно файл all.txt удалить или перемесить в другую папку. 

 

2. Другие рекомендации по экспорту данных

2.1  Сброс базы данных (БД) программы

Если вы только начинаете работать с программой, ее БД уже содержит историю объявлений. Для крупных городов (Москва, Санкт-Петербург) история объявлений может содержать 500 тыс.-1 млн. уникальных телефонов и более. При определенных настройках Фильтра I программа не экспортирует телефоны из объявлений, если они уже есть в истории объявлений (на контактные данные ранее уже подавалось другое объявление, а также объявления, которые "подняты в поиске", "обновлены" и т.д.). 

Чтобы не терять телефоны, которые уже содержатся в БД, можно сбросить ("обнулить") базы программы, описанным далее способом. Для этого следует воспользоваться функциями Очистка стека новых объявлений и Удаление истории объявлений, которые вызываются через Главное меню\Сервис\Оптимизация базы данных\Вкладка "Сброс". См. рис.:
Окно сброса баз данных программы
Сброс баз с использованием этих функций позволит начать сбор телефонов с нуля. Операцию "обнуления" можно производить с любой регулярностью по мере необходимости (ежемесячно, еженедельно, ежедневно и т.д.). Также рекомендуется провести сброс баз, если программа настраивается для использования по новым регионам или категориям объявлений.

2.2. Рекомендации по частоте запуска программы   

Если корректировка условий поиска (критериев, задаваемых в верхней таблице главного окна программы), не произведена, то необходимо иметь в виду, что по умолчанию программа по большей мере настроена на мониторинг объявлений в реальном времени (для быстрого выкупа выгодных предложений). Т.е. если запуск программы производится только 1 раз в сутки (к примеру, вечером), программа может не "найти" объявления, которые были размещены утром (это актуально для наиболее популярных сайтов – avito.ru, slando.ru – из-за большого количества добавляемых объявлений, а также для yandex.ru – из-за большого потока отображаемых объявлений с разных сайтов).

Чтобы избежать потери телефонов из таких объявлений, следует откорректировать условия поиска так, чтобы задать более глубокий мониторинг во времени (т.е., к примеру, для авито загружать не 10 последних страниц, а 20 страниц. При этом на 20 странице должны быть объявления, размещенные не менее чем 24 часа назад – если запуск программы производится 1 раз в сутки).

Если вы не хотите корректировать условия поиска и при этом собирать все телефоны, можно просто оставить работать программу на целый день (задавая интервал между мониторингами – 15-20 мин) или же запускать несколько раз в день (2-3-4 раза).

2.3. Кэш севера    

Для наиболее быстрого извлечения телефонов из объявлений следует проверить правильность настройки кеша (Главное меню\Сервис\Параметры мониторинга\вкладка "Кеш сервера"), где обратить внимание на регион и категорию объявлений. Неверная настройка параметров этой вкладки или невозможность обмена данными с кешем являются причиной быстрой блокировки статического ip-адреса на некоторых сайтах (напр. на авито).Подтверждением того, что обмен данными с кешом идет успешно, являются сообщения следующего содержания:
Подключение к кэш-серверу (Download)...
Получены новые данные с кэш-сервера.
Соединение успешно завершено.
и т.д., см. рис:

Обмен данными с кешем на сервере edrom

Таким образом, обмен данными с кешом на сервере edrom позволяет не только ускорить извлечение телефонов из объявлений, но и снизить вероятность блокировки на некоторых сайтах (напр. avito.ru, drom.ru и т.д.), если у вас статический ip-адрес. 

2.4. Сочетания быстрых клавиш для дополнительной обработки данных

Если необходимо проводить дополнительную обработку данных на основе истории более ранних объявлений продавца, то удобнее делать это прямо в программе, а затем уже полученные результаты экспортировать в Excel. Для такой обработки используются следующие сочетания быстрых клавиш:

1. Клавиша Insert – просмотр истории более ранних объявлений.

2. Клавиша Insert – закрытие окна с историей более ранних объявлений.

3. Клавиша Delete – удаление из таблицы с результатами поиска неудовлетворяющего критериям объявления.

Сочетания быстрых клавиш для дополнительной обработки данных

2.5. Выбор экспортируемых столбцов

Чтобы не экспортировать лишние данные, производится сохранение только тех столбцов, которые являются видимыми в результатах поиска. Для отображения/скрытия отдельных столбцов используется контекстное меню, активируемое при наведении курсора мыши на графы таблицы и нажатии правой кнопки мыши (см. рисунок ниже). Исключением являются невидимые столбцы «Телефон» и «http-адрес», которые экспортируются в любом случае.
 Выбор экспортируемых столбцов

  • Гости
    Публикаций: 0
    Комментариев: 0
  • Константин пишет:
  • 20 мая 2013, 13:58
Добрый день! Не могли бы вы выслать на эл. почту более подробную информацию для работы по сбору телефонных номеров пошагово. Программу мы скачали, запустили, далее какие шаги нужно сделать? Спасибо.
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Павел пишет:
  • 2 декабря 2013, 12:50
На нгс Новосибирск программа нашла 14200 обьявлений (все легковые авто), но выдернула из них тел. номера только у 167, что делаю не так?
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 2 декабря 2013, 12:52
Номера телефонов загружаются не сразу (для avito.ru, auto.ru, drom.ru, bibika.ru и некоторых других), а в фоновом режиме (т.е. когда не идет мониторинг), т.е. на это требуется время.
Установите паузу между мониторингами 60 минут и дождитесь окончания фонового анализа.
На 14 тыс. объявлений может потребоваться несколько часов.
  • Гости
    Публикаций: 0
    Комментариев: 0
  • елена пишет:
  • 15 декабря 2013, 09:32
Программу можно настроить на получение номеров телефонов и электронной почты в других рубриках. Пример "услуги" на авито
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 15 декабря 2013, 10:50
Email в объявлениях не указывается. Телефоны возможно, см. инструкции по настройке
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Ваше имя пишет:
  • 15 января 2014, 09:11
Здравствуйте! Скачал программу у вас на сайте. Подскажите как запустить пробную версию программы? И ещё вопрос: в настройках второго фильтра модели автомобилей можно указывать через запятую, а не добавлять каждую модель по отдельности?
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 15 января 2014, 10:00
См. пример запуска
Модели автомобилей нельзя указывать через запятую
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Кирилл пишет:
  • 19 января 2014, 20:42
Какой порядок действий после того как оплатил одним из указанных способов нужную мне программу(Ставропольский край) в демо версии нужно прописывать ключ
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 19 января 2014, 20:43
  • Гости
    Публикаций: 0
    Комментариев: 0
  • sergei пишет:
  • 28 февраля 2014, 15:37
Сдам. В г.Краснодаре квартиру. Ул.Академика Лукьяненко 26 ,две комнаты,второй этаж.Евро,техника вся,мебель вся
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Виталий пишет:
  • 8 мая 2014, 09:35
Здравствуйте! Интересует раздел земельные участки "КУПЛЮ" по всей России" Возможен доступ? С уважением,
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 8 мая 2014, 13:56
Здравствуйте. По данному разделу программа работает по аналогии с "Аренда/Продажа квартир/комнат" по сайтам avito.ru, irr.ru, cian.ru.
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Вадим пишет:
  • 17 июля 2014, 16:06
Как скачать эту програму?
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 17 июля 2014, 16:08
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Артем пишет:
  • 3 октября 2014, 18:20
Добрый день очень нужно посмотреть объявления за 15 мая 2013 продажа мерседес S600 как можно посмотреть объявления этой датой спасибо
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 3 октября 2014, 21:06
Фрагмент выборки из базы по сайту auto.ru за 15.05.2013 (первые пять объявлений из 285). Стоимость полной выборки из базы в таком формате (с телефонами - 500 руб).

Mercedes-Benz S-klasse (W220)j#2005t#79670179***p#749 000d#15.5.13h#http://cars.auto.ru/cars/used/sale/45251968-91d1.html
Mercedes-Benz S-klasse (W221)j#2008t#79032787***p#1 800 000d#15.5.13h#http://cars.auto.ru/cars/used/sale/45252848-3ed88.html
Mercedes-Benz S-klasse (W221)j#2006t#79039605***p#1 500 000d#15.5.13h#http://cars.auto.ru/cars/used/sale/45258000-4886.html
Mercedes-Benz S-klasse (W221)j#2006t#79163904***p#3 500 000d#15.5.13h#http://cars.auto.ru/cars/used/sale/45245944-8e2c71.html
Mercedes-Benz S-klasse (W221)j#2006t#79154538***p#1 100 000d#15.5.13h#http://cars.auto.ru/cars/used/sale/45260634-dd3b7.html
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Александр пишет:
  • 17 февраля 2015, 12:32
Подскажите, имеется ли возможным узнать какие объявления были прикреплены к сотовому номеру? как это сделать? Заранее спасибо.
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 17 февраля 2015, 13:19
Такая возможность есть только для автообъявлений (если регион, есть в одной из сборок на стр. http://edrom.ru/releases/6-download.html )
  • Гости
    Публикаций: 0
    Комментариев: 0
  • николай пишет:
  • 29 июля 2016, 13:30
я перекупщик как мне самому быстро продать авто.и для чего используют базы данных телефонов
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 29 июля 2016, 13:37
Данные базы вам не нужны.
Они используются автосалонами, страховыми агентами, пунктами техосмотра и т.д.
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Ваше имя пишет:
  • 18 февраля 2017, 15:07
Здравствуйте, меня интересует возможно ли установка программы на айфон, если да, то как ее установить, в частности коммерческая недвижимость, аренда, сдача и тд
  • Администраторы
    Публикаций: 227
    Комментариев: 2693
  • admin пишет:
  • 18 февраля 2017, 16:10
Программа работает в Windows. На айфон можно настроить уведомления
Возможность оставлять комментарии имеют только зарегистрированные пользователи
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Поиск по сайту


Реклама
Теги