Задание собственных критериев поиска
Глобальные настройки поиска задаются в верхней таблице главного окна программы (см. рисунок):
Процесс настройки не сложный, производится за несколько минут и заключается в копировании ссылки из адресной строки браузера после выбора параметров поиска на том или ином сайте (см. рисунок):
Настройка по этому принципу производится на любые разделы и категории объявлений. С более подробным описанием настройки по конкретным сайтам можно ознакомиться по следующим ссылкам:
1. Настройка поиска для сайтов, принимающих простой Get-запрос (avito.ru, auto.ru, drom.ru, youla.ru и другие)
2. Настройка поиска для сайтов, принимающих Get-запрос с "cookie" (youla.ru)
3. Настройка поиска для сайтов, принимающих Post-запрос (bibika.ru)
4. Объявления до опубликования с avito.ru и auto.ru
Если с сайта была скачена сборка программы по легковым автомобилям, уже настроенная на базовый регион (Москва и обл., Санкт-Петербург и обл., Екатеринбург и обл. и т.д.) для дальнейшей настройки поиска можно всего лишь использовать Фильтр II (см. ссылку Фильтр II).
Если программа работает в режиме поиска недвижимости (или других категорий товаров) или требуется настроить поиск на новый регион, увеличить глубину поиска (мониторинг объявлений по периоду размещения) или ставятся иные специфические условия поиска (автомобили старых годов выпуска, поиск по типу кузова или цвету салона, мототехника, спецтехника, предложения юр.лиц и т.д.), необходимо задать собственные критерии поиска. Как это можно сделать, рассматривается далее. На этой странице описаны общие принципы работы с Редактором запросов.
Для задания собственных критериев поиска необходимо использовать встроенный Редактор запросов, показанный на следующем рисунке:
Для вызова Редактора запросов можно воспользоваться кнопкой "+" на панели инструментов, см. рисунок:
Либо через контекстное меню "Добавить" при выборе в главном окне верхней таблицы с условиями поиска, см. рисунок:
Также возможен третий способ вызова Редактора запросов – для уже существующих запросов – двойным щелчком по строке или выбором пункта меню "Редактировать" в контекстном меню, см. рисунок:
После открытия Редактора запросов рекомендуется отфильтровать список доступных сайтов для поиска, см. рисунок:
Фильтрация позволяет оставить для работы только необходимые сайты объявлений (для пользователей, работающих с арендой/продажей жилья – только сайты по недвижимости, для пользователей, работающих с автотранспортом – только автомобильные сайты). Если требуемый регион отсутствует в списке, следует выбрать категорию "Все сайты", после чего можно выбрать все общероссийские сайты, работа с которыми поддерживается программой.
В списке "Выбор сайта для поиска" выделяется сайт, по которому необходимо настроить поиск, см. рисунок:
Поле Строка запроса (HTTP запрос типа GET) содержит http-адрес, по которому программа проверяет наличие новых (измененных) объявлений.
Поле Комментарий содержит произвольное пояснение к запросу.
В разделе Режим работы выбирается алгоритм обработки объявлений. В режиме Поиск только новых объявлений, к примеру, если было добавлено 10 первых страниц Авито с результатами поиска (10 стр x 50 объявлений= 500 первых объявлений), то программа всегда загружает первую ссылку (страницу №1), а страницы №2-10 в зависимости от того, есть ли на них новые объявления. Если выбран Поиск всех объявлений, все 10 страниц будут загружаться всегда при каждом мониторинге. Режим Поиск всех объявлений более универсальный, но одним из его недостатков являются дополнительные затраты времени, связанные с необходимостью загрузки страниц с одними и теми же объявлениями. Но следует отметить, что если на сайте не предусмотрена возможность сортировки объявлений по дате добавления или необходимо отслеживать изменение указываемых в объявлениях цен, то только режим Поиск всех объявлений позволяет автоматизировать этот процесс.
Реализованный, начиная с версии 1.96, режим Поиск только новых объявлений позволяет уже не терять время на загрузку страниц с результатами поиска, где размещены уже известные программе объявления, а загружать только страницы с новыми. Отличие между режимами показано на следующем рисунке:
В разделе Частота загрузки страницы устанавливается значение параметра Периодичность, который доступен для редактирования только в режиме Поиск всех объявлений. Данный параметр определяет частоту запросов к сайтам объявлений. К примеру, на сайтах auto.ru (старая версия с 2006 по 2014гг) и avtobizon.ru новые объявления "появляются" на произвольной странице с результатами поиска (т.е., объявления не сортируются по дате добавления). Поэтому каждую страницу необходимо проверять при каждом мониторинге и значение периодичности для данных сайтов всегда равно "1". Для остальных сайтов (avito.ru, irr.ru, drom.ru и т.д.) новые объявления "появляются" на первой странице (при сортировке по дате добавления). Именно эту страницу следует проверять при каждом мониторинге, т.е. периодичность загрузки первой страницы равна "1". Вторая, третья и т.д. страницы не требуют такой частой проверки (т.к. там не будет новых объявлений). Но данные страницы желательно также регулярно проверять на возможное снижение цены. Как раз это и позволяет задание параметра "Периодичность". Если пауза между мониторингами составляет 1 минуту, а периодичность установлена в значение "2", то страница будет загружаться через раз, т.е. 1 раз в 2 минуты, если периодичность установлена в значение "3", то страница будет загружаться один раз за три цикла мониторинга, т.е. 1 раз в 3 минуты и т.д.
При первом запуске мониторинга после загрузки программы загружаются все страницы независимо от значения периодичности.
Параметр Периодичность в режиме Поиск только новых объявлений не доступен для редактирования и его значение всегда равно «1» (хотя все же допускается установка и других значений, если необходимо снизить частоту запросов).
Последний раздел Редактора запроса "Отключить поиск" позволяет временно отключить мониторинг по одному запросу или для всего ресурса в целом. К примеру, если необходимо отключить мониторинг по сайту auto.ru следует выбрать любую строку с запросом к auto.ru и снять галочку напротив опции "Вкл/Выкл поиск по странице" и одновременно установив галочку напротив опции "Применить ко всем страницам этого сервера", см. рисунок:
Настройка нового запроса (нового поиска программы) производится в браузере, который открывается при нажатии на кнопку "...", см. рисунок:
В версии edrom 2.15 добавлена функция «Выполнить тестовый запрос», см. рисунок:
Функция «Выполнить тестовый запрос» позволяет в реальном времени увидеть обработку программой ответа от сервера на открытый в редакторе запрос, см. рисунок:
В зависимости от метода отправки запросов к сайтам объявлений, можно выделить следующие основные группы сайтов, с которыми работает программа edrom:
1. Принимающие простой Get-запрос (avito.ru, auto.ru, drom.ru, irr.ru, mail.ru и многие др. сайты);
2. Принимающие Get-запрос с "cookie" (на сегодня это сайты yandex.ru, spec.drom.ru, cars.ru и am.ru);
3. Принимающие Post-запрос (на сегодня это сайт bibika.ru).
4. Объявления до опубликования. Это отдельная категория сайтов (например, avito.ru), объявления с которых программа отображает до публикации и проверки модераторами (при наличии технической возможности).
Таким образом, большинство сайтов относятся к первой группе и принимают простой Get-запрос. В зависимости от группы будут небольшие отличия при формировании запросов.
С более подробным описанием настройки по конкретным сайтам можно ознакомиться по следующим ссылкам:
1. Настройка поиска для сайтов, принимающих простой Get-запрос
2. Настройка поиска для сайтов, принимающих Get-запрос с "cookie"
3. Настройка поиска для сайтов, принимающих Post-запрос
4. Объявления до опубликования с avito.ru