Фильтр II: Поиск и исключение по ключевым словам в комментариях и заголовках к объявлениям avito.ru, youla.ru, auto.ru и др. сайтам.
|| 21 апрель 2020, 09:52
    
Рассмотрим, как (с выходом версии edrom 4.03), можно использовать «Фильтр II» в режиме поиска/исключения по ключевым словам в комментариях и заголовках к объявлениям. Обычный режим работы «Фильтра II» при работе программы в режиме «Автомобили», «Автомобили (битые)» или «Грузовые и Спецтехника» описан по этой ссылке.

Для поиска по ключевым словам программа должна работать в категориях «Недвижимость», «Шины и диски» или «Другие категории». Переключение категорий производится во вкладке «Кеш сервера\Категория объявлений», см. рисунок:
Если необходимо искать по ключевым словам для объявлений из автомобильных категорий, можно переключить программу в режим «Другие категории».

Вид «Фильтра II» в режиме поиска по ключевым словам показан на рисунке:

Установить фильтрацию можно по заголовку объявления (поле «Ключевое слово в заголовке»), по комментарию к объявлению (поле «Ключевое слово в комментарии») и цене (поле «Цена»). Фильтрация производится ко всем объявлениям, найденным через HTTP-запросы к сайтам-источникам. Можно также указать конкретные номера HTTP-запросов, для которых необходимо применять фильтрацию (см. далее). Сайты-источники, для которых производится загрузка комментариев:

  • avito.ru
  • avito.ru (битые)
  • youla.ru
  • avito.ru [до публикации]
  • auto.ru [до публикации].

Сайты-источники в Редакторе запросов, см. рисунок:

Количество сайтов-источников может дополняться (по запросам от пользователей).
 
Общее количество фильтров не ограничено, в каждом фильтре можно задать от одного до трех условий выборки (поиск в комментарии, поиск в заголовке, фильтр по цене). Поиск по текстовым полям не является чувствительными к регистру символов. Поддерживаются управляющие символы (поиск по слову целиком, фильтрация по указанию номеров HTTP-запросов) и два режима «Логики фильтра» (Обычный фильтр и Антифильтр). В режиме Обычный фильтр задаются условия выбора объявлений в основные результаты поиска. Режим Антифильтр позволяет исключать из основных результатов поиска те объявления, которые не удовлетворяют определенным критериям выборки. Этот набор инструментов выборки позволяет сформировать практически неограниченные по сложности логические комбинации фильтров.
 
Рассмотрим некоторые примеры.
 
Пример №1. Управляющий символ «*» для поиска слова целиком.
В поля «Ключевое слово в заголовке» и «Ключевое слово в комментарии» можно включать управляющий символ «*» для поиска слова целиком. Слово, которое ищется целиком, следует отметить символом "*", например, "*рб". Теперь, если в описании встречается, например, слово «Петербург», программа не будет включать в выборку такие объявления. Следующий пример фильтра оставляет в результатах поиска только те объявления, комментарий к которым содержит слово «РБ» целиком, см. рисунок:

В результате добавления этого фильтра в результатах поиска будут оставаться только объявления, комментарии которых содержат слово «РБ» целиком. Например:
 
«Автомобиль пригнан из Республики Беларусь (РБ), продам по доверенности»,
«Авто в хорошем состоянии, возможен обмен. При обмене РБ и др.страны СНГ не предлагать»
«Продам по доверенности. Учет рб»
 
Управляющий символ «*» может использоваться в любых сочетаниях в полях «Ключевое слово в заголовке» и «Ключевое слово в комментарии».
 
Пример №2. Управляющий символ «#» для указания номеров HTTP-запросов
По умолчанию все активные фильтры применяются сразу ко всем результатам HTTP-запросов. Используя управляющий символ «#» можно конкретизировать номера HTTP-запросов, для которых будет активен отдельный фильтр.
 
Например, в условиях поиска два сайта-источника: auto.ru [до публикации] и avito.ru [до публикации]. Необходимо на auto.ru [до публикации] выбирать все объявления, комментарий которых содержит ключевое слово «ДТП», а на avito.ru [до публикации] – ключевое слово с управляющим символом «*РБ». Следующий пример фильтра показывает, как можно настроить такую фильтрацию:

Первый активный фильтр применяется к HTTP-запросу №1:

Второй активный фильтр применяется к HTTP-запросу №2: 
Управляющие символы «#» разделяется точкой с запятой, указываются в поле «Ключевое слово в комментарии» и могут использоваться в любых сочетаниях с другими полями. Можно перечислять сразу несколько номеров HTTP-запросов. Например, следующий фильтр позволяет выбирать объявления из запросов №1, №3 и №4, заголовки которых содержат фразу с управляющим символом «*S5»:

Следующий рисунок демонстрирует, что можно применять любые другие возможные комбинации фильтров:

Пример №3. Антифильтр для исключения отдельных объявлений из результатов поиска.
Если необходимо исключить отдельные объявления, можно использовать антифильтр. Например, требуется удалить из результатов все объявления, комментарии которых содержат ключевое слово с управляющим символом «*РБ». В этом случае новый фильтр следует добавить в режиме Антифильтр, см. рисунок:

В результате добавления этого фильтра из результатов поиска будут удалены объявления, комментарии которых содержат слово «РБ» целиком. Например:
 
«Автомобиль пригнан из Республики Беларусь (РБ), продам по доверенности»,
«Авто в хорошем состоянии, возможен обмен. При обмене РБ и др.страны СНГ не предлагать»
«Продам по доверенности. Учет рб».

Общие настройки «Фильтра II».
 
Общие настройки «Фильтра II» применяются ко всем активным фильтрам, и рекомендуется выбрать их следующие установки, см. рисунок:

«Проводить анализ перед удалением» – выбирать всегда, когда требуется выборка по комментарию.
 
«Удалять сразу (без анализа)» – при таком выборе фильтрация начинается без анализа объявлений (т.е. без непосредственно загрузки страницы с объявлением с сайта-источника), поэтому анализ комментария по ключевым словам не будет работать. Выберите "Проводить анализ перед удалением" для анализа комментариев по ключевым словам.
 
«Не удалять объявления с неполными данными (напр.: в объявлении не указаны год, КПП, цена, комментарий)» – позволяет управлять фильтрацией при отсутствии данных в объявлении. Например, объявление на сайте без комментария. В программе задана выборка только тех объявлений, комментарий которых содержит слово «битый», см. рисунок: 

Если данная опция не активна, объявления без комментариев будут удаляться. Если необходимо объявления без комментариев оставлять в результатах, следует активировать опцию, см. рисунок:

«Режим совместной работы Фильтра II и Фильтра 3 - Статистика цен с приоритетом Фильтра II» – опция не используется при поиске и исключении по ключевым словам в комментариях и заголовках к объявлениям.

Таким образом, используя рассмотренный набор фильтров и выборки объявлений можно сформировать практически неограниченные по сложности логические комбинации отдельных фильтров для поиска/исключения по ключевым словам в комментариях и заголовках к объявлениям.
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Антон пишет:
  • 2 май 2020, 18:12
Сколько фильтров можно добавить, есть ли ограничения?
  • Администраторы
    Публикаций: 255
    Комментариев: 3 159
  • admin пишет:
  • 2 май 2020, 18:13
Можно добавить любое количество.
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Николай пишет:
  • 17 август 2020, 16:55
Админ, проверьте, правильно ли все настроено? Нужно оставлять в результатах "iphone 6s", "iphone 7 plus", "iphone 8", "iphone 8 plus", "iphone x", "iphone xs". Остальное нужно удалять

  • Администраторы
    Публикаций: 255
    Комментариев: 3 159
  • admin пишет:
  • 17 август 2020, 17:22
Настроено, не совсем правильно. К примеру, созданный фильтр №3 ищет в каждом объявлении текст «iphone 6s» одновременно в заголовке объявления и в комментарии к объявлению. 
 
Поэтому, если появится объявление с заголовком «Продам iphone 6s» и с комментарием продавца «Телефон в отличном состоянии, как новый», то фильтр удалит объявление из результатов (хотя это объявление вам нужно). Чтобы не было этой ошибки, необходимо создать два фильтра: первый ищет текст «iphone 6s» в заголовке объявления, второй ищет текст «iphone 6s»  в комментарии к объявлению. 
 
Также достаточно фильтровать только по модели, марку «iphone» не обязательно прописывать, т.к. ваш запрос на сайте https://www.avito.ru/moskva_i_mo/telefony/iphone-ASgBAgICAUSeAt4J?cd=1 изначально отображает только телефоны из раздела «iphone». Можно порекомендовать добавить управляющий символ «*» для поиска слова целиком.
 
Таким образом, нужно сделать, как показано на рисунке (на примере фильтра для строки №3):
  • Гости
    Публикаций: 0
    Комментариев: 0
  • Николай пишет:
  • 17 август 2020, 17:37
Спасибо. Еще подскажите. Если написать *iphone 6 будет искаться iPhone или iPhone 6?

  • Администраторы
    Публикаций: 255
    Комментариев: 3 159
  • admin пишет:
  • 17 август 2020, 17:41
Есть написать «*iphone 6», будет искаться «iPhone 6». Символ «*» используется для поиска по короткому слову целиком. Например, «*РБ». Чтобы игнорировать слова «ОРБИТА», но не пропустить «Авто с регистрацией в РБ». Для вашего примера нет необходимости писать «*iphone 6»
Купить программу
Регионы и категории
Обратная связь
Справка
Разделы сайта
Архив
Май 2020 (2)
Апрель 2020 (1)
Март 2020 (2)
Декабрь 2019 (1)
Ноябрь 2019 (1)
Август 2019 (1)
Поиск по сайту


Теги