1.60. Оповещение о выходе новых объявлений
Наиболее крупное обновление за все время существования программы edrom. Отметим наиболее важные изменения.
1) Совершенно новый "движок" для загрузки www-страниц. Новый "движок" обеспечивает заметный прирост производительности, а в перспективе – новые возможности по расширению функций программы.
2) Начиная с версии 1.60 скорость сбора данных с некоторых сайтов (avito.ru, slando.ru, drom.ru, bibika.ru) зависит от используемого способа подключения к Интернет. Для наиболее эффективной работы программы необходимо VPN-соединение с провайдером, при котором выделяется динамический ip-адрес. По-всей видимости тенденция защиты ресурсов от парсинга будет продолжаться и к этому списку сайтов будут добавляться новые. Поэтому постоянным пользователям программы рекомендуется переходить на провайдеров, использующих VPN-соединение. Более подробно об этой новой функции программы см. Парсер avito, slando, drom, bibika. О том, как при использовании USB-модемов можно создать VPN-соединение, см. Как для USB-модема создать VPN-соединение?
3) Добавлена функция определения номера мобильного телефона на его принадлежность к сотовому оператору, а также региону, к которому он привязан. Сотовый оператор и регион отображаются в строке состояния (см. рис.). Необходимость введения этой функции обусловлена большим числом мошеннических объявлений, размещаемых из отдаленных регионов.
4) Также проведено большое количество мелких доработок, среди которых можно отметить:
а) исправлен анализ по bibika.ru, avtomarket.ru, slando.ru, bizovo.ru и некоторым другим сайтам;
б) исправлен мониторинг по slando.ru, irr.ru;
в) добавлен мониторинг и анализ по olx.ru;
г) экспорт результатов в Excel не требует наличия в системе установленной версии Excel;
д) и др...
В связи с тем, что в новой версии программы реализовано достаточно много изменений, обновление 1.60 пока не доступно в автоматическом режиме. Для ручного обновления программы до версии 1.60 необходимо загрузить и запустить после распаковки один из следующих файлов:
edrom_update_1.60b.zip [не доступно] Обновление 1.60b от 26/07/2012. 1. Исправлена работа программы после изменения принципов работы avito.ru, bibika.ru.
edrom_update_1.60c.zip [не доступно] Обновление 1.60c от 27/07/2012. 1. Исправлена работа программы после изменения принципа работы slando.ru. 2. Изменение некоторых алгоритмов загрузки www-страниц.
edrom_update_1.60d.zip [не доступно] Обновление 1.60d от 3/08/2012. 1. Исправлены ошибки при работе с email-оповещениями по SMTP, которые были выявлены на новом "движке". 2. Исправлена ошибка возможного зависания программы при установке VPN-соединения.
edrom_update_1.60e.zip [не доступно] Обновление 1.60e от 4/08/2012. 1. Восстановлен анализ объявлений со slando.ru (изменение принципа работы сайта) 2.Исправлены функции удаленного оповещения об объявлениях, открытых в фонововм режиме 3.Улучшено отображение HTML-таблицы для некоторых типов LCD-дисплеев при использовании оповещений на email.
edrom_update_1.60f.zip [не доступно] Обновление 1.60f от 5/08/2012. 1. Исправлены найденные ошибки в некоторых алгоритмах загрузки www-страниц.
edrom_update_1.60g.zip [не доступно] Обновление 1.60g от 6/08/2012. 1. Исправлено возможное "зависание" загрузки www-страниц при мониторинге. 2. Исправлена проблема с запуском фонового процесса.
edrom_update_1.60h.zip [не доступно] Обновление 1.60h от 7/08/2012. 1. Исправлена возможная ошибка обращения к кешу сервера.
edrom_update_1.60i.zip [не доступно] Обновление 1.60i от 15/08/2012. 1. Улучшена функция распознования номеров телефнов со slando.ru (в частности, если изображение номера телефона не "умещается" в одной строке). 2. Улучшена стабильность работы программы (по сравнению с 1.60h). 3. Добавлена функция высокочастотного мониторинга. Функция позволяет устанавливать минимальный интервал между мониторингами 10 секунд. Высокочастнный мониторинг (каждые 10 сек) не позволяет проводить ни один из конкурирующих программных средств. Вы гарантировано узнаете первым о выходе нового объявления и имеете возможность звонить всегда первыми. Высокочастный мониторинг (1 раз в 10 сек) рекомендуется использовать, если производится поиск одной или нескольких конкретных моделей (т.е. количество запросов к страницам с результатами поиска ограничено). Чтобы не создавать излишнюю нагрузку на некоторые серверы (в данный момент это только auto.ru) установлены ограничения, которые отражены в следующей таблице:
| количество запросов к auto.ru |
минимальный интервал между мониторингами |
кол-во объявлений в результатах поиска |
| от 1 до 5 | 10 сек | до 250 |
| 6-10 | 20 сек | до 500 |
| 11-20 | 30 сек | до 1000 |
| 21-30 | 40 сек | до 1500 |
| 31-40 | 50 сек | до 2000 |
| 41-60 | 1 мин | до 3000 |
| 61 и более | 2 мин | от 3000 |
Частота запросов к другим сайтам не ограничивается, тем не менее не следует злоупотреблять возможностями программы и проводить по ним высокочастный мониторинг при большом количестве запросов.
edrom_update_1.60j.zip [не доступно] Обновление 1.60j от 18/08/2012. 1. Произведен переход на более технологически совершенный менеджер памяти, позволяющий снизить системные требования к объему оперативной памяти и обеспечивающий большую стабильность непрерывной работы программы в течении длительных промежутков времени (несмотря на это, все же рекомендуется перезапускать программу 1 раз в 24 ч для обновления баз данных на жестком диске).
edrom_update_1.60k.zip [не доступно] Обновление 1.60k от 23/08/2012. 1. Исправлено извлечение данных с авито в графах Двиг.КПП и Пробег. 2. Исправлена ошибка, которая проявлялась в редких случаях и могла приводить к остановке мониторинга/анализа.
edrom_update_1.60L.zip [не доступно] Обновление 1.60L от 4/09/2012. 1. Исправлен анализ по сайту auto.ru (изменение принципа работы).
edrom_update_1.60m.zip [не доступно] Обновление 1.60m от 5/09/2012. 1. Дальнейшие исправления анализа по auto.ru (после изменения принципа работы сайта). Данная версия находится в стадии тестирования и работает более стабильно по сравнению с 1.60L.
edrom_update_1.60n.zip [не доступно] Обновление 1.60n от 6/09/2012 8:00. 1. Исправлены мониторинг и анализ по auto.ru (изменение принципа работы сайта). 2. Восстановлен поиск с сайта irr.ru (изменение формата передачи данных с сервера irr.ru, изменение настроек поиска не требуется).
edrom_update_1.60o.zip [не доступно] Обновление 1.60o от 6/09/2012 13:30. 1. В версии 1.60n была допущена ошибка работы с сайтом avito.ru. Данное обновление устраняет эту ошибку.
edrom_update_1.60p.zip [не доступно] Обновление 1.60p от 10/09/2012 10:00.1. Доработан анализ по auto.ru (в версии 1.60о в графе "Результаты анализа" на некоторых системах могло отображаться "конт.данные не найдены"). При анализе большого количества объявлений (порядка 10 тысяч и более) будут заметны кратковременные "задержки" в работе программе. В настощее время идет работа по дальнейшей оптимизации кода.
edrom_update_1.60q.zip [не доступно] Обновление 1.60q от 11/09/2012 20:00. 1. Восстановлен мониторинг по auto.ru (очередное изменение принципа работы сайта). Cкорость работы по auto.ru не может быть восстановлена до прежнего уровня, что связано с установленными ограничениями со стороны сервера на частоту запросов. Поэтому для ускорения работы рекомендуется оптимизация настроек поиска и ограничение количества страниц с результатами поиска, по которым проводится мониторинг.
Обновление 1.60r от 19/09/2012 9:00. 1. Более корректная работа с auto.ru. Если до настоящего обновления на компьютере работала более ранняя версия программы, на стабилизацию может потребоваться несколько часов (т.к. накладываются ограничения на ip + id компьютера). На данный момент одновременная работа двух и более копий программы с сайтом auto.ru может идти некорректно. 2. Также исправлена обработка запросов к irr.ru.
edrom_update_1.60s.zip [отменено, требуется откат до 1.60r] Обновление 1.60s от 20/09/2012 13:15. Адаптивная подстройка под режимы работы auto.ru. В 15:45 данное обновление отменено из-за изменения принципа работы сайта. Актуальная версия 1.60r
Обновление 1.60t от 5/11/2012 18:00. Наиболее важные изменения: 1. Восстановлен анализ с bibika.ru (изменение принципа работы сайта). 2. Восстановлен анализ с mail.ru (изменение принципа работы сайта). 3. Восстановлен анализ с avtomarket.ru (изменение принципа работы сайта). 4 Восстановлен мониторинг по avto.ru (в связи с переименованием avto.ru в avtobizon.ru). 5. Восстановлена автоматическая генерация страниц для avito.ru (изменение принципа работы сайта). 6. Восстановлен функционал автоматического обновления программы. 7. Небольшие корректировки по auto.ru (мониторинг + анализ).
Обновление 1.60v от 15/11/2012 18:00. 1. Исправлен мониторинг по drom.ru (изменение разметки HTML-страниц).
Если после обновления программа по-прежнему не находит объявления на auto.ru, следует открыть в браузере любую страницу с результатами поиска (напр. стр.1), перейти по ссылке в открывшейся HTML-странице ко 2 стр. и 3 стр. При появлении "Security Screen" ввести код на картинке.
Обновление 1.60w от 29/12/2012 20:00. Обновление частично решает проблему изменения принципа работы auto.ru, которое произошло сегодня на сайте auto.ru. 100% работа по auto.ru возможна, но не гарантируется. Также реализованы другие доработки, среди некоторых можно отметить: восстановлен анализ с drom.ru и bibika.ru, добавлен анализ и мониторинг по autonavigator.ru, vdv-kavkaz.ru. Улучшен анализ с avito.ru (100% непрерывный анализ с авито.ру без блокировки и автоматической сменой ip-адреса возможен только при наличии VPN).
Обновление 1.60x от 7/01/2013 22:30. Исправлены мониторинг и анализ по auto.ru. Работа программы принципиально изменилась, тестирование версии 1.60х еще не завершено. Несмотря на это, обновление доступно для эксперементальной установки.
Следующие версии программы описаны в разделе Обновления
До выхода "официального" обновления на этой странице по всей видимости будут появляться и другие более поздние обновления (1.60b, 1.60c, и т.д.). Версия 1.60r тестируется на протяжении нескольких недель и работает достаточно устойчиво. Если после обновления до версии 1.60r все же возникли какие-либо проблемы, для обратного возврата к более ранней версии 1.56a (последняя стабильная версия, c 4.09.2012 версия 1.56а больше не работает по auto.ru) в любой момент можно загрузить и запустить после распаковки "Обновление 1.56а 27/07/2012" с этой страницы.