Логотип

Парсер объявлений с сайта AVITO в Excel

Макрос в Excel позволяет собирать объявления с сайта Avito.ru непосредственно в таблицу Excel. При этом можно выбрать только те данные которые необходимы именно Вам, сохранять изображения и скриншоты объявлений.

Задачи парсера

Нам была поставлена задача собрать данный всех объявления с заданной страницы сайта avito.ru. Т.е. пользователь должен был указать начальную страницу (например, объявления участков по заданным параметрам). а программа  - провалиться в каждое объявление, сохранить скриншот и записать выбранные данные по объявлению.

Меню парсера

Какие данные можно собрать?

Программа может сохранить:

  1. любые текстовые данные с сайта,
  2. загружать фотографии,
  3. сохранять страницу html целиком
  4. обрабатывать текст объявлений, извлекая только важную информацию из текста. Например, жилую площадь квартиры, площадь кухни и прочее.

Настройки программы

Для того, чтобы программа поняла какие данные ей нужно извлечь из объявления, ее необходимо настроить. Для этого в парсере Excel предусмотрен лист меню в котором пользователь задает так называемые "теги" начала и конца текста.

Настройка парсера сбора объявлений с Avito

Тут нет ничего сложного, настраивается все один раз. И до смены дизайна сайта avito парсер будет работать. Если данный этап вызовет трудности, то мы сможем настроить программу под ваши задачи.

Ограничения

Разработкичи и администраторы сайта avito бережно хранят свои данные, и если вы захотите выкачать весь сайт, то скорее всего попадете в бан. Мы не разрабатываем робота, который имитирует работу человека, мы помогаем собрать небольшое количество объявлений, например для подготовки аналитики или расчета корректировок для оценщиков. За сбор сотни объявлений, с некоторой задержкой (3-5 сек на объявления), авито не будет применять санкции.

Еще одно ограничение - это контактная информация. Такие данные как телефон, почта собрать с помощью парсера в Excel не получится, так как информация закрыта и для отображения требуется имитация действий человека.

Комментарии:

comments powered by Disqus