Инструменты для захвата и конвертирования Интернета

Усовершенствования большого веб-скребка для 2019

08 марта 2019

Помимо изменения дизайна и множества исправлений ошибок, мы внесли значительные улучшения в веб-скребок GrabzIt, в том числе:

  • Поддержка извлечения контента, содержащегося в стилях CSS.
  • Теперь вы можете выбрать страну, из которой выполняется парсинг. На данный момент выбор — США или Великобритания.
  • Теперь вы можете выбрать, соблюдаете ли вы правила robots.txt или нет. По умолчанию выполняется очистка.
  • Относительные данные теперь могут быть автоматически связаны друг с другом. Это полезно, если у вас есть данные, которые присутствуют в одних элементах HTML, но не в других. Связав эти элементы вместе, значения будут отображаться рядом с правильными элементами данных в результирующем наборе данных.
  • При создании набора данных разные столбцы могут принадлежать разным шаблонам. Это означает, что некоторые столбцы могут быть заполнены со страниц одного типа, а другие столбцы — со страниц разных типов. Одним из примеров этого может быть страница со списком продуктов и страница с подробными сведениями о продукте. Это позволит вам получить общую информацию со страницы листинга, а затем подробную информацию со страницы сведений о продукте.
  • Еще один способ улучшения построителя набора данных — разрешить применение эффектов операции, такой как «содержит», «меньше чем» и т. д., ко всем или некоторым столбцам.
  • Есть несколько новые команды доступен в мастере очистки.
    • Удалить — теперь вы можете удалять элементы, что в некоторых случаях полезно, чтобы предотвратить многократное чтение одних и тех же элементов.
    • Прокрутка — веб-парсер теперь может прокручивать HTML-элементы, которые его поддерживают.
    • Hover – эта команда наводит указатель мыши на указанный элемент, что может быть полезно для раскрытия информации.
    • Разбивка на страницы — это новая функция для действия «Клик», которая позволяет автоматически выполнять разбиение на страницы для выбранных ссылок на страницы. Это означает, что даже если парсер щелкнет где-то в разбивке на страницы в рамках очистки, он найдет путь обратно на текущую страницу с разбивкой на страницы, чтобы продолжить очистку.
  • Самое лучшее в GrabzIt's Веб скребок заключается в том, что вы можете бесплатно пользоваться им каждый месяц. Так чего же вы ждете, попробуйте и, пожалуйста, дайте нам любой отзыв, который у вас есть, мы хотели бы сделать наш лучший онлайн-скребок для веб-страниц!

Просмотр последних сообщений в блоге