Инструменты для захвата и конвертирования Интернета

Усовершенствования большого веб-скребка для 2019

Пятница, Март 8, 2019

В дополнение к редизайну и множеству исправлений ошибок, мы внесли кардинальные улучшения в веб-скребок GrabzIt:

  • Поддержка извлечения контента, содержащегося в стилях CSS
  • Теперь вы можете выбрать страну, из которой выполняется скребок. На данный момент выбор за США или Великобританией.
  • Теперь вы можете выбрать, уважаете ли вы правила robots.txt или нет. По умолчанию скребок делает.
  • Относительные данные теперь можно автоматически связывать друг с другом, это полезно, когда у вас есть данные, которые присутствуют для некоторых элементов HTML, но не для других. При связывании этих элементов значения будут отображаться напротив правильных элементов данных в результирующем наборе данных.
  • При создании набора данных разные столбцы могут принадлежать разным шаблонам, что означает, что некоторые столбцы могут быть заполнены на одном типе страницы, а другие столбцы - на разных типах страницы. Одним из примеров этого может быть страница со списком товаров и страница с описанием товара. Это позволит вам получить подробную информацию на странице со списком, а затем подробную информацию на странице сведений о продукте.
  • Еще один способ, с помощью которого был улучшен построитель набора данных, состоит в том, чтобы позволить эффектам операции, такой как «содержит», «меньше, чем», применить ко всем или к некоторым столбцам.
  • Есть несколько новые команды доступно от мастера очистки.
    • Удалить - теперь вы можете удалять элементы, что полезно в некоторых случаях, чтобы остановить чтение одних и тех же элементов несколько раз.
    • Прокрутка - теперь веб-скребок может прокручивать элементы HTML, которые его поддерживают.
    • Наведение - эта команда будет наводить мышь над указанным элементом, что может быть полезно при раскрытии информации.
    • Разбиение на страницы - это новая функция для действия «Щелкнуть», которая позволяет автоматически выполнять разбиение на страницы для выбранных ссылок на страницы. Это означает, что даже если скребок щелкнет где-то в разбитых на страницы данных, как часть очистки, он вернется на текущую разбитую на страницы страницу, чтобы продолжить очистку.
  • Лучшая часть о GrabzIt's Веб скребок в том, что вы можете бесплатно пользоваться им каждый месяц. Итак, чего же вы ждете? Попробуйте, и, пожалуйста, присылайте нам любые отзывы, которые мы хотели бы сделать, чтобы наш сайт стал лучшим онлайн-скребком!

Просмотр последних сообщений в блоге