Инструменты для захвата и конвертирования Интернета

GrabzIt Web Scraper API, данные как услуга!

С помощью GrabzIt Web Scraper API мы можем предоставить вашему приложению очищенные данные в виде веб-службы, позволяющей вам intвыгравировать очищенную информацию обратно into ваше заявление. intпередача данных into Ваше приложение достигается с помощью обработчика обратного вызова, который представляет собой сценарий или приложение на общедоступном URL-адресе, который обрабатывает данные, отправленные с Веб-скребок GrabzIt, Полные файлы публикуются в этот обработчик обратного вызова последовательно, так что, например, он может начинаться с серии изображений до окончания с JSON файл, данные в файле JSON могут быть легко проанализированы с помощью вспомогательных методов в клиентской библиотеке. Этот API-интерфейс также позволяет вашему приложению автоматически контролировать запуск и остановку сборок, а также запрашивать повторные отправки результатов.

Начать сначала создать царапину тогда выбирай Опция обратного вызова URL на вкладке Параметры экспорта и введите URL-адрес вашего обработчика обратного вызова, например http://www.example.com/handler/

Если у вас возникли проблемы с обработчиком обратного вызова, выберите режим отладки на вкладке Параметры очистки. Это выведет ответ, возвращенный обработчиком обратного вызова into журналы.

Обработчик обратного вызова

Для обработки извлеченных данных в вашем обработчике обратного вызова выберите параметры JSON или XML на вкладке «Экспорт», поскольку это возвращает данные в формате, который может быть легко прочитан любым объектно-ориентированным языком.

Для данных, которые не являются данными в формате JSON или XML, ваши возможности обработки ограничены, так как данные не очень машиночитаемы, поэтому лучшим вариантом может быть save файл на диск или в базу данных.

Чтобы помочь intПроцесс интеграции GrabzIt предоставляет следующие API скребка для следующих языков. Однако, поскольку наш код с открытым исходным кодом и доступен на GitHub нет никаких причин, по которым вы не можете сделать это для языка программирования, не перечисленного здесь, или вы можете попросить нас создать библиотеку для вас, Если вы делаете, почему бы не поделиться этим с миром?

ASP.NET Scraper API PHP Scraper API Python Scraper API

Хотя обработчик обратного вызова является лучшим способом intВы также можете прикрепить веб-скребок GrabzIt к вашему приложению. intEgrate через Amazon S3, Dropbox, FTP и WebDav.