Инструменты для захвата и конвертирования Интернета

Уважает ли GrabzIt Web Scraper файлы robots.txt?

Наш веб-скребок должен соблюдать правила, содержащиеся в файле robots.txt сайта. Одна из основных причин этого, помимо приятности, заключается в том, что веб-скраперы, которые не следуют файлу robots.txt, могут оказаться в черном списке службы-приманки.

Эти службы используют файл robots.txt, чтобы сообщить веб-скребку не посещать определенный файл, на который есть ссылка с веб-сайта. Если парсер все еще посещает файл, то IP-адрес парсера заносится в черный список, что предотвращает посещение веб-сайта парсером в будущем.