Инструменты для захвата и конвертирования Интернета

Как дополнить набор данных

Иногда когда построение набора данных в Веб скребок добавлены дополнительные значения into один столбец, чем другой. В приведенном ниже примере после очистки первой страницы имя Джон добавляется в столбец Имя вместе с тремя цветами, а на следующей странице добавляется имя Дэвид вместе с двумя другими цветами. Чтобы дать следующий набор данных.

Имя и фамилияцвет
JohnЖёлтая
Давид Красный
Зелёная
Синии
Purple

Однако эта таблица вводит в заблуждение, поскольку она не показывает, какое имя было найдено с какими цветами. Вместо pad Метод может использоваться для автоматического добавления пустых ячеек в конец столбцов набора данных, пока все столбцы не будут одинаковой длины. Примером pad используемый метод показан ниже.

Data.save(Page.getTagValue({"class":{"equals":"Name"}}), 'Name', 'Color');
Data.save(Page.getTagValues({"class":{"equals":"Color"}}), 'Name', 'Color');
Data.pad();

Эти инструкции по сбору производят набор данных, который выглядит следующим образом.

Имя и фамилияцвет
JohnЖёлтая
Красный
Зелёная
Давид Синии
Purple

Мы могли бы улучшить это, указав padValue параметр pad Метод должен быть именем, найденным шабером. Как и в этом примере, на странице есть только одно имя, которым становятся инструкции очистки.

var name = Page.getTagValue({"class":{"equals":"Name"}});
Data.save(name, 'Name', 'Color');
Data.save(Page.getTagValues({"class":{"equals":"Color"}}), 'Name', 'Color');
Data.pad(name);

Который помещает имя в каждую пустую ячейку столбца имени, как показано ниже.

Имя и фамилияцвет
JohnЖёлтая
JohnКрасный
JohnЗелёная
Давид Синии
Давид Purple