Инструменты для захвата и конвертирования Интернета

Как дополнить набор данных

Иногда когда построение набора данных в Веб скребок добавлены дополнительные значения into один столбец, чем другой. В приведенном ниже примере после очистки первой страницы имя Джон добавляется в столбец Имя вместе с тремя цветами, а на следующей странице добавляется имя Дэвид вместе с двумя другими цветами. Чтобы дать следующий набор данных.

ИмяЦвет
JohnЖёлтые
Давид Red
Зелёная
Синии
Purple

Однако эта таблица вводит в заблуждение, поскольку она не показывает, какое имя было найдено с какими цветами. Вместо pad Метод может использоваться для автоматического добавления пустых ячеек в конец столбцов набора данных, пока все столбцы не будут одинаковой длины. Примером pad используемый метод показан ниже.

Data.save(Page.getTagValue({"class":{"equals":"Name"}}), 'Name', 'Color');
Data.save(Page.getTagValues({"class":{"equals":"Color"}}), 'Name', 'Color');
Data.pad();

Эти инструкции по сбору производят набор данных, который выглядит следующим образом.

ИмяЦвет
JohnЖёлтые
Red
Зелёная
Давид Синии
Purple

Мы могли бы улучшить это, указав padValue параметр pad Метод должен быть именем, найденным шабером. Как и в этом примере, на странице есть только одно имя, которым становятся инструкции очистки.

var name = Page.getTagValue({"class":{"equals":"Name"}});
Data.save(name, 'Name', 'Color');
Data.save(Page.getTagValues({"class":{"equals":"Color"}}), 'Name', 'Color');
Data.pad(name);

Который помещает имя в каждую пустую ячейку столбца имени, как показано ниже.

ИмяЦвет
JohnЖёлтые
JohnRed
JohnЗелёная
Давид Синии
Давид Purple