chrome headless抓网页

index.js

/*
const { Chromeless } = require('chromeless');async function run() {const chromeless = new Chromeless();const html = await chromeless// 打开百度.goto('https://www.baidu.com').html();// 打印本地文件路径或者S3 URLconsole.log(html);// 结束await chromeless.end()
}run().catch(console.error.bind(console));
*///const puppeteer = require('puppeteer');
const puppeteer = require('puppeteer-core');
const findChrome = require('./node_modules/carlo/lib/find_chrome');
async function logResponse(res)
{let url = res.request().url();/*if(url.indexOf("/item/134821.html")>0){console.log(url);console.log(await res.text());}*/if(url.indexOf("/list/")>0){console.log(url);console.log(res.request().postData());console.log(await res.json());}
}(async () => {//const browser = await puppeteer.launch();let findChromePath = await findChrome({});let executablePath = findChromePath.executablePath;const browser = await puppeteer.launch({executablePath,headless: true});const page = await browser.newPage();page.on("response",logResponse);/*await page.goto('https://www.zqglink.cn/item/134821.html');await page.waitForSelector("#product-detail");await page.$eval('#product-comment', el => el.click());await page.waitForSelector(".comment-list");const html = await page.$eval('.comment-list', el => el.innerHTML);*/await page.goto('https://www.zqglink.cn/list/');await page.waitForSelector(".pager-container");let pageSize = await page.$eval(".pagesize-selector", el => el.value);console.log(pageSize);await browser.close();
})();

文本框赋值的正确方式

await input_no.click({clickCount: 3});
await input_no.press("Backspace");
await input_no.type("1",{delay:100});

执行：node index.js

chrome headless抓网页相关推荐

利用Chrome Headless模式网页转PDF
本文转载于:https://blog.csdn.net/aWDac/article/details/80865754 https://blog.csdn.net/xcl168/articl ...
python chrome headless_[技巧] chrome headless 爬虫抓取websoket 数据
目录源起分析实践总结源起周末答应了一个朋友帮他看一下一个网站应该怎么爬,费话不说直接先上网站 https://datacenter.jin10.com/price 数据一直在不停的闪,直觉 ...
python chrome headless_实战Chrome Headless数据抓取（上）
先聊聊数据抓取技术选型在我看来数据抓取可以分为三种场景: 基本稳定的源站格式或者大量的数据抓取.需要蜘蛛集群调度:使用Java比较方便,可以用WebMagic抓取配合Hadoop调度,如果源站经常改 ...
反爬虫——使用chrome headless时一些需要注意的细节
以前我们介绍过chrome headless的用法(https://www.cnblogs.com/apocelipes/p/9264673.html). 今天我们要稍微提一下其中一个细节. 反爬和w ...
python selenium 用法和 Chrome headless
From: http://cuiqingcai.com/2599.html Selenium教程:https://www.yiibai.com/selenium selenium 官方参考文档:htt ...
chrome headless php,chrome headless+php实现打印pdf服务
前言之前的项目做过浏览器某个页面打印成pdf的服务,所用的是tcpdf这个包,大概思路就是后台写一套跟页面一样的html模版,打印的时候把数据渲染进去,不好的地方在于所见非所得,你得花大把的时间去做 ...
chrome headless截图
Headless Chrome Headless Chrome 是 Chrome 浏览器的无界面形态,可以在不打开浏览器的前提下,使用所有 Chrome 支持的特性运行你的程序.相比于现代浏览器,He ...
在Chrome中打开网页时出现以下问题您的连接不是私密连接攻击者可能会试图从 x.x.x.x 窃取您的信息（例如：密码、通讯内容或信用卡信息）
现象:在Chrome中打开网页时出现以下问题您的连接不是私密连接攻击者可能会试图从 x.x.x.x 窃取您的信息(例如:密码.通讯内容或信用卡信息). 当点开"了解详情"后显示 ...
Ubuntu 无界面使用selenium chrome + headless
Ubuntu 无界面使用selenium chrome + headless 1. 安装 selenium : sudo pip install selenium 2. 安装 chromdriver: ...

chrome headless抓网页

chrome headless抓网页相关推荐

最新文章

热门文章