天猫淘宝知乎爬虫神器 -- Pyppeteer

天猫店铺爬虫文档 ---> Pyppeteer

前言：将天猫店铺爬虫封装成一个产品，最终可以在数据库中读取任意店铺自动化爬取

一、Pyppeteer的使用 --> Document

Pyppeteer较Selenium的好处是可以注入JS来避免一些网站的识别，如淘宝，知乎

启动时的配置

browser = await launch({'headless': True, 'args': ['--no-sandbox', '--user-data-dir=D:\job\pypeteer\_temp'],'dumpio': True}            ,'executablePath':'D:\\job\\spider_for_tb_search\\TMspider\\auto_crawl_ids\\chrome-win32\\chrome.exe')
# 其中
#   headless：True/False
#   --no-sandbox 沙箱环境 必须
#   --user-data-dir 如果出现 Unable to remove user data 表明你没有权限删除临时目录，应该自定义目录
#   dumpio 对于淘宝必须设置 不然程序调用subprocess.Popen打开chrome之后stderr，stdout没有输出重定向，然后累积多了就卡住了。
# executablePath 指定现有chrome执行路径 可跳过下载
page.setJavaScriptEnabled(enabled=True) # 渲染JS
page.evaluate(js1) # 执行js

修改connection.py中的43行，不然会报Session closed Most likely the page has been closed

self._ws = websockets.client.connect(
# self._url, max_size=None, loop=self._loop) # 注释
# modify by jaho 新增下面这句
self._url, max_size=None, loop=self._loop, ping_interval=None, ping_timeout=None)

常用操作

1. page.type('id/class','value',{'delay': time })
2. page.evaluate("""js代码,可在浏览器中执行通过在复制过来""")
3. await page.waitFor(2000) # 等待2秒
4. await page.waitForNavigation() # 等待页面跳转
5. await page.goto(url) # 当前页面跳转到链接
6. await page.screenshot({'path': './get_pid.png'}) # 截屏
7. f_cat = await page.xpath('xpath') # 此处获取到的是一个列表link = await (await f_cat[0].getProperty('href')).jsonValue()content = await (await f_cat[0].getProperty('textContent')).jsonValue()
获取自定义属性时 xpath写到 `/@data-size` 然后获取 textContent 即可
8. page.keyboard.press('Enter')
# 其他的可以查看上面的Document
9. goto(url,{"timeout":0},{'waitUntil': 'networkidle0'})  # 将timeout设置为0 防止超时报错

以上 如果有什么不懂的 欢迎通过公众号骚扰

天猫淘宝知乎爬虫神器 -- Pyppeteer相关推荐

Java爬虫爬取天猫淘宝京东搜索页和商品详情
Java爬虫爬取天猫淘宝京东搜索页和商品详情先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据. 1.导包 <d ...
Python爬虫实战(六) 天猫(淘宝)评论爬取与分析实战
目录一.天猫(淘宝)爬取地址对比二.防爬技巧三.数据分析代码更新12.19,均可爬取(若爬取失效,请先检查cookie的有效性) 一.天猫(淘宝)爬取地址对比天猫评论抓包json数据如下,在 ...
20210507新版友价框架制作江雀网店交易天猫淘宝京东拼多多唯品会网店转让送手机版系统
20210507新版友价框架制作江雀网店交易天猫淘宝京东拼多多唯品会网店转让送手机版系统本套源码演示地址:http://jq.94gan.net(pc端) 手机版 :http://jq.94gan. ...
极客日报：阿里再度调整组织架构：天猫淘宝大融合，新设三大中心；苹果M1首席芯片设计师跳槽至英特尔
一分钟速览新闻点! 腾讯接入数字人民币,微信支持数字人民币支付阿里再度调整组织架构:天猫淘宝大融合,新设三大中心七成清华毕业生进入体制内就业北京最受欢迎:华为腾讯等科技企业也受青睐钉钉近期将推 ...
电商平台技术架构多用户商城仿天猫淘宝亚马逊当当阿里巴巴大数据模块低成本运维高效开发...
电商平台多用户商城系统架构行业现状浏览全球知名电商机构(天猫淘宝亚马逊当当阿里巴巴...),包括开源电商软件(Magento.OpenCart.Xcart.Zencart.Prestasho ...
天猫淘宝卡券包演进史
卡券包整体分为PC端以及无线端两大部分,最开始的卡券包是PC版,随着PC向无线化转型的大潮,无线端卡券包也同步产生. 业务定位卡券包这个产品是伴随着电商卡券系统的建立同步产生的.顾名思义,卡券包就是 ...
天猫淘宝越来越难做了，为什么不考虑下跨境电商？
2022年初,这段时间,我身边的好几个做国内电商的朋友都说,现在他们在天猫上的销量越来越少,营销成本越来越高,不做推广已经到了无人问津的地步. 一方面很多朋友都想他们想把市场扩大到海外,但又没接触过跨 ...
淘宝知网查重怎么样？
国庆的欢愉似乎还没从自己的身体里完全蜕去,毕业的阴霾便悄悄的吹进自己的心海,毕业真是一个有喜有忧的词汇. 毕业论文往往在大学的最后几节课出现,题目和内容由导师给我们挑选,在写作接近尾声的时候导师则会让 ...
用python实现淘宝毫秒级秒！！天猫淘宝的抢购完美实现而且说实话有很多人需要它。每次在抢购前的无法提交订单导致很多买家无法购买。今天我教给大家如何更好快速实现你的购买愿望！教程如下！请仔
用python实现淘宝毫秒级秒!! 天猫淘宝的抢购完美实现而且说实话有很多人需要它. 每次在抢购前的无法提交订单导致很多买家无法购买. 今天我教给大家如何更好快速实现你的购买愿望! 教程如下!请仔细 ...

天猫淘宝知乎爬虫神器 -- Pyppeteer

天猫店铺爬虫文档 ---> Pyppeteer

一、Pyppeteer的使用 --> Document

天猫淘宝知乎爬虫神器 -- Pyppeteer相关推荐

最新文章

热门文章