在使用 selenium 模拟抓取网页的时候,速度效率其实是非常慢的,可以稍微优化一下,禁止不必要的图片加载和css加载,示例代码如下:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import randomoptions = Options()
num=str(float(random.randint(500,600)))
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/{}"" (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/{}".format(num,num))
#禁止图片和css加载
prefs = {"profile.managed_default_content_settings.images": 2,'permissions.default.stylesheet':2}
options.add_experimental_option("prefs", prefs)driver = webdriver.Chrome(executable_path='D:\\chromedriver\\chromedriver.exe',chrome_options=options)
driver.get('https://www.ly.com/')
time.sleep(5)
html=driver.find_element_by_xpath("//body").get_attribute("innerHTML")
print(html)

可以看到,只需要在头部参数加上一个prefs就可以了。未加参数之前的效果如图1所示:

图1

加上之后效果如图2所示:

图2

selenium优化禁止图片和css加载相关推荐

  1. 浅谈性能优化之图片压缩、加载和格式选择

    原文链接:浅谈性能优化之图片压缩.加载和格式选择 在认识图片优化前,我们先了解下 [二进制位数]与[色彩呈现]的关系. 二进制位数与色彩 在计算机中,一般用二进制数来表示像素.在不同的图片格式中,像素 ...

  2. 文字替代图片(CSS加载不出来文字代替)

    当网速很慢,CSS/Javascript不加载,这个时候,有些带有超链接的图片,需要用代链接的文字代替,例如淘宝网的logo,本身就是一个超链接,当网络不行的情况,只会显示出来淘宝网三个字的超链接,总 ...

  3. 前端性能优化:使用媒体查询加载指定大小的背景图片

    日期:2013-7-8  来源:GBin1.com 直到CSS @supports被广泛支持,CSS媒体查询的使用接近于CSS中写逻辑控制.我们经常用CSS媒体查询来根据设备调整CSS属性(通常根据屏 ...

  4. 性能优化——图片压缩、加载和格式选择

    本文首发于政采云前端团队博客:性能优化--图片压缩.加载和格式选择 https://www.zoo.team/article/images-compress 前言 相信大家都听说过 "258 ...

  5. 为网格布局图片打造的超炫 CSS 加载动画

    今天,我想与大家分享一些专门为网格布局的图像制作的很酷的 CSS 加载动画效果.您可以把这些效果用在你的作品集,博客或任何你想要的网页中.设置很简单.我们使用了下面这些工具库来实现这个效果: Norm ...

  6. 【C++】2048游戏系列---优化模块第一稿【加载图片】

    [C++]2048游戏系列---优化模块第一稿[加载图片] (更新中--) 参考博客: https://blog.csdn.net/qq_39151563/article/details/104283 ...

  7. 页面载入-(dom、css、图片 等资源 加载完成) 执行

    1. // 页面载入-(dom.css.图片 等资源 加载完成) 执行 window.onload=function(){console.log("aaa"); }window.o ...

  8. css 加载图片,纯CSS图片预加载

    译自:[Creating a CSS Image Preloader](http://www.devirtuoso.com/2009/07/creating-a-css-image-preloader ...

  9. css加载背景图片和img加载图片的区别?

    1.写在html里的是以标签形式存在的 2.写在css里面的图片是以背景图片的形式存在的, 3.网页会先加载<img>标签的内容,再加载背景图片. 4.css管装饰,也就是显示效果, 5. ...

最新文章

  1. 定位 - MapKit-自定义大头针
  2. 牛客 - Yuki with emofunc and playf(同余最短路)
  3. python html压缩包,用python制作一个简单html压缩
  4. java http 面试题_Java面试高级篇—说说TCP,UDP和socket,Http之间联系和区别面试题12期...
  5. 常用Git客户端:Tower for Mac
  6. JSON入门指南--服务端处理JSON
  7. GRE阅读高频机经原文及答案之Design-Engineering
  8. 用HTML+CSS做一个漂亮简单的个人网页
  9. NUKE 11 for mac版(电影特效合成软件) 11.3v4激活版详细安装步骤
  10. 像中文的罗马音字体复制_罗马音字体大全可复制
  11. 规范使用地图,从规范制图开始
  12. ps怎么对比原图快捷键_图片查看方式快捷键
  13. 体验服和平精英服务器维护,和平精英:体验服申请入口
  14. 转 解决打印机无法打印的方法
  15. 搜狐新闻文本分类数据集
  16. 拾贰SparkSQL:数据关联优化
  17. ofo开放平台成立了,mobike该做些什么?
  18. PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROL LEDTEXT(PPLM):代码深入理解(二)—PPLM_Discrim
  19. 数据挖掘-泰坦尼克号生存数据分析
  20. 用python画哆啦a梦的身体_每天一个Python小技巧,用Python 画个多啦A梦,小猪佩奇,文末还有Python入门学习视频...

热门文章

  1. H3C交换机配置MSTP
  2. 详解向下兼容、向上兼容、向前兼容、向后兼容
  3. CentOS7.6 安装Anaconda3
  4. spss分析方法-中介效应(转载)
  5. 德州仪器模拟设计工程师暑期实习生面试(凉凉)经验
  6. 解决GridView防止压扁
  7. CP2102修改设备serial、PID、VID的值
  8. linux登录Hana数据库,【Zabbix】HANA数据库密码重置
  9. c++与fortran混合语言编程中动态链接库的调用,[转载]C++与Fortran混合语言编程中动态连接库的调用...
  10. MySql中varchar类型长度的含义、Java中String长度的含义