一行代码解决selenium爬虫老遇到谷歌人机验证问题
直接上代码
x = input("随便输点啥")
哈哈,是的,在百度了半天试了各种解决方法都不行之后,最后还是通过自己随便想的一个方法来简单粗暴地解决问题了。
我的任务是给一堆谷歌学术的链接,然后挨个打开连接,把里面的文章题目和url爬下来。使用selenium的chrome引擎的时候,不知道为啥,只要这个链接打开没有人机验证,后续翻页也不会有,而如果打开就有人机验证,我还没点完就循环到下一个连接了。为了解决这个问题,最后想到加入上面那个代码。
在执行driver.get(url)之后,加入输入等待,如果这时有人机验证,等我点完,再随便输入点啥,然后开始这个链接的爬取,然后爬完了等下一个连接看是不是会有人机验证。
缺点是不能完全自动,适合一些工作量不大的爬虫任务,可以玩着手机随时看两眼。
...
for url in urls:...driver.get(url)x = input("随便输点啥")...
一行代码解决selenium爬虫老遇到谷歌人机验证问题相关推荐
- 一行代码解决ie浏览器的兼容
x-ua-compatible 头标签大小写不敏感,必须用在 head 中,必须在除 title 外的其他 meta 之前使用. 1.使用一行代码来指定浏览器使用特定的文档模式. <meta h ...
- [zz]一行代码解决iframe挂马(服务器端注入、客户端ARP注入等)
一行代码解决iframe挂马(服务器端注入.客户端ARP注入等) 一行代码解决iframe挂马(包含服务器端注入.客户端ARP注入等) 本文原创:linr@cncert.net 请转载时保留版权信息 ...
- 【图解经典算法题】如何用一行代码解决约瑟夫环问题
约瑟夫环问题算是很经典的题了,估计大家都听说过,然后我就在一次笔试中遇到了,下面我就用 3 种方法来详细讲解一下这道题,最后一种方法学了之后保证让你可以让你装逼. 问题描述:编号为 1-N 的 N 个 ...
- 有一个List集合,里面存储了5个Student对象。Student有姓名、年龄和成绩属性,按照多个属性进行排序(一行代码解决list对象集合排序问题)。
有一个List集合,里面存储了5个Student对象.Student有姓名.年龄和成绩属性,按照要求进行排序(一行代码解决list对象集合排序问题). 要求对List集合进行排序,排序规则是: 1.先 ...
- 一行代码解决约瑟夫问题(我要开始装B了)
一.前言 约瑟夫问题可以说是非常经典的一道题了,面试官经常问,我有一次就遇上了它,不对,应该是它遇上了我!下面我就用一行代码来解决这道约瑟夫问题,这种方法你学会了之后就可以在面试官面前装B了. 二.解 ...
- python匿名基数(lamdba):给你一个整数数组nums,如果任一值在数组中出现至少两次,返回True;如果数组中每个元素互不相同,返回False,用一行代码解决
""" 给你一个整数数组nums,如果任一值在数组中出现至少两次,返回True:如果数组中每个元素互不相同,返回False,用一行代码解决 例: nums = [1,2, ...
- 一个整合OkHttp 、Retrofit 、Volley 、RxJava、Novate多种开源网络框架的项目,高度的封装和集成,Android中Web网络请求一行代码解决
一个整合OkHttp .Retrofit .Volley .RxJava.Novate多种开源网络框架的项目,高度的封装和集成,Android中Web网络请求一行代码解决 AndroidHttp 一个 ...
- 【Python奇淫技巧】用pandas的read_html函数仅一行代码实现网页爬虫
目录 一.介绍read_html()函数 二.分析爬取目标页面 三.代码讲解 四.同步视频讲解 一.介绍read_html()函数 喜欢Python编程的小伙伴你知道吗,python的pandas库除 ...
- 一行代码解决各种IE兼容问题
一行代码解决各种IE兼容问题,IE6,IE7,IE8,IE9,IE10 前端面试秘籍,欢迎star! 在网站开发中不免因为各种兼容问题苦恼,针对兼容问题,其实IE给出了解决方案Google也给出了解决 ...
最新文章
- 搭建 Visual Studio 和 Freeglut、GLEW的OpenGL环境
- 神策数据荣膺 2017 企业创新典范、最佳青年榜样双殊荣
- 【C/C++多线程编程之十】pthread线程私有数据
- java正则表达式匹配数字范围_在java中怎么利用正则表达式匹配数字
- MetaException(message:Hive Schema version 3.0.0 does not match metastore's schema version 1.2.0 Meta
- C++ 多态和虚函数
- 详解mysql事务_详解MySQL执行事务的语法和流程
- 金蝶K3 各种单据及各种控制功能表的关系
- QODBC查询Oracle中文乱码问题
- Java温度转换(写一个将华氏温度转换成摄氏温度的程序)
- Kali利用metasploit 生成后门程序,操作目标主机cmd
- 最新steam rpgmz dlc有新技能新人物,有兴趣么?
- 买了个新主机,从0开始配电脑(持续更新ing)
- 富爸爸系列2—财务自由之路
- java中retry的使用
- oracle如何打开控制文件,看一看oracle控制文件里面的内容
- 计算机数值方法之最小二乘法拟合多项式C语言
- 梦想实现_实现梦想的软件工程工作需要什么
- 建模中常用的30各MATLAB程序和函数
- 运动爱好者的专属耳机,轻巧时尚又好用,哈氪无界上手
热门文章
- 磁场发生器之电磁铁 Electromagnet
- 如何将微信表情包保存到手机相册
- 2022年Frm 二级学习笔记
- @Transactional事务中使用锁坑(@Transactional事务中使用锁失效)
- Android VR效果GoogleVR
- 福尔摩斯探案词频统计
- 35岁了,我慌得一批
- java中setattribute_jsp中setAttribute与getAttribute方法使用介绍
- 论文阅读:AutoAugment: Learning Augmentation Strategies from Data
- Failed to create Spark client for Spark session/30041Code