python网页关键字查询

下载谷歌驱动和谷歌浏览器

1.创建一个文件.txt 每一行都存放一个网页链接（对这里的网页进行关键词匹配输出结果到 err.txt文件内）
2.使用python控制谷歌浏览器

from selenium import webdriver
import time
import reclass OpenBrowser(object):def __init__(self,login,layer=2):self.all_time = 0self.keywords = ['航天信息','仔仔']self.layer = layer  # 查询深度option = webdriver.ChromeOptions()option.add_experimental_option('excludeSwitches', ['enable-automation'])option.add_argument('--window-size=1200,800')# option.add_argument('--headless')# 反爬虫option.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36")option.add_experimental_option('excludeSwitches', ['enable-automation'])option.add_argument('--disable-blink-features=AutomationControlled')self.driver = webdriver.Chrome('chromedriver', options=option)self.driver.implicitly_wait(10)self.driver.get(login)time.sleep(1)print(self.driver.title)data = self.driver.find_element_by_xpath("//html")self.leachText = data.get_attribute('innerHTML')def main(self,url):self.driver.get(url)time.sleep(0.5)data = self.driver.find_element_by_xpath("//html")self.leachText = data.get_attribute('innerHTML')for key in self.keywords:keytime=re.findall(key,self.leachText)if len(keytime)>0:print(str(keytime[0]) + url + '\n')self.all_time=self.all_time+1with open('err.txt', 'a') as f:f.write(str(keytime[0]) + url + '\n')print("当前总出现次数：",self.all_time)url="https://baidu.com"
serch_content = OpenBrowser(login=url)
while True:with open('url2.txt','r') as f:data=f.readlines()print(len(data))mun = 0for data_url in data:mun = mun + 1print('开始执行',mun,'行数据')serch_content.main(data_url)

python网页关键字查询相关推荐

python网页批量查询_批量查询网站的pr
段时间工作比较忙,博客更新的时间又慢了,前几天刚旅游回来,和部门的同事去了富春江-三清山和姚林仙境,感觉挺不错的,坐了船也爬了山.感受了大自然的秀丽景色.废话不多话,今天给大家分享个python 批量 ...
python网页批量查询_python3 批量查询域名A记录 CNAME
场景:需要批量查询域名信息需要生成一个 domain_in.txt的文件文件内容格式(尾行不可有空行): baidu.com bilibili.com 代码 import random impor ...
用Python实现火车票查询（含票价版）
用Python实现火车票查询(含票价版) 写在前面: 网上关于用Python3编写火车查询脚本的版本众多,我在前人的基础上编写了自己的这个版本. 我觉得的写的这个版本有以下几个特色: 1,智能引导输入 ...
python中关键字参数含义_python中接受任意关键字的参数
1.*args args是非关键字参数,可以理解为形参,为了方便记忆我理解它是arguments的缩写. 2.*kwargs kwargs是键值对参数,为了方便记忆我理解它是key word argu ...
python实现火车票查询工具_Python 实现一个火车票查询的工具
原标题:Python 实现一个火车票查询的工具作者 sexycoder 本文转载自简书,转载需授权使用 python 实现一个查询火车票的小工具主要功能: 输入出发车站,到达车站,时间,然后返回 ...
从入门到入土：基于Python实现百度查询返回结果真实url读取及域名读取
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
以下python语言关键字在异常处理_python后端开发工程师考证试题
原标题:python后端开发工程师考证试题 python开发工程师考证试题选择题题目关于 Python 程序格式框架的描述,以下选项中错误的是 ( A ) A: Python 语言不采用严格的& ...
Python爬虫练习-查询lol隐藏分
玩英雄联盟游戏的小伙伴都知道游戏账号会有隐藏分,而英雄联盟也提供隐藏分查询系统,这里我们利用python爬虫来查询lol隐藏分. 首先我们点击到查询系统看一下,它的页面是这样子然后我们点 ...
利用sentinel hub Python开发包查询和下载Sentinel-2等卫星遥感数据
利用sentinel hub Python开发包查询和下载Sentinel-2等卫星遥感数据 1. 描述 sentinelhub Python包支持用户利用两种方式进行卫星遥感数据的下载和处理.第 ...

python网页关键字查询

python网页关键字查询相关推荐

最新文章

热门文章