gjdw爬虫总结

1.思路:python-v-3.10.4 + selenium-v-4.6.0模拟ui自动化,跳转到需要的数据的页面，通过BeautifulSoup解析html,获取gjdw的页面数据,组装json数据，使用requests调用java的接口，数据保存

切记 谷歌浏览器和谷歌驱动的版本要对齐,参考网址:https://wenku.baidu.com/view/304d25cf9a8fcc22bcd126fff705cc1755275fc5.html?_wkts_=1668498202760&bdQuery=%E8%B0%B7%E6%AD%8C%E6%B5%8F%E8%A7%88%E5%99%A8%E5%92%8C%E9%A9%B1%E5%8A%A8%E7%89%88%E6%9C%AC%E5%AF%B9%E5%BA%94
谷歌浏览器页面 输入 chrome://version/，查看浏览器的版本
107.0.5304.107 (正式版本) （64 位） (cohort: Stable Installs & Version Pins)
对应的 驱动版本
win7 及一下版本只能安装python3.8 ,python3.8 又不支持 ddddocr识别

1.1谷歌浏览器下载

谷歌官网：https://www.google.cn/chrome/

1.2谷歌驱动下载

下载地址:http://npm.taobao.org/mirrors/chromedriver/
里面的版本就是对应的浏览器版本

1.3测试验证是否成功

from splinter import Browser
browser = Browser("chrome")
browser.visit('https://baidu.com')
如果浏览器自动打开就是配置成功了。

2.过程遇到的难点以及解决：

2.1.对电脑配置要求不高，主要是网速

2.2.元素选择的困难,解决：

1.driver.find_element(By.CSS_SELECTOR, 'input[placeholder="请输入验证码"]')
2.driver.find_element(By.CSS_SELECTOR, "button[class='el-button el-button--primary']")
3.driver.find_element(By.CSS_SELECTOR,"#main > div > div:nth-child(1) > div > ul > li.lef > div.el-select > div > span > span > i").click()
4.    elements = driver.find_elements(By.CSS_SELECTOR, 'div[class="el-table__expand-icon"]')for element in elements:element.click()

2.3 明明有元素，却拿不到

设置休眠时间,让页面加载完成
time.sleep(1)
https://www.feiqueyun.cn/zixun/jishu/276326.html
gjdw电网页面 动态设置的内联样式CSS 导致直接 取 document.querySelector('') 每次取的会变，导致爬虫不稳定
解决方案:可以尝试该元素的父级元素，elements = driver.find_elements(By.CSS_SELECTOR,'')，然后遍历 ,
再循环点击处理for element in elements:element.click()
这个简单 省事

2.4页面取元素，调试，保证你所取的元素是正确的

检查(F12)  在Console控制台  document.querySelector('aaa') aaa是你选中的Elements 单机右键 ---->copy---->copy selector 复制的内容
document.querySelector('aaa')  回车，如果不等于 null  说明选择的元素标签是正确的

2.5登陆验证码识别处理

将页面的验证码截图到本地，使用ddddocr的包自动识别，在这里做一个 补偿机制，识别错之后会有一次重新识别的操作，目前验证码识别错误两次，就不会再发起登陆了

2.6 调用java保存数据的便捷

python也可以直接操作数据，但是比较依赖环境，这里就直接使用java接口操作数据库，去掉对环境的依赖

3.加入日志，便于追溯

uuid_str = time.strftime("%Y-%m-%d",time.localtime())
logger = logger_config(log_path='log/'+uuid_str+'-info.log', logging_name='INFO')
logger.info("第一次登陆")

4.加入文件配置，便于管理

添加文件 xxx_config.ini
cf = configparser.ConfigParser()
cf.read('guojia_config.ini',encoding="utf-8-sig")
phone = cf.get('lequn', 'phone')
注意点：从配置文件获取的都是str类型，在判断的时候 需要转换一下 ，不能直接判断 day_count == 30
需要这样判断 day_count == '30'

某网数据crawler相关推荐

使用Python爬取分析政府采购网数据
好久没写博客了,一直觉得之前写的都没啥技术性,这次分享个最近觉得很值得记录的一次操作吧~. Leader临时分配给我个任务,要我爬取下政府采购网近一个月公开招标中二三甲医院的数据,这一 ...
python爬虫网络数据包_Python爬虫之多线程图虫网数据爬取（十六）
Python爬虫之多线程图虫网数据爬取(十六) 发布时间:2019-05-14 10:11, 浏览次数:289 , 标签: Python 原创不易,转载前请注明博主的链接地址:Blessy_Zhu h ...
采用8种相位，每种相位各有两种幅度的QAM调制方法，在1200Baud的信号传输速率下能达到的网数据传输速率为（）
采用8种相位,每种相位各有两种幅度的QAM调制方法,在1200Baud的信号传输速率下能达到的网数据传输速率为( D ) A. 2400b/s B. 3600b/s C. 9600b/s D. 480 ...
使用Beautifulsoup爬取药智网数据
使用Beautifulsoup模块爬取药智网数据 Tips:1.爬取多页时,先用一页的做测试,要不然ip容易被封 2.自己常用的处理数据的方法: reg=re.compile('正则表达式') dat ...
使用rsync完成内网数据备份
最近在搞公司内网数据备份,在此记录下.拓扑如下: 环境描述:web服务器为lnmp环境,其中attachment目录是用户数据,大约有300G,很重要.mysql服务器每天零时备份数据库,备份的数据也 ...
采集京东网数据的10个经典方法
京东网数据采集全网抓取网页数据.商品销量.全网搜索.网页爬虫.采集网站数据.网页数据采集软件.python爬虫.HTM网页提取.APP数据抓包.APP数据采集.一站式网站采集技术.BI数据的数据分析. ...
网络爬虫——票房网数据抓取及存储
网络爬虫--票房网数据抓取及存储实验内容目标网站:电影票房网目标网址:http://58921.com/daily/wangpiao 任务要求目标数据:(1)名次(2)电影名称 (3)日期(4 ...
关于内外网数据同步解决方案
目前,越来越多的企业内部或者合作企业之间要求各种业务数据能够实时同步共享,大部分重视安全性的企业会将数据存储至云端以防丢失.高需求企业一般都采用基于TCP的文件复制或同步工具的方法来实现数据同步. 传 ...
MATLAB根据经纬度格网数据画地图
worldmap([20 60],[70 140])%描绘出中国地图的轮廓 %陆地水格网数据显示 geoshow(gca,data,refvec,'DisplayType','texturemap') ...

某网数据crawler

gjdw爬虫总结

1.思路:python-v-3.10.4 + selenium-v-4.6.0模拟ui自动化,跳转到需要的数据的页面，通过BeautifulSoup解析html,获取gjdw的页面数据,组装json数据，使用requests调用java的接口，数据保存

1.1谷歌浏览器下载

1.2谷歌驱动下载

1.3测试验证是否成功

2.过程遇到的难点以及解决：

2.1.对电脑配置要求不高，主要是网速

2.2.元素选择的困难,解决：

2.3 明明有元素，却拿不到

2.4页面取元素，调试，保证你所取的元素是正确的

2.5登陆验证码识别处理

2.6 调用java保存数据的便捷

3.加入日志，便于追溯

4.加入文件配置，便于管理

某网数据crawler相关推荐

最新文章

热门文章