python点击下一页数据还是原来的_Python Selenium单击下一页

我目前正在编写一个python selenium脚本来从网站上获取信息。我已经成功地以我想要的格式从第1页(共100+页)获取数据。不幸的是，我无法运行该程序并从后续页面收集所有信息。当我查看web站点target=https://www.freshfields.com/en-gb/contacts/find-a-lawyer/脚本时，它显示“Next”按钮的编译如下所示

/body/div[@id='main-content']/div[@t6a-grid']/div[@mmargin-bottom-30']/div[@id='grid']/div[@row-margin-bottom-10']/div[@col-md-12 padding-left-0 padding-right-20']/ul[@class='pagination']/li[11]/a

我写的部分脚本如下。脚本中的“#this is navigate to next page element”是当前不工作的区域。在

def get_links(驱动程序、目标)：

#这是为了收集与Freshfields网站上的所有个人资料相关联的链接driver.get(target)

# get links associated to profiles on result page

list_links = []

while True:

list_ppl_link = driver.find_elements_by_xpath('//div[@class=" mix item col-xs-6 col-sm-4"]')

for item in list_ppl_link:

emp_name_obj = item.find_element_by_tag_name('a')

emp_name = emp_name_obj.text

emp_link = emp_name_obj.get_attribute('href')

list_links.append({'emp_name':emp_name, 'emp_link':emp_link})

try:

# this is navigate to next page

driver.find_element_by_xpath('//ul[@class="pagination"]/li').click()

time.sleep(1)

except NoSuchElementException:

break

return list_links

请问有人能帮我理解一下如何翻遍书页收集1960年的记录吗？在

非常感谢

克里斯

python点击下一页数据还是原来的_Python Selenium单击下一页相关推荐

python select模块安装_python+selenium select下拉选择框定位处理方法
一.前言总结一下python+selenium select下拉选择框定位处理的两种方式,以备后续使用时查询: 二.直接定位(XPath) 使用Firebug找到需要定位到的元素,直接右键复制XPa ...
mysql 下一条数据_mysql 查询一条记录的下一条和上一条记录
如果ID是主键或者有索引,可以直接查找: 方法一: 查询上一条记录的SQL语句(如果有其他的查询条件记得加上other_conditions以免出现不必要的错误): select * from tab ...
python爬微博数据中心_怎样用python爬新浪微博大V所有数据？
最近为了做事件分析写了一些微博的爬虫,两个大V总共爬了超70W的微博数据. 官方提供的api有爬取数量上限2000,想爬取的数据大了就不够用了... 果断撸起袖子自己动手!先简单说一下我的思路: 一. ...
如何用python爬微博数据_怎样用python爬新浪微博大V所有数据？
最近为了做事件分析写了一些微博的爬虫,两个大V总共爬了超70W的微博数据. 官方提供的api有爬取数量上限2000,想爬取的数据大了就不够用了... 果断撸起袖子自己动手!先简单说一下我的思路: 一. ...
用python爬微博数据_怎样用python爬新浪微博大V所有数据？
最近为了做事件分析写了一些微博的爬虫,两个大V总共爬了超70W的微博数据. 官方提供的api有爬取数量上限2000,想爬取的数据大了就不够用了... 果断撸起袖子自己动手!先简单说一下我的思路: 一. ...
20221119day12作业：顶点小说全栈抓取、京东3页数据抓取、震坤行3页数据抓取
文章目录一.顶点小说全站抓取(代码运行下去理论上能抓就行) 二.京东商城三页数据抓取三.震坤行三页数据抓取一.顶点小说全站抓取(代码运行下去理论上能抓就行) 先获取所有分类链接import re ...
Excel数据透视表经典教程八《创建单页/自定义字段透视表》
前言: 一.单页字段透视表:当对多个表格进行数据透视分析时,不能直接点击插入数据透视表操作.因此,需要创建单页或者自定义字段透视表. 二.自定义字段透视表:由于上述创建的单页字段透视表,对于不同的表格 ...
python爬虫爬取多个页面_Python 爬虫爬取多页数据
但是,按照常规的爬取方法是不可行的,因为数据是分页的: 最关键的是,不管是第几页,浏览器地址栏都是不变的,所以每次爬虫只能爬取第一页数据.为了获取新数据的信息,点击F12,查看页面源代码,可以发现数据 ...
html底部自动加载下一页,js页面滚动到底部时自动加载下一页数据
一段滚动到页面底部自动加载更多数据的js代码,需要jquery.js . jquey.tmpl.js 支持 var Data = { PageCount: 1, PageSize: 30, IsCom ...

python点击下一页数据还是原来的_Python Selenium单击下一页

python点击下一页数据还是原来的_Python Selenium单击下一页相关推荐

最新文章

热门文章