Python爬虫 selenium抓取企查查招投标

企查查最新中标企业抓取

网站链接:标找找 - 企查查旗下一站式标讯服务平台

需要使用的python包

selenium

在未付费的情况下只能抓取最新50条数据

解析代码如下：

# -*- coding: utf-8 -*-
from selenium.webdriver import Chromedef main():driver = Chrome()driver.get('https://www.biaozhaozhao.com/?tab=wtb_company')for _ in range(10):lis = driver.find_elements_by_xpath("//div[@class='tc_list_item tc_list_hover']")for row in lis:item = dict()# 企业名称item['ent_name'] = row.find_element_by_xpath("div/div/div[@class='FpwufnYn']/div/a/span").text# 企业状态item['ent_state'] = row.find_element_by_xpath("div/div[@class='_0aDOKXj6']/span").text# 企业标签item['tag'] = [i.text for i in row.find_elements_by_xpath("div/div/span[@class='ant-tag awpCsC3X']")]# 招投标数item['num'] = row.find_element_by_xpath("div/div/div[@class='WMSbIy8X']/span").text# 法定代表人item['name'] = row.find_element_by_xpath("div/div/div/ul[@class='ozeTtOeS']/li/a").text# 注册资金item['regcap'] = row.find_element_by_xpath("div/div/div/ul[@class='ozeTtOeS']/li[2]/span[2]").text# 成立日期item['date'] = row.find_element_by_xpath("div/div/div/ul[@class='ozeTtOeS']/li[3]/span[2]").text# 公示item['title'] = row.find_element_by_xpath("div/div/div/div/div[@class='lZ9dQcZO']/a").text# 公示链接item['url'] = row.find_element_by_xpath("div/div/div/div/div[@class='lZ9dQcZO']/a").get_attribute('href')print(item)driver.find_element_by_xpath("//i[@class='anticon anticon-right']").click()#  点击下一页driver.close()if __name__ == '__main__':main()

只解析了部分字段

结果：

Python爬虫 selenium抓取企查查招投标相关推荐

Python爬虫 requests抓取企查查
企查查首页商业快讯抓取打开调试分析请求每次请求返回10条数据翻页主要依靠lastRankIndex和lastRankTime参数, 而且这两个值是一样的 (首次请求 firstRankInde ...
Python爬虫selenium抓取Xbox
拿到一个网页先不着急抓取首先分析网站 1.网站分析 1.1.用到的模块 selenium.time.csv.options 1.2.get请求后设置 ...
python爬虫批量抓取新浪微博用户ID及用户信息、微博内容
老师给的任务,要对批量的微博文本进行舆情分析.第一步就是数据的抓取.在网上搜了一下大多是基于手机版网页(wap/cn)的爬虫,但是我在电脑上打不开这些网站. 由于自己也是网页小白,所以就参考着别人的代 ...
python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据？
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
python抓取网页电话号码_利用正则表达式编写python 爬虫，抓取网页电话号码！...
利用正则表达式编写python 爬虫,抓取网页联系我们电话号码!这里以九奥科技(www.jiuaoo.com)为例,抓取'联系我们'里面的电话号码,并输出. #!/usrweilie/bin/pyth ...
Python爬虫实战---抓取图书馆借阅信息
Python爬虫实战---抓取图书馆借阅信息原创作品,引用请表明出处:Python爬虫实战---抓取图书馆借阅信息前段时间在图书馆借了很多书,借得多了就容易忘记每本书的应还日期,老是担心自己会违约 ...
python抓取视频违法吗,科学网—【python爬虫】抓取B站视频相关信息（一） - 管金昱的博文...
昨天我在B站上写了这么一篇文章,但是被他们锁住了.无奈之下我复制到知乎上先保存起来在这篇名为<三天学会用python进行简单地爬取B站网页视频数据>文章中我主要提到了两点在已知aid的情 ...
Python爬虫采集抓取：Python3.x+Fiddler 采集抓取 APP 数据
随着移动互联网的市场份额逐步扩大,手机 APP 已经占据我们的生活,以往的数据分析都借助于爬虫采集爬取网页数据进行分析,但是新兴的产品有的只有 APP,并没有网页端这对于想要提取数据的我们就遇到了些问 ...
python爬虫_抓取瓦片图片信息并将其拼接_以mapbar为例（适用交通工程类专业）
python爬虫_抓取瓦片图片信息并将其拼接_以mapbar为例(适用交通工程类专业) 这次就以mapbar为例爬取道路交通拥堵情况第一步,瓦片标号解析第二步,拼url,然后下载第三步,图片拼接 ...

Python爬虫 selenium抓取企查查招投标

Python爬虫 selenium抓取企查查招投标相关推荐

最新文章

热门文章