爬取上市公司第一大股东持股比例

1.目标

获取给定上市股票、给定年分的第一大股东持股比例，如下图所示：

分析xhr请求

查看payload需要三个参数，但是非常简单哈，contenttype、jzrq非常简单，主要是stockid为什么不是我们熟悉的六位的股票代码呢？

在网站上看到股票代码的页面如下：

从上面的网页源代码中，可以找到对应的stockid

将请求转化为python代码

import requests,reheaders = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8','Connection': 'keep-alive','Referer': 'https://quote.cfi.cn/quote.aspx?actstockid=7&actcontenttype=gdtj&client=pc&searchcode=','Sec-Fetch-Dest': 'document','Sec-Fetch-Mode': 'navigate','Sec-Fetch-Site': 'same-origin','Sec-Fetch-User': '?1','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36','sec-ch-ua': '"Google Chrome";v="111", "Not(A:Brand";v="8", "Chromium";v="111"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Windows"',
}def getTable(stockid,jzrq):params = {'stockid': stockid,'contenttype': 'gdtj','jzrq': jzrq,}response = requests.get('https://quote.cfi.cn/quote.aspx', params=params, headers=headers)return response.textdef reg_find(text):"""</td><td>23.67%</td><td>"""anss = re.findall(r'</td><td>([\d|\.]*)%</td><td>',text)if len(anss) == 0:print("error")exit(0)return anss[0]def id2stkid(uid):params = {'t': '12',}response = requests.get('https://quote.cfi.cn/stockList.aspx', params=params, headers=headers)ans = re.findall(rf"οnclick=\"stock_clickFunc\((\d+),\'{uid}\'\)",response.text)return ansif __name__ == "__main__":codes = ['000001','000002','000008']for i in codes:ncode = id2stkid(i)text = getTable(ncode,'2020-06-30')ans = reg_find(text)print(ans)

运行截图

爬取上市公司第一大股东持股比例相关推荐

中财网爬取上市公司第一大股东持股比例
1.目标在中财网(https://www.cfi.cn/) 获取给定上市股票.给定年分的第一大股东持股比例,如下图所示: 分析xhr请求查看payload需要三个参数,但是非常简单哈,conten ...
python爬取上市公司套期保值公告（巨潮网）--使用Selenium方法
python爬虫爬取上市公司套期保值公告(巨潮网) 摘要巨潮资讯网的网页是通过JavaScript动态加载的,因此本文利用Selenium方法爬取该网站上市公司的套期保值公告. 主要技术路线: 1. ...
爬取上市公司财务数据
python爬取上市公司财务数据爬取入口 http://data.eastmoney.com/bbsj/201112/yjbb.html 使用selenium进行爬取的,本来参考其他博主的代码,但是 ...
【爬虫】使用beautifulsoup、requests爬取网页上的图片；循环爬取上市公司高管信息
**声明:本篇博文只用于对于爬虫技术的学习交流.如果侵犯到相关网站利益,请联系我删除博文.造成不便还请见谅.希望各位同学在学习的时候不要过于频繁的去请求. 最近博主在学习前端开发和网页相关的东西,这些 ...
php批量爬取上市公司高管持股变动信息
php批量爬取上市公司高管持股变动信息用php的爬虫功能批量爬取上市公司高管的持股信息,我们只需要知道最近一年的持股变动,还需要知道有几位高管持股有变动,人数越多,才说明这个变动和公司的发展是高度 ...
selenium爬取上市公司全部行业及分行业股票行情数据
上次制作了输入股票代码,显示股票行情.历史数据.股评词云图的网页,但是,想要判断一只股票的投资价值仅看它自己的历史走势是不够的,还要与其他个股尤其是同行业个股进行比较.当然,行业轮动时选对行业是投资成 ...
雪球网爬取上市公司信息（一）：爬取上市公司代号
条件:有一批5g相关公司,只知道公司名字或是简称,不知道公司是否上市以及股票代码,需要爬取公司信息. 网站:雪球网思路:上传关键字,爬取搜索结果网页,将有结果的公司信息抓取下来并存入数据库 1.在雪 ...
用Python爬取上市公司数据、分析数据
前言在很多网站上,都会以表格的形式展示数据,而我们获取这种数据只需通过十几行爬虫代码就可以搞定,轻松搞定网页爬虫,实现高效办公知识点: 爬虫基本原理 requests的简单使用 pandas库 p ...
python财务报表分析-用Python爬取东方财富网上市公司财务报表
♚ 作者:苏克,零基础.转行python爬虫与数据分析博客:https://www.makcyun.top 摘要: 现在很多网页都采取JavaScript进行动态渲染,其中包括Ajax技术.有的网页 ...

爬取上市公司第一大股东持股比例

1.目标

爬取上市公司第一大股东持股比例相关推荐

最新文章

热门文章