东方财富板块资金python抓取

url="http://push2.eastmoney.com/api/qt/clist/get?pn=1&pz=500&po=1&np=1&fields=f12%2Cf13%2Cf14%2Cf62&fid=f62&fs=m%3A90%2Bt%3A3&ut=b2884a393a59ad64002292a3e90d46a5&_=1623815166723"def huoqu(url): #最基础的抓包函数，返回每个url获取的网页内容import requestsimport jsonkv={"user-agent":'Mozilla/5.0'}response=requests.get(url,headers=kv).textres=json.loads(response)return resdef bankuai(url,directory): #通过板块网址，把所有板块的号码和名称记录到txt里面。#directory需要输入字符串类型的地址import requestsimport jsonkv={"user-agent":'Mozilla/5.0'}response=requests.get(url,headers=kv).textres=json.loads(response)list1=res['data']['diff']total=res['data']['total']with open(directory,'w') as f:for i in range(total):f.write(list1[i]['f12']+','+ list1[i]['f14']+'\n')#最终的结果是在指定directory里面写入这个板块的列表以及名词。def suoyoubankuai(url):#把所有板块写入一个list，输出该listimport requestsimport jsonkv={"user-agent":'Mozilla/5.0'}response=requests.get(url,headers=kv).textres=json.loads(response)total=res['data']['total']list1=res['data']['diff']list2=[]for i in range(total):list2.append(list1[i]['f12'])return list2 #返回一个列表都是str类型def zijinjilu(putlist,directory): #通过输入的list生成url，然后进行读取，然后存入csvimport requestsimport jsonimport csvkv={"user-agent":'Mozilla/5.0'}for i in range(len(putlist)): #通过板块名称，构建板块资金所在urlurl="http://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?lmt=0&klt=101&fields1=f1%2Cf2%2Cf3%2Cf7&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf62%2Cf63%2Cf64%2Cf65&ut=b2884a393a59ad64002292a3e90d46a5&secid=90."+putlist[i]+"&_=1623880707433"response=requests.get(url,headers=kv).textres=json.loads(response) #提取资金网页中每天的资金量到时间列表shijian=res['data']['klines']#通过csv函数，写入csv文件。with open(directory+putlist[i]+'zijin'+'.csv',mode='w',newline='',) as f:file=csv.writer(f)#写入中文标题，则需要在open中加入encoding="utf-8-sig"# titlelist=[u'日期',u'主力净流入',u'小单净流入',u'中单净流入',u'大单净流入',u'超大单净流入',u'主力占比',u'小单占比',u'中单占比',u'大单占比',u'超大单占比']# file.writerow(titlelist)#写入每一天的数据，因为writerow需要写入序列中的各个分项，需要split分开for j in range(len(shijian)):file.writerow(shijian[j].split(','))def gaodidian(putlist,directory): #输入板块代码，存入的文件夹'D:\\try\\'import requestsimport jsonimport csvkv={"user-agent":'Mozilla/5.0'}for i in range(len(putlist)): #通过板块名称，构建板块资金所在urlurl="http://push2his.eastmoney.com/api/qt/stock/kline/get?secid=90."+putlist[i]+"&ut=fa5fd1943c7b386f172d6893dbfba10b&fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58&klt=101&fqt=0&beg=19900101&end=20220101&_=1623970229299"response=requests.get(url,headers=kv).textres=json.loads(response) #提取资金网页中每天的价格到时间列表shijian=res['data']['klines']#通过csv函数，写入csv文件。with open(directory+putlist[i]+'price'+'.csv',mode='w',newline='',) as f:file=csv.writer(f)#写入中文标题，则需要在open中加入encoding="utf-8-sig"# titlelist=[u'日期']# file.writerow(titlelist)#写入每一天的数据，因为writerow需要写入序列中的各个分项，需要split分开for j in range(len(shijian)):file.writerow(shijian[j].split(','))def huatu(directory): #输入的是板块的excel信息地址import csvimport matplotlib.pyplot as pltimport osshijian=[]zhuli=[]zhuli2=[]#注意这里如果文件打不开，编码有问题，可以在加入open(path,'r',encoding='utf-8)with open(directory,'r',encoding='utf-8') as f:file=csv.reader(f)for row in file:shijian.append(row[0]) #第一列的日期zhuli.append(row[1]) #第二列的主力资金情况#把字符串类型换成浮点数for i in range(len(zhuli)):zhuli2.append(float(zhuli[i]))#通过directory找到板块名，然后记录为图画名zuihou=list(os.path.split(directory))[-1]mingcheng=zuihou.split('.')[0]#画图，并且储存到文件中plt.plot(shijian,zhuli2,linestyle='--',label=mingcheng)plt.legend()plt.savefig('D:\\try\\'+mingcheng+'.png',dpi=300)plt.close()def tedingleixing(directory,leixing): #输入文件路径，想要的类型import oslist1=os.listdir(directory)list2=[]for files in list1:if files.endswith(leixing):#如果需要绝对路径，则用directory+'\\'+fileslist2.append(files)#最后返回特定类型的文件名的列表return(list2)

东方财富板块资金python抓取相关推荐

Python抓取网页中的动态序列化数据
Python抓取网页中的动态序列化数据动态序列化数据经常应用于前后端分离的页面.或者通过VUE.JS等HTML页面环境,常规的爬虫抓取方法并不能满足数据采集的要求,因此需要其他的方式进行数据的采集. ...
python代码案例详解-我用Python抓取了7000 多本电子书案例详解
安装安装很简单,只要执行: pip install requests-html 就可以了. 分析页面结构通过浏览器审查元素可以发现这个电子书网站是用 WordPress 搭建的,首页列表元素很简单 ...
python抓取头条文章
python抓取头条美文并存储到mongodb # Author:song from multiprocessing import Pool from urllib.parse import urle ...
微信好友大揭秘，使用Python抓取朋友圈数据，通过人脸识别全面分析好友，一起看透你的“朋友圈”...
微信:一个提供即时通讯服务的应用程序,更是一种生活方式,超过数十亿的使用者,越来越多的人选择使用它来沟通交流. 不知从何时起,我们的生活离不开微信,每天睁开眼的第一件事就是打开微信,关注着朋友圈里好友 ...
python爬虫保存图片到指定文件夹_李亚涛：python抓取某房源户型图并自动保存到文件夹...
大家好,今天来给大家分享一下如何抓取某房产网站房源户型图的所有图片,而且自动以房源名称命名一个文件夹,把所有图片放到文件夹中. 大概的思路是: 1.获取网页源代码 2.获取图片地址与房源名称 3.在当 ...
blob的真实地址怎么获得_使用Python抓取m3u8加密视频续：获得index.m3u8 地址
之前写<使用Python抓取m3u8加密视频>笔记的原因,是自己有几个视频想保存,但对于m3u8, .ts 文件拼接不熟悉,就尝试写个脚本练手. 今天看了回复,有同学想知道如何从视频网站上 ...
python 抓取的网页默认是bytes的,要转码
python 抓取的网页默认是bytes的,要转码. 查看网页源码可以看到,我本次抓取的网页的编码方式是utf-8的. req = urllib.request.Request(url=myurl,h ...
python 抓取网页链接_从Python中的网页抓取链接
python 抓取网页链接 Prerequisite: 先决条件: Urllib3: It is a powerful, sanity-friendly HTTP client for Python ...
python抓取网站乱码_如何使用Python抓取网站
python抓取网站乱码 by Devanshu Jain 由Devanshu Jain It is that time of the year when the air is filled with ...

东方财富板块资金python抓取

东方财富板块资金python抓取相关推荐

最新文章

热门文章