简单使用resquests爬取雪球网数据，分析股票走势

import requests

import pymongo
import json

# 数据库初始化
client = pymongo.MongoClient("localhost", 27017)
# 获得数据库
db = client.gupiao
# 获得集合
stu = db.lushen

headers = {
"Accept" : "application/json, text/javascript, */*; q=0.01",
"Accept-Encoding" : "gzip, deflate, br",
"Accept-Language" : "zh-CN,zh;q=0.9",
"cache-control" : "no-cache",
"Connection" : "keep-alive",
"Cookie" : "aliyungf_tc=AQAAALpBylKYjA4AsLc5cWOtI0XvXlDf; xq_a_token=229a3a53d49b5d0078125899e528279b0e54b5fe; xq_a_token.sig=oI-FfEMvVYbAuj7Ho7Z9mPjGjjI; xq_r_token=8a43eb9046efe1c0a8437476082dc9aac6db2626; xq_r_token.sig=Efl_JMfn071_BmxcpNvmjMmUP40; __utma=1.461614876.1522589407.1522589407.1522589407.1; __utmc=1; __utmz=1.1522589407.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; Hm_lvt_1db88642e346389874251b5a1eded6e3=1522589408; u=311522589410819; device_id=a570575343f72340971cbc6acbb00ba7; s=f314ecnpa7; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1522589950",
"Host" : "xueqiu.com",
"Referer" : "https://xueqiu.com/hq",
"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
"X-Requested-With" : "XMLHttpRequest"

}

for i in range(1,185):
url = 'https://xueqiu.com/stock/cata/stocklist.json?page='+str(i)+'&size=30&order=desc&orderby=percent&type=11%2C12&_=1522591974896'

response = requests.get(url=url, headers=headers)
# with open('aaa.text',) as f:
# response = f.read()
data = json.loads(response.text)
print(data)
column =['symbol', 'name', 'current', 'chg', 'percent', 'last_close', 'open', 'high', 'low', 'volume', 'amount', 'market_capital', 'pe_ttm', 'high52w', 'low52w', 'hasexist']

dict_ ={}
for b in data['stocks']:
num = 0
for a in column:
dict_[a] = b[num]

num += 1

stu.update({'symbol': dict_['symbol']}, dict(dict_), True)

简单使用resquests爬取雪球网数据，分析股票走势相关推荐

PyQt5制作一个爬虫小工具，爬取雪球网上市公司的财务数据
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于可以叫我才哥 ,作者:可以叫我才哥最近有朋友需要帮忙写个爬虫脚本,爬取雪球网一些上 ...
python二手房数据分析_Python 爬取北京二手房数据,分析北漂族买得起房吗? | 附完整源码...
作者徐麟本文经授权转自公众号数据森麟(ID: shujusenlin) 房价高是北漂们一直关心的话题,本文就对北京的二手房数据进行了分析. 本文主要分为两部分:Python爬取赶集网北京二手房数据 ...
python爬虫金融数据_python爬虫项目-爬取雪球网金融数据（关注、持续更新）
(一)python金融数据爬虫项目爬取目标:雪球网(起始url:https://xueqiu.com/hq#exchange=cn&firstname=1&secondname=1_ ...
爬取雪球网股票信息（一）
这篇是爬取股票名称,我用了三个模块来实现.Crwal_Share_Names.Saved_MongDB.DEFINITION. 首先是最简单的一个模块:DEFINITION,定义,这个模块里面定义了要 ...
python爬虫——如何爬取ajax网页之爬取雪球网文章
效果图传送门点击传送门进入网站之后我们打开开发工具之后,往下滑时会出现一个接口(当然滑的越多接口越多) 我们通过对比两个及以上的接口进行分析它们的不同之处(这叫找规律) 可以发现max_id是在变 ...
python爬虫爬取雪球网_Python爬虫爬取天天基金网基金排行
本文以天天基金网为例,爬取网站上的基金排行并存储在本地记事本中和MongoDB数据库中. 打开网页我们看到每页最多显示50个基金信息,在源代码中,我们发现其他页码没有跳转链接.但是我们选择右下角不分页 ...
Python爬虫爬取雪球网部分数据
import requests import jsonurl = {'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?s ...
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
这篇文章主要介绍了python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析的实例,帮助大家更好的理解和学习使用python.感兴趣的朋友可以了解下一.环境准备 python3.8.3 ...
如何用python爬取数据_如何使用python爬取知乎数据并做简单分析
原标题:如何使用python爬取知乎数据并做简单分析一.使用的技术栈: 爬虫:python27 +requests+json+bs4+time 分析工具: ELK套件开发工具:pycharm 数据 ...

简单使用resquests爬取雪球网数据，分析股票走势

简单使用resquests爬取雪球网数据，分析股票走势相关推荐

最新文章

热门文章