爬取东方财富股票信息网

没有使用复杂的方法，最简单的了下面是图文

创建python的一个文件，需要导入的库

连接数据库配置，配置headers

下一步就百度搜索东方财富，进入随便找个股票，以上证个股为例

看下这个页面的逻辑，有分页，分也时 url是不变的，很明显就是ajax了，我用的最low的方法就是遍历 url

http://nufm.dfcfw.com/EM_Finance2014NumericApplication/JS.aspx?cb=jQuery112408117789619119797_1540286711822&type=CT&token=4f1862fc3b5e77c150a2b985b12db0fd&sty=FCOIATC&js=(%7Bdata%3A%5B(x)%5D%2CrecordsFiltered%3A(tot)%7D)&cmd=C.2&st=(ChangePercent)&sr=-1&p=1&ps=20&_=1540286711823

第一页20条数据第二页到最后都是20条

逻辑就在这个url里面， &p=1 &ps=20 最后一个&_=1540286711823 这个貌似可有可无看效果

p=1 改成5 ps=20 改成5 第五页出现五条数据

逻辑清晰了 name就可以写代码了

之所以用最low的方法就是这个最不费劲，爬取json数据最简单，url已给进去的直接包装拿走就行了

跳过ajax 直接遍历url 每页一条数据，看了下总共1442条，format就行了

然后就是json数据的格式正则把不需要的给去掉

写入数据库的时候字段有点多不要写错了不然就各种报错

这么low的代码到这里也就写完了，各位大神们手下留情，我也是个小白入行不久应该对小白们稍微有些许帮助。我知道自己有许多不足，我会继续努力！

爬取东方财富股票信息网相关推荐

用python爬取东方财富股票
** ## 用python爬取东方财富股票 ** 本代码源于中国大学mooc上的北京理工大学嵩天老师的课程,本人对其代码进行了修改仅供学习交流,菜鸟新手,各位大佬勿喷,有不对的地方多多指出. impo ...
爬取东方财富网股票行情数据和资讯
爬取东方财富网股票行情数据和资讯这个需求源于我的一个练手项目本篇博客参考:https://zhuanlan.zhihu.com/p/50099084 该博客介绍的东西本博客不做论述使用技术: 语 ...
Python爬虫尝试-爬取指定股票的财务报表（东方财富网）
Python爬虫爬取财务报表(东方财富网) 爬取指定股票的财务报表需求确认思考实现获取所有报告的url地址根据获取的url地址下载文件或者输出正文内容爬取指定股票的财务报表需求确认最经 ...
python爬虫爬取东方财富网股票走势+一些信息
一.目标我们的目标是爬取东方财富网(https://www.eastmoney.com/)的股票信息我的目标是爬取100张股票信息图片经过实际测试我的爬取范围为000001-000110,000 ...
python培训机构调研最多的股票_使用python爬取东方财富网机构调研数据
标签: 最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只 ...
[Python爬虫]爬取东方财富网公司公告需要注意的几个问题
在上一篇文章中,以爬取东方财富网公司公告为例,介绍了如何爬取利用ajax加载的网页,以及如何模拟翻页.但是,在实际应用的过程中,发现了一些问题.接下来就来一一分析解决. 问题一.公告数量过多,后面的公 ...
爬取东方财富股吧评论
前言前天有人要我帮忙爬取一下东方财富网几只股票的股票吧评论,晚上花了点时间给他弄了一下,很简单啊一.分析网站打开东方财富网,网址很简单:600340这只股票评论一共1303页,每页的网址如下: ...
python爬取东方财富网资金流向数据（在本地生成csv文件）
今天我们来试着用python爬取东方财富网资金流向的表格数据. 第一步:程序及应用的准备首先我们需要安装selenium库,使用命令pip install selenium;然后我们需要下载对应的c ...
爬虫学习笔记（用python爬取东方财富网实验）
参考文章以及视频:(11条消息) 爬虫实战 | 爬取东方财富网股票数据_简说Python的博客-CSDN博客.手把手教你从东方财富网上获取股票数据_哔哩哔哩_bilibili.[Python爬虫案例] ...

爬取东方财富股票信息网

爬取东方财富股票信息网相关推荐

最新文章

热门文章