java获取基金实时数据_JAVA爬取天天基金网数据
爬取基金历史记录代码:
1。首先要自己定义几个参数:基金编码,页数,每页显示条数 开始时间结束时间等
(我这直接写的静态方法使用的 大家可以改成Test方法自行进行测试)
/*** httClient 请求 GET
* 获取基金网数据1*/
public staticJSONArray testDepartmentList1(String code){
Integer pageIndex= 1;
Integer pageSize=20;
String startTime="2018-1-1";
String endTime= "2020-4-15";
String referer= "http://fundf10.eastmoney.com/f10/jjjz_" + code + ".html";long time =System.currentTimeMillis();
String url= "http://api.fund.eastmoney.com/f10/lsjz?callback=jQuery18306596328894644803_1571038362181&" +
"fundCode=%s&pageIndex=%s&pageSize=%s&startDate=%s&endDate=%s&_=%s";
url=String.format(url,code,pageIndex,pageSize,startTime,endTime,time);
System.out.println("url= " +url);
System.out.println(url);
HttpRequest request=HttpUtil.createGet(url);
request.header("Referer", referer);
String str=request.execute().body();//获取str的长度
System.out.println("str=" +str);int length =str.length();
System.out.println("length=" +length);//indexOf返回某个指定的字符串值在字符串中首次出现的位置
int indexStart = str.indexOf("(");
System.out.println(indexStart);//截取字符串
str = str.substring(indexStart + 9, length - 90);
System.out.println(str);//转换为Obj类型
JSONObject jsonObject =JSON.parseObject(str);
System.out.println(jsonObject);//获取数组
JSONArray jsonArray = jsonObject.getJSONArray("LSJZList");//计算数组的长度
int size =jsonArray.size();
System.out.println(size);returnjsonArray;
}
通过基金编码查询基金名称
(由于查询的基金历史日期url里面的信息只有基金编号跟涨跌幅日期等 没有基金名称 我们通过基金网的查询功能自行填充基金编码进行查询)
/*** httClient 请求 GET
* 获取基金网数据2*/@Testpublic staticString testDepartmentList2(String code) {//数据链接
String referer = "http://so.eastmoney.com/web/s?keyword="+code+"";long time =System.currentTimeMillis();
String url= "http://push2.eastmoney.com/api/qt/stock/get?ut=fa5fd1943c7b386f172d6893dbfba10b&fltt" +
"=2&fields=f59,f169,f170,f161,f163,f171,f126,f168,f164,f78,f162,f43,f46,f44,f45,f60,f47," +
"f48,f49,f84,f116,f55,f92,f71,f50,f167,f117,f85,f84,f58,f57,f86,f172,f108,f118,f107,f164," +
"f177&invt=2&secid=0."+code+"&cb=jQuery1124006112441213993569_1587006450385&_=1587006450403";
url=String.format(url,code);
System.out.println("请求url:" +url);//http请求
HttpRequest request =HttpUtil.createGet(url);
request.header("Referer", referer);
String str=request.execute().body();//获取str的长度
System.out.println("str=" +str);int length =str.length();
System.out.println("length=" +length);//indexOf返回某个指定的字符串值在字符串中首次出现的位置
int i = str.indexOf("(");
System.out.println(i);//截取字符串
str = str.substring(i + 55, length - 3);
System.out.println(str);//转换为Obj类型
JSONObject jsonObject =JSON.parseObject(str);
System.out.println(jsonObject);
String fundName= jsonObject.getString("f58");returnfundName;
}
业务层实现:(主要功能:用户输入基金编号查询某个基金时如果数据库没有,自动从天天基金网爬取数据存储到数据库并显示到页面上)
显示的数据分别有:基金编号 基金日期 基金名称 实际价格 每日涨跌幅
@Overridepublic Listquery(String fundCode) {
List query =fundHistoryDao.query(fundCode);if (query.size()==0) {
JSONArray jsonArray=testDepartmentList1(fundCode);
System.out.println(jsonArray);//计算数组的长度
int size =jsonArray.size();
System.out.println(size);//for循环遍历
for (int j = 0; j < size; j++) {
JSONObject jsonObject1=jsonArray.getJSONObject(j);//获取净值日期
String date = jsonObject1.getString("FSRQ");//获取单位净值
Double unit = jsonObject1.getDouble("DWJZ");//获取累积净值
Double Accumulates = jsonObject1.getDouble("LJJZ");//获取日增长率
String growthRate = jsonObject1.getString("JZZZL");//创建时间
DateTime dateTime = newDateTime();//获取创建时间
String datetime =String.valueOf(dateTime);
FundHistory fundHistory= newFundHistory();
fundHistory.setFundCode(fundCode);
fundHistory.setDate(date);
fundHistory.setUnit(unit);
fundHistory.setAccumulates(Accumulates);
fundHistory.setGrowthRate(growthRate);
fundHistory.setCreateTime(datetime);
fundHistoryDao.saveFundHistory(fundHistory);
}
FundHistory fundHistory= newFundHistory();
fundHistory.setFundCode(fundCode);//获取基金名称
String fundName =testDepartmentList2(fundCode);
fundHistory.setFundName(fundName);
fundHistoryDao.updateFundHistory(fundHistory);
List query2 =fundHistoryDao.query(fundCode);
FundHistory fundHistory1= query2.get(0);
fundDao.saveFund2(fundHistory1);returnquery2;
}returnquery;
}
controller层
/*** 基金页面数据交互
*@param*@return
*/@RequestMapping("/enquiryfund")
@ResponseBodypublicResult enquiryfund(String fundCode,String fundName){
Result result= new Result<>();if (fundCode!=""){
List query =fundHistoryService.query(fundCode);if (query==null){
List query2 =fundHistoryService.query(fundCode);
result.setData(query2);returnresult;
}
result.setData(query);returnresult;
}else if (fundName!=""){
List fundHistories =fundHistoryService.query2(fundName);
result.setData(fundHistories);returnresult;
}returnresult;
}
运行效果如图:
(根据基金编号进行查询基金 如果数据库没有则自动从天天基金网拉取数据并显示到页面上 共拉取20条历史数据)
@注:本博客仅为个人学习笔记。 所属人:Yuan
/*** httClient 请求 GET* 获取基金网数据1*/public staticJSONArray testDepartmentList1(String code){
Integer pageIndex = 1;
Integer pageSize=20;
String startTime="2018-1-1";
String endTime = "2020-4-15";
String referer = "http://fundf10.eastmoney.com/f10/jjjz_"+ code + ".html";
longtime = System.currentTimeMillis();
String url = "http://api.fund.eastmoney.com/f10/lsjz?callback=jQuery18306596328894644803_1571038362181&"+
"fundCode=%s&pageIndex=%s&pageSize=%s&startDate=%s&endDate=%s&_=%s";
url = String.format(url,code,pageIndex,pageSize,startTime,endTime,time);
System.out.println("url= "+ url);
System.out.println(url);
HttpRequest request = HttpUtil.createGet(url);
request.header("Referer", referer);
String str = request.execute().body();
//获取str的长度System.out.println("str="+ str);
intlength = str.length();
System.out.println("length="+ length);
//indexOf返回某个指定的字符串值在字符串中首次出现的位置intindexStart = str.indexOf("(");
System.out.println(indexStart);
//截取字符串str = str.substring(indexStart + 9, length - 90);
System.out.println(str);
//转换为Obj类型JSONObject jsonObject = JSON.parseObject(str);
System.out.println(jsonObject);
//获取数组JSONArray jsonArray = jsonObject.getJSONArray("LSJZList");
//计算数组的长度intsize = jsonArray.size();
System.out.println(size);
returnjsonArray;
}
原文:https://www.cnblogs.com/zhetiankj/p/12711971.html
java获取基金实时数据_JAVA爬取天天基金网数据相关推荐
- java 爬取数据_JAVA爬取天天基金网数据
爬取基金历史记录代码: 1.首先要自己定义几个参数:基金编码,页数,每页显示条数 开始时间结束时间等 (我这直接写的静态方法使用的 大家可以改成Test方法自行进行测试) /*** httClient ...
- python爬取flash数据_爬取flash数据
关于html爬取数据的文章已经有很多了,我今天主要和大家交流的是如何爬取flash网页的数据.这方面资料相对比较少,主要是html5兴起后现在flash站很少了,不过用于技术研究还是可以尝试一下,这篇 ...
- 用java爬取学校数据_Java爬取校内论坛新帖
Java爬取校内论坛新帖 为了保持消息灵通,博主没事会上上校内论坛看看新帖,作为爬虫爱好者,博主萌生了写个爬虫自动下载的想法. 嗯,这次就选Java. 第三方库准备 Jsoup Jsoup是一款比较好 ...
- [完整爬虫]java爬虫基础对36Kr快讯数据进行爬取以及数据筛选过滤
由于九月事件把爬虫推到风口浪尖 而我写这些只是分享技术 不涉及隐私等个人资料的获取 并且是在不会对对方服务器造成压力的情况下进行的爬取 特此声明 36Kr 也叫36氪,是一个我非常喜欢的网站,网罗天下 ...
- java取网页数据_Java抓取网页数据(原来的页面+Javascript返回数据)
转载请注明出处. 有时候因为种种原因.我们须要採集某个站点的数据.但因为不同站点对数据的显示方式略有不同! 本文就用Java给大家演示怎样抓取站点的数据:(1)抓取原网页数据.(2)抓取网页Javas ...
- java爬虫实战——实现简单的爬取网页数据
故事的开头 虽然我们程序员不干爬虫的活,但是工作中确实偶尔有需要网络上的数据的时候,手动复制粘贴的话数据量少还好说,万一数据量大,浪费时间不说,真的很枯燥. 所以现学现卖研究了一个多小时写出了个爬虫程 ...
- node爬取app数据_node爬取拉勾网数据并导出为excel文件
前言 之前断断续续学习了node.js,今天就拿拉勾网练练手,顺便通过数据了解了解最近的招聘行情哈!node方面算是萌新一个吧,希望可以和大家共同学习和进步. 一.概要 我们首先需要明确具体的需求: ...
- scrapy 异步存储mysql大量数据_scrapy爬取的数据异步存储至MySQL
以scrapy爬虫爬取简书中全部的页面详情数据为例: 1.cmd执行scrapy 创建完爬虫项目后最好为其创建一个脚本启动文件start.py 文件在项目根目录即可 from scrapy impor ...
- java获取基金实时数据_获取股票实时交易数据的方法
var hq_str_sh600151="航天机电,7.08,7.09,6.95,7.08,6.90,6.95,6.96,4368014,30484831,2900,6.95,5700,6. ...
- python爬取基金历史净值_Python爬取天天基金网历史净值数据
type 类型,历史净值用lsjz表示 code 基金代码,六位数字 sdate 开始日期,格式是yyyy-mm-dd edate 结束日期,格式是yyyy-mm-dd per 一页显示多少条记录 为 ...
最新文章
- 第七周实践项目2.3 顺序环形队列
- ICCV 2017 《Chained Cascade Network for Object Detection》论文笔记
- 优化order by语句
- boost::units模块实现测试数量之间的转换的测试程序
- php中nodethirtythree,node常用模块 - LinearLaw的个人空间 - OSCHINA - 中文开源技术交流社区...
- 前端 重构时需要注意的事项_前端数据层落地实践
- drawable文件怎么添加图片_怎么给PDF文件添加书签
- Linux中如何让进程(或正在运行的程序)到后台运行?[zz]
- 不就是SELECT COUNT语句吗,竟然能被面试官虐的体无完肤
- 屏蔽wget下载网站内容
- oracle11g导出空表
- java中随机数彩票练习_跪求下面的题目答案
- 灵派编码器HTTP API接口说明
- 计算机组成原理(LogisimVerilog部分)-笔记
- 装机大师无法发现linux硬盘,进入pe系统找不到硬盘的解决办法
- IOTSWC欧洲工业物联网解决方案大会-2019
- SE Block (Sequeze and Excitation)
- vue中处理文本不换行问题
- 读史使人明智,读诗使人灵秀,数学使人周密,科学使人深刻,伦理学使人庄重,逻辑修辞之学使人善辩:凡有所学,皆成性格。
- 进行的vistor实验