网页抓取--3(定时器)
package com.xingcai;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
运用定时器,不停的发送请求抓取数据
public class GetYinInfo extends TimerTask {
private void getCOMEXInfo() throws IOException{
String res = "";
SimpleDateFormat dateformat=new SimpleDateFormat("HH:mm:ss");
String df=dateformat.format(new Date());
URL url = new URL("https://www.baidu.com/");
java.net.HttpURLConnection conn = (java.net.HttpURLConnection) url.openConnection();
conn.connect();
BufferedReader bf = new BufferedReader(new InputStreamReader(
conn.getInputStream(), "GBK"));
String line;
while ((line = bf.readLine()) != null) {
res += line;
}
String AGTD[]=res.split(",");
String re[]=AGTD[0].split("");
System.out.println("COMEX "+df+":"+re[1]);
bf.close();
}
private void getTDInfo() throws IOException{
String res = "";
SimpleDateFormat dateformat=new SimpleDateFormat("HH:mm:ss");
String df=dateformat.format(new Date());
URL url = new URL("https://www.baidu.com/");
java.net.HttpURLConnection conn = (java.net.HttpURLConnection) url.openConnection();
conn.connect();
BufferedReader bf = new BufferedReader(new InputStreamReader(
conn.getInputStream(), "GBK"));
String line;
while ((line = bf.readLine()) != null) {
res += line;
}
String AGTD[]=res.split(",");
String re[]=AGTD[0].split("");
System.out.println("AG "+df+":"+re[1]);
bf.close();
}
@Override
public void run() {
try {
getCOMEXInfo();
getTDInfo();
System.out.println("---------------------------------------------");
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* @param args
*/
public static void main(String[] args) {
Timer timer = new Timer();
TimerTask t1 = new GetYinInfo();
// 1000毫秒后,每隔1000毫秒运行一次t1任务
timer.schedule(t1, 1000, 5000);
/*
* try { Thread.sleep(10000); } catch (InterruptedException e) {
* e.printStackTrace(); } timer.cancel();
*/
}
}
网页抓取--3(定时器)相关推荐
- 用Python构建网页抓取器
借助使用Python构建的尖端网页抓取技术,启动您的大数据项目 Scrape the Planet! Building Web Scrapers with Python 你会学到什么 如何理论化和开发 ...
- 一段使用cURL实现的网页抓取源码,支持POST,Cookies,代理,自定义头.
为什么80%的码农都做不了架构师?>>> <?php /*** 名称:cURL网页抓取* 版本:v0.3* 作者:吣碎De人(http://www.qs5.org)* 最 ...
- python爬虫怎么爬同一个网站的多页数据-如何用Python爬数据?(一)网页抓取
如何用Python爬数据?(一)网页抓取 你期待已久的Python网络数据爬虫教程来了.本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel. 需求 我在公众号后台,经常可以收到 ...
- 有关网页抓取问题的一些经验总结 - passover【毕成功的博客】 - 51CTO技术博客
有关网页抓取问题的一些经验总结 - passover[毕成功的博客] - 51CTO技术博客 有关网页抓取问题的一些经验总结 2011-05-05 18:07:38 标签:爬虫 网页抓取 在写爬虫的时 ...
- 一个小型的网页抓取系统的架构设计
一个小型的网页抓取系统的架构设计 网页抓取服务是互联网中的经常使用服务.在搜索引擎中spider(网页抓取爬虫)是必需的核心服务.搜索引擎的衡量指标"多.快.准.新"四个指标中,多 ...
- python3爬取网易云歌单数据清洗_网页抓取网易云音乐及评论数据分析
网页抓取网易云音乐及评论数据分析 游贤 成都理工大学信息科学与技术学院 [摘 要] 摘要:为了分析网易云音乐中哪些歌曲是热门歌曲,哪些歌曲的评论 最多,从而了解到人们对于不同音乐类型的喜爱程度,采用成 ...
- 代理服务器ip地址如何获得_详细教程:如何使用代理服务器进行网页抓取?
全文共2136字,预计学习时长7分钟 图源:Unsplash 万维网是数据的宝库.大数据的易得性.数据分析软件的迅猛发展以及日益廉价的计算能力进一步提高了数据驱动战略对竞争差异化的重要性. 据Forr ...
- python爬取数据案例分析_基于Python及webdriver的网页抓取案例
上次有朋友问怎么抓取交易所网站的数据,特别是历史数据,这里特别推荐使用selenium这一自动化测试框架. 原本selenium是用来完成大量基于浏览器的自动化测试的,但由于可以方便地执行JS代码,摸 ...
- 实现织梦dedecms百度主动推送(实时)网页抓取
做百度推广的时候,如何让百度快速收录呢,下面提供了三种方式,今天我们主要讲的是第一种. 如何选择链接提交方式 1.主动推送:最为快速的提交方式,推荐您将站点当天新产出链接立即通过此方式推送给百度,以保 ...
- python3一个简单的网页抓取
python3一个简单的网页抓取 都是学PYTHON.怎么学都是学,按照基础学也好,按照例子增加印象也好,反正都是学 import urllib import urllib.requestdata={ ...
最新文章
- 大规模数据库的性能改善方法之一 数据分割
- gorm 密码字段隐藏_非常专业且免费的密码管理工具
- Linux下做一个arp欺骗程序6,LINUX下防ARP欺骗攻击
- [react] render函数中return如果没有使用()会有什么问题?
- 前端学习(2477):封装数据接口
- 《循序渐进学Spark》一1.7 本章小结
- .NET 正则验证邮箱
- 微软官方地址下载sql 2000简体中文企业版(含SP3 SP4 下载地址)
- 计算机主机的三大部分,计算机系统的三大组成部分
- GB2312编码规则与代码实现
- Linux网络编程 - 在服务器端运用进程间通信之管道(pipe)
- 使用redis实现排行榜
- Linux中make, make install命令分别是什么,用法?
- 招行一网通 java桥_招行一网通支付接入
- 黑客历程碑事件编年史
- L2-037 包装机
- the system can not open the device or file specified解决方案
- MySQL的not exists与双重否定(模板)
- 深信服服务器装系统,深信服新上网行为管理系统安装调试手册[1].doc.docx
- 【读书笔记】《王道论坛计算机考研机试指南》第七章