基于R+Oracle的海洋浮标数据显示系统（二）—

这两天一直在改老师的项目所以没有更新，今天更新一下博客，讲一下怎样利用R语言自动从网上获取表格形式存储的数据并且存储为.csv文件。

一、获取数据

R语言得益于其开源，所以就有很多大牛们以开发R包为乐趣，结果就是你想要什么样的功能就可以直接搜到相关的R包（想编个程序控制挖掘机炒菜的请自行解决），今天就讲一下怎样利用XML包来获取网上的数据。当然还有很多跟高端的包，比如说RCurl、RVEST等。

首先需要安装和加载XML包，之后就可以直接获取网络数据，就跟读取本地文件是一样一样的。

library（XML）

webpage <-paste("http://www.ndbc.noaa.gov/data/5day2/",No[i],"_5day.txt",sep = "")# the address of the webpage
tables <- read.table(webpage,stringsAsFactors = FALSE) #read the data

将你想要获取的数据的网址赋值给一个变量方便使用，直接读取table后数据就会存放到tables（自行指定）里面，接下来就是将数据写到.CSV文件里面，如果要指定位置的话请指定存储路径或者利用setwd()函数对工作空间进行指定。

write.csv(tables,paste("",No[i],".csv",sep = "")) #export the data to a file(.csv)

我这里是获取的好几个文件，所以用paste构建字符串。

总的程序代码：

library(XML)
Sys.setlocale(category = "LC_ALL", locale = "us")
No <- c("32ST0","41NT0","51WH0")
for(i in 1:3)
{
webpage <-paste("http://www.ndbc.noaa.gov/data/5day2/",No[i],"_5day.txt",sep = "")# the address of the webpage
tables <- read.table(webpage,stringsAsFactors = FALSE) #read the data
names(tables) <- c("YEAR","MONTH","DAY","HOUR","MINUTE","WDIR",
"WSPD","GST","WVHT","DPD","APD","MWD","PERS","PTDY",
"ATMP","WTMP","DEWP","VIS","TIDE")#assign the names of the data

write.csv(tables,paste("",No[i],".csv",sep = "")) #export the data to a file(.csv)
}
注：第二句话是设定本地参数的，没有貌似会出问题。

二、手动导入Oracle

在数据库中新建几张数据表，然后将.CSV格式的文件导入进数据库，在导入的时候请选择按照名称（.CSV文件中字段名称和数据库字段名称一致）导入或者按照位置导入，数据导入成功之后就可以进行下一步操作了，具体数据表的创建请自行百度。

PS：直接copy程序可能存在中英文输入法的问题，如语句不能正确执行，请考虑输入法问题。

基于R+Oracle的海洋浮标数据显示系统（二）——网络爬虫程序和自动导入相关推荐

基于深度学习的海洋动物检测系统（Python+YOLOv5+清新界面）
摘要:基于深度学习的海洋动物检测系统使用深度学习技术检测常见海洋动物,识别图片.视频和实时视频中的海洋动物,方便记录.展示和保存结果.本文详细介绍海洋动物检测系统,在介绍算法原理的同时,给出Pytho ...
基于51单片机轮胎胎压监测系统-压力传感器（仿真+程序+报告）
本设计: 基于51单片机轮胎胎压监测系统-压力传感器(仿真+程序+报告) Proteus仿真版本:proteus7.8 程序编译器:keil 4 编程语言:C语言编号C0018 ----本设计分享下 ...
通过Dapr实现一个简单的基于.net的微服务电商系统(二)——通讯框架讲解
首先感谢张队@geffzhang公众号转发了上一篇文章,希望广大.neter多多推广dapr,让云原生更快更好的在.net这片土地上落地生根. 书接上回通过Dapr实现一个简单的基于.net的微服务电 ...
（实际开发大数据分析系统）网络爬虫获取数据与销售数据分析系统
大数据分析应用系统的完整开发过程分为数据采集.数据存储.数据计算和数据分析和展示四个部分. 数据采集:WebCollector框架数据存储:SQL 数据计算: 数据分析和展示:Java EE 流程就 ...
基于单片机的北斗定位无人机救火系统（两种程序：单片机与android系统app程序源码）
功能: 本次设计是一个基于北斗定位的无人机灭火系统,本次设计主要通过北斗系统定位,能够将获取到的位置信息通过无线通讯技术传输到无人机上,进行火灾救援.本次设计需求主要为一下几点: 北斗定位获取火灾位置 ...
java计算机毕业设计基于安卓Android的高校校园跑腿系统app uniapp 小程序
项目介绍随着计算机技术的发展,带来社会各行业的进步,信息化逐渐运用到人们的生活中,电子商务的发展又促进了快递行业的诞生,由此延伸出相应的跑腿业务,特别是在校园内最后一公里为模式的平台迅速发展起来.为 ...
oracle ctl文件7c1b,批量生成控制文件，用sqlldr自动导入多个表的数据
生成控制文件准备工作: SQL>set colsep ' '; //-域输出分隔符SQL>set echo off; //显示start启动的脚本中的每个sql命令,缺省为onSQL&g ...
基于Python实现的新闻网络爬虫程序（附完整代码）
1.2 概要本文档针对以下三个方面进行了详细说明: 架构说明,对新闻网络爬虫的核心架构进行描述,供开发人员在开发或升级应用时参考部署说明,对新闻网络爬虫的部署步骤进行描述,供部署人员进行应用部署或 ...
基于fiddler的网络爬虫校园网自动登陆系统
最近校园网(需要WEB登陆)不太稳定,总是掉线,于是想写一个基于网络爬虫的校园网自动登陆系统,让程序自动每隔一段时间自动检测网络连通性,查了一些资料,最后用了Fiddler软件进行网络监听,对网页ht ...

基于R+Oracle的海洋浮标数据显示系统（二）——网络爬虫程序和自动导入

基于R+Oracle的海洋浮标数据显示系统（二）——网络爬虫程序和自动导入相关推荐

最新文章

热门文章