谷歌GDELT数据下载代码

对代码进行了修改，从python2调整为python3，并对代码进行了优化。20210515

在上一篇博客谷歌GDELT数据说明中，我对GDELT数据进行了说明，在这篇文档中直接上代码，有需要的可以直接使用并下载数据，有问题欢迎留言。

GDELT提供了好几种数据，包括gkg、event、mentions等数据，我在代码中下载的是event数据，可以自己修改原始链接，代码应该可以通用，原理是一样的。

###需要注意，数据量较大，截止到2017.7.18全部下载下来需要150多GB，所以下载的时候最好下载到硬盘中，免得电脑内存不足。

# -*-coding:utf-8-*-
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import zipfile
import sys
import multiprocessing
import random
import ospath = os.path.split(os.path.abspath(__file__))[0] + os.sep  # 获取当前文件所在目录
data_folder = path + 'data' + os.sepdef get_url_list(url):'''获取页面下的所有url，保存到url_list.txt中，并返回url_list'''html = requests.get(url).textsoup = BeautifulSoup(html, 'lxml')url_list = []for li in soup.body.ul.find_all('li'):href = 'http://data.gdeltproject.org/events/' + li.a['href']url_list.append(href)print(len(url_list))with open(path + 'url_list.txt', 'w') as f:for url in url_list[3:-1]:  # 前三个url和最后一个不是我们需要的数据，故跳过f.write(url + '\n')return url_list[3:-1]def get_url_data(url):global data_folderif not os.path.exists(data_folder):os.mkdir(data_folder)  # 若文件夹不存在，则主动创建filename = url.split('/')[-1]  # 从url链接中获取文件名称filepath = data_folder + filenameif os.path.exists(filepath) or os.path.exists(filepath[:-4]):  # 若文件已下载，则跳过print('文件%s已存在' % filename)returnprint(filename)try:data = requests.get(url)with open(filepath, "wb") as f:f.write(data.content)fz = zipfile.ZipFile(filepath, 'r')fz.extract(fz.namelist()[0], data_folder) #解压下载下来的zip文件夹fz.close()if os.path.exists(filepath):os.remove(filepath)  # 删除zip文件夹，只保存解压后的数据except Exception as e:print(e)log = open(path + 'log.txt', 'a')log.write(url + '\n')def download():url = 'http://data.gdeltproject.org/events/index.html'print('获取文件链接', datetime.now())url_list = get_url_list(url)print('下载文件数据', datetime.now())pool = multiprocessing.Pool()  # 开启进程池，使用多进程提高下载速度pool.map(get_url_data, url_list)if __name__ == '__main__':download()

谷歌GDELT数据下载代码相关推荐

谷歌高程数据下载工具
BIGEMAP在线帮助系统如何下载高清卫星影像资料如何获取高程/地形/等高线数据在线标注导入\导出高清卫星影像矢量等高线/高程 (点线面)标绘测量数据完美套合卫星图像卫星图像导入.导出 ...
Google Earth Engine(GEE)批量下载代码（以 NDVI数据为例）
下载数据先准备工作(具体细节都能查到):科学上网谷歌邮箱,谷歌邮箱注册GEE账号. 一:导入需要下载边界shp文件. 标题找到自己的shp文件,导入除了sbx文件的所有文件. 导入成功命名ass ...
python调用yolov3模型,pytorch版yolov3训练自己的数据（数据，代码，预训练模型下载链接）...
1.数据预处理准备图片数据(JPEGImages),标注文件(Annotations),以及划分好测试集训练集的索引号(ImageSets) 修改代码中voc_label.py文件中的路径以及类别, ...
实用工具|零代码实现高德地图POI数据下载
1 工具获取方式点击下面链接,即可获取地理坐标系转换工具地理坐标系转换工具 2 工具介绍高德地图POI数据下载工具(下文称该工具)是一款能够让用户在不写代码的前提下实现高德地图POI数据批量下载 ...
26 页高清大数据开发代码速查表，提升效率必备！【可下载】
在各大互联网公司高价抢夺数据人才的环境下,为谋求长期发展.获得高薪,很多人转行到了大数据领域.这条路人才虽缺,但要成为优秀大数据工程师并不轻松:别的不说,光学习新技术,巩固旧知识,就需要耗费大量时间精 ...
谷歌地球如何下载使用高程数据
BIGEMAP等高线(高程)使用教程 BIGEMAP高程数据主要特点: 覆盖全球 (任意范围下载) 精度准确等高线细腻效果好高程矢量数据可编辑支持AutoCAD/南方CASS (DXF.DWG. ...
tcga数据下载_零代码下载TCGA数据库第一期
TCGA数据库目前是科研中最常用的数据库之一,其中储存着多种疾病的各组学的数据,借助该数据库,帮助了很多研究生们发表了自己的文章,达到了毕业条件.但是,如果你是刚入门的新手,不用担心,跟着我们的系列推 ...
从谷歌官网下载android 6.0源码、编译并刷入nexus 6p手机
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/fuchaosz/article/details/52473660 1 前言经过一周的奋战,终于从谷 ...
谷歌AI论文BERT双向编码器表征模型：机器阅读理解NLP基准11种最优(公号回复“谷歌BERT论文”下载彩标PDF论文)
谷歌AI论文BERT双向编码器表征模型:机器阅读理解NLP基准11种最优(公号回复"谷歌BERT论文"下载彩标PDF论文) 原创: 秦陇纪数据简化DataSimp 今天数据简化 ...

谷歌GDELT数据下载代码

谷歌GDELT数据下载代码相关推荐

最新文章

热门文章