异质引文网络DBLP数据集（from AMiner）

DBLP 下载网站：
https://www.aminer.cn/citation

DBLP-Citation-network V13版本

5,354,309 #paper
48,227,950 #Citation Relationship
DBLP+Citation [2021-05-14]

解压得到json文件

由于python的json包只能处理字符串，所以需要对原始数据集的所有数据转成字符串

图中year的value非字符串类型

处理代码如下：

import redef readChunk(path,out_path,chunk_size=1024*1024*100):chunk_count=0with open(path,'r',encoding='utf-8') as fp:while True:chunk=fp.read(chunk_size) #读取一个chunk的数据############################################处理，写入新文件with open(out_path,'a',encoding='utf-8') as fo:#回调函数repldef repl(m):return (m.group(1).replace('NumberInt(', '"') + m.group(2) + m.group(3).replace(')', '"'))#中间部分的数字不需要替换pattern = re.compile(r"(NumberInt[(])(\d+)([)])")result=re.sub(pattern, repl, chunk)fo.write(result)chunk_count+=1if not chunk:breakreturn chunk_countpath=r'D:\ZHW-FILE\dblp.v13\dbpl-test.json'
out_path=r'D:\ZHW-FILE\dblp.v13\dbpl-test.json-new.json'
chunk_count=readChunk(path,out_path,chunk_size=1024*1024*200)
print('dblp processing finished')
print('chunk_count',chunk_count)

其中 path设置为dblp数据集的路径，out_path为处理完的dblp数据集。

处理完之后还不行，在使用python json包后还是报错，报错原因为文件的83576699行18列出现非字符串类型。使用EmEditor文本编辑器定位。发现错误，修改保存。

获取2010-2021年份的数据集

# 数据路径
import json
path = r"D:\ZHW-FILE\dblp.v13\dblpv13_new.json"
outpath=r'D:\ZHW-FILE\dblp.v13\dblpv13_new(2010-2021).json'# 读取文件数据
with open(path, "r",encoding='utf-8') as f:row_data = json.load(f)
print('加载dblp数据完毕')# 读取每一条json数据,保存在data_list
data_list=[]
for d in row_data:if 'year' in d:if int(d['year'])>=2010:data_list.append(d)else:print('find a data no have year')print(d)with open(outpath, 'w',encoding='utf-8') as fw:json.dump(data_list, fw)print('写入dblp数据（2010-2021）完毕')

path为上一步修改后的V13数据集，outpath为自定义保存的路径。

读取指定年份json文件

import jsonpath = r"D:\ZHW-FILE\dblp.v13\dblpv13_new(2010-2021).json"
with open(path, 'r', encoding='utf-8') as f:dicts = json.load(f)print('total paper numbers= ',len(dicts))

异质引文网络DBLP数据集（from AMiner）相关推荐

图网络常用数据集总结——Cora, CiteSeer, PubMed, PPI, BlogCatalog, Yelp
Cora数据集(引文网络)由机器学习论文组成,是近年来图深度学习很喜欢使用的数据集.该数据集共2708个样本点,每个样本点都是一篇科学论文,所有样本点被分为8个类别,类别分别是: 1)基于案例:2)遗 ...
DBLP数据集简介及简单用法
前一段时间利用大名鼎鼎的DBLP数据集做关于论文合作关系推荐的实验,感觉确实是一个非常不错的数据集,可挖掘的东西很多很多,在此对DBLP及其用法做一个简单介绍. 简介 DBLP--Digital Bi ...
【知识网络分析】引文网络（citation）
引文网络(citation) 1 读取本地文献并构建引文网络数据集 2 网络数据集精简 3 剔除孤立点方法封装 4 网络图美化 5 社团群体划分并结合色谱图显示 6 网络节点中心度相关指标计算 1 读 ...
搭建SGC实现引文网络节点预测(PyTorch+PyG)
目录前言数据集模型实现 PyTorch实现 PyG实现实验结果完整代码前言 SGC的原理比较简单,具体请见:ICML 2019 | SGC:简单图卷积网络数据集数据集采用节点分类常用的 ...
DBLP数据集用weka数据挖掘 xml转csv格式文件
DBLP数据集用weka数据挖掘 xml转csv格式文件写在前面 xml转csv格式文件数据预处理 weka数据挖掘写在前面之前做了中国科学院大学的一门研讨课<数据挖掘技术与应用> ...
python:文献引文网络构建——基于web of science
除了文献内容的文本特征外,文献之间的引文关系也是判断它们之间相似度的重要依据. 观察WOS中下载数据中的CR字段,是每篇文献的参考文献情况: 从图中可以看出,WOS是通过文献的DOI来标注参考文献的, ...
weka dblp数据集挖掘
weka dblp数据集挖掘) 任务描述:DBLP数据集作者关系挖掘 DBLP数据集是一个XML格式文件,这里可以下载压缩数据集 18年11月数据包大小约为2g,txt打不开这么大的文件,想看的话可以 ...
网络安全相关数据集下载
网络安全相关数据集介绍与下载原创 Asia-Lee 发布于2018-11-20 09:45:19 阅读数 3269 收藏更新于2019-07-06 22:04:42 分类专栏: 网络安全版权声明 ...
pytorch基于GAN生成对抗网络的数据集扩充
文章目录前言一.GAN基本原理 1.结构图 2.目标函数二.实现 1.实现流程图 2.实例 2.1采集少量原始数据 2.2GAN模型训练(注意修改图片路径) 2.3用训练好的模型扩充数据集(生成 ...

异质引文网络DBLP数据集（from AMiner）

DBLP-Citation-network V13版本

获取2010-2021年份的数据集

读取指定年份json文件

异质引文网络DBLP数据集（from AMiner）相关推荐

最新文章

热门文章