第八章：在Spark集群上掌握比较重要的图操作之Property Operators（1）

本部分的内容专注于集群上Property Operator的内容，其中比较重要的就是mapVertices、mapEdges和mapTriplets，即对顶点进行map、对边进行map、对Triplets进行map，在Graph中其方法分别如下所示：

首先来看一下graph实例中的10个元素的具体的值：

可以看到这个10个顶点元素中每个顶点元素的属性值都是1，这个是源码设定的。

下面我们把每个顶点的元素的值都变成2，当然这样做没有实际意义，只是试验用途：

查看一下每个顶点的属性都变成2：

可以发现都变成了2，这也证明了我们的操作是成功的。

我们也可以使用以下优化的方式实现上述同样的功能，只不过此时是把每个顶点的属性变成了3：

查看一下变成3以后的结果：

第八章：在Spark集群上掌握比较重要的图操作之Property Operators（1）相关推荐

第八章：在Spark集群上掌握比较重要的图操作之Property Operators（2）
从结果上看是符合我们预期的. 如果要对边进行操作,基本和前面一样,首先我们看一下边元素的具体信息: 此时我们把所有的边的属性变成2并查看其执行结果: 上述操作的attr是来自Edge的属性,其源码 ...
第九章：在Spark集群上掌握比较重要的图操作之Structural Operators
Spark GraphX中属于Structural Operators的操作主要有reverse.subgraph.mask.groupEdges等几种函数,他们在Graph中的源码分别如下所示: 上 ...
第十章：在Spark集群上掌握比较重要的图操作之Computing Degree
Degree是离散数学的概念,在Spark GraphX中把Degree分为inDgrees.outDegrees.degrees等三种不同的degree,以下图为例: 在上面这张图中,顶点5的inD ...
anaconda3环境整体打包放在Spark集群上运行
一.将虚拟Python环境打包创建好环境后,进入到环境所在的文件夹,例如环境是/home/hadoop/anaconda3/envs, cd到envs下,使用打包命令将当前目录下的文件打成zip包: ...
使用Python+jieba和java+庖丁分词在Spark集群上进行中文分词统计
写在前边的话: 本篇博客也是在做豆瓣电影数据的分析过程中,需要对影评信息和剧情摘要信息进行分析而写的一篇博客以前学习hadoop时,感觉做中文分词也没那么麻烦,但是到了Spark,却碰到了诸多困难, ...
第七章：在Spark集群上使用文件中的数据加载成为graph并进行操作（3）
你可以调整graph的构造参数来指定partition的数量. 当数据加载完毕的时候整个web-Googel.txt就缓存进了内存之中,如下所示: 可以看到数据被缓存成了edges. 下面我们使用把m ...
第七章：在Spark集群上使用文件中的数据加载成为graph并进行操作（2）
Spark-shell启动后我们可以在控制台看到起运行信息: 点击作业ID即可查看Spark shell运行信息: 下面我们就开始在集群上通过读取hdfs文件的方式来构建graph对象,首先要做的就是 ...
spark集群访问mysql_spark连接数据源以及在spark集群上跑
1.spark连接mysql import org.apache.spark.SparkConf import org.apache.spark.sql.{SaveMode, SparkSession ...
pythonspark集群模式运行_有关python numpy pandas scipy 等能在YARN集群上运行PySpark
有关这个问题,似乎这个在某些时候,用python写好,且spark没有响应的算法支持, 能否能在YARN集群上运行PySpark方式, 将python分析程序提交上去? Spark Applicat ...

第八章：在Spark集群上掌握比较重要的图操作之Property Operators（1）

第八章：在Spark集群上掌握比较重要的图操作之Property Operators（1）相关推荐

最新文章

热门文章