关系代数

概念

R(A1,A2,...,An)R(A_1,A_2,...,A_n)R(A1,A2,...,An)表示关系的名称是RRR,其属性是A1,A2,...,AnA_1,A_2,...,A_nA1,A2,...,An。
例如Link关系中有两个属性From和To，一个元组(url1,url2)(url1,url2)(url1,url2)表示从链接1指向链接2。

选择(selection) 筛选关系R中符合条件C的元组，记为：σC(R)\sigma_C(R)σC(R)。
投影(projection) 得到每个元组中仅包含属性S的原色，记为：πS(R)\pi_S(R)πS(R) 。
并(union)交(intersection)和差(difference)
自然连接(natural join) 给定两个关系，如果两个元组的公共属性的属性值一致，则两个元组取并生成一个新的元组。记为R⋈SR\Join SR⋈S
分组和聚合(grouping and aggregation) 给定关系R，分组是按照属性集合G对元组进行分割。常见的聚合运算有SUM,COUNT,AVG,MIN,MAX。记为γX(R)\gamma_X(R)γX(R)，其中XXX是一个元素表，每个元素可以是一个分组属性，也可以是表达式θ(A)\theta(A)θ(A)，其中θ\thetaθ是聚合运算，AAA是一个非分组属性。

例子

使用Link关系寻找Web中长为2的路径。
L1和L2分别是Link的副本，计算L1⋈L2L1\Join L2L1⋈L2,产生一个连接后的关系，(U1,U2,U3)，只取首尾的属性，写作πU1,U3(L1⋈L2)\pi_{U1,U3}(L1\Join L2)πU1,U3(L1⋈L2)
计算社交网络中的朋友个数。关系：Friends(User,Friend)
先按照User字段进行分组，每一个组内统计Friend字段的数量。
具体的运算为γUser,COUNT(Friend)(Friends)\gamma_{User,COUNT(Friend)}(Friends)γUser,COUNT(Friend)(Friends)。

MapReduce上的关系代数运算

选择运算

Map函数： 对R中的每个元组t，检测它是否满足C。如果满足，则产生一个键-值对(t,t)。
Reduce函数： 作用类似恒等式，仅仅传递结果至输出部分。

投影运算

Map函数： 对R中的每个元组t，剔除不在S中的字段得到t‘，输出键-值对(t’,t’)。
Reduce函数： (t’.t’)有可能重复，Reduce函数将(t’,[t’,t’,…,t’])转换成(t’,t’)。

并、交和差运算

并

考虑R和S的并，将R或S中的文件块分配给Map任务。
Map函数： 将每个输入元组变成键-值对(t,t)。
Reduce函数： 剔除冗余，保证每个键只有一个值。

交

只输出有两个值对键
Map函数： 将每个输入元组变成键-值对(t,t)。
Reduce函数： 如果键t的值表为[t,t],则输出(t,t)。

差

R-S，只有出现在R中但不出现在S中的元组，计算时需要告知每个元组来自R还是S。
Map函数： 对R中的元组t，产生键-值对(t,R)，同理产生(t,S)。
Reduce函数： 对每个键t，值表是[R]，则输出(t,t)。

自然连接运算

Map函数： 对于R中的每个元组(a,b)，生成键-值对(b,(R,a))，对S中的每个元组(b,c),生成键-值对(b,(S,c))。
Reduce函数： 每个键值b会与一系列对相关联，输出三元组(a,b,c)。

分组和聚合运算

假定对关系R(A,B,C)R(A,B,C)R(A,B,C)施加运算γA,θ(B)(R)\gamma_{A,\theta(B)}(R)γA,θ(B)(R)，Map函数主要负责分组运算，而Reduce函数则负责聚合运算。
Map函数： 对每个元组(A,B,C)生成键-值对(a,b)。
Reduce函数： 每个键a代表一个分组，关联的键值[b1,b2,…,bn]施加θ\thetaθ运算，输出结果(a,x)(a,x)(a,x)对，x是应用运算后对结果。

MapReduce的关系代数运算相关推荐

MapReduce关系代数运算
常见关系代数运算包括:选择.投影.并.交.差以及自然连接操作等,都可以十分容易利用MapReduce框架进行并行化计算关系R NAME SEX AGE 小明男 25 小红女 18 小张男 22 ...
MapReduce关系代数运算——差
MapReduce关系代数运算--差关系沿用上一个选择运算的关系R和S,StudentR类也是一致的,本博文中就不赘述了. MapReduce程序设计 DifferenceMap import or ...
MapReduce关系代数运算——投影
MapReduce关系代数运算--投影关系沿用上一个选择运算的关系R,StudentR类也是一致的,本博文中就不赘述了. MapReduce程序设计 Projection import org.ap ...
MapReduce关系代数运算——选择
MapReduce关系代数运算常见的MapReduce关系代数运算有:选择.投影.并.交.差以及自然连接操作等,本文将介绍选择运算.后续博文介绍其他运算. 关系R 关系R id name age g ...
MapReduce 基础算法【关系代数运算】
关系代数运算 MapReduce可以在关系代数的运算上发挥重要的作用,因为关系代数运算具有数据相关性低的特性,这使得其便于进行MapReduce的并行化算法设计. 常见的关系代数运算包括选择.投影.并 ...
MapReduce关系代数运算——自然连接
MapReduce关系代数运算--自然连接关系沿用之前的R. 创建两个文件表1 student id name sex age 1 Amy female 18 2 Tom male 19 3 Sa ...
mysql将sql转为关系代数_关系数据库基础：关系代数运算知识笔记
1.关系代数运算符集合运算符:并(U).差(-).交(∩).笛卡尔积(×) 专门的关系运算符:选择(∂).投影(π).连接(∞).除(÷) 算术比较符:大于(>).大于等于(≥).小于(< ...
计算机二级关系代数运算知识点,计算机二级：关系代数运算.doc
精品文档 . 公共基础专题探究--关系代数运算序号高频考点 1 自然连接:一种特殊的等值连接,它要求两个关系中进行比较的分量必须是相同的属性组,并且在结果中把重复的属性列去掉自然连接满足下面的条 ...
关系代数运算_关系代数
关系代数运算 When working with the relational model, we have 2 groups of operations we can use. 使用关系模型时 ,我 ...

MapReduce的关系代数运算