3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1
机器学习里矩阵是必不可少的,无论Python、Java能做机器学习的语言,都会提供比较优质的矩阵库。
spark mllib中提供的矩阵库是Breeze,可以简单看看Breeze库的情况。
ScalaNLP是一套机器学习和数值计算的库,主要是关于科学计算、机器学习和自然语言处理(NLP)的,里面包含三个库,Breeze、Epic和Puck。
其中Breeze是机器学习和数值计算库,Epic是一种高性能统计分析器和结构化预测库,Puck是一个快速GPU加速解析器。
本篇就是来看看Breeze的用法。
1 Breeze创建矩阵、向量
创建向量:
//创建全0的向量val v1 = DenseVector.zeros[Double](5)println(v1)//创建全1的向量val v2 = DenseVector.ones[Double](5)println(v2)//用某个值填充整个向量val v3 = DenseVector.fill(3){5}println(v3)//创建某个范围内的向量,参数分别是start、end、step(可不填)val v4 = DenseVector.range(1, 10, 2)println(v4)//按照行创建向量val v5 = DenseVector(1, 2, 3, 4)println(v5)//向量转置,就是把行向量转为列向量val v6 = DenseVector(1, 2, 3, 4).tprintln(v6)//从数组创建向量val v7 = DenseVector(Array(1, 2, 3, 4))println(v7)//0到1的随机向量,参数是数量val v8 = DenseVector.rand(4)println(v8)//从函数创建向量val v9 = DenseVector.tabulate(3){i => 2 * i}println(v9)
根据注释,基本可以猜到结果是什么。下面看结果:
DenseVector(0.0, 0.0, 0.0, 0.0, 0.0)
DenseVector(1.0, 1.0, 1.0, 1.0, 1.0)
DenseVector(5, 5, 5)
DenseVector(1, 3, 5, 7, 9)
DenseVector(1, 2, 3, 4)
Transpose(DenseVector(1, 2, 3, 4))
DenseVector(1, 2, 3, 4)
DenseVector(0.712553382031057, 0.7818284949827337, 0.55561285848614, 0.9092804939652446)
DenseVector(0, 2, 4)
创建矩阵:
//创建全0的矩阵,2行3列val m1 = DenseMatrix.zeros[Double](2, 3)println(m1)//单位矩阵,对角线为1,其他全为0val m2 = DenseMatrix.eye[Double](3)println(m2)//对角矩阵,用给定的值作为对角线,其他全为0val m3 = diag(DenseVector(1, 2, 3))println(m3)//按照行创建矩阵val m4 = DenseMatrix((1, 2, 3), (4, 5, 6))println(m4)//从数组创建矩阵val m5 = new DenseMatrix(2, 3, Array(1, 2, 3, 4, 5, 6))println(m5)//0到1的随机矩阵val m6 = DenseMatrix.rand(2, 3)println(m6)//从函数创建矩阵val m7 = DenseMatrix.tabulate(2, 3) {case(i, j) => i + j}println(m7)
结果是:
2 Breeze访问矩阵元素
前面是各种方式创建矩阵和向量的代码,这里来看看如何访问元素。
val v = DenseVector(Array(1, 2, 3, 4, 5, 6))//-1是末位,其他的v(0)println(v(-1))//指定坐标范围println(v(0 to 4))//按照指定步长取子集println(v(4 to 0 by -1))println(v(1 to -1))val m = DenseMatrix((1, 2, 3),(4, 5, 6))//指定矩阵的位置println(m(0, 1))//指定列println(m(::, 1))
结果是:
6
DenseVector(1, 2, 3, 4, 5)
DenseVector(5, 4, 3, 2, 1)
DenseVector(2, 3, 4, 5, 6)
2
DenseVector(2, 5)
3 Breeze元素操作
元素的操作有很多种,譬如赋值、矩阵转换、调整形状、连接矩阵等。
操作名称 | Breeze函数 |
调整矩阵形状 | a.reshape(3,2) |
矩阵转成向量 | a.toDenseVector |
矩阵复制 | a.copy |
取对象线元素 | diag(a) |
给子集赋数值 | a(1 to 4) := 5.0 |
给子集赋向量 | a(1 to 4) :=DenseVector(1,2,3) |
矩阵赋值 | a(1 to 3,1 to 3) := 5.0 |
矩阵列赋值 | a(::,2) := 5.0 |
垂直连接矩阵 | DenseMatrix.vertcat(a.b) |
横向连接矩阵 | DenseMatrix.horzcat(d,e) |
向量连接 | DenseVector.vertcat(a,b) |
我们来看看各个功能:
定义一个初始的矩阵,4行3列
val m = DenseMatrix((1, 2, 3), (4, 5, 6), (7, 8, 9), (10, 11, 12))
1 2 3
4 5 6
7 8 9
10 11 12
1.
//转成vector向量val denseVector = m.toDenseVectorprintln(denseVector)
结果是:
DenseVector(1, 4, 7, 10, 2, 5, 8, 11, 3, 6, 9, 12)
注意一下这个结果,将矩阵转为向量时,是按照列的顺序依次获取所有元素组成一个向量的。
2.
//形状变成3行4列val reshape = m.reshape(3, 4)
结果是:
1 10 8 6
4 2 11 9
7 5 3 12
可以看到,矩阵变形时也是按照列从上到下从左到右依次填满矩阵的。
3.
然后看一下diag,取对角线元素。
val m1 = DenseMatrix((1, 2, 3), (4, 5, 6), (7, 8, 9))//取对角线元素val diagM1 = diag(m1)println(diagM1)
结果如下图,需要注意的是,diag只支持行列数一样的矩阵,譬如3行3列。而3行4列的就无法使用该函数了。
DenseVector(1, 5, 9)
4.
修改某一列的值
//将第二列的值变成5m1(::, 2) := 5println(m1)
结果:
1 2 5
4 5 5
7 8 5
5.
给某个行列区间赋值
//矩阵赋值,从第二行到第三行,第二列到第三列赋值为5m1(1 to 2, 1 to 2) := 5println(m1)
结果:
1 2 3
4 5 5
7 5 5
6.
垂直连接矩阵
//垂直连接矩阵val a1 = DenseMatrix((1, 2, 3), (4, 5, 6))val a2 = DenseMatrix((7, 8, 9))val a1a2 = DenseMatrix.vertcat(a1, a2)println(a1a2)
结果:
1 2 3
4 5 6
7 8 9
可以看到两个矩阵垂直连接时,只有列数相同就可以,行数不必相同。同理,横向连接时
7.
横向连接矩阵
//横向连接矩阵val b1 = DenseMatrix((1, 2, 3), (4, 5, 6))val b2 = DenseMatrix((7, 8, 9), (10, 11, 12))val b1b2 = DenseMatrix.horzcat(b1, b2)println(b1b2)
结果是:
1 2 3 7 8 9
4 5 6 10 11 12
3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1相关推荐
- 机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
- 机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦.因此我们需要其他的 ...
- 机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念.今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解 ...
- 机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中,不时会使用矩阵向量求导的方法来简化公式推演,但是并没有系统性的进行过讲解,因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的.这里准备用几篇博文来讨论下机器学习中 ...
- Spark MLlib学习笔记之二——Spark Mllib矩阵向量
Spark Mllib底层的向量.矩阵运算使用了Breeze库,Breeze库提供了Vector/Matrix的实现以及相应计算的接口(Linalg).但是在MLlib里面同时也提供了Vector和L ...
- 机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导.本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法. 本文所有求 ...
- 3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-2
上一篇是矩阵的创建.连接等相关操作. 这一篇主要是矩阵的数值计算. 1 基本运算 元素加法 a+b 元素乘法 *:* 元素除法 /:/ 元素比较 <:< 元素相等 :== 元素追加 :+= ...
- 手把手带你玩转Spark机器学习-使用Spark构建回归模型
系列文章目录 手把手带你玩转Spark机器学习-专栏介绍 手把手带你玩转Spark机器学习-问题汇总 手把手带你玩转Spark机器学习-Spark的安装及使用 手把手带你玩转Spark机器学习-使用S ...
- 手把手带你玩转Spark机器学习-使用Spark进行数据处理和数据转换
系列文章目录 手把手带你玩转Spark机器学习-专栏介绍 手把手带你玩转Spark机器学习-问题汇总 手把手带你玩转Spark机器学习-Spark的安装及使用 手把手带你玩转Spark机器学习-使用S ...
最新文章
- 怎么判断网络回路_PLC控制回路故障的判断和检修方法与技巧!
- StackExchange.Redis 官方文档(二) Configuration
- 分布式事务一致性解决方案
- java简单文本编译器_java -简易文本编辑器
- Bourbon: 让你的sass更简洁
- vba 自定义function返回值_用vba解决excel如何求前面连续为0的个数
- vue中检测断网处理
- OpenResty Codis集群缓存系统
- 「小程序JAVA实战」小程序开源搜索组件(53)
- 数学建模c语言知识,数学建模方法总结
- 普元 EOS Platform 7.6 Studio导出流程par包,在workspace中导入报错:租户令牌不正确,部署失败
- 文献学习笔记丨转录组表达数据的生信挖掘研究
- 中国大学MOOC伦理学题库及答案
- 我的梦想是成为一名计算机程序员英语怎么说,我梦想将来成为一名程序员英语作文...
- 计算机的计算百分比的函数是哪个好,excel用函数计算百分比计算的方法
- python计算log函数
- 卫星系统算法课程设计 - 第一部分:城市时间窗口、间隙等
- c#控件弹幕效果_求C#弹幕游戏弹幕的代码
- stimulsoft入门教程:报表与页面上的图表(一)
- 如何删除PDF文件中其中一页?