SparkMLlib线性回归算法案例

一、SparkMLlib线性回归模型
二、案例实现

一、SparkMLlib线性回归模型

MLlib的线性回归模型采用随机梯度下降算法来优化目标函数。MLlib实现了分布式的随机梯度下降算法，其分布方法是：在每次迭代中，随机抽取一定比例的样本作为当前迭代的计算样本；对计算样本中的每一个样本分别计算梯度（分布式计算每个样本的梯度）；然后再通过聚合函数对样本的梯度进行累加，得到该样本的平均梯度及损失；最后根据最新的梯度及上次迭代的权重进行权重的更新。

MLlib线性回归模型方程：

线性回归模型的损失函数是：

二、案例实现

数据格式说明：
测试数据所在位置：测试数据集

具体实现代码如下：

package com.spark.mlimport org.apache.log4j.{Level, Logger}
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressionModel, LinearRegressionWithSGD}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}object LinearRegression {def main(args: Array[String]) {// 构建Spark对象val conf = new SparkConf().setAppName("LinearRegressionWithSGD").setMaster("local[*]")val sc = new SparkContext(conf)Logger.getRootLogger.setLevel(Level.WARN)//读取样本数据val data_path1 = "testdatas/lpsa.data"val data = sc.textFile(data_path1)val examples = data.map { line =>val parts = line.split(',')LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(' ').map(_.toDouble)))}.cache()// 触发Job实现缓存val numExamples = examples.count()// 新建线性回归模型，并设置训练参数val numIterations = 200val stepSize = 1val miniBatchFraction = 0.5val model = LinearRegressionWithSGD.train(examples, numIterations, stepSize, miniBatchFraction)val weights = model.weights // 权重val intercept = model.intercept // 偏置println("权重：" + weights.toArray + "-,偏置：" + intercept)// 对样本进行测试predictByModel(model,examples,numExamples)// 模型保存val ModelPath = "testdatas/model/LinearRegressionModel"model.save(sc, ModelPath)}def predictByModel(model: LinearRegressionModel,examples:RDD[LabeledPoint],numExamples:Long): Unit ={// 对样本进行测试val prediction = model.predict(examples.map(_.features))val predictionAndLabel = prediction.zip(examples.map(_.label))val print_predict = predictionAndLabel.take(20)println("prediction" + "\t" + "label")for (i <- 0 to print_predict.length - 1) {println(print_predict(i)._1 + "\t" + print_predict(i)._2)}// 计算测试误差val loss = predictionAndLabel.map {case (p, l) =>val err = p - lerr * err}.reduce(_ + _)val rmse = math.sqrt(loss / numExamples)println(s"Test RMSE = $rmse.")}
}

注意：可不断调整模型参数以便于得到最优的模型

SparkMLlib线性回归算法案例相关推荐

线性回归算法(Linear Regression)及相关案例
线性回归算法的原理和代码实现大家好,我是W 这次讲线性回归,之前有说逻辑回归(Logistic Regression),虽然逻辑回归负责分类,可是在数据到达二值函数之前的逻辑都是线性回归的逻辑,所以 ...
线性回归之案例：波士顿房价预测
线性回归之案例:波士顿房价预测数据介绍 [13个特征值,1个目标值] 给定的这些特征,是专家们得出的影响房价的结果属性.此阶段不需要自己去探究特征是否有用,只需要使用这些特征.到后面量化很多特征 ...
python 预测算法_通过机器学习的线性回归算法预测股票走势（用Python实现）
本文转自博客园,作者为hsm_computer 原文链接:https://www.cnblogs.com/JavaArchitect/p/11717998.html在笔者的新书里,将通过股票案例讲述P ...
线性回归算法数学原理_线性回归算法-非数学家的高级数学
线性回归算法数学原理内部AI (Inside AI) Linear regression is one of the most popular algorithms used in differen ...
【机器学习】线性回归实战案例一：多元素情况下广告投放效果分析步骤详解
线性回归实战案例一:多元素情况下广告投放效果分析步骤详解 2 线性回归 2.1 案例一:多元素情况下广告投放效果分析 2.1.1 模块加载与绘图布局样式设置 2.1.2 加载数据和数据筛选 2.1.3 ...
机器学习（二）多元线性回归算法预测房价
机器学习(二)多元线性回归算法预测房价本篇文章已作为重庆交通大学19级微课<机器视觉>大作业提交,提前声明,避免抄袭误会 "garbage in garbage out&quo ...
通过机器学习的线性回归算法预测股票走势（用Python实现）
在本人的新书里,将通过股票案例讲述Python知识点,让大家在学习Python的同时还能掌握相关的股票知识,所谓一举两得.这里给出以线性回归算法预测股票的案例,以此讲述通过Python的sklearn ...
史上最易懂——一文详解线性回归算法的纯Python实现
本文作者:黄佳,极客时间专栏<零基础实战机器学习>作者,新加坡埃森哲公司高级顾问,人工智能专家,机器学习和云计算高级工程师,参与过公共事业.医疗.金融等多领域大型项目.著有<零基础学 ...
详解线性回归算法的纯Python实现
↑↑↑关注后"星标"简说Python人人都可以简单入门Python.爬虫.数据分析简说Python推荐来源|天池大数据科研平台作者|黄佳零基础学机器学习--一文详解线性回归算 ...

SparkMLlib线性回归算法案例

SparkMLlib线性回归算法案例

一、SparkMLlib线性回归模型

二、案例实现

SparkMLlib线性回归算法案例相关推荐

最新文章

热门文章