Matlab学习 之 linear regression
本文练习的是最简单的二元线性回归。
题目
本题给出的是5050个数据样本点,其中xx为这5050个小朋友到的年龄,年龄为22岁到88岁,年龄可有小数形式呈现。YY为这5050个小朋友对应的身高,当然也是小数形式表示的。现在的问题是要根据这5050个训练样本,估计出3.53.5岁和7<script type="math/tex" id="MathJax-Element-10">7</script>岁时小孩子的身高。通过画出训练样本点的分布凭直觉可以发现这是一个典型的线性回归问题。
matlab函数介绍
legend:
比如legend(‘Training data’, ‘Linear regression’),它表示的是标出图像中各曲线标志所代表的意义,这里图像的第一条曲线(其实是离散的点)表示的是训练样本数据,第二条曲线(其实是一条直线)表示的是回归曲线。
hold on, hold off:
hold on指在前一幅图的情况下打开画纸,允许在上面继续画曲线。hold off指关闭前一副画的画纸。
linspace:
比如linspace(-3, 3, 100)指的是给出-3到3之间的100个数,均匀的选取,即线性的选取。
logspace:
比如logspace(-2, 2, 15),指的是在10^(-2)到10^(2)之间选取15个数,这些数按照指数大小来选取,即指数部分是均匀选取的,但是由于都取了10为底的指数,所以最终是服从指数分布选取的。
程序代码及注释
采用normal equations方法求解:
x = load('ex2x.dat');
y = load('ex2y.dat');
plot(x,y,'*')
xlabel('height')
ylabel('age')
sz = size(x)
x = [ones(sz),x];
w = inv(x'*x)*x'*y
hold on
%plot(x,0.0639*x+0.7502)
plot(x(:,2),0.0639*x(:,2)+0.7502)%更正后的代码
采用gradient descend过程求解:
% Exercise 2 Linear Regression% Data is roughly based on 2000 CDC growth figures
% for boys
%
% x refers to a boy's age
% y is a boy's height in meters
%clear all; close all; clc
x = load('ex2x.dat'); y = load('ex2y.dat');m = length(y); % number of training examples% Plot the training data
figure; % open a new figure window
plot(x, y, 'o');
ylabel('Height in meters')
xlabel('Age in years')% Gradient descent
x = [ones(m, 1) x]; % Add a column of ones to x
theta = zeros(size(x(1,:)))'; % initialize fitting parameters
MAX_ITR = 1500;
alpha = 0.07;for num_iterations = 1:MAX_ITR% This is a vectorized version of the % gradient descent update formula% It's also fine to use the summation formula from the videos% Here is the gradientgrad = (1/m).* x' * ((x * theta) - y);% Here is the actual updatetheta = theta - alpha .* grad;% Sequential update: The wrong way to do gradient descent% grad1 = (1/m).* x(:,1)' * ((x * theta) - y);% theta(1) = theta(1) + alpha*grad1;% grad2 = (1/m).* x(:,2)' * ((x * theta) - y);% theta(2) = theta(2) + alpha*grad2;
end
% print theta to screen
theta% Plot the linear fit
hold on; % keep previous plot visible
plot(x(:,2), x*theta, '-')
legend('Training data', 'Linear regression')%标出图像中各曲线标志所代表的意义
hold off % don't overlay any more plots on this figure,指关掉前面的那幅图% Closed form solution for reference
% You will learn about this method in future videos
exact_theta = (x' * x)\x' * y% Predict values for age 3.5 and 7
predict1 = [1, 3.5] *theta
predict2 = [1, 7] * theta% Calculate J matrix% Grid over which we will calculate J
theta0_vals = linspace(-3, 3, 100);
theta1_vals = linspace(-1, 1, 100);% initialize J_vals to a matrix of 0's
J_vals = zeros(length(theta0_vals), length(theta1_vals));for i = 1:length(theta0_vals)for j = 1:length(theta1_vals)t = [theta0_vals(i); theta1_vals(j)]; J_vals(i,j) = (0.5/m) .* (x * t - y)' * (x * t - y);end
end% Because of the way meshgrids work in the surf command, we need to
% transpose J_vals before calling surf, or else the axes will be flipped
J_vals = J_vals';
% Surface plot
figure;
surf(theta0_vals, theta1_vals, J_vals)
xlabel('\theta_0'); ylabel('\theta_1');% Contour plot
figure;
% Plot J_vals as 15 contours spaced logarithmically between 0.01 and 100
contour(theta0_vals, theta1_vals, J_vals, logspace(-2, 2, 15))%画出等高线
xlabel('\theta_0'); ylabel('\theta_1');%类似于转义字符,但是最多只能是到参数0~9
实验结果
训练样本散点和回归曲线预测图:
损失函数与参数之间的曲面图:
损失函数的等高线图:
Matlab学习 之 linear regression相关推荐
- Machine Learning – 第2周(Linear Regression with Multiple Variables、Octave/Matlab Tutorial)
Machine Learning – Coursera Octave for Microsoft Windows GNU Octave官网 GNU Octave帮助文档 (有900页的pdf版本) O ...
- 机器学习基础-吴恩达-coursera-(第一周学习笔记)----Introduction and Linear Regression
课程网址:https://www.coursera.org/learn/machine-learning Week 1 -- Introduction and Linear Regression 目录 ...
- 台大李宏毅Machine Learning 2017Fall学习笔记 (2)Linear Regression and Overfitting
台大李宏毅Machine Learning 2017Fall学习笔记 (2)Linear Regression and Overfitting 简单回归问题应用举例分析 第 ...
- B站台湾大学郭彦甫|MATLAB 学习笔记|12 线性方程式和线性系统 Linear equations
MATLAB学习笔记(12 线性方程式和线性系统 Linear equations) 如想获得更好得阅读体验,可以转到后面链接 12 文章目录 MATLAB学习笔记(12 线性方程式和线性系统 Lin ...
- 简单线性回归(Simple Linear Regression)和多元线性回归(Multiple Regression)学习笔记
简单线性回归(Simple Linear Regression) 0.前提介绍: 为什么需要统计量? 统计量:描述数据特征 0.1集中趋势衡量 0.1.1均值(平均数,平均值) (mean):(求和除 ...
- 【cs229-Lecture2】Linear Regression with One Variable (Week 1)(含测试数据和源码)
从Ⅱ到Ⅳ都在讲的是线性回归,其中第Ⅱ章讲得是简单线性回归(simple linear regression, SLR)(单变量),第Ⅲ章讲的是线代基础,第Ⅳ章讲的是多元回归(大于一个自变量). 本文的 ...
- R语言基于线性回归(Linear Regression)进行特征筛选(feature selection)
R语言基于线性回归(Linear Regression)进行特征筛选(feature selection) 对一个学习任务来说,给定属性集,有些属性很有用,另一些则可能没什么用.这里的属性即称为&qu ...
- python中的linearregression_【python+机器学习(2)】python实现Linear Regression
欢迎关注哈希大数据微信公众号[哈希大数据] python实现多元线性回归算法(lr) 想必大家在很早之前就接触过函数的概念,即寻找自变量和因变量之间的对应关系,一元一次.多元一次.一元二次等等,表示的 ...
- 机器学习之线性回归(Linear Regression)
线性学习中最基础的回归之一,本文从线性回归的数学假设,公式推导,模型算法以及实际代码运行几方面对这一回归进行全面的剖析~ 一:线性回归的数学假设 1.假设输入的X和Y是线性关系,预测的y与X通过线性方 ...
最新文章
- Spring Cloud Alibaba发布第二个版本,Spring 发来贺电
- 神经网络的结构汇总——tflearn
- spring导入约束
- 关于js获取radio和select的属性并控制
- mysql 事务实例_mysql实现事务的提交和回滚实例
- OneinStack一键安装tomcat,jdk,mysql到Linux
- Linux查看和剔除当前登录用户-转
- 同盾“声纹识别建模大赛”首榜揭晓,成绩已达工业级一流水平!
- 奇妙的等式 精妙的证明(二)
- 咬文嚼字:刹车错当油门酿车祸?!
- 算法 博士_Strangecode博士-我如何学会不再担心并喜欢算法
- 数据结构c语言版算法设计题,数据结构题集(C语言版)算法设计答案
- 常用的计算机组装工具有,计算机组装维护与常用工具软件考试含答案
- java进度条_「java进度条」Java JProgressBar类(进度条) - seo实验室
- 高斯 matlab程序,一个计算高斯积分点坐标和权的MATLAB程序
- Adobe 全家桶系列卸载工具
- Java开发中的命名规范
- Android手机上剪藏笔记到Obsidian
- Sql查询时间段内容
- linux下登录不上oracle,Oracle特定用户登录失败案例 ORA-20001
热门文章
- 关于注册页面上传头像并在后台处理数据
- 光伏逆变器市场现状及未来发展趋势
- MySQL有四种BLOB类型
- sketch最强切图工具Sketch Measure(含最详细的讲解)
- STM32F40x CAN控制器
- 信息学奥林匹克竞赛python_什么是USACO?来了解下美国信息学奥林匹克竞赛!
- python函数和类的区别_python-函数、类与对象
- 2020年6月6日更新 上海居住证办理流程
- opencv边缘检测实时识别圆形
- vue引入three.js3维地图_vue-chartjs使用 Chart.js 和 Vue.js 搭建简单和漂亮的图表