机器学习基础（四）预测方法（分类回归）概述

预测问题

任务描述

任务目标：

总体来说，分类问题与回归问题的目的是一致的，都是为了预测
根据预测目标不同，可以将预测问题分为以下三类
- 分类：
  - 预测目标值无顺序意义且为有限个数离散量
  - 预测目标值只有单纯的类别区别，各类之间的差距一致（只有相同和不同的差别）
- 回归：
  - 预测目标值为有顺序意义的连续变量
  - 取值范围为任意实数
- 序回归：
  - 预测目标值为有顺序意义的有限个数离散变量
  - 例如：评价（非常满意、满意、一般、不满意、非常不满意），这五种目标取值是离散量，但其间又有顺序关系
  - 序回归问题一般通过回归方法而非分类方法

形式描述：

输入：X=[x1,x2,...,xn]X=[x_1,x_2,...,x_n]X=[x1,x2,...,xn]，Y=[y1,y2,...,yn]TY=[y_1,y_2,...,y_n]^TY=[y1,y2,...,yn]T
给定：
- 模型：
  - 一个函数（映射）Yˉ=f(X)\bar{Y}=f(X)Yˉ=f(X)，函数中存在一系列隐藏参数
  - 优化目标是最小化预测结果Yˉ\bar{Y}Yˉ与YYY的差距
- 损失函数：
  - 一个函数L(Y,Yˉ)L(Y,\bar{Y})L(Y,Yˉ)
  - 用于衡量预测结果Yˉ\bar{Y}Yˉ与YYY的差距
模型学习：
- 学习模型的过程，就是以最小化损失函数为目标，调整模型中隐藏参数的过程
- 在确定隐藏参数之后，即可得到确定的模型，该模型可以应用到未知数据集上进行预测

常用方法

分类方法：
- 逻辑回归
- SVM（分类器）
- 决策树（分类树）
回归方法：
- 线性回归
- SVM（回归方法）
- 决策树（回归树）

其他问题

线性分类&非线性分类
- 根据样本集中的样本点是否可以用d维空间中的一个超平面完美分开将分类问题分为线性分类与非线性分类两种
- 非线性分类问题可以使用以下几种方法处理：
  - 维度变化
    - 核方法：将原数据映射到更高维度上，使原来线性不可分的数据线性可分
    - 降维方法：通过非线性降维方法，将高维不可分数据映射到低维可分空间中
  - 分段线性分类器
    - 将多个线性分类器组合，即空间中多个决策超平面组合成为非平面
  - 神经网络方法
    - 实际上类似与维度变换方法，通过多层网络对原数据集做非线性变换（类似于维度变化），再在最后一层使用线性分类器
    - 与维度方法不同之处在于维度方法中降维与分类两步是割裂的，而神经网络方法的反向传播过程中将两步视作一个整体进行优化

机器学习基础（四）预测方法（分类回归）概述相关推荐

airbnb机器学习模型_机器学习基础：预测Airbnb价格
airbnb机器学习模型 Machine learning is easily one of the biggest buzzwords in tech right now. Over the pas ...
机器学习算法之CART（分类回归树）概要
分类回归树 classification and regression tree(C&RT) racoon 优点 (1)可自动忽略对目标变量没有贡献的属性变量,也为判断属性变量的重要性,减 ...
机器学习第四章之逻辑回归模型
逻辑回归模型 4.1 逻辑回归模型算法原理 4.1.1 逻辑回归模型的数学原理(了解) 4.1.2 逻辑回归模型的代码实现(重要) 4.1.3 逻辑回归模型的深入理解 4.2 案例实战 - 股票客户流 ...
机器学习实战（八）分类回归树CART（Classification And Regression Tree）
目录 0. 前言 1. 回归树 2. 模型树 3. 剪枝(pruning) 3.1. 预剪枝 3.2. 后剪枝 4. 实战案例 4.1. 回归树 4.2. 模型树学习完机器学习实战的分类回归树,简单 ...
机器学习--sklearn之决策树（分类+回归）
什么是决策树? 决策树算法实现分类问题可以被理解为不断地进行条件语句判断,最终实现分类,如下图: 进行判断的分支很像树的枝干,被分出来的类别像是枝干上的叶子,所以将这个图称为决策树.所以,用决策树算法 ...
python机器学习基础05——sklearn之逻辑回归+分类评价指标
文章目录逻辑回归逻辑回归的损失函数逻辑回归API 分类模型的评价指标混淆矩阵准确率召回率(较多被使用) 精确率 f1-score:精确率和召回率的调和平均数 AUC 逻辑回归逻辑回归是经 ...
python分类器鸢尾花怎么写_python机器学习基础教程：鸢尾花分类
首先导入必要的库: import numpy as np import matplotlib.pyplot as plt import pandas as pd import mglearn 复制代码 ...
【机器学习基础】常见二分类损失函数、距离度量的Python实现
本文用Python实现了常见的几种距离度量.二分类损失函数. 设和为两个向量,求它们之间的距离. 这里用Numpy实现,设和为ndarray <numpy.ndarray>,它们的shap ...
Python机器学习（四）：logistic回归
logistic回归 logistic回归虽名为回归但其实做的是分类问题,是一个典型的线性分类器. 如上图中所示:将一组数据特征X输入分类器,它会输出一个预测值y帽(也可以表示为a). logisti ...
机器学习基础维基翻译保序回归随机森林 Pipeline处理及简单的sklearn例子
Isotonic regression(保序回归) In numerical analysis, isotonic regression (IR) involves finding a weighte ...

机器学习基础（四）预测方法（分类回归）概述

预测问题

任务描述

任务目标：

形式描述：

常用方法

其他问题

机器学习基础（四）预测方法（分类回归）概述相关推荐

最新文章

热门文章