强化学习概述

机器学习主要分为监督学习、非监督学习、强化学习。强化学习的训练样本没有标记，根据训练样本学习迭代获得最优策略，强化学习需要与环境不断地交互学习。

强化学习的基本原理是智能体从环境中接收一个状态s，通过动作a与环境进行交互，产生下一状态s'并获得一个回报。智能体与环境不断的交互，产生更多的数据（状态和回报），并利用新的数据进一步改善自身的行为。

强化学习以求解每个状态下的最优策略为目标。

智能体的组成

策略

$\pi (a | s)$ 表示在某状态下，执行某行为的概率。

随机性策略：根据状态输出每个可能动作的概率（分布）。

确定性策略：输出一个动作。

值函数

值函数的估计根据给定策略进行。

回报：从t时刻开始所有衰减的汇报总和。

状态值函数：从状态s开始，遵循策略 $\pi$ 所获得的期望回报。

行为值函数：从状态s开始，遵循策略 $\pi$ 执行动作a 所获得的期望回报。

模型

智能体对环境的一个建模。给定一个状态和行为，能够预测下一个状态和获得的回报。

研究方法

第一步：构建数学模型——马尔科夫决策模型

第二步：求解马尔可夫决策模型的最优解

重要概念

学习与规划

学习：智能体对环境模型未知，通过与环境的交互不断学习，采用试错法逐步改善策略。

规划：智能体对环境已知，根据已知的环境规划策略。

探索与利用

探索：智能体在某个状态下去尝试新的动作，以获得更多的环境信息。

利用：智能体根据已知信息，选取最优行为获得最大回报。

预测与控制

预测：在给定策略下获得状态值函数。

控制：寻找最优策略。

【学习笔记】强化学习1——强化学习概述相关推荐

基于MVS的三维重建算法学习笔记（一）— MVS三维重建概述与OpenMVS开源框架配置
基于MVS的三维重建算法学习笔记(一)- MVS三维重建概述与OpenMVS开源框架配置声明 1. MVS(Multi-view stereo)概述稀疏重建与稠密重建的区别稀疏重建--SFM(S ...
【人工智能学习笔记】人工智能里的数学——概述
系列文章目录 [人工智能学习笔记]人工智能里的数学--概述 [人工智能里的数学]一元函数微分学 [人工智能里的数学]线性代数基础 [人工智能里的数学]多元函数微分学前言与软件开发相比,人工智能领域 ...
Java入门学习笔记——郝斌（一）概述及面向对象
Java入门学习笔记--郝斌 1.Java概述 java的起源和发展 java的特点 java的应用领域 java学习目标环境变量的设置为什么要设置path? path的设置有关classpat ...
AI Studio 飞桨零基础入门深度学习笔记4-飞桨开源深度学习平台介绍
AI Studio 飞桨零基础入门深度学习笔记4-飞桨开源深度学习平台介绍深度学习框架深度学习框架优势深度学习框架设计思路飞桨开源深度学习平台飞桨开源深度学习平台全景框架和全流程工具模 ...
深度学习笔记（18）迁移学习
深度学习笔记(18) 迁移学习 1. 迁移学习理念 2. 图像识别的迁移学习 3. 语音识别的迁移学习 4. 使用迁移学习的场合 1. 迁移学习理念深度学习中最强大的理念之一就是: 神经网络可以从一 ...
深度学习笔记（1）深度学习简介
深度学习笔记(1) 深度学习简介 1. 引言 2. 神经网络 3. 兴起 1. 引言在机器学习的历史上,一共出现了两种定义: 1956 年,开发了西洋跳棋 AI 程序的 Arthur Samuel ...
《南溪的目标检测学习笔记》——模型预处理的学习笔记
1 介绍在目标检测任务中,模型预处理分为两个步骤: 图像预处理:基于图像处理算法数值预处理:基于机器学习理论关于图像预处理,请参考<南溪的目标检测学习笔记>--图像预处理的学习笔记 ...
深入浅出图神经网络|GNN原理解析☄学习笔记（四）表示学习
深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习文章目录深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习表示学习表示学习的意义离散表示与分布式表示端到端学习基于重构损 ...
homeassistant mysql_学习笔记篇三：HomeAssistant学习笔记docker安装的ha更换数据库
学习笔记篇三:HomeAssistant学习笔记docker安装的ha更换数据库 2018-11-15 12:06:58 4点赞 18收藏 3评论是返乡过年?还是就地过年?最新一届#双面过节指南# ...
《Java学习笔记(第8版)》学习指导
<Java学习笔记(第8版)>学习指导目录图书简况学习指导第一章 Java平台概论第二章从JDK到IDE 第三章基础语法第四章认识对象第五章对象封装第六章继承与多 ...

【学习笔记】强化学习1——强化学习概述