第2章-神经网络的数学基础(笔记)
张量是矩阵向任意维度的推广[注意，张量的维度(dimension)通常叫做轴(axis)].
不要把 5D 向量和 5D 张量弄混！ 5D 向量只有一个轴，沿着轴有 5 个维度，而 5D 张量有 5 个轴（沿着每个轴可能有任意个维度）。
2.2.7 数据批量的概念
通常来说，深度学习中所有数据张量的第一个轴（0 轴，因为索引从 0 开始）都是样本轴（samples axis，有时也叫样本维度）。在 MNIST 的例子中，样本就是数字图像。
此外，深度学习模型不会同时处理整个数据集，而是将数据拆分成小批量。具体来看，下面是 MNIST 数据集的一个批量，批量大小为 128。
batch = train_images[:128]
然后是下一个批量。
batch = train_images[128:256]
然后是第 n 个批量。
batch = train_images[128 * n:128 * (n + 1)]
对于这种批量张量，第一个轴（0 轴）叫作批量轴（batch axis）或批量维度（batch dimension）。
在使用 Keras 和其他深度学习库时，你会经常遇到这个术语。
>>> x = np.array([[[5, 78, 2, 34, 0],
[6, 79, 3, 35, 1],
[7, 80, 4, 36, 2]],
[[5, 78, 2, 34, 0],
[6, 79, 3, 35, 1],
[7, 80, 4, 36, 2]],
[[5, 78, 2, 34, 0],
[6, 79, 3, 35, 1],
[7, 80, 4, 36, 2]]])
>>> x.ndim
3
将多个 3D 张量(3D张量中每个元素是二维矩阵)组合成一个数组，可以创建一个 4D 张量，以此类推。深度学习处理的一般
是 0D 到 4D 的张量，但处理视频数据时可能会遇到 5D 张量。
2.2.8 现实世界中的数据张量
我们用几个你未来会遇到的示例来具体介绍数据张量。你需要处理的数据几乎总是以下类
别之一。
向量数据：2D 张量，形状为 (samples, features)。
时间序列数据或序列数据：3D 张量，形状为 (samples, timesteps, features)。
图像：4D 张量，形状为 (samples, height, width, channels) 或 (samples, channels,
height, width)。
视频：5D 张量，形状为 (samples, frames, height, width, channels) 或 (samples,
frames, channels, height, width)。
2.2.11 图像数据
图像通常具有三个维度：高度、宽度和颜色深度。虽然灰度图像（比如 MNIST 数字图像）只有一个颜色通道，因此可以保存在 2D 张量中，但按照惯例，图像张量始终都是 3D 张量，灰度图像的彩色通道只有一维。因此，如果图像大小为 256×256，那么 128 张灰度图像组成的批量可以保存在一个形状为 (128, 256, 256, 1) 的张量中，而 128 张彩色图像组成的批量则可以保存在一个形状为 (128, 256, 256, 3) 的张量中（见图 2-4）。
图像张量的形状有两种约定：
通道在后（channels-last）的约定（在 TensorFlow 中使用）和通道在前（channels-first）的约定（在 Theano 中使用）。
Google 的 TensorFlow 机器学习框架将颜色深度轴放在最后：(samples, height, width, color_depth)。
与此相反，Theano将图像深度轴放在批量轴之后：(samples, color_depth, height, width)。
如果采用 Theano 约定，前面的两个例子将变成 (128, 1, 256, 256) 和 (128, 3, 256, 256)。
Keras 框架同时支持这两种格式。
第2章-神经网络的数学基础(笔记)相关推荐
- 【Nan‘s 吴恩达机器学习笔记】第八、九章 神经网络
[Nan's 吴恩达机器学习笔记]第八.九章 神经网络 神经网络(Neural Networks) 8.1 非线性假设 8.2 模型表示 前向传播算法(Forward Propagation) 8.3 ...
- 智能计算系统(学习笔记)-第二章神经网络
课程: (智能计算系统第二章)地址 第二章神经网络 从机器学习到神经网络 符号说明: 线性-回归regression:最基础的机器学习 一元线性回归 多元线性回归 评价拟合的好坏 神经网络的发展 人工 ...
- 《深入浅出图神经网络》读书笔记 1-2
<深入浅出图神经网络>读书笔记 1-2 第1章 图的概述 第2章 神经网络基础 2.1 机器学习基本概念 2.2 神经网络 2.4 训练神经网络 第1章 图的概述 图神经网络(Graph ...
- 神经网络与机器学习 笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习 笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...
- 神经网络与机器学习 笔记—基本知识点（下）
神经网络与机器学习 笔记-基本知识点(下) 0.1 网络结构: 神经网络中神经元的构造方式与用于训练网络的学习算法有着密切的联系,有三种基本的网络结构: 0.7 知识表示 ...
- 神经网络与机器学习 笔记—基本知识点（上）
神经网络与机器学习 笔记-基本知识点(上) 0.1 什么是神经网络: 神经网络是由简单处理单元构成的大规模并行分布处理器,天然具有存储经验知识和使之可用的特性.神经网络在两个方面与大脑类似. 神经网络 ...
- 第九章 神经网络学习-机器学习老师板书-斯坦福吴恩达教授
第九章 神经网络学习 9.1 代价函数 9.2 反向传播算法 9.3 反向传播直观理解 9.4 使用注意:展开参数 9.5 梯度检测 9.6 随机初始化 9.7 聚在一起 9.8 反向传播例子:自动驾 ...
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
原文地址可以查看更多信息 本文主要参考于:Multilayer Perceptron python源代码(github下载 CSDN免费下载) 本文主要介绍含有单隐层的MLP的建模及实现.建议在阅读 ...
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-03-基于Python的LeNet之LR
原地址可以查看更多信息 本文主要参考于:Classifying MNIST digits using Logistic Regression python源代码(GitHub下载 CSDN免费下载) ...
最新文章
- 二项分布和泊松分布的关系
- Iterator to list的三种方法
- 新服务器安装和配置zabbix的playbook
- 微软技术专家为您解读深度学习
- oracle怎么查语句消耗时常,Oracle 查找常见耗性能的语句
- 面向对象之封装的成本价值
- thinkphp 访问根目录文件
- thinkphp count distinct
- HDU 2686 MCMF
- 聚类分析 距离 matlab,用MATLAB做聚类分析
- 虚拟机VMware安装苹果系统macOS，超级详细教程，附文件下载，真教程！！
- 超实用，这是我见过最全面的python入门教程，高中生不要错过
- 融云发布公告：五大高级功能将全面开放
- 【数组】#66 加一
- 音乐剧推荐-＜＜爱在思念的两端＞＞
- Android 疑难杂症
- windows系统下MySQL中遇到1045问题
- AM5728 arm端 spi调试 设备树方式
- 县级外业调查及举证软件_第三次国土调查外业举证DB包解析
- 1.浮动 float