tensorflow2读取数据P4: tf.data.TFRecordDataset创建Dataset

2024-06-26 12:39:45

为啥要用tfrecord

使用tfrecord是为了更高效地读取数据，这种方式比较适合数据量大且数据集相对稳定的情况。tfrecord将数据存储成了二进制记录序列的格式，这格式比较对计算机的胃口，读取更高效一些。
如果只是训练一点点数据，没必要存成tfrecord，因为这样带来的效率提升不够显著。
如果数据集里面的样本和标签时常有变动，也不太适合用tfrecord格式。因为数据集中样本和标签经常变动，可能是因为对任务的目标定位不够明确、数据集不够干净。这些数据存储成图片格式，方便进行查看和必要的改动。但存储成tfrecord格式，人工查看就不是很方便了。若是数据集较为干净、且任务定义明确，只是数据量在不断增长，还是比较适合存储成tfrecord的。

怎么制作tfrecord呢？

感觉有些复杂，为啥呢？因为制作tfrecord，数据大部分要经过2步转换。如下图所示，想存入tfrecord的数据，不管是数值、字符串还是图片，都得先变成正规军tf.train.Feature格式的数据。然后多个由关键字（string类型）和对应tf.train.Feature组成的字典生成tf.Example, 然后再序列化成二进制字符串，存储到文件中，大功告成。
真是太复杂了，为啥不能只输入一个路径，然后tensorflow自己分析里面有啥，然后存到tfrecord呢？（白日做梦）
现在就来实现以下这个过程。

tensorflow2读取数据P4: tf.data.TFRecordDataset创建Dataset相关推荐

Tensorflow读取数据-tf.data.TFRecordDataset
tensorflow TFRecords文件的生成和读取方法文章目录 tensorflow TFRecords文件的生成和读取方法 1. TFRecords说明 2.关键API 2.1 tf.io. ...
TensorFlow tf.data 导入数据（tf.data官方教程） * * * * *
原文链接:https://blog.csdn.net/u014061630/article/details/80728694 TensorFlow版本:1.10.0 > Guide > I ...
tf.data官方教程 - - 基于TF-v2
这是本人关于tf.data的第二篇博文,第一篇基于TF-v1详细介绍了tf.data,但是v1和v2很多地方不兼容,所以替大家瞧瞧v2的tf.data模块有什么新奇之处. TensorFlow版本:2 ...
mnist 转换为record 使用tf data 转换读取训练
原文链接: mnist 转换为record 使用tf data 转换读取训练上一篇: js 数组堆栈和 buckets 效率对比下一篇: tf data 切换数据集使用并行提高效率参 ...
Tensorflow数据预处理之tf.data.TFRecordDataset---TFRecords详解\TFRecords图像预处理
目录 1.概述 2.预处理数据 2.1.常量定义 2.2.导入库 2.3.从train.txt文件中读取图片-标签对 2.4.预处理图片并保存 2.5.调用main函数 3.读取预处理后的数据 3.1 ...
java解析tfrecord_TensorFlow高效读取数据的方法——TFRecord的学习
摘要: ortmatplotlib.pyplotaspltimportcv2defshow_image(title,image):'''显示图片:paramtitle:图像标题:paramimage: ...
python如何读取tfrecord_tensorflow学习笔记——高效读取数据的方法（TFRecord）
关于TensorFlow读取数据,官网给出了三种方法: 供给数据(Feeding):在TensorFlow程序运行的每一步,让python代码来供给数据. 从文件读取数据:在TensorFlow图的起 ...
tensorflow教程开始——数据集：快速了解 tf.data
参考文章:数据集:快速了解数据集:快速了解 tf.data 从 numpy 数组读取内存数据. 逐行读取 csv 文件. 基本输入学习如何获取数组的片段,是开始学习 tf.data 最简单的方式. ...
tf.data 加载 pandas dataframes
tf.data 加载 pandas dataframes code # -*- coding: utf-8 -*- """ Created on 2020/11/20 1 ...

最新文章

热门文章