tfrecord相关

给自己留档，因为永远记不住用法。

python读tfrecord文件

python读取tfrecord文件有很多种姿势，但大体过程类似：

# 定义feature字典，字典key必须在tfrecord中存在，反之则不要求
def parse(example):features = { 'id': tf.FixedLenFeature(1, dtype=tf.string),'label': tf.FixLenFeature(1, dtype=tf.float32),'feat_1': tf.FixLenFeature(1, dtype=tf.float32),'feat_2': tf.VarLenFeature(tf.float32) }return tf.parse_example(example, features=features)# 从dataset_path读取tfrecord文件
dataset = tf.data.TFRecordDataset(dataset_path)
# 对dataset进行shuffle, batch, prefetch等各种操作，并用上面的函数解析
dataset = dataset.batch(4).map(parse)
# 生成dataset的迭代器
it = dataset.make_one_shot_iterator()
sample_batch = it.get_next()with tf.Session() as sess:for i in range(10):print(sess.run(sample_batch['id']))

spark数据写入tfrecord文件

需要包spark-tensorflow-connector

// 创建schema
val schema = StructType(List(StructField("id", StringType),StructField("label", DoubleType),StructField("feat_1", DoubleType),StructField("feat_2", ArrayType(DoubleType))
))// 然后假设你已经有一个符合以上schema中type的dataframe，就可以按普通写dataframe的方法写到outputPath中了
val trainSample = spark.createDataFrame(trainDf, schema)
trainSample.write.mode("overwrite").format("tfrecords").option("recordType", "Example").save(outputPath)// 还可以顺便写个json，用 spark.read.format("json").load(outputPathJson)读取即可
trainSample.write.mode("overwrite").json(outputPathJson)

tfrecord相关相关推荐

TFRecord相关资料
我先把看到比较好的有关资料挂在此处,最后汇总画个图出来,这样便于记忆,否则看了也是白看,瞧瞧我这没用的小脑瓜. tf.train.Example的用法 https://blog.csdn.net/hf ...
java解析tfrecord_TensorFlow高效读取数据的方法——TFRecord的学习
摘要: ortmatplotlib.pyplotaspltimportcv2defshow_image(title,image):'''显示图片:paramtitle:图像标题:paramimage: ...
python如何读取tfrecord_tensorflow学习笔记——高效读取数据的方法（TFRecord）
关于TensorFlow读取数据,官网给出了三种方法: 供给数据(Feeding):在TensorFlow程序运行的每一步,让python代码来供给数据. 从文件读取数据:在TensorFlow图的起 ...
【深度学习】高效读取数据的方法（TFRecord）
Record顾名思义主要是为了记录数据的. 使用TFRocord存储数据的好处: 为了更加方便的建图,原来使用placeholder的话,还要每次feed_dict一下,使用TFRecord+ Dat ...
tfrecord文件生成与读取
参考博客--tensorflow-TFRecord 文件详解 1. 生成tfrecord文件代码 #1.创建tfrecord对象 tf_record=tf.python_io.TFRecordWri ...
21个TensorFlow项目转换tfrecord：TypeError: 'RGB' has type str, but expected one of: bytes（法二）
最近在看21个TensorFlow项目一书中,由于我环境是Python3.5,项目中环境应该是Python2.运行第三章data_prepare文件夹下data_convert.py将图片转换为tfr ...
猴子？狒狒？傻傻分不清楚——制作tfrecord数据集并利用卷积神经网络训练实例
去年年底学习了深度学习的相关知识,但是寒假回来之后忘得也差不多了...为了巩固下所学知识,近期利用卷积神经网络做了一个小实例.卷积神经网络是一种多层神经网络,擅长处理图像特别是大图像的相关机器学习问题 ...
TensorFlow学习笔记之 bmp格式、txt格式数据转换成tfrecord 格式
目录一.前言二.bmp 格式数据转换成 tfrecord 格式的代码三.txt 格式数据转换成 tfrecord 格式的代码一.前言之前我们讲过了关于 tfrecord 格式的相关内容,在这 ...
第五篇：基于深度学习的人脸特征点检测 - 生成TFRecord文件
在上一篇博文中,我们已经获取到了所有样本的面部区域,并且对面部区域的有效性进行了验证.当使用TensorFlow进行神经网络训练时,涉及到的大量IO操作会成为训练速度的瓶颈.为了加快训练的速度,方便后 ...

tfrecord相关

python读tfrecord文件

spark数据写入tfrecord文件

tfrecord相关相关推荐

最新文章

热门文章