Python实例之利用h5py库保存数据集

1、数据集介绍

本文选用的数据集是CelebA数据集)数据集，该数据集由202599幅图像组成，本文选取了前20000张数据，图像保存在名为img_align_celeba的文件夹中，有需要的可以自行下载：https://download.csdn.net/download/didi_ya/52035107。

h5py是python中一种数据压缩格式，它的优势：速度快、压缩效率高。尤其是在处理深度学习的大量图像时，常常用到。
h5py库的安装十分简单，直接在cmd命令行窗口输入：

pip install h5py

h5py库的相关函数和方法可以去官网查找：h5py官网。

2、保存为HDF5文件

由于这20000张图像没有标签，因此直接读取图像存入h5py文件中即可，代码如下：

import os
import numpy as np
import cv2
import h5pydef save_image_to_h5py(path):img_list=[]  #初始化for dir_image in os.listdir(path):#读取文件img=cv2.imread(os.path.join(path,dir_image))img_list.append(img)  #追加到img_list列表中img_np = np.array(img_list)  #转为numpy的ndarray类型f = h5py.File('hdf5_file.h5', 'w')  #写入文件f['image'] = img_np  #名称为imagef.close()  #关闭文件save_image_to_h5py('img_align_celeba')

3、从h5py中读取图像

读取图像代码如下：

import h5py
file=h5py.File('hdf5_file.h5','r')
image = file['image'][0, :, :, :]

可以检查一下image的形状：

image.shape

运行结果：
(218, 178, 3)

【注意】：这里可以查看一下x[‘image’]的形状：

image = x['image']
image.shape

运行结果：
(20000, 218, 178, 3)

这20000张图像的全部数据都存在这里了，想调用哪个图像第一个参数就选几即可。

4、查看图像

读取图像完成后，可以查看图像，查看图像有两种方法：
方法一：利用matplotlib工具包

代码示例：

import matplotlib.pyplot as plt
plt.imshow(image)

显示图像：

可以发现显示的图像偏蓝，这是因为matplotlib 的颜色通道是BGR，不是一般的RGB，因此需要加入如下代码：

res = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

显示图像：

方法二：直接利用cv2

代码如下：

import cv2
cv2.imshow('image',image)
cv2.waitKey(0)   #等待键盘输入，单位为毫秒，即等待指定的毫秒数看是否有键盘输入，若在等待时间内按下任意键则返回按键的ASCII码，程序继续运行。
#若没有按下任何键，超时后返回-1。参数为0表示无限等待。不调用waitKey的话，窗口会一闪而逝，看不到显示的图片。
cv2.destroyAllWindows()  #销毁所有窗口

运行结果：（独立窗口直接运行）

5、拓展——将压缩包内图像保存为HDF5文件

将压缩包内图像保存为HDF5文件利用的是python的zipfile包，完整代码如下：

import h5py
import zipfile
import imageio
import oshdf5_file = 'celeba.h5'
total_images = 20000   #总共20000张图像with h5py.File(hdf5_file,'w') as hf:count=0with zipfile.ZipFile('img_align_celeba.zip', 'r') as zf:for i in zf.namelist():ofile = zf.extract(i)img = imageio.imread(ofile)os.remove(ofile)#将图像添加到HDF5文件中并重新命名hf.create_dataset('img_align_celeba/'+str(count)+'.jpg', data=img, compression="gzip", compression_opts=9)count = count + 1if(count%1000 == 0):print("images done .. ", count)if(count==total_images):break

ok，以上便是本文的全部内容了，如果对你有所帮助，记得点个赞哟~

参考：

https://blog.csdn.net/qq_41776781/article/details/93379739
https://blog.csdn.net/a10201516595/article/details/105623141