在本文中，我们将学习如何构建一个简单的模型，它使用色调饱和度值 (HSV) 颜色模型作为特征提取，opencv 进行图像处理的基础来对白天和黑夜进行分类。本教程的代码可在此处获得，https://github.com/mrsimi/cv_udacity_course/blob/master/day_night_classifier.ipynb

介绍

色调饱和度值（HSV）是RGB的替代颜色模型。色调（H）是颜色轮中的三种主色和三种次色。饱和度是颜色的纯度和强度，其越低，颜色越接近灰色。值 (V) 是指颜色的相对亮度或暗度。这些值中的每一个都有一个限制；H 从 0 到 360，S 和 V 从 0 到 100。

我们将利用颜色模型的 Value (V) 属性。决定图像亮度的图像值 (V)。这是我们要提取的特征。然后我们将设置一个阈值，可以将白天图像与夜间图像分开。

虽然我们可以设置一个特定的阈值，但我们尝试使用训练图像，通过基本推导找到一个最佳阈值。

我们将使用 opencv 库从图像中提取这些特征。

先决条件

1. Python

2. pip

3. opencv

4. numpy

5. matplotlib

Opencv 是一个计算机视觉包，我们将使用它来处理图像和操作它。numpy用于数值计算，matplotlib用于图像显示。

1. 导入用于测试的库和图像

我们将使用的是用于训练和测试的室外图像：https://github.com/mrsimi/cv_udacity_course/tree/master/data/day_night_images

该图像已被标注，即分类为白天和夜间图像。

from util import daynight_helper
import matplotlib.pyplot as plt
import cv2
import numpy as np #path to the folder where the images are
training_data_path = 'data/day_night_images/training'

2. 预处理图像及其标签

我们已经指定了训练图像的路径，但原始图像有噪声并且没有很好地优化分析。

例如，图像可能具有不同的大小，或者标签可能是我们的文字。这是设计模型的第一步。数据清洗。所以我们会写一个助手来帮助我们。

这是我们的图像文件夹结构的样子

data / day_night_images /training /day /img001.jpgimg002.jpgnight / img100.jpgimg101.jpgtest /day /img001.jpgimg002.jpgnight / img100.jpgimg101.jpg

因此，我们希望我们的助手读取这个目录并输出带有相应标签的图像，以便img001.jpg有一个日期标签。

我们还将使用数字对标签进行编码。1代表白天，0代表夜晚。

这是代码：

import os
import glob
import matplotlib.image as mpimg
import cv2def load_dataset(image_dir):img_list = []img_types = ['day', 'night']for img_type in img_types:for file in glob.glob(os.path.join(image_dir, img_type, '*')):img = mpimg.imread(file)if not img is None:img_list.append((img, img_type))return img_listdef standardize_image(image):std_img=  cv2.resize(image, (1110, 600))   return std_imgdef encode_label(label):if label== 'day':return 1else:return 0def standardize_inputs(img_list):std_list = []for img in img_list:std_img = standardize_image(img[0])std_label = encode_label(img[1])std_list.append((std_img, std_label))return std_list

第 8-18 行负责检查文件夹中的所有图像，如果是图像，则将其添加到列表img_list中

第 24 行是我们标准化图像的地方，在这种特殊情况下，我们将其大小调整为 1110 x 600

第 28 -32 行是我们将标签从文本编码为数字的地方。如果是白天，则为1，否则 0

第 34-43 行是我们从第 8 行创建的列表，对图像进行标准化并对标签进行编码。

让我们在我们的项目中导入它并运行以下代码以查看是否设置了助手程序。

training_data_path = 'data/day_night_images/training'
training_data = daynight_helper.load_dataset(training_data_path)std_training_data = daynight_helper.standardize_inputs(training_data)img = std_training_data[0][0]
label = std_training_data[0][1]
plt.imshow(img)
print('Shape ', img.shape)
print('label: ', label)

这应该为你提供Shape (600, 1110, 3) 标签的输出：1

3.获取图片的平均亮度

接下来，我们将编写一个函数（基于 HSV 颜色模型）来获取图像的平均亮度。因此，这个分类问题的特征是亮度。我们正在提取并使用它来解释新图像。

#feature extraction - brightness using hsv
def brightness_value(img):hsv_img = cv2.cvtColor(img, cv2.COLOR_RGB2HSV)v_values = np.sum(hsv_img[:, :, 2])area = img.shape[0] * img.shape[1]avg_brightness = v_values/areareturn avg_brightness

基本上，我们选择 HSV 颜色模型的 V 值并将其除以图像面积。

在示例图像上运行此函数以了解图片的亮度。

4. 使用选定的标记昼夜差异的阈值来估计标签

一旦我们获得了图片的平均亮度，我们就可以标记一个阈值来划分白天和夜晚的图片。

这个标志着昼夜的差异是我们最大的盟友。请记住，阈值是平均亮度的函数。

这是预测标签的代码：

def estimate_label(img, threshold):avg_brightness = brightness_value(img)predicted_label = 0threshold = thresholdif avg_brightness > threshold:predicted_label = 1return predicted_label, avg_brightness

很简单吧？

但是我们怎么知道阈值呢？

答案：我们在计算了一些白天和黑夜图像的平均亮度后进行选择，然后我们从中做出直观的猜测。

这是我们的出发点。对于这种情况，我们选择 120。

但是 120 是最佳阈值吗？

5. 寻找最优阈值

我们可以在阈值为 120 时结束我们的模型预测，我们的准确率为 86%。但是，我们是否可以通过调整或修改阈值来提高准确度，以接近在白天和黑夜之间划出细线的那个点——比如白天和黑夜本身。

因此看看优化器代码：

def estimate_label(img, threshold):avg_brightness = brightness_value(img)predicted_label = 0threshold = thresholdif avg_brightness > threshold:predicted_label = 1return predicted_label, avg_brightness

在这里，我们根据阈值估计标签，如果它是正确的，我们就接着下一步。

如果不是，我们计算当前阈值和平均亮度的平均值——因为阈值是基于平均亮度的。

threshold = 120for i in range(0, len(std_training_data)):img_data = std_training_data[i]threshold = optimize_threshold(img_data, threshold)print('threshold ', threshold)#threshold  116

运行这个会产生一个新的阈值——116。

PS：可以以不同的方式调整阈值，即平均阈值和平均亮度。这是我在这段代码中使用的技术。

6. 在测试图像上运行分类器

我们有我们的阈值和估算器。让我们在测试图像上运行我们的模型，看看表现如何。

import randomtest_data_path = 'data/day_night_images/test'
test_data = daynight_helper.load_dataset(test_data_path)
test_data = daynight_helper.standardize_inputs(test_data)random.shuffle(test_data)threshold = 116correctly_classified = []
misclassified = []for i in range(0, len(test_data)):img_data = test_data[i]pred, avg_brightness = estimate_label(img_data[0], threshold)#print('predicted ', pred)label = img_data[1]#print('label ', label)if pred == label:correctly_classified.append(img_data)else: misclassified.append(img_data)#total :  160
#Correct predictions:  140
#Misclassified:  20
#Accuracy  0.875

我们从清理我们的测试数据开始，然后对其进行打乱（第 7 行）。因为我们已经有了阈值。我们可以估计标签。然后记录输出——正确分类与否。

与仅选择 120 作为阈值时的 86% 相比，我们对此的准确率为 87.5%。而且还有改进的空间。

思考。还可以做些什么来进一步提高准确性？你能否添加另一个功能来跟踪平均亮度？有没有办法将阈值移动到最佳值？

这是github 上完整代码的链接：https://github.com/mrsimi/cv_udacity_course

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓