OpenCV OCR实战：卡号识别

本文主要介绍通过OpenCV- python实现简单的银行卡卡号识别的思路和具体实现过程。

知识准备

项目概述

实现过程

代码讲解

1.自定义函数

2.模版读入与预处理

3.银行卡读入与形态学操作

4. 卡号筛选与ROI切割

5.模版匹配，得出结果

结语

知识准备

该过程需要用到以下知识：

1.OpenCV图像基础操作，如读取，灰度转换，改变大小等

2.阈值操作，如二值化

3.轮廓检测以及boundingBox构建

4.卷积核构建

5.Sobel算子求梯度，梯度融合

6.形态学操作，如tophat，close操作

7.machTemplate模版匹配

8.用pyplot查看图片，便于debug

项目概述

本项目旨在综合运用OpenCV的各种方法实现对银行卡卡号的自动识别。

主要原理基于模版匹配，故需要提供与银行卡数字字体相同的数字模版作为参照。

实现过程

1.读入模版图片，识别边框，取出各个数字作为参考项。

2.读入银行卡图片，进行形态学操作，识别边框，筛选数字区域。

3.将银行卡的卡号数字割出来，与模版比较，选出相似度最高的答案。

代码讲解

1.自定义函数

import cv2
import matplotlib.pyplot as pltdef read(img, thresh=127, inv=False):origin = cv2.imread(img)gray = cv2.imread(img, 0)binary = cv2.threshold(gray, thresh, 255, cv2.THRESH_BINARY_INV if inv else cv2.THRESH_BINARY)[1]return origin, gray, binarydef unify_size(img_list):outputlist = []xsize, ysize = img_list[0].shapefor img in img_list:outputlist.append(cv2.resize(img, (ysize, xsize)))return outputlist

在本项目中，笔者自定义了两个函数。read()实现了传入一个图片文件名，返回其原图，灰度图以及二值化处理后的结果。unify_size()实现了传入一个由图片构成的列表，对列表中所有元素按照列表第一个图片的大小进行大小统一。

2.模版读入与预处理

template_bgr, template_gray, template_bin = read('template.png', inv=True)
contours, hier = cv2.findContours(template_bin, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
rectangles = []
for cnt in contours:x, y, w, h = cv2.boundingRect(cnt)rectangles.append([x, y, w, h])
rectangles.sort(key=lambda rect: rect[0])
num_template = []
for [x, y, w, h] in rectangles:num_template.append(template_bin[y:y + h, x:x + w])
num_template = unify_size(num_template)

在本段代码中，首先调用自定义的read()方法返回了模版的bgr格式，灰度和二值化（反向）后的结果。然后调用findContours方法识别了模版图片中的所有外边界，储存在contours列表中。在循环中遍历所有外边框，将每个边框的x，y，w，h存储在rectangles列表中，并对其按照从左到右排序，使得下标和数字一一对应。最后截取每个ROI，储存在num_template列表中，并进行大小的统一。

3.银行卡读入与形态学操作

# 读入
idcard_bgr, idcard_gray, idcard_bin = read('1.png', 127)
# 构建三个将来会用到的卷积核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 5))
rectKernel2 = cv2.getStructuringElement(cv2.MORPH_RECT, (18, 7))
basicKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
# 改变大小
idcard_bgr, idcard_gray, idcard_bin = cv2.resize(idcard_bgr, (583, 368)), cv2.resize(idcard_gray,(583, 368)), cv2.resize(idcard_bin,(583, 368))
# 顶帽操作
idcard_gray_tophat = cv2.morphologyEx(idcard_gray, cv2.MORPH_TOPHAT, rectKernel)
plt.imshow(idcard_gray_tophat)
plt.show()
# 梯度计算
gradX = cv2.convertScaleAbs(cv2.Sobel(idcard_gray_tophat, cv2.CV_64F, 1, 0, ksize=3))
gradY = cv2.convertScaleAbs(cv2.Sobel(idcard_gray_tophat, cv2.CV_64F, 0, 1, ksize=3))
grad = cv2.addWeighted(gradX, 0.5, gradY, 0.5, 0)
plt.imshow(grad)
plt.show()
# 闭操作
grad_close = cv2.morphologyEx(grad, cv2.MORPH_CLOSE, rectKernel)
plt.imshow(grad_close)
plt.show()
# 自适应阈值二值化
close_autobin = cv2.threshold(grad_close, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
plt.imshow(close_autobin)
plt.show()
# 闭操作
close2 = cv2.morphologyEx(close_autobin, cv2.MORPH_CLOSE, rectKernel2)
plt.imshow(close2)
plt.show()

这段代码对读入的银行卡图片进行了多次形态学操作，其输出如下：

tophat

tophat操作将图片中的反差较大的信息提取了出来。

grad

梯度操作在tophat的基础上描出了梯度变化较大的部分。

第一次闭操作

闭操作将梯度轮廓进行了粘连。

二值化

第二次闭操作

进一步粘连二值化后的结果，使四个号码成块出现。

需要注意的是，实现上述效果的具体途径不是唯一的，各种操作综合运用是关键所在。在上面给出的例子中，经过反复调整，笔者发现，卷积核大小的设置是至关重要的，卷积核过小的话，进行闭操作无法将数字连在一起，分离的数字不利于下一步的筛选；而卷积核设置过大的话，数字可能会和其他色块粘连在一起，无法通过下一步的像素宽高比和色块大小进行筛选出来，导致特征丢失。

4. 卡号筛选与ROI切割

# 找边界
contours, hier = cv2.findContours(close2, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
boundingBoxes = []
# 按照宽高比和像素范围筛选数字组
for cnt in contours:x, y, w, h = cv2.boundingRect(cnt)ar = w / float(h)if 2.6 < ar < 3.8 and 70 < w < 115 and 15 < h < 45:boundingBoxes.append([x, y, w, h])
boundingBoxes.sort(key=lambda box: box[0])
group = []
# ROI
for [x, y, w, h] in boundingBoxes:group.append(idcard_gray[y - 5:y + h + 5, x - 5:x + w + 5])plt.imshow(idcard_gray[y - 5:y + h + 5, x - 5:x + w + 5])plt.show()
group_binary = []
# 对数字组进行形态学操作
for nominee in group:nominee_bin = cv2.threshold(nominee, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]nominee_close = cv2.morphologyEx(nominee_bin, cv2.MORPH_CLOSE, basicKernel)group_binary.append(nominee_close)plt.imshow(cv2.threshold(nominee, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1])plt.show()
num_nominee = []
# 对数字组找边界
for nominee in group_binary:contours, hier = cv2.findContours(nominee, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)rectangles = []for cnt in contours:x, y, w, h = cv2.boundingRect(cnt)rectangles.append([x, y, w, h])rectangles.sort(key=lambda rect: rect[0])# ROI切割出单个数字for [x, y, w, h] in rectangles:if w > 8 and h > 20:num_nominee.append(nominee[y:y + h, x:x + w])plt.imshow(nominee[y:y + h, x:x + w])plt.show()

输出如下：

数字组ROI

形态学操作后

单个数字ROI

本节代码中要注意几点：

1.按照二次闭操作后的结果找到原图的边界后，需要对边界进行筛选，这里按照边界外接矩形的宽高比和像素大小进行筛选，这里的范围自行确定，只要避免错选和漏选。

2.第一次ROI切割要保留几个像素的切割余量。

3.对数字组ROI二值化后又进行闭操作是为了防止单个数字的笔画没有连起来。

4.对单个数字的筛选同1。

5.要注意对轮廓外矩形排序后提取ROI。

5.模版匹配，得出结果

num_nominee = unify_size(num_nominee)
num_standard = []
(x, y) = num_nominee[0].shape
for i in range(len(num_template)):num_standard.append(cv2.resize(num_template[i], (y, x)))
ans = []
for nominee in num_nominee:score = []for standard in num_standard:res = cv2.matchTemplate(nominee, standard, cv2.TM_SQDIFF_NORMED)min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)score.append(min_val)ans.append(score.index(min(score)))
print(ans)

首先对模版数字和待匹配数字大小统一化。

外循环遍历待匹配数字，内循环将其与10个模版匹配并打分，这里笔者采用了TM_SQDIFF_NORMED模式，分数越低，相似度越高。然后获取最低分对应的数组下标作为结果输出。

结语

实现这样一个OCR的效果并不难，主要是对OpenCV基础函数的综合运用。本文提到的方法还有大量的改进空间，还存在很大的局限性。