Android智能识别 - 银行卡区域裁剪

在真正开始看这篇文章之前，希望我们能先去了解一下这篇文章《NDK开发前奏 - 实现支付宝人脸识别功能》，此篇文章阅读起来可能会有些许难度，因此我们只要能看懂 c/c++ 语法，能跟上我分析问题的思路就可以了。后面我们会讲一些算法，会去介绍 opencv 的常用函数。当然我们学习 Ndk 主要还是为我们的 Android 来服务的，以便我们能读懂 android 底层源码，能做一些 Ndk 项目开发。

今天下班回家特意试了一下支付宝，用支付宝扫描了一下我的银行卡效果不是很佳，当然我相信大多数情况下是正常的。我这么讲只是想说明智能识别本就用一定的局限性，并不是 100% 非常正确。下面是支付宝的识别效果，上个图（少了一位，错了两位）：

像身份证、银行卡和人脸识别这些，一般网上都有技术支持的（部分需要付费），我们能不自己折腾的尽量不要自己折腾，但了解其原理，知道修改其源码还是有必要的。接下来我们来分析一下，且看我下面这两张银行卡，卡是真不少就是没钱。

我们想要去识别银行卡其实思路也不难，只要找到他们的共性和特色就可以了。且看我下面画的这张图：

有几个特征，最外层是银行卡区域，左上角一般是 logo 和银行名称标识，右下角是银联区域，中间是我们要识别的卡号区域。有了这几个特征我们就有了思路了：
1. 筛选过滤截取银行卡区域；
2. 根据标识筛选截取银行卡号区域；
3. 二值分析与特征提取；
4. 数字分割识别显示。

1.筛选过滤截取银行卡区域

opencv 操作的是 mat 类型，我们拍照获取的是 Bitmap 类型，后面我们会获取每一帧进行处理，原理和套路都是一致的，由易到难，先来简单点的。所以第一个要写的方法就是 Bitmap 和 Mat 相互转换：

void MatBitmapUtil::bitmap2mat(JNIEnv *env, Mat &mat, jobject &bitmap) {// 锁定画布 获取首地址像素void* pixels = 0;AndroidBitmap_lockPixels(env,bitmap,&pixels);// 获取信息判断格式AndroidBitmapInfo *bitmapInfo = new AndroidBitmapInfo();AndroidBitmap_getInfo(env,bitmap,bitmapInfo);mat.create(bitmapInfo->height,bitmapInfo->width,CV_8UC4);if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGBA_8888){// argbMat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC4,pixels);temp.copyTo(mat);} else if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGB_565){// rgbMat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC2,pixels);temp.copyTo(mat,COLOR_BGR5652BGRA);}// 其他要自己去转// 解锁画布AndroidBitmap_unlockPixels(env,bitmap);delete(bitmapInfo);
}void MatBitmapUtil::mat2Bitmap(JNIEnv *env, Mat &mat, jobject &bitmap) {// 1. 获取 bitmap 信息AndroidBitmapInfo info;void* pixels;AndroidBitmap_getInfo(env,bitmap,&info);// 锁定 Bitmap 画布AndroidBitmap_lockPixels(env,bitmap,&pixels);if(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888){// C4Mat temp(info.height,info.width,CV_8UC4,pixels);if(mat.type() == CV_8UC4){mat.copyTo(temp);}else if(mat.type() == CV_8UC2){cvtColor(mat,temp,COLOR_BGR5652BGRA);}else if(mat.type() == CV_8UC1){// 灰度 matcvtColor(mat,temp,COLOR_GRAY2BGRA);}} else if(info.format == ANDROID_BITMAP_FORMAT_RGB_565){// C2Mat temp(info.height,info.width,CV_8UC2,pixels);if(mat.type() == CV_8UC4){cvtColor(mat,temp,COLOR_BGRA2BGR565);}else if(mat.type() == CV_8UC2){mat.copyTo(temp);}else if(mat.type() == CV_8UC1){// 灰度 matcvtColor(mat,temp,COLOR_GRAY2BGR565);}}// 其他要自己去转// 解锁 Bitmap 画布AndroidBitmap_unlockPixels(env,bitmap);
}

Bitmap 转 Mat 之后我们就可以用 opencv 去操作了，我们第一步是要找到银行卡区域，然后进行截取保存。所以我们首先需要对轮廓进行梯度增强，然后对图片进行二值化轮廓查找，筛选出最符合的区域。

Rect co1::find_card_area(const Mat &mat) {// 首先降噪Mat blur;GaussianBlur(mat, blur, Size(5, 5), BORDER_DEFAULT, BORDER_DEFAULT);// 梯度增强 , x 轴和 y 轴Mat grad_x, grad_y;Scharr(blur, grad_x, CV_32F, 1, 0);Scharr(blur, grad_y, CV_32F, 0, 1);Mat grad_abs_x, grad_abs_y;convertScaleAbs(grad_x, grad_abs_x);convertScaleAbs(grad_y, grad_abs_y);Mat grad;addWeighted(grad_abs_x, 0.5, grad_abs_y, 0.5, 0, grad);imwrite("/storage/emulated/0/ocr/grad_n.jpg",grad);// 二值化，进行轮廓查找Mat gray;cvtColor(grad, gray, COLOR_BGRA2GRAY);Mat binary;threshold(gray, binary, 40, 255, THRESH_BINARY);imwrite("/storage/emulated/0/ocr/binary_n.jpg",binary);// 轮廓查找vector<vector<Point> > contours;findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);Rect card_rect;for (int i = 0; i < contours.size(); ++i) {Rect rect = boundingRect(contours[i]);// 是不是符合规则if (rect.width > mat.cols / 2 && rect.width != mat.cols && rect.height > mat.rows / 2) {card_rect = rect;break;}}// release sourceblur.release();grad_x.release();grad_y.release();grad_abs_x.release();grad_abs_y.release();grad.release();gray.release();binary.release();// return card rectreturn card_rect;
}

2. 根据标识筛选截取银行卡号区域

截取到银行卡区域后，我们就可以根据我们的银行卡标识，去筛选截取我们的卡号区域。

JNIEXPORT jint JNICALL
Java_com_darren_ndk_day05_FaceDetection_bankOcr(JNIEnv *env, jobject instance,jobject bitmap) {// Bitmap 转成 opencv 能操作的 C++ 对象 Mat , Mat 是一个矩阵Mat mat;MatBitmapUtil::bitmap2mat(env, mat, bitmap);// 1.筛选过滤截取银行卡区域Rect card_rect = co1::find_card_area(mat);Mat card_mat(mat,card_rect);//  2. 根据标识筛选截取银行卡号区域；Rect card_number_rect = co1::find_card_number_area(mat);Mat card_number_mat(card_mat,card_number_mat);//  3. 写入文件看一看imwrite("/storage/emulated/0/ocr/card_number.jpg",card_mat);LOGE("处理完毕");return 0;
}

这其实才刚刚开始，假设光线不强呢？很多银行卡没有银联的标识，又或者某些银行卡的干扰太多。后面的文章我们将陆续去完善，直到可以获取相机的每一帧进行处理。

视频链接：https://pan.baidu.com/s/10IvWru9d6yhFkNNY7z18Vw
视频密码：0n67