AVFoundation开发秘籍笔记-06捕捉媒体

一、捕捉功能

1、捕捉会话 AVCaptureSession

AVFoundation捕捉栈的核心类是AVCaptureSession。一个捕捉会话相当于一个虚拟的“插线板”，用于连接输入和输出的资源。

捕捉会话管理从屋里设备得到的数据流，比如摄像头和麦克风设备，输出到一个或多个目的地。可以动态配置输入和输出的线路，可以再会话进行中按需配置捕捉环境。

捕捉会话还可以额外配置一个会话预设值(session preset)，用来控制捕捉数据的格式和质量。会话预设值默认为AVCaptureSessionPresetHigh，适用于大多数情况。还有很多预设值，可以根据需求设置。

2、捕捉设备 AVCaptureDevice

AVCaptureDevice为摄像头或麦克风等物理设备定义了一个接口。对硬件设备定义了大量的控制方法，如对焦、曝光、白平衡和闪光灯等。

AVCaptureDevice定义大量类方法用用访问系统的捕捉设备，最常用的是defaultDeviceWithMediaType:，根据给定的媒体类型返回一个系统指定的默认设备

AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];请求的是一个默认的视频设备，在包含前置和后置摄像头的iOS系统，返回后置摄像头。

3、捕捉设备的输入 AVCaptureInput

AVCaptureInput是一个抽象类，提供一个连接接口将捕获到的输入源连接到AVCaptureSession。

抽象类无法直接使用，只能通过其子类满足需求：AVCaptureDeviceInput-使用该对象从AVCaptureDevice获取设备数据(摄像头、麦克风等)、AVCaptureScreenInput-通过屏幕获取数据(如录屏)、AVCaptureMetaDataInput-获取元数据

以 AVCaptureDeviceInput 为例

使用捕捉设备进行处理前，需要将它添加为捕捉会话的输入。通过将设备(AVCaptureDevice)封装到AVCaptureDeviceInput实例中，实现将设备插入到AVCaptureSession中。

AVCaptureDeviceInput在设备输出数据和捕捉会话间，扮演接线板的作用。

AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
NSError *error;
AVCaptureDeviceInput *input = [[AVCaptureDeviceInput alloc] initWithDevice:device error:&error];

4、捕捉的输出 AVCaptureOutput

AVCaptureOutput是一个抽象基类，用于从捕捉会话得到的数据寻找输出目的地。

框架定义一些这个基类的高级扩展类，比如
AVCaptureStillImageOutput用来捕捉静态图片，AVCaptureMovieFileOutput捕捉视频

还有一些底层扩展，如AVCaptureAudioDataOutput和AVCaptureVideoDataOutput使用它们可以直接访问硬件捕捉到的数字样本。使用底层输出类需要对捕捉设备的数据渲染有更好的理解，不过这些类可以提供更强大的功能，比如对音频和视频流进行实时处理。

5、捕捉连接 AVCaptureConnection

AVCaptureConnection 连接

捕捉会话首先确定有给定捕捉设备输入渲染的媒体类型，并自动建立其到能够接收该媒体类型的捕捉输出端的连接。

对连接的访问可以对信号流进行底层的空值，比如禁用某些特定的连接，或者再音频连接中访问单独的音频轨道(一些高级用法，不纠结)。

附加AVCaptureConnection解决一个图像旋转90°的问题：(setVideoOrientation:方法)

AVCaptureConnection *stillImageConnection = [self.stillImageOutput connectionWithMediaType:AVMediaTypeVideo];
AVCaptureVideoOrientation  avcaptureOrientation = [self avOrientationForDeviceOrientation:UIDeviceOrientationPortrait];[stillImageConnection setVideoOrientation:avcaptureOrientation];

6、捕捉预览 AVCaptureVideoPreviewLayer

AVCaptureVideoPreviewLayer是一个CoreAnimation的CALayer的子类，对捕捉视频数据进行实时预览。

类似于AVPlayerLayer，不过针对摄像头捕捉的需求进行了定制。他也支持视频重力概念setVideoGravity:

AVLayerVideoGravityResizeAspect –在承载层范围内缩放视频大小来保持视频原始宽高比，默认值，适用于大部分情况
AVLayerVideoGravityResizeAspectFill –保留视频宽高比，通过缩放填满层的范围区域，会导致视频图片被部分裁剪。
AVLayerVideoGravityResize –拉伸视频内容拼配承载层的范围，会导致图片扭曲，funhouse effect效应。

二、创建简单捕捉会话

当如库文件 #import <AVFoundation/AVFoundation.h>

1、创建捕捉会话 AVCaptureSession，可以设置为成员变量，开始会话以及停止会话都是用到实例对象。
AVCaptureSession *session = [[AVCaptureSession alloc] init];
2、创建获取捕捉设备 AVCaptureDevice
AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
3、创建捕捉输入 AVCaptureDeviceInput

NSError *error;
AVCaptureDeviceInput *input = [[AVCaptureDeviceInput alloc] initWithDevice:device error:&error];

4、将捕捉输入加到会话中

if ([session canAddInput:input]) {//首先检测是否能够添加输入，直接添加可能会有crash[session addInput:input];
}

5、创建一个静态图片输出 AVCaptureStillImageOutput

AVCaptureStillImageOutput *imageOutput = [[AVCaptureStillImageOutput alloc] init];

6、将捕捉输出添加到会话中

if ([session canAddOutput:imageOutput]) {//检测是否可以添加输出[session addOutput:imageOutput];
}

7、创建图像预览层AVCaptureVideoPreviewLayer

AVCaptureVideoPreviewLayer *previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:session];
previewLayer.frame = self.view.frame;
[self.view.layer addSublayer:previewLayer];

8、开始会话

[session startRunning];

开始之前先获取设备摄像头权限。info.plist中添加Privacy - Camera Usage Description。

这里只是实现捕捉流程，梳理核心组件的关系，没有任何操作。典型的会话创建过程会更复杂，这是毋庸置疑的。当开始运行会话，视频数据流就可以再系统中传输。

三、创建一个简单的拍照视频项目

整个的逻辑依旧是上面的几步，更多的是一些新的属性设置，因为是简单项目，所以，只是实现了功能，并没有作具体的优化。怎么简单怎么来，主要是熟悉一下主要功能。

1、创建捕捉会话

项目里不只是要实现静态图片捕捉，还会有视频拍摄，所以还有视频和音频输入。

就是前面说的【创建简单会话】流程的升级版，可以同时给会话添加多个输入和多个输出，然后分别单独处理。

self.captureSession = [[AVCaptureSession alloc] init];self.captureSession.sessionPreset = AVCaptureSessionPresetHigh;//获取设备摄像头AVCaptureDevice *videoDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];// 得到一个指向默认视频捕捉设备的指针。AVCaptureDeviceInput *videoInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:error];//将设备添加到Session之前，先封装到AVCaptureDeviceInput对象if (videoInput) {if ([self.captureSession canAddInput:videoInput]) {[self.captureSession addInput:videoInput];self.activeVideoInput = videoInput;}} else {return NO ;}//获取设备麦克风功能AVCaptureDevice *audioDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];AVCaptureDeviceInput *audioInput = [AVCaptureDeviceInput deviceInputWithDevice:audioDevice error:error];if (audioInput) {if ([self.captureSession canAddInput:audioInput]) {//对于有效的input，添加到会话并给它传递捕捉设备的输入信息[self.captureSession addInput:audioInput];}} else {return NO ;}//设置 静态图片输出self.stillImageOutput = [[AVCaptureStillImageOutput alloc] init];self.stillImageOutput.outputSettings = @{AVVideoCodecKey:AVVideoCodecJPEG};//配置字典表示希望捕捉JPEG格式图片if ([self.captureSession canAddOutput:self.stillImageOutput]) {// 测试输出是否可以添加到捕捉对话，然后再添加[self.captureSession addOutput:self.stillImageOutput];}//设置视频文件输出self.movieOutput = [[AVCaptureMovieFileOutput alloc] init];if ([self.captureSession canAddOutput:self.movieOutput]) {[self.captureSession addOutput:self.movieOutput];NSLog(@"add movie output success");}

2、开始和结束会话

- (dispatch_queue_t)globalQueue {return dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);
}//开始捕捉会话
- (void)startSession {if (![self.captureSession isRunning]) {dispatch_async([self globalQueue], ^{//开始会话 同步调用会消耗一定时间，所以用异步方式在videoQueue排队调用该方法，不会阻塞主线程。[self.captureSession startRunning];});}
}//停止捕捉会话
- (void)stopSession {if ([self.captureSession isRunning]) {dispatch_async([self globalQueue], ^{[self.captureSession stopRunning];});}
}

3、切换摄像头

切换前置和后置摄像头需要重新配置捕捉回话，可以动态重新配置AVCaptureSession，不必担心停止会话和重新启动会话带来的开销。
对会话进行的任何改变，都要通beginConfiguration和commitConfiguration，进行单独的、原子性的变化。

- (BOOL)switchCameras { //验证是否有可切换的摄像头if (![self canSwitchCameras]) {return NO;}NSError *error;AVCaptureDevice *videoDevice = [self inactiveCamera];AVCaptureDeviceInput *videoInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:&error];if (videoInput) {[self.captureSession beginConfiguration];// 标注源自配置变化的开始[self.captureSession removeInput:self.activeVideoInput];if ([self.captureSession canAddInput:videoInput]) {[self.captureSession addInput:videoInput];self.activeVideoInput = videoInput;} else if (self.activeVideoInput) {[self.captureSession addInput:self.activeVideoInput];}[self.captureSession commitConfiguration];} else {[self.delegate deviceConfigurationFailedWithError:error];       return NO;}return YES;
}

// 返回指定位置的AVCaptureDevice 有效位置为 AVCaptureDevicePositionFront 和AVCaptureDevicePositionBack，遍历可用视频设备，并返回position参数对应的值
- (AVCaptureDevice *)cameraWithPosition:(AVCaptureDevicePosition)position {NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];for (AVCaptureDevice *device  in devices) {if (device.position  == position) {return device;}}return nil;
}// 当前捕捉会话对应的摄像头，返回激活的捕捉设备输入的device属性
- (AVCaptureDevice *)activeCamera {return self.activeVideoInput.device;
}// 返回当前未激活摄像头
- (AVCaptureDevice *)inactiveCamera {AVCaptureDevice *device = nil;if (self.cameraCount > 1) {if ([self activeCamera].position == AVCaptureDevicePositionBack) {device = [self cameraWithPosition:AVCaptureDevicePositionFront];} else {device = [self cameraWithPosition:AVCaptureDevicePositionBack];}}return device;
}- (BOOL)canSwitchCameras {return self.cameraCount > 1;
}// 返回可用视频捕捉设备的数量
- (NSUInteger)cameraCount {return [[AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo] count];
}

4、捕获静态图片

AVCaptureConnection，当创建一个会话并添加捕捉设备输入和捕捉输出时，会话自动建立输入和输出的链接，按需选择信号流线路。访问这些连接，可以更好地对发送到输出端的数据进行控制。

CMSampleBuffer是有CoreMedia框架定义的CoreFoundation对象。可以用来保存捕捉到的图片数据。图片格式根据输出对象设定的格式决定。

- (void)captureStillImage {NSLog(@"still Image");AVCaptureConnection *connection = [self.stillImageOutput connectionWithMediaType:AVMediaTypeVideo];if (connection.isVideoOrientationSupported) {connection.videoOrientation = [self currentVideoOrientation];}id handler = ^(CMSampleBufferRef sampleBuffer,NSError *error) {if (sampleBuffer != NULL) {NSData *imageData = [AVCaptureStillImageOutput jpegStillImageNSDataRepresentation:sampleBuffer];UIImage *image = [UIImage imageWithData:imageData];//这就得到了拍摄到的图片，可以做响应处理。} else {NSLog(@"NULL sampleBuffer :%@",[error localizedDescription]);}};[self.stillImageOutput captureStillImageAsynchronouslyFromConnection:connection completionHandler:handler];
}

处理图片方向问题。

- (AVCaptureVideoOrientation)currentVideoOrientation {AVCaptureVideoOrientation orientation;switch ([[UIDevice currentDevice] orientation]) {case UIDeviceOrientationPortrait:orientation = AVCaptureVideoOrientationPortrait;break;case UIDeviceOrientationLandscapeRight:orientation = AVCaptureVideoOrientationLandscapeLeft;break;case UIDeviceOrientationPortraitUpsideDown:orientation = AVCaptureVideoOrientationPortraitUpsideDown;break;default:orientation = AVCaptureVideoOrientationLandscapeRight;break;}return orientation;
}

5、录制视频

视频内容捕捉，设置捕捉会话，添加名为AVCaptureMovieFileOutput的输出。将QuickTime影片捕捉大磁盘，这个类的大多数核心功能继承与超类AVCaptureFileOutput。

通常当QuickTime应聘准备发布时，影片头的元数据处于文件的开始位置，有利于视频播放器快速读取头包含的信息。录制的过程中，知道所有的样本都完成捕捉后才能创建信息头。

- (void)startRecording {if (![self isRecording]) {AVCaptureConnection *videoConnection = [self.movieOutput connectionWithMediaType:AVMediaTypeVideo];if ([videoConnection isVideoOrientationSupported]) {videoConnection.videoOrientation = [self currentVideoOrientation];}if ([videoConnection isVideoStabilizationSupported]) {videoConnection.preferredVideoStabilizationMode = YES;}//如果支持preferredVideoStabilizationMode，设置为YES。支持视频稳定可以显著提升捕捉到的视频质量。// 只在录制视频文件时才会涉及。AVCaptureDevice *device = [self activeCamera];if (device.isSmoothAutoFocusEnabled) {NSError *error;if ([device lockForConfiguration:&error]) {device.smoothAutoFocusEnabled = YES;[device unlockForConfiguration];} else {[self.delegate deviceConfigurationFailedWithError:error];}//摄像头可以进行平滑对焦模式的操作，减慢摄像头镜头对焦的速度。//通常情况下，用户移动拍摄时摄像头会尝试快速自动对焦，这会在捕捉视频中出现脉冲式效果。//当平滑对焦时，会较低对焦操作的速率，从而提供更加自然的视频录制效果。}self.outputURL = [self uniqueURL];NSLog(@"url %@",self.outputURL);[self.movieOutput startRecordingToOutputFileURL:self.outputURL recordingDelegate:self];// 查找写入捕捉视频的唯一文件系统URL。保持对地址的强引用，这个地址在后面处理视频时会用到// 添加代理，处理回调结果。}
}// 获取录制时间
- (CMTime)recordedDuration {return self.movieOutput.recordedDuration;
}// 设置存储路径
- (NSURL *)uniqueURL {NSFileManager *fileManager = [NSFileManager defaultManager];NSString *directionPath = [[NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) firstObject] stringByAppendingPathComponent:@"camera_movie"];NSLog(@"unique url ：%@",directionPath);if (![fileManager fileExistsAtPath:directionPath]) {[fileManager createDirectoryAtPath:directionPath withIntermediateDirectories:YES attributes:nil error:nil];}NSString *filePath = [directionPath stringByAppendingPathComponent:@"camera_movie.mov"];if ([fileManager fileExistsAtPath:filePath]) {[fileManager removeItemAtPath:filePath error:nil];}return [NSURL fileURLWithPath:filePath];return nil;
}// 停止录制
- (void)stopRecording {if ([self isRecording]) {[self.movieOutput stopRecording];}
}// 验证录制状态
- (BOOL)isRecording {return self.movieOutput.isRecording;
}

代理回调，拿到录制视频的地址。

#pragma mark -- AVCaptureFileOutputRecordingDelegate// 录制完成
- (void)captureOutput:(AVCaptureFileOutput *)output didFinishRecordingToOutputFileAtURL:(NSURL *)outputFileURL fromConnections:(NSArray<AVCaptureConnection *> *)connections error:(NSError *)error
{NSLog(@"capture output");if (error) {NSLog(@"record error :%@",error);[self.delegate mediaCaptureFailedWithError:error];} else {// 没有错误的话在存储响应的路径下已经完成视频录制，可以通过url访问该文件。}self.outputURL = nil;
}

6、将图片和视频保存到相册

将拍摄到的图片和视频可以通过这个系统库保存到相册。

不过AssetsLibrary在iOS9.0之后就被弃用了，可以使用从iOS8.0支持的Photos/Photos.h库来实现图片和视频的保存。

- (void)writeImageToAssetsLibrary:(UIImage *)image {ALAssetsLibrary *library = [[ALAssetsLibrary alloc] init];[library writeImageToSavedPhotosAlbum:image.CGImage orientation:(NSInteger)image.imageOrientation completionBlock:^(NSURL *assetURL, NSError *error) {if (!error) {} else {NSLog(@"Error :%@",[error localizedDescription]);}}];}

- (void)writeVideoToAssetsLibrary:(NSURL *)videoUrl {ALAssetsLibrary *library = [[ALAssetsLibrary alloc] init];if ([library videoAtPathIsCompatibleWithSavedPhotosAlbum:videoUrl]) {//检验是否可以写入ALAssetsLibraryWriteVideoCompletionBlock completionBlock;completionBlock = ^(NSURL *assetURL, NSError *error) {if (error) {[self.delegate asssetLibraryWriteFailedWithError:error];} else {}};[library writeVideoAtPathToSavedPhotosAlbum:videoUrl completionBlock:completionBlock];}
}

Photos/Photos.h实现图片和视频保存

[[PHPhotoLibrary sharedPhotoLibrary] performChanges:^{[PHAssetChangeRequest creationRequestForAssetFromImage:image];} completionHandler:^(BOOL success, NSError * _Nullable error) {NSLog(@"success :%d ,error :%@",success,error);if (success) {// DO: }}];

[[PHPhotoLibrary sharedPhotoLibrary] performChanges:^{[PHAssetChangeRequest creationRequestForAssetFromVideoAtFileURL:videoUrl];
} completionHandler:^(BOOL success, NSError * _Nullable error) {if (success) {// DO：[self generateThumbnailForVideoAtURL:videoUrl];} else {[self.delegate asssetLibraryWriteFailedWithError:error];NSLog(@"video save error :%@",error);}
}];

7、关于闪光灯和手电筒的设置

设备后面的LED灯，当拍摄静态图片时作为闪光灯，当拍摄视频时用作连续灯光(手电筒).捕捉设备的flashMode和torchMode。

AVCapture(Flash|Torch)ModeAuto：基于周围环境光照情况自动关闭或打开
AVCapture(Flash|Torch)ModeOff：总是关闭
AVCapture(Flash|Torch)ModeOn：总是打开

修改闪光灯或手电筒设置的时候，一定要先锁定设备再修改，否则会挂掉。

- (BOOL)cameraHasFlash {return [[self activeCamera] hasFlash];
}- (AVCaptureFlashMode)flashMode {return [[self activeCamera] flashMode];
}- (void)setFlashMode:(AVCaptureFlashMode)flashMode {AVCaptureDevice *device = [self activeCamera];if ([device isFlashModeSupported:flashMode]) {NSError *error;if ([device lockForConfiguration:&error]) {device.flashMode = flashMode;[device unlockForConfiguration];} else {[self.delegate deviceConfigurationFailedWithError:error];}}
}- (BOOL)cameraHasTorch {return [[self activeCamera] hasTorch];
}- (AVCaptureTorchMode)torchMode {return [[self activeCamera] torchMode];
}- (void)setTorchMode:(AVCaptureTorchMode)torchMode {AVCaptureDevice *device = [self activeCamera];if ([device isTorchModeSupported:torchMode]) {NSError *error;if ([device lockForConfiguration:&error]) {device.torchMode = torchMode;[device unlockForConfiguration];} else {[self.delegate deviceConfigurationFailedWithError:error];}}
}

8、其他一些设置

还有许多可以设置的属性，比如聚焦、曝光等等，设置起来差不多，首先要检测设备(摄像头)是否支持相应功能，锁定设备，而后设置相关属性。

再以对焦为例

// 询问激活中的摄像头是否支持兴趣点对焦
- (BOOL)cameraSupportsTapToFocus {return [[self activeCamera] isFocusPointOfInterestSupported];
}// 点的坐标已经从屏幕坐标转换为捕捉设备坐标。
- (void)focusAtPoint:(CGPoint)point {AVCaptureDevice *device = [self activeCamera];if (device.isFocusPointOfInterestSupported && [device isFocusModeSupported:AVCaptureFocusModeAutoFocus]) {// 确认是否支持兴趣点对焦并确认是否支持自动对焦模式。// 这一模式会使用单独扫描的自动对焦，并将focusMode设置为AVCaptureFocusModeLockedNSError *error;if ([device lockForConfiguration:&error]) {//锁定设备准备配置device.focusPointOfInterest = point;device.focusMode = AVCaptureFocusModeAutoFocus;[device unlockForConfiguration];} else {[self.delegate deviceConfigurationFailedWithError:error];}}
}

关于屏幕坐标与设备坐标的转换

captureDevicePointOfInterestForPoint:–获取屏幕坐标系的CGPoint数据，返回转换得到的设备坐标系CGPoint数据

pointForCaptureDevicePointOfInterest:–获取社小偷坐标系的CGPoint数据，返回转换得到的屏幕坐标系CGPoint数据