基于CMOS 图像传感器的多斜率积分模式

基于CMOS 图像传感器的多斜率积分模式
杨东来1，2，胡晓东1，李俊娜3
(1. 中国科学院西安光学精密机械研究所，陕西西安710119；2. 中国科学院研究生院，北京100049；
3. 西安应用光学研究所，陕西西安710065)
摘要： CMOS 图像传感器由于器件本身的特点，相比CCD 传感器，其动态范围较小。以CYPRESS
公司生产的高性能CMOS 图像传感器IBIS5-A-1300 为研究对象，对其多斜率积分原理进行研究，提
出了采用同步快门多斜率积分的方法来扩展CMOS 图像传感器的动态范围。以FPGA+DSP 为系统的
硬件处理平台，给出了多斜率积分驱动时序的具体设计思路和方法，并在QuartusⅡ7.0 环境下对所设
计的驱动时序进行功能仿真。采用所设计的多斜率积分时序驱动，将CMOS 图像传感器的动态范围
由原来单斜率积分模式下的64 dB 扩展到了90 dB。实验结果表明，采用多斜率积分模式可以实现动
态范围扩展的要求。
关键词： CMOS 图像传感器；多斜率积分；动态范围； FPGA
中图分类号： TP212；TN248.1 文献标志码： A 文章编号： 1007-2276(2012)06-1499-04
Multiple slope integration based on CMOS image sensor
Yang Donglai1,2, Hu Xiaodong1, Li Junna3
(1. Xi′an Institute of Optics and Precision Mechanies of Chinese Academy of Sciences, Xi′an 710119, China; 2. Graduate
University of Chinese Academy of Sciences ， Beijing 100049, China; 3. Xi′an Institute of Applied Optics, Xi′an 710065, China)
Abstract: Compared with CCD (Charge Coupled Device), the dynamic range of CMOS image sensor is
narrower, which is due to its self-characteristics. With high-performance CMOS image sensor IBIS5-A-1
300 produced by CYPRESS company as the object, a research was made on the theory of its multiple
slope integration, and the integration mode was used to extend its dynamic range. The design method of
multiple slope integration′ s timing was advanced with FPGA and DSP as the hardware system. With
Quartus Ⅱ 7.0, the designed driver timing was simulated in function. The new designed multiple slope
integration timing drive extended the optical dynamic range of CMOS image sensor, from original model
of single slope integration mode 64 dB to 90 dB. The experiment result shows that multiple slope
integration mode can achieve the purpose of extending the dynamic range.
Key words: CMOS image sensor; multiple slope integration; dynamic range; FPGA
第41 卷第6 期红外与激光工程2012 年6 月
Vol.41 No.6 Infrared and Laser Engineering Jun. 2012
红外与激光工程第41 卷
0 引言
动态范围是图像传感器成像质量的一项重要指
标[1]，动态范围越大意味着能够探测到场景信息的
光强范围越宽，即图像所包含的信息越丰富。近年
来，CMOS 图像传感器技术不断发展，因其具有低功
耗、集成度高、低成本、可随机读取等优点，已成为主
流的图像传感器芯片。CMOS 图像传感器内部集成
有较多的放大器、寻址译码等电路，导致器件的相对
噪声比较大，因此在相同的环境下，其动态范围不如
CCD 器件的宽[2]。
文中以IBIS5-A-1300 CMOS 图像传感器为例，
在分析其同步快门多斜率积分模式的基础上，通过
采用多斜率积分的方式对CMOS 图像传感器的动
态范围进行扩展。用VHDL 语言设计了驱动时序控
制电路，并进行了仿真和实验验证。
1 多斜率积分原理
动态范围可定义为一幅图像中能够识别出的最
大非饱和信号值与最大噪声值的比值[3]，即可以表
示为：动态范围=最大非饱和信号值/最大噪声值。
CMOS 图像传感器中像素的输出电压由曝光时
间和光照强度决定[4]，在光照强度相同的环境下，长
积分时间操作的积分曲线变化具有高灵敏度特性，而
短积分时间操作对应的曲线变化具有低灵敏度特性。
图1 为双斜率和单斜率灵敏特性曲线，横轴为
光照强度变化量，竖轴为像元的输出电压值。图中斜
率很陡的虚线代表长积分时间，可以看出，在光照强
度较弱的情况下该曲线即能达到饱和状态，因此长
积分时间曲线对光照强度变化的灵敏度很高；斜率
比较平缓的点线代表短积分时间，在光强较强时，
对应的输出电压值接近饱和，因此其对光照强度变
化的灵敏度较低；图中的实线为双斜率曲线，当光
强较弱时采用长积分时间，其斜率较陡，而在光强
较强时，采用短积分时间，其斜率较低，这样就可以
保证像元的输出电压在光强变化范围较大时不至
于饱和。
多斜率积分的原理与双斜率积分相同，只不过
在双斜率积分的基础上增加了一些拐点而已，使曲
线包含更多的斜率。这些拐点的设置使信号的输出
电压能适应光照强度在更大范围内的变化，从而实
现光学动态范围扩展[5]。
2 CMOS 图像传感器的多斜率积分时序设计
2.1 IBIS5-A-1300 CMOS 图像传感器的多斜率积
分时序介绍
选用的IBIS5-A-1300 CMOS 图像传感器有两
种电子快门模式：同步快门模式和卷帘快门模式，其
中同步快门又有单斜率积分和多斜率积分两种积分
模式。同步快门单斜率积分模式下光学动态范围为
64 dB, 即最大非饱和信号值/最大噪声值=1 600:1；而
在多斜率积分模式下，光学动态范围可达80~100 dB。
下面介绍IBIS5-A-1300 CMOS 图像传感器的多斜
率积分驱动时序。
图2 为同步快门的多斜率积分操作时序[6]，图中
SS_START 为光积分开始信号，控制积分操作开始；
SS_STOP 为光积分结束信号，控制积分操作结束；当
积分时间达到所设定的值后，由CMOS 图像传感器
内部产生一个TIME_OUT 信号，表示积分已经结
束，可以用它来触发产生SS_STOP 信号。
图1 双斜率和单斜率灵敏度特性曲线
Fig.1 Double and single slope response curves
图2 同步快门多斜率积分操作
Fig.2 Multiple slope operation with synchronous shutter
1500
第6 期
IBIS5-A-1300 CMOS 图像传感器内部有一个可
控制多斜率积分拐点设置的寄存器[7]，如表1 所示。
可以通过更改寄存器中的值，使图像传感器的复位
电压(产生SS_START 脉冲后)发生改变。
表1 多斜率积分寄存器设置
Tab.1 Multiple slope register settings
整个多斜率积分过程如下：图2 中p1、p2、p3、
p4 为图像传感器中4 个独立的像元，这4 个像元上
的光照强度是不同的，光照越强其输出电压越灵敏，
即积分曲线斜率越陡，如p3、p4 像元；相反，光照越
弱的像元其输出电压越不灵敏，如p1、p2 像元。可以
看出，若在积分过程中只产生一个SS_START 脉冲，
即采用单斜率积分，则光照强度较强的p3、p4 像元
在积分时间结束之前很快就会达到饱和状态，从而
影响最终的成像质量。而在多斜率积分模式下，在光
照较强的像元达到饱和之前使光积分操作复位(即
重新产生一个SS_START 脉冲)，随着寄存器设置的
不同，复位电压也依次降低，但积分斜率保持不变。
这样几次复位后，光照强度较强的像元在积分时间
结束时，其输出电压没有饱和，从而实现了光学动态
范围的扩展。
2.2 多斜率积分的驱动时序设计
以FPGA 和DSP 为硬件处理核心，其硬件系统
功能如图3 所示。系统工作过程如下：首先，由DSP
通过I2C 总线对CMOS 图像传感器进行初始化，对
图像传感器内部各个寄存器的参数值进行设置；由
FPGA 产生驱动CMOS 图像传感器所需的各种时序
信号，并接收产生的图像信息数据；FPGA 与DSP 之
间通过中断进行数据交换等操作。
图3 硬件系统功能图
Fig.3 Schematic of function of hardware system
根据系统硬件平台的特点，设计出改进的多斜
率积分驱动时序，如图4 所示。
图4 多斜率积分驱动时序
Fig.4 Timing for multiple slope integration driving
整个驱动过程如下：系统上电后，由FPGA 产生
第一个SS_START 脉冲，控制开始进行光积分操作，
当积分时间到达内部寄存器所设值时，由图像传感
器产生TIME_OUT 脉冲，表示积分操作结束。可用
TIME_OUT 脉冲触发产生SS_START 脉冲，进行下
一次的积分操作。直到总共完成4 次积分操作即实
现了多斜率积分过程，图像传感器产生SS_STOP
脉冲，表示整个积分过程结束，可以进行像元读出
操作。
值得注意的是，在产生每一个新的SS_START
脉冲前，需要对多斜率积分寄存器的值进行更新；并
且在每一段积分结束后，对积分时间寄存器重新赋
值，控制下一次积分时间。因此，在所设计的驱动时
序中，在每一个SS_START 脉冲产生后，由FPGA 向
DSP 产生中断信号DSP_INT，DSP 在接收到这个中
断信号后，进行中断操作，对CMOS 图像传感器的多
斜率积分寄存器的值进行更新。在每一段积分操作
结束后，TIME_OUT 脉冲产生DSP_INT 中断信号，
DSP 接到中断信号后，对图像传感器内部的积分时
Knee point
Pixel reset voltage/V
VDDR_right Knee_point/V
MSB/LSB Enable(1)
00 0 or 1 VDDR_LEFT 0
01 1 VDDR_LEFT-0.76 0.76
10 1 VDDR_LEFT-1.52 1.52
11 1 VDDR_LEFT-2.28 2.28
杨东来等：基于CMOS 图像传感器的多斜率积分模式1501
红外与激光工程第41 卷
间寄存器进行赋值，来更改下一次的积分时间。因此
在四斜率积分时序中，每次积分过程产生8 个中断
信号，每个中断都对应着不同的赋值操作。
2.3 驱动时序的仿真
多斜率积分模式的驱动时序设计完成后，在
QuartusⅡ7.0 环境下对其进行时序功能仿真，仿真
结果如图5 所示。
图5 驱动时序仿真结果
Fig.5 Result of driving timing simulation
从仿真结果可以看出，所设计的驱动时序满足
多斜率积分时序要求。
3 实验结果与分析
图6 为采用单斜率积分模式的成像结果，可以
看出在该图的右侧区域，部分像元的成像已出现严
重饱和现象，这是由于该成像区域上的光照过强，可
以通过减少积分时间使像元的输出电压降低，从而
减少饱和现象，但这样会使光照较弱的区域由于曝
光时间不够而出现成像灰暗的现象[8]。
图6 单斜率积分模式下的成像结果
Fig.6 Imaging result of single slope integration
在外部光照等其他条件不变的情况下，采用多
斜率积分模式进行成像，结果如图7 所示。可以看
出，图像中光照较强区域的饱和失真现象已得到了
明显改善。这充分说明，多斜率积分对提高图像传感
器的动态范围具有显著的作用。
图7 多斜率积分模式下的成像结果
Fig.7 Imaging result of multiple slope integration
4 结论
针对IBIS5-A-1300 CMOS 图像传感器，通过对
其多斜率积分原理的分析，以FPGA 和DSP 为硬件
核心，设计出相应的驱动时序。最后通过实验验证，
采用多斜率积分模式能够有效地提高CMOS 图像传
感器的光学动态范围。
参考文献：
[1] Yang Bin, Wang Yanchang, Li Peihong, et al. Implementation of
high dynamic range exposure algorithm for digital camera [J].
Chinese Journal of Sensors and Actuators, 2011, 24(1): 68-72.
(in Chinese)
[2] Gao Min, Bian Zhenglan, Dong Zuoren, et al. Application of
pulse width modulation technique in CCD photoelectric
autocollimator [J]. Infrared and Laser Engineering, 2010, 40
(5): 892-895. (in Chinese)
[3] Jin Weiqi, Liu Bin, Fan Yongjie, et al. Review on infrared image
detail enhancement techniques [J]. Infrared and Laser
Engineering，2011, 40(12): 2521-2527. (in Chinese)
[4] Gu Lin, Hu Xiaodong, Luo Changzhou, et al. Automatic
adjustment of the exposure time of linear CCD based on cpld
[J]. Acta Photonica Sinica, 2002, 31 (12): 1533-1537. (in
Chinese)
[5] Ma Donghui, Xue Qun, Chai Qi, et al. Infrared and visible
images fusion method based on image information [J]. Infrared
and Laser Engineering, 2011, 41(6): 1168-1171. (in Chinese)
[6] Cypress Semiconductor Corporation. IBIS5-A-1300 dual shutter
mode 1.3 M pixel CMOS image sensor datasheet [Z]. San
Francusco 2005.
[7] Xing Rujia, Zhang Boheng, Bian Chuanping, et al. Design of
time order based on CMOS image sensor IBIS5 -A-1300 [J].
Science Technology and Engineering, 2006, 6(21): 3422-3426.
(in Chinese)
[8] Xu Guili, Liu Xiaoxia, Tian Yupeng, et al. Image clarity -
evaluation -function method [J]. Infrared and Laser
Engineering, 2009, 39(1): 180-184. (in Chinese)
1502

基于CMOS 图像传感器的多斜率积分模式相关推荐

CMOS图像传感器中的噪声来源分析
CMOS图像传感器中的噪声来源分析载流子的随机涨落是半导体器件中噪声的主要来源,噪声不仅会使成像质量恶化,同时也决定了图像传感器的灵敏度,因此在图像传感器中将噪声定义为所有使图像或"信号 ...
压缩感知算法_CEALeti研发出基于压缩感知的CMOS图像传感器
据麦姆斯咨询报道,法国原子能委员会电子与信息技术实验室(CEA-Leti)近日发表了Wissam Benjilali的博士论文,题为"Exploring analog-to-informat ...
CMOS图像传感器——图像传感器噪声
图像传感器噪声取决于图像传感器的制作工艺.内部结构及内部补偿技术等原因,噪声反应了图像传感器的内部特性.CMOS图像传感器基本原理见: CMOS图像传感--概述_沧海一升的博客-CSDN博客_cmos ...
CMOS图像传感器——TDI CIS
一.面阵与线阵图像传感器人们在日常生活中见到的相机大多基于普通的面阵图像传感器,这种相机多用来拍摄静止的物体.即使用它们來拍摄运动的物体,也仅仅是缩短了相邻两次拍摄的时间间隔,无需对所拍摄图像进行额 ...
机器视觉：CMOS图像传感器
机器视觉:CMOS图像传感器 1. 引言早于上世纪九十年代初,有意见认为电荷耦合器件(Charge Coupled Device,CCD) 日渐式微,最终将成为"科技恐龙" ...
中国CMOS图像传感器行业运行状况与应用前景调研报告2022版
中国CMOS图像传感器行业运行状况与应用前景调研报告2022版 HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS-- [修订日期]:2021年11月 [搜索 ...
CMOS图像传感器——闪烁（flicker）现象
一.概述闪烁(Flicker),通常发生在室内场景,曝光时间设置如果不是光源能量周期的整数倍,则图像不同位置处积累的信号强度不同,并呈周期性变化,这是单帧图像的情况.在视频序列上,如果满足一定条件, ...
CMOS图像传感器——2021产品选谈
据Yole统计,2020年全球CMOS图像传感器(CIS)市场规模为207亿美元,出货量为70.08亿颗.跟其它半导体器件一样,CIS也因为疫情和生产周期长,以及各种市场因素,而导致采购和供应链紧张. ...
CMOS图像传感器——高动态范围
动态范围是CMOS 图像传感器中很重要的一项评价指标.动态范围指示了CMOS 图像传感器能够在同一帧图像中同时探测到的最大光强信号和最小光强信号的范围.动态范围通常用dB 形式来表示,其计算公式如下 ...
CCD和CMOS图像传感器的快门
CCD和CMOS图像传感器的快门 1. 介绍在数字相机里,通过CCD或CMOS图像传感器里的光二极管将景物的光转换为电信号形成图像,传感器感光元件产生的电信号大小取决于光强度和光照时间(积分时间), ...

基于CMOS 图像传感器的多斜率积分模式

基于CMOS 图像传感器的多斜率积分模式相关推荐

最新文章

热门文章