您好,欢迎来到刀刀网。
搜索
您的当前位置:首页基于USB的高分辨率CMOS图像采集系统研究

基于USB的高分辨率CMOS图像采集系统研究

来源:刀刀网
维普资讯 http://www.cqvip.com 2007年第6期 ・设计与研究・ 文章编号:1001—2265(2007)06—0001—04 基于USB的高分辨率CMOS图像采集系统研究木 刘鹏飞 一,韩九强 ,李国朝 ,杨燕华 (1.上海交通大学机械与动力工程学院,上海200240;2.西安交通大学信息与电子工程学院,西安 710049) 摘要:设计并实现了一种数字图像采集系统,系统采用CMOS芯片MCM20027采集图像,在CPLD的时序 控制下。通过USB2.0设备接口芯片CY7C68013来传输图像,然后在上位机进行处理。论文给出了此系 统的软、硬件模块具体设计方法。实践表明,此款图像采集系统即插即用、分辨率高、图像刷新频率高、 图像质量好。 ’ 关键词:CMOS;图像传感器;USB2.0;CPLD 中图分类号:TN911 文献标识码:A Research on CMOS Image Collection System Based on USB LIU Peng—fei ’ ,HAN Jiu—qiang2,LI Guo—zhao ,YANG Yan—hua (1.School of Mechanical Engineering,Shanghai Jiaotong University,Shanghai 200240,China;2.School of E— lectronics and Information Engineering。Xi’an Jiaotong University,Xi’an 7 10049,China) Abstract:A hi曲-resolution digital image collection system is designed and developed.In this systme,a cam- era-on-chip MCM20027 is used for collecting image data.and an equipment-niterface-chip CY7C68013 of u。 niversal serila bus 2.0 is desinged to transfer image data,and a complex programmable logic device is used to ocntrol the tmie sequences between them.The detailde techniques of hardware and software modules are given ni the paper.The experimental results show that the image collection systme have good performance in image quality,image renovating frequency and high resolution. Key words:complementary metal oxide semiconductor;image sensor;universal serial bus 2.0;complex pro。 rgammable logic device O 引言 流,具有成品率高、价格低等特点,在高集成度、低功耗 (仅相当于CCD器件的1/8)、价格便宜、编程方便、易 作为图像传感器件的两大主流CMOS(Comple— 于控制及高捕捉速度方面具有明显优势 。目前国 mentary Metal Oxide Semiconductor)和CCD(Charged 内已见报道的CMOS图像采集系统的研究主要集中于 Coupled Device)器件来说,CCD一度占领主流地位。 采用OmniVision公司的OV7620黑白数字相机芯片 但是,图像传感器的产业结构目前正面l临着一个重大 (640×480,约30万像素)设计的图像采集系统 J。 转折,也就是说CCD的传统地位有可能被CMOS传感 本文设计并实现了一种基于USB2.0总线的快速、 器取代。近来CMOS图像传感器受到重视的首要原因 高分辨率数字图像采集系统。该系统采用Motorola公 在于过去大大低于CCD的灵敏度问题和图像噪声问 司的CMOS图像传感器芯片MCM20027(1280×1024, 题逐步得到解决¨引。一旦在灵敏度上面赶上CCD, 约130万像素)和先进的USB2.0(传输速度最高可达 CMOS制作工艺作为当代大规模集成电路生产的主 480Mbit/sec)技术,通过CPLD(Complex Programmable 收稿日期:2006—10—25 基金项目:国家自然科学基金项目资助(60602025) 作者简介:刘鹏飞(1977一),男,安徽歙县人,上海交通大学博士后。研究方向为核电站仪表、控制与仿真,机器人智能控制、视觉伺服及信息融合, (E—mail)pfliu@sjtu.edu.cn;韩九强(1951一),男,教授,博导,研究方向为智能检测与智能控制。 维普资讯 http://www.cqvip.com ・设计与研究・ 组合机床与自动化加工技术 主时钟-lcLK 传感器初始化信号INIT 出选通信号sTR0BE 外同步触发信号sYNc Logic Device)模块实现了CMOS图像传感 器芯片和USB控制芯片的时序配,以高速 传输数据给上位机,并且在上位机应用程 序中,编写合适的算法进行码制转换,消除 1280 ̄1024象素 数字控制 传感器 接口 星堡堕壁S 相关双采样(CDS)电路 12C串行总线 I2C总线数据SDATA 从接口 10位Bayer 噪声,最终快速高质量的实现图像采集。 1系统工作原理 基于USB2.0接口的高分辨率CMOS 模式数据流 图像采集系统是一个用于读写数字图像 的USB设备。系统工作原理如图1所示, 本系统主要由图像传感器模块、CPLD模 块、USB2.0模块三个模块组成。工作时 路钳 I(位FR电C)O憾H  H I(Cfoflsue移mtn)BH(}l H aW lhaint衡ce)G懈( lI H Glaoi bna)Ol (I} H Gflfos懈beatl)HI l … 控制信 号解码 像素时钟 信号lIcu( 行时钟 信号VCLK 帧起始 信号SOF 图2 图像传感器芯片MCM20027的功能模块简图 通过CMOS图像传感器采集图像,经过传感器内部 A/D转换成Bayer模式的数字图像后以稳定的速率输 出该Bayer模式的数据到USB2.0接口芯片,再由 USB2.0接口芯片按照USB协议把数据打包传输入个 人计算机进行处理,当计算机接收到Bayer模式格式的 数字图像数据后,在应用程序中将该数据进行颜色插 补算法处理成RGB格式的数字图像,最后进行显示或 者存盘为BMP格式图像。同时,上层软件可以通过 USB芯片的I2C总线改变CMOS芯片的寄存器值,从 而对CMOS芯片的显示模式或图像加以控制。其中 CPLD模块主要完成CMOS图像传感器与USB2.0接 口芯片通信的接口时序,以实现定位每帧数字图像帧 帧头的目的。 此CMOS芯片集成10Bits的ADC,集成控制时序 逻辑单元,同步输出编码图像数据流,单主时钟操作, 13.5MHz的主时钟速率下,最大图像输出可高达每秒 10帧,格式为逐行扫描;20倍可编程增益,优化的动态 范围,支持自动白平衡和虹膜校正;支持I C总线编程 接口;支持像素“兴趣窗口”、分辨率设定、曝光时间、增 益控制、帧速率可编程。同时,MCM20027有两种图像 帧采集模式(Capture Mode),旋转快门连续帧采集模式 CFRS(Continuous Frame Rolling Shutter)和旋转快门单 帧采集模式SFRS(Single Frame Rolling Shutter)。 USB2.0总线芯片采用Cypress公司的 CY7C680 13,该芯片完全符合USB2.0协议,并且兼容 USB1.1协议。USB2.0协议或USB1.1协议的选择是 主机 USB 接口 USB电缆 ■善廛 = — ] —]控制信号 r—1 I 由芯片自动完成的。该芯片集成了USB2.0总线收发 器、SIE(智能串行接口引擎)、增强的8051微控制器和 可编程的外围接口。本文所实现的系统采用了Slave FIFOs工作方式。Slave FIFOs方式是“从机”工作方 式,外部控制器可像对待普通FIFO一样对总线芯片的 多层缓冲FIFO进行读写。 图1 CMOS图像采集系统工作原理图 2系统硬件设计 系统硬件的设计主要是根据各个模块的特点,进 行各模块直接的接口设计,使各个模块能够很好地协 图像采集模块和USB接口模块并不能很完美的连 接就能实现板卡顺利采集图像数据,由它们的工作方 式决定了在它们之间必须采用一种时序控制方法才能 实现,也即需要一个接口适配器。而要实现这种可编 程的接口适配器,最好的方法就是采用可编程逻辑器 件CPLD或者FPGA等。考虑到接口逻辑并不很复杂, 以及成本和设计空间等方面的问题,本文选用了Altera 公司的CPLD EMP7064AE rC44—10。 调工作,完成图像采集和处理的功能。 图像传感器模块的核心就是CMOS图像传感器芯 片。CMOS图像传感器芯片MCM20027是一个比较完整 的相机芯片,它将图像传感器部分、信号读出电路、信号 处理电路和控制电路高度集成在一块芯片上,再加上镜 头等其它配件就可以构成一个完整的摄像系统。CMOS 图像传感器芯片功能模块和管脚定义如图2所示。 3系统软件设计 图像采集系统作为一个USB从设备,既要有板内 维普资讯 http://www.cqvip.com 2007年第6期 控制芯片的固件程序来保证其对数据传输的控制,又 需要和上位Pc机的操作系统进行通信所需要的驱动 程序,还需要一套完善的上位机程序。 固件程序所负责的工作是初始化芯片的工作状 态,处理USB总线设备的标准请求,以及对USB总线 进行电源管理等,并且用户还需要提供USB总线设备 描述符表以供实现一个功能完整的USB总线设备。 固件程序采用Cypress公司提供的KeilC51开发包实 ・设计与研究・ 像Bayer模式到标准RGB模式的转换程序及其显示。 以采集一帧数字图像为例,通过图3可以看出此 系统三部分软件如何配合实现图像的采集和显示: (1)当用户发出接收图像数据命令时,首先发出 开CPLD状态位请求; (2)此请求由设备驱动程序通过打包厂商命令传 输入USB接口芯片固件程序,固件程序接到此厂商命 令后分析处理,并置位CPLD相应管脚高电平; 现。 USB设备驱动程序采用WDM模型,WDM驱动程 序是分层的。每个硬设备至少有两个驱动程序。其中 一个驱动程序称为功能(function)驱动程序,即为普通 意义上的那个硬设备驱动程序。它了解使硬件工作的 所有细节,负责初始化I/O操作,有责任处理I/O操作 完成时所带来的中断事件,有责任为用户提供一种设 备适合的控制方式。另一个驱动程序称为总线(bus) 驱动程序。它负责管理硬件与计算机的连接。同时, 本论文总线芯片可以通过一种特殊的驱动程序来自动 下载芯片内部需要运行的固件程序,这样可以使硬件 板卡的USB接口芯片在不使用EEPROM或者FLASH 等存储芯片的情况下加载固件程序。自动完成固件下 载驱动程序在设备插入主机USB端口后被操作系统 识别出并执行,此时该驱动将固件程序下载入USB总 线芯片内部的RAM执行,设备重新枚举后,主机为新 的USB高速设备分配资源并为设备在注册表中查找 到通用设备驱动程序,设备便可以正常进行工作。 USB设备应用程序是计算机中完成连接并操作 USB外设和执行特定功能的程序,在USB设备功能的 配合下,它具体实现发送特定数量的数据或者命令给 USB设备,并且从USB外设读取图像数据进行进一步 的加工和处理。进一步的加工和处理包括存储、显示、 数字图像变换处理等。要实现将图像传感器作为更多 应用的仪器,还需要对采集上来的图像做更多更复杂 的处理,在数字图像采集系统的上位机应用程序中,主 要完成以下工作: (1)设计了操作本系统与计算机接口进行连接通 信的动态链接库DLL程序; (2)设计了图像传感器芯片的控制设置参数图形 化操作界面,让用户可以直观地设置传感器工作模式 和传感器的各项可修改控制参数; (3)设计了计算机从图像传感器采集到的原始图 (3)CPLD相应管脚高电平可使CPLD开始完成 相应功能的工作,也即接收并判断图像传感器芯片所 传输来的图像帧头信息数据,并将象素时钟信号接通 入USB接口芯片的接口时钟管脚; (4)应用程序再发出取图像数据命令,此命令由 设备驱动程序通过打包用户命令传输入USB接口芯片 固件程序; (5)USB接口芯片将FIFO中接收到的图像数据 打包传回计算机; (6)当应用程序接收完整的一帧数据以后,应用 程序再发出关CPLD状态位请求; (应用程序接收一帧请求) 一l一 一J一‘  是 、、— 一 否I l收取一帧数据请求I琴  l开cPLD状态位请剩J关cP是 LD状态位请求l,  I ・ I用户命令请求I l[塑鱼全 I II设l备驱动程序打刨 ● l USB接口芯片固件程序分析处理I I 唪唪 ……辨 图3应用程序接收一帧图像数据流程 (7)此请求由设备驱动程序再次通过打包厂商命 令传输入USB接I=1芯片固件程序,固件程序接到此厂 商命令后分析处理,并置位CPLD相应管脚低电平; (8)CPLD相应管脚低电平使CPLD停止接收和 判断图像传感器芯片所传输来的图像帧头信息数据, ・3・ 维普资讯 http://www.cqvip.com ・设计与研究・ 组合机床与自动化加工技术 CMOS芯片的主频比本文采用的CM0S芯片的主频快 一并断开象素时钟信号与USB接口芯片的接口时钟管 脚; 倍,所以性能指标要高一点,但是把其刷新率除以2, (9)应用程序将接收入计算机内存中的图像数据 就可以看出本文设计的图像采集系统系统在刷新率上 作进一步的处理。 的性能指标稍好一点。 可以看出,应用程序接收一帧图像数据的过程就 表1系统性能比较 是一种“等待处理”的通信机制。需要注意的是,CPLD 图像分辨率 图像刷新频率 MV USB1301 开始其功能操作完全依赖于应用程序发出的CPLD状 1280×1024 5 秒 8帧/秒 态位请求。当没有状态位请求时,即CPLD相应管脚 l024×768 8 秒 l0帧/秒 80o×60o 12 秒 20帧/秒 为低电平,USB接口芯片的接口时钟管脚没有信号,此 64O×480 18帧/秒 30帧/秒 时USB的FIFO并不接收任何图像数据,即便应用程 序发出取数据命令,应用程序也不会从外部设备接收 5 结束语 到任何数据,这样就能保证应用程序要接收一帧图像 本文设计并实现了一种基于USB2.0的CMOS数 时都能从帧头开始接收,从而保证了一帧数据的完整 字图像采集系统,该系统分辨率高、图像刷新频率高、 性。 图像质量好、稳定性好,同时性价比高。该图像采集系 4系统性能指标 统在作者单位的机器人视觉系统研究中,用于机器人 图像采集系统相机部分的外观如图4所示,系统 立体视觉的精确定位、轨迹跟踪、目标抓取等,取得了 采集的实例图见图5(分辨率1280×1024)。 良好的效果。限于篇幅,本文只对系统的软硬件设计 和原理作了介绍,至于如何实现码制转换(对图像传感 器的原始数据进行颜色校正与补偿)、软件滤波、如何 保证高帧速等,将另文撰述。采用更好的校正和滤波 算法,或者采用更高主频的图像传感器芯片,进一步提 高图像质量、帧速和稳定性,这正是作者进一步的研究 方向。 [参考文献] [1]Eric RF.Cmos image sensor:electronic Camera—on—a—chip [J].IEEE Transaction on Electron Devices,1997,44(10): 1672—1677. 图4相机外观图 [2]Inoue I,Tanaka N,Yamashita H.Low—leakage—currented low— operating—voltage buffed photodiode for a CMOS imager[J]. IEEE Transaction on Electorn Devices,2003,50(1):43—47. [3]Li Wan—qing,Shi Yu,Kharitonenko I.CMOS sensors CroSS—talk compensation for digital cameras[J].IEEE Transaction 0n Consumer Electronics,2002,48(2):292—297. [4]连华,林斌,陈伟.CMOS图像传感器成像系统[J].光学仪 器,2003,25(4):12—19. [5]刘静,杜明辉.CMOS图像传感器关键技术及其新进展 [J].传感器技术,2004,23(11):9—11. [6]余国华,冯启明.基于CMOS图像传感器的视频采集系统 图5系统采集实例图(1280×1024) 设计[J].武汉理工大学学报,2004,28(1):145—147. 系统在连续显示图像模式下,其图像刷新频率如 [7]蔡怀宇,于毅,黄战华,等.基于EPP接口的CMOS图像采 表1所示,并跟MV。USB1301工业数字摄像机做了图 集系统设计[J].仪器仪表学报,2003,24(4):424—425. 像刷新频率方面的比较。由于MV—USB1301所采用的 (编辑李秀敏) ・4・ 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- gamedaodao.com 版权所有 湘ICP备2022005869号-6

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务