研究基于USB摄像头的田间图像采集方法
引言
近年来,随着科技的不断快速发展,精细、智能化农业生产技术成为农业机械化研究的热点,基于机器视觉技术的农田智能机械开发是各科研院所的主要研究方向。国内从20世纪90年代开始利用机器视觉技术进行水果的分级研究,近年来在农田视觉应用方面的研究也很广泛,如自动导航、杂草识别、病害判别及变量喷雾等。但目前还没有走出实验室的成型产品,其主要原因是视觉系统高成本且适应性差,只适用于科学研究,无法在田间农业生产上进行推广应用。
USB摄像头由于价格低、功耗小、与计算机连接方便等特点,目前己在工业、交通、医疗等行业有了广泛的应用,但在田间中的应用依然处于空白。为此,本文以廉价的USB摄像头作为图像采集单元,代替专业的视觉系统,从降低视觉系统的成本出发,对田间实时图像采集系统进行研究。
1成像质量的主要影响因素
田间图像的成像质量直接影响到后续处理的效果及整体系统的成功率。成像质量的主要影响因素包括地面的不平度、光源、帧率、曝光时间、摄像头高度和倾角、行驶速度等。普通USB摄像头相对于专业的摄像设备,其曝光时间固定、拍摄时间不可调。因此,摄像头的帧率、光源、行驶速度这3个因素之间的相互作用尤为明显。
1.1摄像头的帧率 摄像头帧率是指在1s时间内传输图片的数量,也可以理解为图形处理器每秒钟能够刷新几次,通常用印s表示。对于普通的USB摄像头,帧率高的较帧率低的曝光时间短,但帧率在150fps以上的摄像头要求设备接口的传输速率要高于通用USB2. 0,常用的一般为30,60帧,少数120帧。本文从通用性出发,在田间动态采集中,从摄像头拍摄的视频流里每隔一定的时间抓取一张图片,为了保证抓取的图片质量清晰。传输稳定,摄像头的帧率选择以上3种进行对比试验。
1.2光源、行驶速度
在机器视觉系统中,光照、行驶速度是影响整个图像采集过程的关键因素,直接关系到图像质量的好坏。光源分为自然光源和人工光源两种[3]。光照强度的强弱和摄像头快门曝光时间、行进速度有很大的关联。®由于普通USB摄像头的快门速度不可调、曝光时间固定,当光照过强时,摄像头感光元件充电时间短、行进速度慢会导致图像过亮;过弱时,充电时间长、行进速度快,摄像头拍摄的图像过暗或拖尾模糊,而使图像质量变差。因此,合理的摄像头帧率、光源、行驶速度三维组合是田间图像采集的关键。
2试验材料与方法
2. 1试验材料
本实验在温室大棚里进行,采集图像对象为白菜秧苗。采用的笔记本电脑配置为:主频2. 6GHzCPUIntel酷睿i5 3230M处理器、4G内存、1T硬盘、2GB显存。选用常用3种USB摄像头,分别是30帧 ,60帧 ,120帧;光源选用自然光照为正常、强、弱;为了方便控制试验小车的行驶速度,选用速度可调的电瓶小车。
2. 2软件设计
图像采集、处理软件系统都是基于Microsoft公司的VC + + 6. 0基础上使用MFC类库研发的,主要使用DirectShow开发包的自定义类CCaptureVideo来完成视频数据流的显示、读取。为验证方法的可行性,对采集到的图像进行了实时灰度化及图像分割处理。
2. 2. 1摄像头初始化程序设计
利用DirectShow开发包中的类库以及CCaptureVideo类来完成对摄像头的初始化工作,并使之在软件界面输出视频流。以下是初始化的部分VC代码:
HRESULT hr;
hr=InitCaptureGraphBuilder;
hr=m_pGB一AddFiltermt. phFormat;
hr=m_pGrahher一SetBufferSamples
;
✫ SetupVideoWindow;
hr=m_pMC一
..
2. 2. 2单帧图像捕捉程序设计
获取单帧图像即是从视频流中捕捉某一帧图像存储到内存中或者物理存储设备上,利用实现的IsampleGrabberC B类的虚函数B ufferC B来具体实现对单帧图像的捕捉。以下是获取单帧图像并存至指定磁盘目录的部分重要UC代码:
STDMETHODI ☻MP BufferCB
curfullname. Format;
HANDLE hf=creat WriteFile; 2. 2. 3软件的应用 应用程序界面分为预览区和控制单元,如图1所示。当程序启动以后,首先选定目标摄像头,点击加载按钮来实现初始化摄像头并将摄像头的视频流输出到上方的预览区;然后在控制单元区设置捕捉帧间隔时间和是否需要存储图片等设置,单击开始拍照按钮来定时捕捉单帧图像。 2. 3试验方法及试验指标 试验在温室大棚进行。将3种不同帧率的摄像头分别安装在可调速ข的电瓶车上,拍摄幅面为单行单株范围,利用C语言编程,在不同的行驶速度、光源条件下进行图像采集与实时处理,并进行保存。 采用USB摄像头作为图像采集单元的最终目标,是寻求一个最优组合,确保采集的图像质量。图像质量评价从方法上可分为主观评价法和客观评价法两种。图像质量的主观评价方法的优点是能够真实地反映图像的直观质量,评价结果可靠,无技术障碍;客观评价法具有耗时少及试验重复次数少等优点。本试验的图片是在田间动态实时采集的,无原图进行参考比较,且客观评价法往往不适合不同图像之间清晰度的横向比较。因此,本文采用主观评价法,国际上己有成熟的主观评价技术和国际标准,如多媒体应用的主观评价方法,电视图像的主观评价方法。主观质量评分法又可以分为绝对评价和相对评价两种类型,其绝对评价是将图像直接按照视觉感受分级评分。列出了国际上规定的5级绝对尺度,包括质量尺度和妨碍尺度。对一般人来讲,多采用质量尺度;对专业人员来讲,则多采用妨碍尺度。本文采用绝对评价尺度的方法。 3试验设计 3. 1试验安排及结果 试验考察因素为光源、摄像头的帧率、行驶速度。为了后续图像处理时方便,摄像头的倾角设置为使其光轴垂直地面,通过对比试验确定摄像头的高度为100cm,摄像头的帧率选择30,60,120帧,电瓶小车行驶速度选择0.75,1.25,1.75m/s,光源选择光照强度等级为强、正常、弱,形成三因素三水平表,采用正交设计方法安排试验。为了避免人为主观因素造成的误差,本文对每组试验采集到的图像随机选择20张,选择20名观察者进行评分,求出这20张图像的Y值,并用此平均值作为最终图像质量的评定指标。 3.2试验因素对图像评价指标影响分析 3种试验因素对图像评价指标的影响,可以看出:摄像头帧率从30变到60、再到120的过程中,当帧率为60时图像质量最好。行驶速度对图像质量也有一定影响:在一定范围内,随着速度增加,图像质量效果也增加;到达一定值时,随着速度增加,图像质量效果降低。光照强度的强弱在不同程度上对图像质量也有一定的影响:当光照由强变正常时,图像质量效果逐渐增加;当光照由正常变弱时,图像质量效果降低。 4结论 1)通过基于C语言的采集处理程序,可以实现田间作物图像的动态提取,且能满足田间作业实时快速的要求,从采集到实现植物与土壤背景的分割只需要35 ms。 2)空列即误差对试验有一定的影响,主要是考虑地面的不平度,易使小车突然产生一个加速度,导致摄像头发生抖动,从而造成图像质量下降。 3)普通USB摄像头作为田间图像采集单元,大大降低了成本且操作ป简单。对试验选出的最优组合在实验大棚里进行了采集与试验,效果良好。本文把USB摄像头的应用引入田间,为后续的开发提供了基础和便利。 参考文献: [1]胡炼,罗锡文,曾山,等基于机器视觉的株间机械除草装置的作物识别与定位方法.农业工程学报,2013,29 [2]阮林波,曹锦云基于USB摄像头的自动监控系统.计算机工程与设计,2004,25 [3]陈丽君,赵凤芹基于机器视觉的变量机械系统的关键技.术日.农机化研究,2005 [4]周可,王桦,李春花云存储技术及其应用.中兴通讯技术,2010 :24一27 [5]王光兴,李洪柞基于DSP帧曝光图像采集系统田长春.工业大学学报:自然科学版,2014,35