Abstract:An image entropy-based retrieval method is proposed in this paper. The definition of image entropy and somerelevant concepts, such as color feature extraction, similarity measurement, and multi-precision retrieval, areintroduced. The method is applied to water conservancy engineering image retrieval, and http://www.1daixie.com/dxwz/ the specific techniques for therealization of the method are also given. Furthermore, an engineering image retrieval system used for flood controldecision-making is designed.
Key words:content-based retrieval; image entropy; multi-precision query
摘要:提出了一种利用图像熵进行检索的方法,给出了图像熵的定义、特征提取、相似性度量、多精度检索等相关概念,并将该方法运用于水利工情图像检索,详细介绍了实现技术和方法,设计并实现了一个用于防洪决策的工情图像检索系统.
关键词:基于内容检索;图像熵;多精度查询
随着水利信息化步伐的加快和数字水利概念的提出,计算机技术、网络技术大量运用,在防洪信息的采集、存储和处理中,有相当多信息是以图像形式出现的.如何有效地组织、管理和检索大规模的图像数据,如何在防洪决策支持系统中实现对水雨情、工情、气象等图像信息快速检索,为决策支持系统在辅助决策中提供信息支持是当前需要研究的关键问题之一.
从20世纪70年代开始,人们就进行图像检索技术的研究,那时候主要工作是对图像进行人工标注,然后应用文本检索技术实现对标注图像的检索.然而对大量图像做标注是一项费时费力的工作,这就导致基于文本标注的图像检索方法在实际应用中很难达到预期效果.进入20世纪90年代,研究人员企图用基于内容的信息检索技术解决这个难题.基本路线是自动或半自动提取图像对象的底层特征,即提取图像的色彩、形状、纹理等特征,然后基于这些特征,定义图像之间的相似度,从而实现基于内容或特征的检索[1].
在基于内容的图像检索中,由于色彩是图像构成的主要特征,色彩直方图具有简单且随图像的大小、旋转变化不敏感等特点,所以,得到了人们的广泛关注,并取得了阶段性成果[2].目前,几乎所有基于内容的图像数据库系统都把色彩检索方法作为图像检索的一个重要的手段.但是,随着图像数据库的增大和直方图空间维数的增加,图像检索时计算代价迅速增大,大大影响了检索的效率.本文将信息论中的信息熵概念引入图像检索,将图像色彩直方图用信息熵来刻画和表示,将度量空间由n维变为1维,以期改善图像检索系统的性能.
1 信息熵的基本概念
信息熵的定义起源于信息论中的信息度量[3],由信息论的创始人香农(Shannon)首先提出,所以又称香农熵.香农熵的基本概念来自随机试验(或随机变量)的不肯定性.熵是信息量的度量方法,它表示某一事件出现的消息越多,事件发生的可能性就越小,数学上就是概率越小.
在信息论中,某个事件的信息量用Ii=-log2pi表示,其中pi为第i个事件的概率.为了刻画平均信息量,香龙定义了信息熵的概念.按照香农的理论,信源S的信息熵定义为
其中pi是符号si在S中出现的概率;表示包含在S中的信息量,也就是编码si所需要的位数.例如,一幅用256级灰度表示的图像,如果每一象素点灰度的概率pi=1/256,则编码每一个象素点就需要8位.
下面给出图像颜色直方图和图像熵的定义.
定义1 颜色直方图
设对于一幅大小为N1×N2的数字图像I,其颜色(或灰度)由n级组成,每一种颜色(或灰度)值为cK(K=1,2,…,n).在整幅图像中,各颜色出现的概率为:h[c1],h[c2],…,h[cn],其中,h[ck]为具有ck值的颜色出现概率T(I[i,j])为象素点(i,j)在颜色空间的颜色值于是得图像I的直方图为
颜色直方图刻画了图像的色彩分布特性.在此基础上定义图像熵.
定义2 图像熵
设图像I具有式(1)所示的直方图,其图像熵定义为
图像熵反映了图像色彩信息的度量,两幅图像相似,其图像熵也相近,要检索图像就是检索图像库中图像熵满足一定关系的图像.
2 相似性度量
在基于内容的图像检索中,两幅图是否相似,是指它们的特征是否相似.关于特征的相似关系理论,通常采用的是几何模型,把图像的特征看做是坐标空间中的点,用两个点之间的距离Lr范数来表示它们的相似程度:
最常用的有r=1,r=2和r=∞三种,当r=1时,D1(•,•)距离函数被称为海明距离(Hammingdistance),它对应于L1范数;D2(•,•)距离函数被称为著名的欧几里得距离(Euclidean distance),它对应于L2范数.本文提出的基于图像熵的性度量方法建立在目前被广泛采用的图像相似性度量方法的基础上,在熵空间中,定义熵差作为图像相似性度量,该定义如下:
定义3 熵差
设图像I,G的色彩集为:{x1,x2,…,xn},色彩直方图向量分别为p,q, H(p),H(q)分别为图像I,G的熵,则两图像的熵差为
该式是L1范数明柯夫斯基度量定义的直接应用,不难验证熵差满足度量空间的4条性质,即非负性,恒等公理,对称性和三角不等式.可以证明熵空间的熵差H(p)—H(q)小于直方图空间的L1范数,故熵差可用作熵空间中的图像相似性度量.两个图像熵差可反映出两图之间的内在差异.两图像相同其熵差必为零,两图像相似,其熵差会很小,所以可以选用熵差来作为图像相似性度量的依据.
3 图像的分块检索
图像熵和图像直方图一样,虽然反映了图像的色彩分布,但没有办法刻画某种色彩在图像中出现的位置,即不能表示色彩的空间信息,这种现象可能会出现I1,I2两幅图像,当熵差为零时,两幅图像却截然不同,如图1所示.
为了克服这一不足,将一幅图像分成若干个子图像块,分别计算每个图像块的图像熵,图2显示了一幅由三级别多尺度描述的图像,整个图像被划分成了4块,每一个图块又被循环划分成了4块.在每一个级别上为每一个块计算一个色彩直方图.这些色彩直方图综合在一起便形成了该图像的多尺度色彩直方图.有了多尺度色彩直方图,基于色彩直方图的图像相似查询就可以在多精度级别上实现.两幅图像可以在3个精度级别上比较其相似性:在第一级别上,用1个图像熵(或色彩直方图)来比较整个图像的熵或色彩直方图;在第二级别上,用4个子图的熵或色彩直方图来比较相应的4个子图块的熵或色彩直方图,每个子图像占整个图像的1/4;在第三级别上,用16个子图像的熵或色彩直方图来比较相应的16个图块的熵或色彩直方图,每个子图像占整个图像的1/16.
可以证明:如果图像在更高级别上相似,那么它们在较低的级别上也一定相似.
考虑两个图像I1,I2,在第一级别上,定义图像距离D1为两个图像I1,I2之间的最大熵差或色彩直方图的距离.在更高的级别上,定义Di为图像I1,I2中所有图块计算的平均熵差或色彩直方图的距离.例如,在第三级别上,
其中di为图像I1,I2中第i个图块的熵差或色彩直方图的距离.这幅图像的距离矩阵既考虑到了图像色彩的成分,又捕获了色彩的空间分布.因此,更高精度级别上的距离矩阵就可以提供更好的分辨能力.
4 工情图像检索系统的设计与实现
4.1 工情信息的采集与处理
工情信息由基本工情和险情组成.基本工情指大堤水闸或其他穿堤涵闸等工程建筑物的主要参数、运行状况、河道断面冲淤变化;险情指某些工程建筑物发生明显裂缝、位移、渗水、管涌、崩塌、堤身滑坡等状态.
工情信息的信息源包括工情采集站点和险情信息移动采集站.北江大堤全长63•34km,除沿堤分布的工情信息采集站点外,还设有移动工情信息采集站,通过专用的通信系统将图像、数据等信息传给信息中心,经信息接收与处理子系统处理送入工情信息库.对特别重要区段设置摄像装置,主要有西南水闸、芦苞水闸和石角段,其余堤段由险情信息移动采集站完成图像的采集工作,并埋设测压管,渗压仪,沉降仪(根据不同断面情况分别布置3~4个点).在重要时刻,系统每隔15~20min能向前线指挥者提供一组全面的定量分析数据报告.对可能会出险的堤段,运用大堤溃口模型进行动态模拟,为指挥者提供决策的支持,防患于未然.
对于工情信息采集中所含有的大量图像信息在入库前,需进行图像特征的提取操作,该操作在工情信息处理模块中进行,图像特征提取的目的是为图像检索模块中的基于内容检索提供必要的信息支持.
工情图像的格式主要采用JPEG和BMP两种类型,图像入库前,通过分析统计每一像素点的颜色空间与分布,便可提取图像的颜色特征信息.然后将图像存入图像库,图像颜色特征直方图与图像熵存入特征库.
4.2 系统结构
工情图像查询系统运行于广东省北江大堤防汛指挥系统的硬件平台上,用户在使用本系统执行图像检索任务时,先在客户端通过HTTP协议连接Web服务器,进入系统的检索界面;通过在检索界面中选择不同的图像查询方式,系统会激活与之对应的JSP页面,从而调用位于Java应用服务器之上的Servlet和JavaBean执行检索任务.
系统由用户查询模块,图像检索引擎和图像、特征库管理模块组成,其结构如图3所示.
4.3 系统实现
工情图像查询系统由Java软件实现,利用JSP (Java Servelet Page)和Java Applet技术实现基于Web浏览器的系统界面.对各种特征提取的算法和智能检索模块,进行单独地设计和实现,封装成独立的JavaBean后,由系统的总控模块和用户检索的JSP页面统一调度,保持了整个系统设计风格的一致性及平台无关性,系统可以运行于Windows平台,也可运行于Unix和Linux平台,从而使系统具有良好的可扩展性.
5 结 束 语
将信息熵理论用于基于内容的图像检索,给出了图像熵的定义,就图像基于熵的特征提取、相似性度量等相关问题进行了讨论,结合一个具体的工情图像检索系统的开发过程,详细介绍了其实现技术和方法.在一个含有2000幅图像的图像库中,任意选取10幅图像,分别用基于信息熵方法和基于直方图方法进行了实验,信息熵方法和直方图方法的平均查询时间分别为0•46s,0•79s,由此,可以看出本文所提出的方法,检索效率优于色彩直方图方法,但查准率略低于色彩直方图方法.
参考文献:
[1]李向阳,庄越挺.基于内容的图像检索技术与系统[J].计算机研究与发展,2001,38(3):344—354.
[2] MEHTRE B M,KANKANHALLI M S. Color matching for image retrieval[J]. Pattern Recognition Letters,1995,16(3):325—331.
[3]周荫清.信息理论基础[M].北京:北京航空航天大学出版社,1993.2—10.