Application of tensor voting in image correction

Remote Sensing Science August 2014, Volume 2, Issue 2, PP.8-13

Application of Tensor Voting in Image Correction Xiaofang Shao#, Shouquan Wang, Dalong Li QingDao Branch of NAEI, QingDao 266041, China #

Email: pugongying_0532@163.com

Abstract Image correction is a process to recover an anamorphic image, which is widely applied in remote sensing image processing. This paper presents a summary of related works and introduces how to apply the tensor voting method in intensity alignment. The algorithm’s flowchart and typical experimental result are demonstrated. At last, we analyze the characteristics of the algorithm and suggest some future directions.

Keywords: Image Correction; Intensity Alignment; Radiation Calibration

张量投票方法在图像灰度校正中的应用 邵晓芳，王守权，李大龙 海军航空工程学院青岛校区，山东 青岛 266041 摘

要：图像校正是指对失真图像进行复原性处理,在遥感图像处理等领域具有广泛的应用。在总结相关工作的基础上，

介绍了张量投票方法在图像灰度校正中的应用，给出了算法流程及典型实验结果，并进行了分析和展望。 关键词：图像校正，灰度校正，辐射定标

1 引 言 在图像形成的过程中，无论场景是运动还是静止，都会由于环境光照的变化、相机的移动和旋转、成像 系统的“渐晕”效应、数字化、噪声、相机内部参数的调整、畸变、带宽有限等原因引起图像灰度/颜色的失 真和不同时刻成像的灰度/颜色不一致[1]，而且运动和遮挡等情形会使上述问题恶化。 图像校正是指对失真图像进行复原性处理。图像校正的基本思路是，根据图像失真原因，建立相应的数 学模型，从被污染或畸变的图像信号中提取所需要的信息，沿着使图像失真的逆过程恢复图像本来面貌。图 像校正主要分为两类：几何校正和灰度校正，其中几何校正一般是通过一些已知的参考点，即无失真图像的 某些像素点和畸变图像相应像素的坐标间对应关系，拟合出映射关系中的未知系数，并作为恢复其它像素的 基础；灰度校正则根据图像不同失真情况以及所需的不同图像特征可以采用不同的修正方法，如针对图像成 像不均匀如曝光不均匀可采用灰度级校正，针对图像某一部分或整幅图像曝光不足可使用灰度变换，为使图 像具有所需要的灰度分布可进行直方图修正等。这里所说的图像灰度/颜色校正是指对失真图像的灰度/颜色 进行的复原性处理[2]。 本文旨在总结图像灰度/颜色校正的相关工作的基础上，具体描述张量投票方法在图像灰度/颜色校正中 的应用。本文主要内容安排如下：第二节介绍相关工作；第三节描述张量投票应用于灰度/颜色校正的算法思 路、流程和典型实验结果；最后是总结和展望。

2 相关工作 -8http://www.ivypub.org/RSS

目前图像灰度/颜色校正的相关工作可以分为两大类：一类是嵌入式校正（Mosaic registration），即将不 同时刻拍摄照片中的重叠区域的像素灰度/颜色进行混合后再平滑，使其灰度/颜色一致；另一类通常被称为 辐射定标（radiometric calibration） ，实际的复原过程是通过若干张在不同曝光度下拍摄的静态场景的照片来 估计响应函数（response function） ，这里的响应函数是综合了前面提到的引起灰度/颜色失真原因的各种因素 的一个全局灰度/颜色映射函数，使其能从失真图像中计算得到真实图像的估值，并根据预先规定的误差准则， 最大程度地接近真实图像。辐射定标在遥感图像处理过程中是非常重要的一步[13]。下面分别列举相关方法： 

嵌入式校正中，颜色混合法是文献[4]中提出的一种方法，该方法采用 Levenberg-Marquardt 方法估

计区域的一致性，然后用双线性加权函数去混合交叠区域的颜色，但是会因曝光度的不同而遗留一些色斑； 文献[3]为获得更好的混合效果采用了羽化算法，但是在不同的光照条件下会有不自然的缝隙；Davis[5]以垂直 投影为假设条件通过扩展阶段性校正方法减小区域模糊而实现了一种全局校正方法；Uyttendele M.等[6]采用 分块计算的方式及均值、插值函数获得更自然的过渡效果；文献[7]通过加入随空间变换的滤波器获取 360 度 动态覆盖的场景信息。 

辐射定标类方法中，响应函数的估计方法有高阶多项式逼近法[9]、最大似然估计法等[1]，但这类方

法只能处理一些有成像或噪声模型的静态图像，需要像相机曝光度之类的先验信息；Healey G.E.等应用这种 方法对成像过程进行建模并消除传感器噪声[8]；文献[10]中提出了一种校正“渐晕”效应的参数化方法及其正 确性的评估方法；Seon Joo Kim 等提出了一种可以同时估计全局响应函数并校正“渐晕”效应的方法[14]，该 方法只利用了距离图像中心等距离的若干匹配点（较随机采样点数要多） ，所以计算效率较高；Eun-young Kang 等[12]提出了一种基于图的方法，将局部和全局校正统一到一个框架之下，该方法将多帧图像之间的关系用图 表示，图中每条边都与一个反映两顶点之间校正准确度的代价函数相联系，全局校正可通过最优路径搜索来 完成；Grossberg 和 Nayar [15]开发了一个实际相机响应函数的数据库（real-world camera response functions）以 用来更好地估计响应函数；Stephen Li 等[16]提出根据单幅图像的颜色分布采用贝叶斯方法计算校正结果； Joon-Young Lee 等[17]重点研究了像不同曝光度下静态场景的亮度、边缘附近颜色混合的线性结构等包含的低 阶（low-rank）不变量，提出了一种基于阶最小化（rank minimization）的方法，并证明了几种不同的辐射校 正方法可以统一在这一计算框架之下；Grossberg 和 Nayar [16]使用不同曝光度下两幅图像的灰度直方图来校正 存在相机或场景运动的图像，无需进行图像匹配，并指出在缺乏曝光度比率的先验知识的情况下，估计总是 存在指数模糊性（exponential ambiguity） ，只是在实际中还可以发挥作用；还有研究者依据图像中包含的统计 信息来进行辐射校正，如 Farid 通过在频域最小化特定的高阶相关函数来完成盲伽马估计（blind gamma estimation）[19]。

3 方法描述 张量投票算法假定图像 I 的成像模型为 I  uI V 

(1)

式中， V 表示图像 I 所对应的实际场景的亮度； u   为图像对实际场景的响应函数，下标对应相应图像，并 且， u   可分解为： u    f  k 

(2)

其中， f   表示全局响应函数，整体体现曝光度的影响； k   表示局部响应函数，与像素位置、成像系统的 “渐晕”效应、数字化、噪声、相机内部参数的调整、畸变、带宽有限等因素有关。 张量投票算法用全局替代函数 g   模拟 f   ，用局部替代函数 l   替代 k   的作用，算法输入为两幅在 不同曝光度下拍摄的具有重叠场景的图像 I 和 I′，并假定两幅图像所对应的实际场景的亮度之间存在以下 关系： V ( x, y)  tV ( x, y) -9http://www.ivypub.org/RSS

(3)

此外，两幅图像中重叠区域的匹配点满足单调性约束，即：若给定两组匹配点 ( x1 , y1 )  ( x1, y1) 和 ( x2 , y2 )  ( x2, y2) ，如果 I ( x1, y1)  I ( x2, y2) ，则 I ( x1 , y1 )  I ( x2 , y2 ) 。

于是， g   与 u   的对应关系为

g   uI  tuI1 () 

(4)





具体计算过程中，算法首先要进行倾斜校正，即计算变换函数 w() 使得 w I ( x, y)  g  w( I ( x, y)) ； 接下来就是估计全局校正函数 g () ，使得 min

 (I (x, y)  g(I (x, y)))  2

(5)

有时，为克服直接用全局替代函数校正时引入的不自然的瑕渍，在全局替代函数 g () 推导完成后，全局 校正过程是通过下式进行递增计算的 g ( I ) 

1  g ( I )  I   I  j

(6)

式中， j  1 用于控制每次迭代的步长，最终生成的校正图像 I ( x, y) 满足 w  I ( x, y)   g  w  I ( x, y)    0

(7)

由 I 和 I  构成的联合图像空间建立之后，就要对各像素点进行张量表示，最初是编码为圆形张量，令其 两特征值相等，即 max  min   ，且相应的特征矢量分别为 emax 、 emin ，则数据的张量表示为 T    emax eTmax  emin eTmin 

(8)

式中，  为联合图像空间中张量 T(d1 , d2 ) 的特征值， (d1 , d2 ) 为联合图像空间的坐标，且

  b  v  s

(9)

式中， b 为每个张量的基本值； s 为递增的尺度参数； v 为调整因子，由两幅图像中的重合区域内满足 I ( x, y)  d1 且 I ( x, y)  d2 的像素对的数目决定。

为克服成像过程中的“渐晕”效应， v 可用图像“渐晕”效应模型中泰勒展开式的前两项代替，即

 b v

s 1  12

  4 f

2

 r2  O r2 

(10)

式中， f 为输入的参考图像的焦距，实验中一般设为 50； r 为像素点距离成像焦点的距离。实验结果表明 f 值的设置对投票结果的影响不大。这里还引入了多尺度投票，其主要目的是为了加速投票过程，具体实现过 程中是应用高斯金字塔算法建立图像的分层结构，每个父节点都有四个子节点，只有前一尺度投票结果在显 要性曲线上的才会进入下一轮更细尺度上的投票计算。 张量投票通过在联合图像空间进行曲线检测并施加单调性约束来推导全局替代函数的，曲线显要性程度 用  max  min  表征，需要指出的是，张量投票方法并不计算 g   和 l   的显式函数表达式，而是得到其变化 曲线，根据曲线上相应点的显要性程度值选择最佳的灰度/颜色校正值。 图像灰度/颜色校正的具体计算流程如下图 1 所示，其中，图像的倾斜校正，即 w() 函数的计算，采用的 是文献[3]的方法；全局替代函数 g () 的计算具体流程如图 2 所示，应用了两次张量投票，第一次投票采用的 是圆形投票域，圆形投票域的计算如式(8)所示；局部校正函数 l   的计算与 g () 的计算具体流程基本相同， 只是由于局部校正针对的是“渐晕”效应，先要比较交叠区域内所有的色差，并选出最大值用来归一化，使 得张量投票的量化间隔和最大值得到控制；最后都是当校正结果小于预先设定的误差容限时停止迭代优化过 程，输出校正结果。 图 3~4 给出了应用这一方法进行灰度校正或对比度校正的实验结果。图 3 是以一幅根据用户输入的焦距 预先粗略调整了的图像作为参考图像的实验结果，其中图 3(a)是进行局部校正前的图像拼接结果，可以看出 - 10 http://www.ivypub.org/RSS

不同灰度之间的过渡并不平滑，存在“渐晕”效应[1]；图 3(b)为校正后的叠加图像及交叠区域的局部放大结 果。 光照不同的 输入图像I,I’

构造投票空间 输入数据的 张量表示

校准 圆形投票域

张量投票

进行颜色补偿

全局校正 形成新的 张量表示

否

局部校正

棒形投票域

张量投票

曲线特征 显要性程度图

校正误差是否 小于一定阈值?

曲线检测 是

输出 校正后的图象

逐点修正

图 1 张量投票进行灰度/颜色校正的计算流程

施加单调性约束

图 2 全局替代函数的计算流程

(a)

(b) (a)局部校正前的拼接结果

(b)校正后图像及交叠区域的放大结果

图 3 图像灰度/颜色局部校正示例

图 4 给出了一个图像灰度/颜色校正的效果示例，其中图 4(a)为加入了渐晕效应、相机内部参数调整和环 境光照的变化等因素的合成图像；图 4(b)为校正后的结果。 - 11 http://www.ivypub.org/RSS

(a)

(b)

图 4 图像灰度/颜色校正结果示例 (a)失真图像 (b)校正结果

4 结束语 张量投票方法采用了与辐射定标类方法有些类似的思路来解决图像颜色/灰度校正问题，但在进行图像颜 色/灰度校正处理时无需建立复杂的模型，而是应用 2D 张量投票直接修复图像的平滑曲线、去除噪声点以及 修复一些遮挡问题[1]。对于灰度图像，算法是对其直接进行处理；对于彩色图像，算法需对三个颜色通道分 别处理之后再进行颜色合成。这里与 2D 张量投票不同的是[1]：这里的投票标记(token)不是二维图像中的像素 点，而是多幅图像重叠部分的像素灰度；投票的目的不是为提取几何特征，而是显要性对比，因而投票针对 像素灰度在多幅图像的联合空间进行；施加的约束条件不单单是平滑性约束，还增加了单调性约束；投票值 不再是某一像素的所有邻域点，而是其相关列的其他像素点；投票的尺度不再单一，而是多尺度投票。张量 投票方法为解决图像的颜色/灰度校正问题开阔了新的思路，加之该方法在图像修复方面的应用的结合，可以 获得更理想的修复效果。我们下一步将在两者的结合方面进行实验，并在此过程对该算法进行改进和提高。

REFERENCES [1]

Jiaya Jia, Chi-Keung Tang: Tensor Voting for Image Correction by Global and Local Intensity Alignment. IEEE Trans. Pattern Anal. Mach. Intell. , 2005, 27(1): 36-50.

[2]

Seon Joo Kim, Marc Pollefeys. Robust Radiometric Calibration and Vignetting Correction.. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2008, 30(4):562-576.

[3]

Szeliski R., Shum H.-Y.. Construction of Panoramic Image Mosaics with Global and Local Alignment.

Int’l J. Computer Vision,

2000, 36(2):101-130.

[4]

Szeliski R.. Video Mosaics for Virtual Environments. IEEE Computer Graphics and Applications, 1996, 1(1):22-30.

[5]

Davis J.. Mosaic of scenes with moving objects. //IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Santa Barnara, 1998: 354-360.

[6]

Uyttendele M., Eden A.. Eliminating ghosting and exposure artifacts in image mosaics. // Proc. Conf. Computer Vision and Pattern Recognition, Kauai, Hawaii:[s.n.], 2001, II: 509-516.

[7]

Schechner Y.Y., Nayar S. K.. Generalized Mosaicing: Wide Field of View Multispectral Imaging. IEEE Trans. Pattern Analysis and Machine Intelligence, 2002, 24(10): 1334-1348.

[8]

Healey G.E., Kondepudy R.. Radiometric CCD Camera Calibration and Noise Estimation. IEEE Trans. Pattern Analysis and Machine Intelligence, 1994, 16(3):267-276.

[9]

Mitsunaga T., Nayar S.. Radiometric Self Calibration. Computer Vision and Pattern Recognition, 1999: 374-380.

[10] Edirisinghe A., Chapman G.E., Louis J.P.. Radiometric Corrections for Multispectral Airborne Video Imagery. Photogrammetric Eng. & Remote Sensing, 2001, 67(8): 915-924.

[11] Fuli Wu, Xianyong Fang. A new global registration algorithm for image mosaic. // Proceedings of the 7th WSEAS International Conference on Signal, Speech and Image Processing, Stevens Point, Wisconsin, USA: World Scientific and Engineering Academy - 12 http://www.ivypub.org/RSS

and Society (WSEAS), 2007: 136-140.

[12] Eun-young Kang, Isaac Cohen, Gerard Medioni. A graph–based global registration for 2D mosaics. //Proc. of the 15th International Conference on Pattern Recognition, Barcelona, Spain: [s.n.]. 2000: 256-260.

[13]

Doug Olsen, Changyong Dou, Xiaodong Zhang, Lianbo Hu, Hojin Kim, Edward Hildum. Radiometric Calibration for AgCam. Remote Sens. 2010, 2(2): 464-477.

[14] Seon Joo Kim, Marc Pollefeys. Robust Radiometric Calibration and Vignetting Correction. S. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(4): 562-576.

[15] Grossberg M., Nayar S. K.. Modeling the space of camera response functions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(10): 1272-1282.

[16] Stephen Li, Jinwei Gu, Shuntaro Yamazaki, Heung-Yeung Shum.Radiometric Calibration from a Single Image. // Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004, II: 938-945.

[17] Joon-Young Lee, Yasuyuki Matsushita, Boxin Shi, Katsushi Ikeuchi. Radiometric Calibration by Rank Minimization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 144-156.

[18] Grossberg M., Nayar S. K.. Determining the camera response from images: what is knowable?� IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(11): 1455-1467.

[19] Farid H.. Blind inverse gamma correction. IEEE Transactions on Image Processing, 2001, 10(10): 1428-1433.

- 13 http://www.ivypub.org/RSS