发布时间 : 星期三 文章数字家庭可视媒体优化显示方法与关键技术研究 - 图文更新完毕开始阅读4617a36af18583d04964599e
子分裂的半隐式数值求解方案。
2.1.5 其他边缘保持平滑方法
Fattalt[29]提出了使用鲁棒性数据预测提升策略构造二代小波基的方法，实现非线性数据依赖的多尺度边缘保持平滑操作。Kass和Solomon[30]结合局部直方图和各向同性中心加权中值滤波的方法构造边缘保持平滑模型。除上述方法之外，还有经典图像去噪问题中所使用的全变分方法、中值滤波方法等等。
2.2 特征保持的图像非等比例缩放方法
近年来，伴随着各种新尺寸的屏幕显示技术的发展，图像非等比例缩放技术逐渐成为国内外图形图像领域里的热点和重点研究课题。图像非等比例缩放[31]指的是在图像缩放过程中，图像的宽度和高度的变化比例是不相同的，例如宽高比为4:3图像转变为16:9的图像。非等比例的缩放方法可以细分为图像拉伸（Image Stretching）和图像收缩（Image Shrinking）两个子方向。但一般情况下，通常要求图像拉伸和图像收缩是同时进行的，例如4:3的图像转化为16:9的图像的过程中，就表现为纵向的收缩和横向的拉伸操作统一进行情况。由于图像宽度和高度的缩放比例之间的不一致，导致了原始图像在缩放过程中图像内容的结构和语义发生较大的变化，从而使得结果图像存在较大的失真，既破坏了图像的观赏性，也不符合人眼视觉的要求。
为了解决图像在非等比例缩放过程中带来的失真问题，国际上和国内的许多科研人员及工程师对此做了大量的研究工作。经过尽可能全面的阅读与图像非等比例缩放问题直接相关和间接相关的文献资料，在资料归类整理及对比的工作基础上，总结出当前图像缩放技术主要的理论与方法路线有四大类，下文将对这四大类方法进行详细的阐述。 2.2.1 基于线缝增删的方法
为了非等比例缩放图像且尽量保持源图像中重要特征物物体和区域的大小和比例，Shai Avidan和Ariel Shamir等人[32]在2007年的SIGGRAPH大会上首次提出了一种称为“线缝增删（Seam Carving）”的图像非等比例缩放方法[32-40]。
12
一个线缝可以被定义为从顶到底或从左到右8-连接且仅连接一个像素的折线路径。而最佳路径由输入图像的梯度度量函数来定义，通过在行列一个或两个方向上重复删除或插入线缝就可以任意改变图像的尺寸和比例。该方法定义的线缝绕过了图像中具有显著特征的物体和区域的边界，从而有效地保护了图像的内容，并实现图像非等比例缩放效果。图2-6①是基于线缝增删方法的示意图，从图中可以看到，通过水平方向上线缝的删减和垂直方向上线缝的增加，源图像的宽高比发生了较大程度的变化。图中间部分的三幅图是不同方法计算出来的梯度能量映射图或显著度能量分布图。这些能量图对重要物体的识别情况对算法所产生的效果有比较大的影响。右侧的两幅效果图就是在不同能量图的基础上所得到的效果。
图2-6 基于缝络增删方法的示意图。
在基于缝络的方法中，需要定义水平方向上的线缝，如公式（2.6）所示[32]：
sx?{six}in?1?{(x(i),i)}in?1s..t?i,|x(i)?x(i?1)|?1, (2.6)
以及定义垂直方向上的线缝，如公式（2.7）所示[32]：
msy?{sjy}mj?1?{(j,y(j))}j?1s..t?j,|y(j)?y(j?1)|?1, (2.7)
通过给出最小能量函数e，则可通过公式（2.8）定义一条线缝的代价[32]：
E(s)?E(Is)??i?1e(I(si)),
n(2.8)
然后，通过公式（2.9）寻找代价最小的线缝作为目标函数的最优解[32]，则所求得的解就表示为图像中可增删的信息。
s?minE(s)?min?e(I(si)),
*ssi?1n(2.9)
基于线缝的方法优点在于只需要利用图像的梯度信息，寻找对图像破坏最小
①
图1-8取自参考文献32《Seam carving for content-aware image resizing》的图1
13
的线缝[5]。根据梯度能量和图像显著度的理论，能量最小的线缝一般是绕图像中特征物体和区域的边界走的。只要删除这样的线缝，再由后面或下面的图像左移或上移来补填缺损的区域就能达到不破坏图像质量又缩小图像的目的；而拉伸则在图像的不显著区域增加相应的线缝即可，因此本类方法的实现极为简单。 虽然线缝增删的方法思想比较简单，并且效果上能够达到较好的效果，但由于其寻找最佳线缝的过程需要逐像素的比较，因此，在速度上难以忍受。另一方面，基本的线缝增删方法对于图像内容过于密集或显著物体和区域覆盖范围过大的图像，会导致增删的线缝穿越特征物体和区域，导致特征物体和区域产生失真。特别常见的是在删除线缝的情况时，因为线缝的删除导致特征物体和区域的连续性被破坏[32]，如图2-7①所示。
图2-7 线缝增删方法的失败例子。
为了解决速度过慢和问题，原线缝增删方法的科研团队[32-34]以及其他研究团队的科研人员在2008和2009年内分别提出了不同的快速计算方法。这些方法包括改进的动态规划算法、基于图割（GraphCut）思想[40]和高斯金字塔（Gaussian Pyramid）算法[1]的简化计算方法等。例如线缝增删方法的原作者在2008年SIGGRAPH大会上提出了以下的使用动态规划的前向能量模型：
①
图1-9取自参考文献5《Seam carving for content-aware image resizing》的图16
14
图2-8 三种不同类型的垂直线缝示意图。
先对图2-8中的每种类型定义如下代价函数，公式（2.10）所示[33]：
(a)CL(i,j)?|I(i,j?1)?I(i,j?1)|?|I(i?1,j)?I(i,j?1)|
(b)CU(i,j)?|I(i,j?1)?I(i,j?1)|(c)CR(i,j)?|I(i,j?1)?I(i,j?1)|?|I(i?1,j)?I(i,j?1)|, (2.10)
然后定义动态规划的目标函数，公式（2.11）所示[33]：
?M(i?1,j?1)?CL(i,j)?M(i,j)?P(i,j)?min?M(i?1,j?1)?CU(i,j),
?M(i?1,j?1)?C(i,j)?R(2.11)
对于特征物体会被破坏连续性的问题，也有研究人员提出采用“重要度扩散策略（Important Diffusion Scheme）[38]”等增加特征区域影响程度和范围的方法
[39]
，效果如图2-9所示。
(a) (b) (c)
图2-9 (a)原始图像，(b)断裂失真图像，(c)带重要度扩散策略的结果。
2.2.2 基于网格变形的方法
二维和三维多边形网格变形技术[41, 42]是计算机图形学中关于模型建模[43]的重要技术，近年来随着数字几何处理[44]和微分几何[45-47]等领域理论和计算方法的发展，多边形网格变形技术[48, 49]得到极大的发展，出现了一系列的以拉普拉斯方
[50-52][53,54]程（Laplacian）、泊松方程（Poisson）、移动最小二乘（Moving Least Square）[55-57]
等方法为代表的曲面表面变形技术[58-60]和以均值坐标（Mean-Value
15