CN113632461A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

本公开内容涉及使得能够通过以集成方式同时校正由来自多个投影仪的图像的混合引起的劣化和由透镜MTF引起的光学劣化来高精确地校正肉眼可见的三维图像的图像处理装置、图像处理方法以及程序。本发明以集成方式同时校正光学劣化和串扰劣化，并生成由投影单元投影的多视点图像。本公开内容可以应用于三维图像显示装置。

Description

图像处理装置、图像处理方法以及程序

技术领域

本公开内容涉及图像处理装置、图像处理方法以及程序，并且具体地涉及能够以高精度校正可用肉眼观看到的三维图像的图像处理装置、图像处理方法以及程序。

背景技术

使用投影仪阵列并允许观看者用肉眼观看三维图像的观看系统，通过以每个投影仪的像素列为单位投影不同视点的多个图像，并且进一步在水平方向上以预定的扩散角扩散每个视点的投影图像，来实现用肉眼观看三维图像。

顺便提及，在使用投影仪阵列的肉眼观看系统中，通过增加要使用的投影仪的数目，可以增加可投影图像的数目，并且因此可以实现要观看的三维图像的高分辨率。

然而，另一方面，当投影仪的数目增加时，设备配置和设备成本增加。

因此，可以想到在不降低分辨率的情况下用少量投影仪来配置观看系统，并且在使用少量投影仪实现用肉眼观看三维图像的情况下，出现了增加系统所需的扩散板的扩散角的需要。

然而，当增大扩散板的扩散角时，图像(多视点图像)在多个投影仪之间混合，并且此外，还存在由于投影仪的透镜调制传递函数(MTF)(由MTF曲线表示的透镜的成像性能)而引起的光学劣化。因此，在要观看的三维图像中出现模糊或串扰。

因此，提出了一种信号处理技术，其通过由诸如摄像机的成像设备捕获模糊或串扰的图像，并且基于捕获图像的结果，通过预先对要投影的图像应用与模糊或串扰相对应的校正，来单独地消除模糊和串扰(参见专利文献1至3)。

引文列表

专利文献

专利文献1：JP 2010-245844 A

专利文献2：JP 2013-219643 A

专利文献3：JP 2009-008974 A

发明内容

本发明要解决的问题

但是，在应用专利文献1和2的技术的情况下，设计反滤波器以单独地校正投影时的诸如模糊和串扰的劣化。因此，当模糊量增加到一定程度时，模糊不能被适当地校正，并且由于过度校正，在投影时可能出现伪影和未校正的模糊。

此外，在应用专利文献3的技术的情况下，可能需要时间来收敛并获得用于获得反滤波器系数的计算结果，或者当投影仪的数目增加时，计算结果可能不收敛。

结果，即使当应用专利文献1至3的技术时，也存在对可以校正的模糊和串扰的量的限制，并且即使当组合使用专利文献1至3的技术时，也存在对可以适当应用的校正的限制。

本公开内容鉴于这样的情况而提出，并且特别地，本公开内容通过以集成方式同时校正由于多个投影仪之间的图像混合引起的劣化和由于透镜MTF引起的光学劣化，来以高精度校正肉眼可观看的三维图像。

问题的解决方案

根据本公开内容的一个方面的图像处理装置包括：投影单元，其投影多视点图像；以及图像生成单元，其通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成多视点图像。

根据本公开内容的一个方面的图像处理方法和程序对应于根据本公开内容的一个方面的图像处理装置。

在本公开内容的一个方面中，投影多视点图像，并且通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成多视点图像。

附图说明

图1是示出本公开内容的图像处理单元的配置示例的图。

图2是示出用肉眼观看三维图像的原理的图。

图3是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图4是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图5是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图6是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图7是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图8是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图9是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图10是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图11是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图12是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图13是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图14是示出由投影单元投影的图像的水平方向上的坐标位置与观看区域中的坐标位置之间的关系的图。

图15是示出在不存在扩散板的情况下观看到的图像的图。

图16是示出在存在扩散板的情况下观看到的图像的图。

图17是示出在存在扩散板的情况下观看到的图像的图。

图18是示出在三维图像中由串扰引起的模糊和由透镜MTF引起的模糊的图。

图19是示出在三维图像中由串扰引起的模糊和由透镜MTF引起的模糊的图。

图20是示出当相互独立地校正三维图像中的由串扰引起的模糊和由透镜MTF引起的模糊时的处理的图。

图21是示出当相互独立地校正三维图像中的由串扰引起的模糊和由透镜MTF引起的模糊时的处理的图。

图22是示出当以集成方式共同地校正三维图像中的由串扰引起的模糊和由透镜MTF引起的模糊时的处理的图。

图23是示出由图1中的图像处理单元进行的显示处理的图。

图24是示出在使用作为应用示例1的反函数的校正中出现错误的情况下的处理的图。

图25是示出在使用作为应用示例1的反函数的校正中出现错误的情况下的处理的图。

图26是示出与由图1中的图像处理单元使用反函数进行校正时所出现的错误相对应的显示处理的图。

图27是示出作为应用示例2的根据视点位置将不同的二维图像显示为多视点图像的示例的图。

图28是示出作为应用示例2的根据视点位置将不同的二维图像显示为多视点图像的示例的图。

图29是示出通用个人计算机的配置示例的图。

具体实施方式

在下文中，将参照附图详细地描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本上相同功能配置的部件由相同的附图标记表示，并且省略其冗余的描述。

在下文中，将描述用于执行本技术的模式。将按照下面的顺序进行描述。

1.优选实施方式

2.应用示例1

3.应用示例2

4.通过软件执行处理的示例

<<1.优选实施方式>>

本公开内容通过以集成方式同时校正由于多个投影仪之间的图像混合引起的串扰劣化和由于透镜MTF引起的光学劣化，使得能够实现三维图像的高分辨率。

图1示出应用本公开内容的图像处理单元的配置示例。

图1中的图像处理单元包括图像生成单元31、投影单元32-1至32-n、屏幕33、扩散板34、成像单元35和校正单元36。

图像生成单元31从用作输入的多视点图像(组)PM1中生成要由投影单元32-1至32-n分别投影的视点图像P1至Pn。

此外，图像生成单元31通过从校正单元36提供的用于校正的反函数(反滤波器)对所生成的多视点图像(组)PM1应用校正，使得在包括镜子的屏幕33上投影和反射并经由扩散板34扩散的要观看的输出图像(组)PM2与输入图像(组)PM1相匹配。

此外，图像生成单元31将通过反函数(反滤波器)校正的多视点图像P1至Pn分别输出到投影单元32-1至32-n。

投影单元32-1至32-n包括例如投影仪，并且分别将多视点图像P1至Pn投影在屏幕33上作为输出图像(组)PM2。

注意，在不是特别需要将投影单元32-1至32-n彼此区分以及多视点图像P1至Pn彼此区分的情况下，将投影单元32-1至32-n和多视点图像P1至Pn简称为投影单元32和多视点图像P，并且也以类似的方式称呼其他配置。

包括各向异性扩散板的扩散板34设置在屏幕33的前级，并且以多视点图像P1至Pn的像素列为单位以预定扩散分布扩散图像，并且由观看者观看图像，从而实现了用肉眼观看三维图像。

更具体地，多视点图像P1至Pn中的每一个包括以一个或多个像素列为单位的不同视点的图像，并且当观看者从预定观看方向观看多个多视点图像P1至Pn中的每一个时，观看与每个观看方向相对应的像素列的图像。因此，实现了三维图像的观看。

在图1中表示：图像P1包括以像素列为单位的视点V1-1至V1-m，并且图像Pn包括以像素列为单位的视点Vn-1至Vn-m。

成像单元35设置在与观看者的观看位置相对应的位置处，捕获观看者要观看的图像，并且将捕获的图像输出到校正单元36。

校正单元36生成用于将作为由成像单元35捕获的图像的输出图像(组)PM2校正为与输入图像(组)PM1相同的反函数(滤波器)，并且将反函数(滤波器)输出到图像生成单元31。

<观看三维图像的原理>

这里，将描述观看三维图像的原理。

图像处理单元11的投影单元32-1至32-n被布置在水平方向上。

这里，为了简化描述，例如，如图2所示，考虑这样的情况，其中投影单元32-11、32-12、32-21、32-22、32-31和32-32从图中的左侧布置，并将多视点图像投影在屏幕33上，并且观看者H1和Hn观看投影在屏幕33上的图像。

投影单元32中的每一个在水平方向上以一个或多个像素列为单位构成不同视点的图像，并且将图像作为多视点图像投影在屏幕33上。

这里，将仅描述由投影单元32-11、32-12、32-21、32-22、32-31、32-32中的每一个投影的图像之中的屏幕33上的端部处的像素位置(像素列)Psc1和Psc2处的图像的光路。

也就是说，由投影单元32-11投影的图像中的像素位置Psc1处的图像的光路是由实线表示的光路r11，并且由投影单元32-12投影的图像中的像素位置Psc1处的图像的光路是由虚线表示的光路r12。

此外，由投影单元32-21和32-22投影的图像中的像素位置Psc1处的图像的光路分别是由双点划线表示的光路r21-1和由单点划线表示的光路r22-1。

另外，由投影单元32-31投影的图像中的像素位置Psc2处的图像的光路是由双点划线表示的光路r31，并且由投影单元32-32投影的图像中的像素位置Psc2处的图像的光路是由单点划线表示的光路r32。

此外，由投影单元32-21和32-22投影的图像中的像素位置Psc2处的图像的光路分别是由实线表示的光路r21-2和由虚线表示的光路r22-2。

观看者H1在作为左眼的视点V1处观看光路r22-1至r32的图像，并且在作为右眼的视点V2处观看光路r21-1至r31的图像。

此外，观看者Hn在作为左眼的视点Vn-1处观看光路r12至r22-2的图像，并且在作为右眼的视点Vn处观看光路r11至r21-2的图像。

也就是说，通过观看者H1和Hn用右眼和左眼在不同的观看方向观看图像来实现三维图像的观看。

注意，图2是示出在投影单元32沿水平方向布置的状态下，在投影方向上在投影单元32的前方设置屏幕33的状态的俯视图。

<关于多视点图像的校正>

这里，在描述多视点图像的校正时，将描述由投影单元32中的每一个投影在屏幕33上的图像与投影在屏幕33上并进一步被屏幕33反射以实际观看的图像之间的关系。

如图3中的虚线所示，例如，由投影单元32-k投影在屏幕33上的图像P(k)被屏幕33反射，并在图中观看区域Z的由虚线所指示的箭头之间的范围内被观看。

此时，当由面对作为观看区域Z的中心位置的中心位置Vc的图像P(k)上的位置和作为观看方向的观看区域Z上的位置形成的角度被定义为角度θ时，观看区域Z上的水平位置i处的像素列被假设为由观看区域Z上的tanθ表示。

因此，在屏幕33上投影的图像P(k)上的水平位置i处的像素列与在作为观看区域Z上的水平位置的tanθ处观看的像素列之间的关系如图4中的虚线所示。

也就是说，如图4所示，在将由投影单元32-k投影的图像P(k)上的像素列的水平位置i作为水平轴，并且将作为观看区域Z中的水平位置的tanθ作为垂直轴(图中的向下方向被假设为正)的情况下，由投影单元32-k投影的图像P上的像素列的水平位置i和作为观看区域Z上的水平位置的tanθ具有由右下虚线指示的直线Lk表示的关系。

因此，例如，如图5所示，在投影单元32-(k-1)相对于投影单元32-k设置在图中左侧的情况下，将投影在屏幕33上的图像P(k-1)设置为图中观看区域Z的单点划线指示的箭头之间的范围。

此时，由投影单元32-(k-1)投影的图像P(k-1)上的像素列的水平位置i和作为观看区域Z上的水平位置的tanθ具有由如图6所示的右下单点划线指示的直线Lk-1表示的关系。

类似地，例如，如图7所示，在投影单元32-(k+1)相对于投影单元32-k设置在图中右侧的情况下，将投影在屏幕33上的图像P(k+1)设置为由图中观看区域Z的实线指示的直线表示的箭头之间的范围。

此时，由投影单元32-(k+1)投影的图像P(k+1)上的像素列的水平位置i和作为观看区域Z上的水平位置的tanθ具有由如图8所示的右下实线指示的直线Lk+1表示的关系。

鉴于以上情况，当多个投影单元32-1至32-n如图9所示沿水平方向布置时，像素列在由投影单元32-1至32-n投影的图像上的水平位置i和作为观看区域Z上的水平位置的tanθ具有由如图10所示的右下方直线L1至Ln表示的关系。

注意，在图10中，仅直线L1和Ln以及直线Lk附近的直线由附图标记表示，并且省略了用于其他直线的附图标记。

在投影单元32-1至32-n如图9所示布置的情况下，当在屏幕33上未设置扩散板34的状态下在观看区域Z中的中心位置Vc处执行观看时，如图11所示观看屏幕33。

此时，如图11所示，假设面对中心位置Vc的屏幕33上的图像的像素列在由投影单元32-k投影的像素列Pc和由投影单元32-(k-1)投影的像素列Pc-1之间。

此时，在中心位置Vc处，如图12所示，中心位置Vc上的直线Lk-4至Lk+3上的像素列Pc-4至Pc+3的图像被看作水平方向上的离散状态的图像。

这里，像素列Pc-4至Pc+3是在中心位置Vc的位置处观看的分别由投影单元32-(k-4)至32-(k+3)投影在屏幕33上的像素列。

因此，在面对中心位置Vc的屏幕33上的图像的像素列被定义为例如如图13所示的像素列Pc-1与像素列Pc之间的像素列Pt的情况下，如图14所示，在没有从中心位置Vc移动到位置Vc’的情况下，不能观看像素列Pt的图像。

注意，当移动到位置Vc’时，在中心位置Vc处不能观看到离散的但是可观看的像素列Pc-4至Pc+3。

因此，在本公开内容中，为了使得能够将投影在屏幕33上的在水平方向上离散的像素列的图像作为水平方向上的连续图像观看，在屏幕33的前级中设置扩散板34。

也就是说，当扩散板34设置在屏幕33的前级中时，如图15所示，由屏幕33反射的每个像素列的图像以相对于水平方向的预定角度并以预定扩散分布D扩散，并且看作包括在水平方向上离散的像素列的图像的图像可以被看作包括在水平方向上连续的像素列的图像。

注意，图15中的水平方向上的向下凸起的波形示意性地表示扩散分布D，并且表示：根据该扩散分布，相同像素列的光路如单点划线的箭头所示地扩展和反射。此外，尽管在图15中单点划线的箭头的数目是三个，但是该数目不具体地表示光路的数目，而是示意地表示光路扩散的事实。

扩散板34以预定的扩散角扩散每个像素列的图像，使得图像以扩散分布D扩散，该扩散分布D在没有设置扩散板34时离散地观看图像的观看位置处具有扩散强度的峰值。

也就是说，在没有设置扩散板34的情况下，如图16的上部所示，图像被看作包括在水平方向上离散的像素列的图像。

另一方面，在设置扩散板34的情况下，如图16的下部所示，在被扩散以具有扩散分布D之后，观看离散可观看的像素列的图像，扩散分布D具有离散可观看的像素列的扩散强度的峰值。

注意，在图16中，每种线类型表示不同像素列的图像，并且在图16的上部中表示：图像被看作包括离散像素列的图像。此外，在图16的下部中表示：在以在观看每个像素列的图像的位置处具有峰值的扩散分布D扩散的状态下观看每个像素列的图像。

因此，例如，如图17所示，在像素列Pc与像素列Pc-1之间的像素列Pt处，由于仅从附近观看位置能够观看的像素列Pc和Pc-1的图像被扩散，因此，可以从中心位置Vc观看图像作为两个图像都被混合的状态下的图像。

结果，从中心位置Vc观看的图像可以被看作其中像素列在水平方向上连续布置的图像。

然而，在这种情况下，在像素列Pt处，由于像素列Pc和Pc-1的图像被扩散，所以从中心位置Vc观看图像作为两个图像都被混合的状态下的图像，但是当不仅附近的像素列的图像而且远处的像素列的图像被混合时，出现由串扰引起的模糊(串扰劣化)。

此外，在投影单元32中，图像经由透镜被投影，并且由于透镜MTF(由MTF曲线表示的透镜性能)的影响，在投影图像中出现模糊(光学劣化)。

因此，需要针对由串扰引起的模糊和由透镜MTF引起的模糊对投影图像进行校正。

<由串扰引起的模糊和由透镜MTF引起的模糊>

将描述由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)。

注意，这里，如图18所示，将描述由投影单元32-(k-1)、32-k和32-(k+1)投影的像素列所布置的直线Lk-1、Lk和Lk+1。

此外，这里，将考虑当从中心位置Vc进行观看时在像素列Pt处出现的由串扰引起的模糊和由透镜MTF引起的模糊。

在这种情况下，如图19所示，像素列Pt的图像被看作其中由于串扰而出现扩散板34引起的模糊的图像，在该串扰中，由投影单元32-(k+1)至32-(k-1)分别投影的直线Lk-1、Lk和Lk+1上的像素列Pk+1、Pk和Pk-1的图像中的每一个以与每个劣化函数Fs(与扩散板34的扩散分布D相对应的函数)相对应的扩散强度与像素列Pt的图像混合。

此外，如图20所示，在直线Lk+1上的像素列Pk+1和周围像素列Pk+1_1至Pk+1_4的图像中，出现由根据投影单元32-(k+1)的透镜MTF的劣化函数FL-(k+1)表示的模糊。

类似地，在直线Lk上的像素列Pc和周围像素列Pk_1至Pk_4的图像中，出现由根据投影单元32-k的透镜MTF的劣化函数FL-k表示的模糊。

此外，在直线Lk-1上的像素列Pk-1和周围像素列Pk-1_1至Pk-1_4的图像中，出现由根据投影单元32-(k-1)的透镜MTF的劣化函数FL-(k-1)表示的模糊。

结果，在通过组合由扩散板34的串扰引起的模糊(以下，也称为由串扰引起的模糊或串扰劣化)和由投影单元32-(k+1)至32-(k-1)中的每一个的透镜MTF引起的模糊(以下，也称为由透镜MTF引起的模糊或光学劣化)而出现模糊的状态下，观看像素列Pt的图像。

<独立地校正由串扰引起的模糊和由透镜MTF引起的模糊的示例>

这里，作为校正由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)的方法，将描述其中彼此独立地校正由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)的示例。

这里，如图21所示，通过使用周围像素列Pk+1_1至Pk+1_4的像素，将基于投影单元32-(k+1)的透镜MTF的劣化函数FL-(k+1)的沿图中箭头Zk+1的方向的校正应用于直线Lk+1上的像素列Pk+1的像素。

类似地，通过使用周围像素列Pk_1至Pk_4，将基于投影单元32-k的透镜MTF的劣化函数FL-k的沿图中箭头Zk方向的校正应用于直线Lk上的像素列Pk的像素。

此外，通过使用周围像素列Pk-1_1至Pk-1_4，将基于投影单元32-(k-1)的透镜MTF的劣化函数FL-(k-1)的沿图中箭头Zk-1的方向的校正应用于直线Lk-1上的像素列Pk-1。

结果，基于透镜MTF的校正被应用于在图像上具有与像素列Pt的水平方向相同的水平方向的像素列Pk-1、Pk和Pk+1的每个像素。

接着，基于像素列Pk-1、Pk和Pk+1中的直线Lk-1、Lk和Lk+1中的每一个中的劣化函数Fs，沿图中箭头Zc的方向校正像素列Pt的像素。

结果，在像素列Pt中的每个像素中，对由投影单元32-(k-1)、32-k和32-(k+1)中的每一个的透镜MTF引起的模糊和由彼此之间的串扰引起的模糊应用校正。

然而，例如，尽管假设最接近图22中的像素列Pt的像素列Pk_3具有最高相关性，但是在忽略相关性的状态下应用校正，因为由串扰引起的模糊和由透镜MTF引起的模糊被彼此独立地校正。

因此，当校正像素列Pt的像素时，不考虑根据二维空间中的距离的相关性的存在或不存在。因此，虽然校正了由串扰引起的模糊和由透镜MTF引起的模糊，但是不能说校正是最佳的。

<以集成方式同时校正由串扰引起的模糊和由透镜MTF引起的模糊的示例>

因此，本公开内容的校正单元36生成用于以集成方式同时校正由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)的反函数(反滤波器)，并将该反函数(反滤波器)输出到图像生成单元31。然后，图像生成单元31使用该反函数(反滤波器)来校正所生成的多视点图像，将经校正的多视点图像输出到投影单元32-1至32-n，并使投影单元32-1至32-n投影经校正的多视点图像。

例如，如图22所示，通过将范围Zf中的像素列Pt附近的像素列(例如像素列Pk-1、Pk-1_1至Pk-1_4、Pk、Pk_1至Pk_4、Pk+1和Pk+1_1至Pk+1_4)的像素乘以反函数(反滤波器)，来校正像素列Pt的图像，以便以集成方式同时校正由串扰引起的模糊和由透镜MTF引起的模糊。

这里，用于应用校正的反函数是基于表示由串扰引起的模糊的生成模型的传递函数(串扰劣化传递函数)和表示由透镜MTF引起的模糊的生成模型的传递函数(光学劣化传递函数)而获得的反函数(反滤波器)。

更具体地，输入图像和未经校正而投影的输出图像由以下等式(1)表示。

Y＝D·M(X) (1)

这里，X是输入图像，Y是输出图像，D(X)是表示由串扰引起的模糊的生成模型的传递函数，并且M(X)是表示由透镜MTF引起的模糊的生成模型的传递函数。

校正单元36通过例如使投影单元32将已知的测试图案投影在屏幕33上、经由扩散板34由成像单元35捕获图像、并将捕获的测试图案与已知的测试图案进行比较，预先获得表示由串扰引起的模糊的生成模型的传递函数D(X)，作为与扩散板34对以像素列为单位的图像的扩散分布相对应的函数。

此外，校正单元36通过例如使投影单元32将已知测试图案投影在屏幕33上、经由扩散板34由成像单元35捕获图像、并将捕获的测试图案与已知的测试图案进行比较，预先获得表示由透镜MTF引起的模糊的生成模型的传递函数M(X)作为函数。此外，传递函数M(X)可以基于针对投影单元32中的每一个单独预设的透镜MTF的数据来获得。

然后，通过基于传递函数D(X)和M(X)获得反函数(反滤波器)并将输入图像乘以反函数(反滤波器)，校正单元36校正投影在屏幕33上并由扩散板34扩散以被观看的输出图像。

Y′＝D·M(D^-1·M^-1(X) (2)

这里，Y’是经校正的输出图像，D(X)^-1是表示由串扰引起的模糊的生成模型的传递函数的反函数，并且M(X)^-1是表示由透镜MTF引起的模糊的生成模型的传递函数的反函数。

因此，用作反函数(反滤波器)的(D^-1·M^-1(X))使得能够以集成方式同时校正由串扰引起的模糊和由透镜MTF引起的模糊。

也就是说，校正单元36通过上述方法获得用作反函数(反滤波器)的(D^-1·M^-1(X))，并且将(D^-1·M^-1(X))提供给图像生成单元31。

当图像生成单元31基于输入图像PM1(图1)生成图像P1至Pn时，图像生成单元31以图像P中的每一个的像素列为单位将图像P乘以从校正单元36提供的用作反函数(反滤波器)的(D^-1·M^-1(X))，使得以集成方式同时校正由串扰引起的模糊和由透镜MTF引起的模糊。

通过该处理，由于以集成方式同时校正了由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)，所以根据要校正的像素列的空间位置，适当地对周围的像素列应用校正，并且可以以高精度校正要观看的三维图像。

结果，即使当图像处理单元11具有其中投影单元32的数目较少、扩散板34的扩散角被设置得较宽并且容易出现串扰的配置时，也能够实现对高清晰度三维图像的观看。

注意，通过调整用作反函数(反滤波器)的(D^-1·M^-1(X))中的D^-1(X)和M^-1(X)中的每一个的约束项，可以执行调整以优先校正由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)中的一个。

<显示处理>

接下来，将参照图23中的流程图描述图1中的图像处理单元11的显示处理。

在步骤S11中，校正单元36将投影单元32-1到32-n之中的未经处理的投影单元32设置为要处理的投影单元，且获取并存储要处理的投影单元32的屏幕33上的串扰量作为关于由串扰引起的模糊量的信息。

更具体地，例如，图像生成单元31生成测试图案，并使要处理的投影单元32将测试图案投影在屏幕33上，并且成像单元35经由扩散板34捕获投影在屏幕33上的测试图案的图像，并将捕获的测试图案的图像输出到校正单元36。

然后，校正单元36基于已知测试图案和测试图案的捕获图像之间的比较来测量扩散分布，并且根据扩散分布来指定串扰量。

注意，校正单元36可以预先获取由另一测量仪器测量的串扰的设计值或量。

在步骤S12中，校正单元36获取并存储要处理的投影单元32的模糊量作为关于由透镜MTF引起的模糊量的信息。

更具体地，例如，图像生成单元31生成测试图案，并使要处理的投影单元32将测试图案投影在屏幕33上，并且成像单元35捕获投影在屏幕33上的测试图案的图像，并将捕获的测试图案输出到校正单元36。

校正单元36基于已知测试图案与测试图案的捕获图像之间的比较来指定与透镜MTF相关的模糊量。

注意，校正单元36可以预先获取由另一测量仪器测量的与透镜MTF相关的设计值或模糊量。

在步骤S13中，校正单元36确定是否存在未处理的投影单元32，并且在存在未处理的投影单元32的情况下，处理返回到步骤S11。

也就是说，重复步骤S11至S13的处理，直到获取与全部投影单元32有关的关于串扰量(由串扰引起的模糊量)的信息和关于由透镜MTF引起的模糊量的信息。

然后，在步骤S13中考虑到获取了与所有投影单元32有关的关于串扰量(由串扰引起的模糊量)的信息和关于由透镜MTF引起的模糊量的信息的情况下，处理进行到步骤S14。

在步骤S14中，校正单元36基于与所有投影单元32有关的关于串扰量(由串扰引起的模糊量)的信息和关于由透镜MTF引起的模糊量的信息来设置包括像素分布的优化的反函数(反滤波器)，并将反函数(反滤波器)提供给图像生成单元31。

也就是说，如参照图22所述，校正单元36在上述等式(2)中设置包括(D^-1·M^-1(X))的反函数(反滤波器)，用于以集成方式同时校正由串扰引起的模糊和由透镜MTF引起的模糊。

在步骤S15中，图像生成单元31读取输入图像以生成图像P1至Pn，并且将图像P1至Pn中的每一个乘以反函数(反滤波器)，使得以集成方式同时校正由串扰引起的模糊和由透镜MTF引起的模糊。

然后，图像生成单元31将其中以集成方式同时校正了由串扰引起的模糊和由透镜MTF引起的模糊的图像P1至Pn分别输出到投影单元32-1至32-n。

在步骤S16中，投影单元32-1至32-n分别以叠加方式将其中以集成方式同时校正了由串扰引起的模糊和由透镜MTF引起的模糊的图像P1至Pn投影在屏幕33上。

通过上述一系列处理，将其中以集成方式共同且同时校正了由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)的P1至Pn以叠加的方式作为多视点图像投影在屏幕33上。结果，经由扩散板34观看图像的用户可以用肉眼以高精度观看从其去除了由串扰引起的模糊和由透镜MTF引起的模糊的三维图像。

注意，步骤S11至S14的处理可以预先离线执行，从而预先获得反函数(反滤波器)。

在这种情况下，当以叠加方式显示多视点图像时，仅需要执行步骤S15和S16的处理。

此外，上面已经描述了这样的示例，其中图1中的图像处理单元11包括包含投影仪的投影单元32、包含镜子的屏幕33以及包含各向异性扩散板的扩散板34。然而，可以应用任何其他配置，只要该配置使得能够观看三维图像即可。

例如，投影单元32和屏幕33可以包括液晶显示器(LCD)或有机发光二极管(OLED)，并且扩散板34可以包括双凸透镜或视差屏障。

此外，已经描述了这样的示例，其中校正单元36根据表示由串扰引起的模糊的生成模型的传递函数和表示由透镜MTF引起的模糊的生成模型的传递函数来生成用于校正的反函数(反滤波器)，并且图像生成单元31通过应用反滤波器来校正多视点图像。

然而，图像生成单元31可以直接对像素应用与使用反滤波器的校正类似的优化处理，以应用类似的校正。

<<2.应用示例1>>

<出现由于反函数引起的错误的情况>

以上已经描述了其中通过获得反函数(反滤波器)并将输入图像乘以反函数(反滤波器)来以集成方式共同且同时校正由串扰引起的模糊和由透镜MTF引起的模糊的示例。然而，通过将输入图像乘以所获得的反函数(反滤波器)，输入图像的像素的一些像素值饱和，并且作为图像可能出现错误。

在这样的情况下，可以通过使用没有出现错误的视点的图像进行线性插值来生成图像。

也就是说，例如，将考虑如图24所示的在视点位置V11至V12的范围中生成多视点图像的示例。

假设当在图24中的视点位置V11至V12的范围中连续改变视点位置时，生成图25的上部中的图像P101至P105作为在相应视点位置观看的图像。

也就是说，假设当在视点位置V11观看图像P101并且在视点位置V12观看图像P105时，在通过将视点位置V11与视点位置V12之间的距离分成四个相等部分而获得的相应视点位置处观看图像P102至P104。

在输入图像乘以反函数(反滤波器)以获得图25中的图像P101至P105的情况下，可以认为没有错误出现。但是，由于构成反函数的系数等的一部分的变化等，可能出现诸如像素值的饱和的错误，并且可能在图像中出现损坏。

在这样的情况下，当输入图像乘以反函数(反滤波器)时，在所生成的图像中出现损坏。

因此，在出现错误的情况下，当获得在视点位置V11和V12处观看的图像P101和P105时，可以生成其间的图像以便根据视点位置而混合。

也就是说，如图25的下部所示，在得到图像P121和P125作为与图像P101和P105相对应的图像时，通过内插生成其中混合了具有75％浓度的图像P121和具有25％浓度的图像P125的图像P122。

类似地，如图25的下部所示，通过内插生成其中混合了具有50％浓度的图像P121和具有50％浓度的图像P125的图像P123。

此外，如图25的下部所示，通过内插生成其中混合了具有25％浓度的图像P121和具有75％浓度的图像P125的图像P124。

在通过这样的混合固定视点的情况下，混合是明显的，但是确保了运动视差，该运动视差是在移动视点的情况下的平滑性。

也就是说，由于确保了作为人类视觉特性的这样的运动视差，所以当图25的下部的图像P121至P125的视点位置改变时，图像P121至P125也可以作为整体被看作图25的上部的图像P101至P105。

<在出现由于反函数引起的错误的情况下的显示处理>

接下来，将参照图26中的流程图描述在出现由于反函数引起的错误的情况下的显示处理。注意，在图26的流程图中，步骤S31至S35的处理和步骤S38的处理类似于参照图23描述的步骤S11至S16的处理，因此将省略其描述。

也就是说，在步骤S36中，图像生成单元31确定例如在通过使用反函数(反滤波器)生成的图像P1至Pn中是否已经出现了指示图像中出现损坏的错误，例如像素值的饱和。

在步骤S36中确定已经出现错误的情况下，处理进行到步骤S37。

在步骤S37中，如参照图25的下部所述，图像生成单元31通过使用没有出现错误的视点位置的图像进行内插来生成其中已经出现错误的图像。

通过该处理，在已经出现错误的情况下，使用没有出现错误的视点位置的相位图像，通过内插来生成已经出现了错误的视点位置的图像。

结果，通过使用反函数(反滤波器)，可以以集成方式共同且同时校正由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)，并且即使当通过使用反函数(反滤波器)出现错误时，也可以通过内插生成图像来获得没有损坏的图像。

<<3.应用示例2>>

以上已经描述了其中由图1中的图像处理单元11投影多视点图像使得可以用肉眼观看三维图像的示例。然而，也可以投影多视点图像，只要图像是多视点图像，其使得不仅能够观看三维图像，而且能够观看针对每个视点位置的不同的二维图像。

也就是说，例如如图27所示，生成在相同位置处具有不同亮度的二维图像Pa至Pd。

然后，投影多视点图像，该多视点图像使得能够在图28中的视点位置范围Lpa中观看图像Pa、在视点位置范围Lpb中观看图像Pb、在视点位置范围Lpc中观看图像Pc以及在视点位置范围Lpd中观看图像Pd。

同样，在其中通过以这种方式改变视点位置而可以观看不同的二维图像的示例中，如上所述，通过以集成方式共同且同时校正由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)，能够适当地校正由串扰引起的模糊(串扰劣化)和由透镜MTF引起的模糊(光学劣化)。

<<4.通过软件执行处理的示例>>

顺便提及，可以由硬件或软件来执行上述一系列处理。在通过软件执行一系列处理的情况下，从内置在专用硬件中的计算机(例如其中可以安装各种程序以执行各种功能的通用个人计算机)等中的记录介质安装构成软件的程序。

图29示出了通用计算机的配置示例。该个人计算机包括内置的中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接至CPU1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接至总线1004。

输入/输出接口1005连接至包括用户利用其输入操作命令的诸如键盘和鼠标的输入设备的输入单元1006、向显示设备输出处理操作屏幕和处理结果的图像的输出单元1007、包括存储程序和各种类型的数据的硬盘驱动器的存储单元1008以及包括局域网(LAN)适配器并经由由因特网表示的网络执行通信处理的通信单元1009。此外，输入/输出接口1005连接至从/向诸如磁盘(包括软盘)、光盘(包括压缩盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器的可移动存储介质1011读取/写入数据的驱动器1010。

CPU 1001根据存储在ROM 1002中的程序或从安装在存储单元1008中的诸如磁盘、光盘、磁光盘或半导体存储器的可移动存储介质1011读取并从存储单元1008加载到RAM1003的程序，执行各种类型的处理。在RAM 1003中，例如，如果需要，还存储CPU 1001执行各种类型的处理所需的数据。

在如上所述配置的计算机中，上述一系列处理例如由CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003以执行程序来执行。

例如，可以通过将由计算机(CPU 1001)执行的程序记录在用作封装介质等的可移动存储介质1011上来提供该程序。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，通过在驱动器1010上安装可移动存储介质1011，可以经由输入/输出接口1005将程序安装到存储单元1008中。此外，可以经由有线或无线传输介质由通信单元1009接收程序，并且可以将程序安装在存储单元1008中。替选地，程序可以预先安装在ROM1002或存储单元1008中。

注意，由计算机执行的程序可以是其中以本说明书中描述的顺序按时间序列执行一系列处理的程序，或者可以是其中并行地或在必要的定时处(例如当进行调用时)执行处理的程序。

注意，图29中的CPU 1001实现图1中的图像生成单元31和校正单元36的功能。

此外，在本说明书中，系统是指一组多个部件(设备、模块(部件)等)，并且所有部件是否在同一外壳中无关紧要。因此，容纳在单独的外壳中并且经由网络彼此连接的多个设备和包括容纳在一个壳体中的多个模块的一个设备两者都是该系统。

注意，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。

例如，本公开内容可以具有其中由多个设备经由网络协作地共享和处理一个功能的云计算的配置。

此外，上述流程图中描述的步骤可以由一个设备执行，或者可以由多个设备共享和执行。

此外，在一个步骤中包括多种类型的处理的情况下，一个步骤中包括的多种类型的处理可以由一个设备执行，或者可以由多个设备共享并执行。

注意，本公开内容还可以具有以下配置。

<1>一种图像处理装置，包括：

投影单元，其投影多视点图像；以及

图像生成单元，其通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成所述多视点图像。

<2>根据<1>所述的图像处理装置，其中，

所述图像生成单元通过对输入图像应用校正滤波器来生成所述多视点图像，所述校正滤波器以集成方式同时应用对所述光学劣化的校正和对所述串扰劣化的校正。

<3>根据<2>所述的图像处理装置，还包括：

校正单元，其将反滤波器设置为所述校正滤波器，所述反滤波器包括表示引起所述输入图像中的光学劣化的模型的光学劣化传递函数和表示引起所述输入图像中的串扰劣化的模型的串扰劣化传递函数的反函数。

<4>根据<3>所述的图像处理装置，其中，

所述光学劣化传递函数是基于光学特性来设置的，所述光学特性基于当所述投影单元包括投影仪时使用的透镜的调制传递函数(MTF)曲线。

<5>根据<3>所述的图像处理装置，其中，

所述串扰劣化传递函数是基于扩散板的扩散分布来设置的，所述扩散板以像素列为单位对由所述投影单元投影的多视点图像进行扩散。

<6>根据<5>所述的图像处理装置，其中，

所述投影单元包括投影仪，并且所述扩散板包括各向异性扩散板。

<7>根据<5>所述的图像处理装置，其中，

所述投影单元包括液晶显示器(LCD)或有机发光二极管(OLED)，并且所述扩散板包括双凸透镜或视差屏障。

<8>根据<3>所述的图像处理装置，其中，

所述校正单元调整所述反函数中的约束项，并且设置优先校正对所述光学劣化的校正和对所述串扰劣化的校正中的一个的校正滤波器。

<9>根据<2>所述的图像处理装置，其中，

当由于使用所述校正滤波器的校正而在所述多视点图像中出现错误时，所述图像生成单元通过使用其中不出现错误的多视点图像通过线性内插来生成与其中出现错误的多视点图像相对应的多视点图像。

<10>根据<9>所述的图像处理装置，其中，

由于使用所述校正滤波器的校正而出现错误的多视点图像包括包含具有饱和的像素值的像素的图像。

<11>根据<1>至<10>中任一项所述的图像处理装置，其中，

所述多视点图像包括使得能够观看根据观看位置的三维图像的多视点图像。

<12>根据<1>至<10>中任一项所述的图像处理装置，其中，

所述多视点图像包括使得能够观看根据观看位置的二维图像的多视点图像。

<13>一种图像处理方法，包括：

图像生成处理，通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成由投影单元投影的多视点图像。

<14>一种使计算机用作以下单元的程序：

投影单元，其投影多视点图像；以及

图像生成单元，其通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成所述多视点图像。

附图标记列表

1 图像处理单元

31 图像生成单元

32、32-1至32-n 投影单元

33 屏幕

34 扩散板

35 成像单元

36 校正单元

Claims (14)

1.一种图像处理装置，包括：

投影单元，其投影多视点图像；以及

图像生成单元，其通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成所述多视点图像。

2.根据权利要求1所述的图像处理装置，其中，

所述图像生成单元通过对输入图像应用校正滤波器来生成所述多视点图像，所述校正滤波器以集成方式同时应用对所述光学劣化的校正和对所述串扰劣化的校正。

3.根据权利要求2所述的图像处理装置，还包括：

校正单元，其将反滤波器设置为所述校正滤波器，所述反滤波器包括表示引起所述输入图像中的光学劣化的模型的光学劣化传递函数和表示引起所述输入图像中的串扰劣化的模型的串扰劣化传递函数的反函数。

4.根据权利要求3所述的图像处理装置，其中，

所述光学劣化传递函数是基于光学特性来设置的，所述光学特性基于当所述投影单元包括投影仪时使用的透镜的调制传递函数(MTF)曲线。

5.根据权利要求3所述的图像处理装置，其中，

所述串扰劣化传递函数是基于扩散板的扩散分布来设置的，所述扩散板以像素列为单位对由所述投影单元投影的多视点图像进行扩散。

6.根据权利要求5所述的图像处理装置，其中，

所述投影单元包括投影仪，并且所述扩散板包括各向异性扩散板。

7.根据权利要求5所述的图像处理装置，其中，

所述投影单元包括液晶显示器(LCD)或有机发光二极管(OLED)，并且所述扩散板包括双凸透镜或视差屏障。

8.根据权利要求3所述的图像处理装置，其中，

所述校正单元调整所述反函数中的约束项，并且设置优先校正对所述光学劣化的校正和对所述串扰劣化的校正中的一个的校正滤波器。

9.根据权利要求2所述的图像处理装置，其中，

当由于使用所述校正滤波器的校正而在所述多视点图像中出现错误时，所述图像生成单元通过使用其中不出现错误的多视点图像通过线性内插来生成与其中出现错误的多视点图像相对应的多视点图像。

10.根据权利要求9所述的图像处理装置，其中，

由于使用所述校正滤波器的校正而出现错误的多视点图像包括包含具有饱和的像素值的像素的图像。

11.根据权利要求1所述的图像处理装置，其中，

所述多视点图像包括使得能够观看根据观看位置的三维图像的多视点图像。

12.根据权利要求1所述的图像处理装置，其中，

所述多视点图像包括使得能够观看根据观看位置的二维图像的多视点图像。

13.一种图像处理方法，包括：

图像生成处理，通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成由投影单元投影的多视点图像。

14.一种使计算机用作以下单元的程序：

投影单元，其投影多视点图像；以及

图像生成单元，其通过以集成方式同时应用对光学劣化的校正和对串扰劣化的校正来生成所述多视点图像。

Images