CN102789632B - 学习装置和方法、图像处理装置和方法、程序和记录介质 - Google Patents

Abstract

本发明提供了一种学习装置和方法、图像处理装置和方法、程序和记录介质，其中图像处理装置包括：基于模型的处理单元，其执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；以及预测运算单元，其基于预先存储的参数、作为输入的低分辨率图像的观测的低分辨率图像、以及通过执行所述基于模型的处理而获得的图像，对将要输出的高分辨率图像的像素值进行预测运算。

Description

学习装置和方法、图像处理装置和方法、程序和记录介质

技术领域

本发明涉及学习装置和方法、图像处理装置和方法、程序、以及记录介质，尤其涉及能够高速进行高精度分辨率插值的学习装置和方法、图像处理装置和方法、程序、以及记录介质。

背景技术

过去，高质量图像处理已经投入实际使用。例如，当输入信号的分辨率不满足屏幕的分辨率，已知用作用于补偿分辨率的分辨率插值技术的超分辨率技术。如果使用超分辨率技术，当使用全高清（full-HD）宽屏电视观看具有标准分辨率的视频软件时，可以对不足的像素进行插入（interpose）并且能够享受到更真实的视频。

现有技术的超分辨率技术通过反复的运算根据低分辨率图像来估计高分辨率图像的像素，并通常执行以下的处理。

首先，预先估计相机模型（劣化模型）和相机运动（对准）。另外，通过反复运算逐渐校正高分辨率图像，从而使得通过估计模型根据高分辨率图像获得的估计的低分辨率图像与实际观测的低分辨率图像的误差（差分）减小，以使所述高分辨率图像变得与理想图像近似。

例如，在相机模型（劣化模型）中，考虑模糊（光模糊、移动模糊和PSF）、像素数目变换（下变换（down conversion）和逐行-隔行变换）、以及噪声。在对准中，使用具有子像素精度的对相机运动或物体运动的估计。当确切知道相机模型和对准时，能够恢复没有混叠（aliasing）的高分辨率图像。

另外，提出了这样的技术（例如，参考日本专利申请公开No2008-140012），其中将通过超分辨率处理器计算的反馈值加上存储在缓冲器中的高分辨率图像，将通过第一次加法处理获得的高分辨率图像加上通过以下的超分辨率处理器获得的反馈值，并且通过利用Gauss-Seidel法的超分辨率处理来生成高分辨率图像。

发明内容

然而，在现有技术中，未能完全指定相机模型或对准，并且未能利用均一的模型来描述屏幕的内部。如果在相机模型或对准中产生估计误差，并且未能进行适当的高分辨率图像校正，则会产生不良影响，诸如边缘或细节部分的过分加强、过调节（overshoot）、以及对噪声的加强，并且这导致图像质量的劣化。

考虑了用于根据图像的预先（advance）信息而防止图像质量的劣化或加强噪声的技术以防止不良影响（称为重构建型（reconstruction-type）超分辨率MAP法）。然而，该技术不足以防止不良影响，因为性能很大程度上依赖于图像的预先信息，并且难以对混叠性能、分辨率感、抑制过调节、以及抑制噪声全部满足。

在现有技术中，因为由反复运算造成的处理负荷较大，所以难以实现高速处理。

考虑上述情况而完成本发明，并且本发明使得能够以高速进行高精度的分辨率插值。

根据本发明的实施例，提供了一种图像处理装置，其包括：基于模型的处理单元，该基于模型的处理单元执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；以及预测运算单元，该预测运算单元基于预先存储的参数、作为输入的低分辨率图像的观测的低分辨率图像、以及通过执行所述基于模型的处理而获得的图像，对将要输出的高分辨率图像的像素值进行预测运算。

预测运算单元可以读取通过预先学习生成的存储在学习数据库中的所述参数，并进行所述预测运算。

基于模型的处理单元可以包括：运动补偿单元，该运动补偿单元对前一帧输出的高分辨率图像的运动进行补偿；下采样器，该下采样器根据所述相机模型限制前一帧输出的运动补偿后的高分辨率图像的带域、间隔剔除像素，而生成估计的低分辨率图像；差分计算单元，该差分计算单元计算作为输入的低分辨率图像的观测的低分辨率图像与估计的低分辨率图像之间的差分，并生成差分图像数据；以及上采样器，该上采样器对差分图像数据的像素进行插值，从而生成高分辨率图像。

基于模型的处理单元可以包括：模糊添加单元，该模糊添加单元对前一帧输出的高分辨率图像添加模糊；以及模糊去除单元，该模糊去除单元去除由所述模糊添加单元所添加的模糊。

还可以包括类型分类单元，该类型分类单元基于在基于模型的处理过程中计算的特征量对每种类型的关注像素进行分类。预测运算单元还可以进行使用预先存储的系数作为与分类的类型相对应的参数的预定运算，对将要输出的高分辨率图像的像素值进行预测运算。

还可以包括抽头（tap）提取单元，该抽头提取单元提取作为输入的低分辨率图像的观测的低分辨率图像的预定像素、以及通过对于前一帧输出的高分辨率图像执行基于模型的处理而获得的图像的预定像素作为抽头。预测运算单元可以基于预先存储的参数进行关于抽头的预定运算，并对将要输出的高分辨率图像的像素值进行预测运算。

根据本发明的实施例，提供了一种图像处理方法，其包括：由基于模型的处理单元执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；以及由预测运算模型基于预先存储的参数、作为输入的低分辨率图像的观测的低分辨率图像、以及通过执行所述基于模型的处理而获得的图像，对将要输出的高分辨率图像的像素值进行预测运算。

根据本发明的实施例，提供了一种用于使得计算机用作图像处理装置的程序。该图像处理装置包括：基于模型的处理单元，该基于模型的处理单元执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；以及预测运算单元，该预测运算单元基于预先存储的参数、作为输入的低分辨率图像的观测的低分辨率图像、以及通过执行所述基于模型的处理而获得的图像，对将要输出的高分辨率图像的像素值进行预测运算。

根据本发明的实施例，提供了一种记录介质，其中记录根据权利要求8的程序。

根据本发明的另一个实施例，提供了一种学习装置，其包括：基于模型的处理单元，该基于模型的处理单元执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；抽头提取单元，该抽头提取单元提取通过转换具有高分辨率的老师图像的分辨率而获得的具有低分辨率的学生图像的预定像素、以及通过对于前一帧输出的高分辨率图像执行所述基于模型的处理而获得的图像的预定像素作为抽头；样本积蓄单元，该样本积蓄单元积蓄包括抽头、预定参数以及老师图像的像素值的公式作为样本；以及参数计算单元，该参数计算单元基于积蓄的样本计算在对将要输出的高分辨率图像的像素值的预测运算中使用的预定参数。

还可以包括数据库，该数据库存储所计算的参数。可以在图像处理装置的图像处理中使用数据库，该图像处理用于将输入的低分辨率图像转换为高分辨率图像。

基于模型的处理单元可以包括：运动补偿单元，该运动补偿单元对前一帧输出的高分辨率图像的运动进行补偿；下采样器，该下采样器根据相机模型限制前一帧输出的运动补偿后的高分辨率图像的带域、间隔剔除像素，而生成估计的低分辨率图像；差分计算单元，该差分计算单元计算学生图像与估计的低分辨率图像之间的差分，并生成差分图像数据；以及上采样器，该上采样器对差分图像数据的像素进行插值，而生成高分辨率图像。

基于模型的处理单元可以包括：模糊添加单元，该模糊添加单元对前一帧输出的高分辨率图像添加模糊；以及模糊去除单元，该模糊去除单元去除由模糊添加单元添加的模糊。

还可以包括类型分类单元，该类型分类单元基于在基于模型的处理过程中所计算的特征量将关注像素分类为各个类型。参数计算单元可以计算对要输出的高分辨率图像的像素值进行预测运算时与所述抽头相乘的系数，作为对应于分类的类型的参数。

根据本发明的另一个实施例，提供了一种学习方法，其包括：通过基于模型的处理单元执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；通过抽头提取单元提取通过转换具有高分辨率的老师图像的分辨率而获得的具有低分辨率的学生图像的预定像素、以及通过对于前一帧输出的高分辨率图像执行所述基于模型的处理而获得的图像的预定像素作为抽头；通过样本积蓄单元积蓄包括抽头、预定参数以及老师图像的像素值的公式作为样本；以及通过参数计算单元基于积蓄的样本计算在对将要输出的高分辨率图像的像素值的预测运算中使用的预定参数。

根据本发明的实施例，提供了一种用于使得计算机用作学习装置的程序。该学习装置包括：基于模型的处理单元，该基于模型的处理单元执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；抽头提取单元，该抽头提取单元提取通过转换具有高分辨率的老师图像的分辨率而获得的具有低分辨率的学生图像的预定像素、以及通过对于前一帧输出的高分辨率图像执行所述基于模型的处理而获得的图像的预定像素作为抽头；样本积蓄单元，该样本积蓄单元积蓄包括抽头、预定参数以及老师图像的像素值的公式作为样本；以及参数计算单元，该参数计算单元基于积蓄的样本计算在对将要输出的高分辨率图像的像素值的预测运算中使用的预定参数。

根据本发明的实施例，执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；提取通过转换具有高分辨率的老师图像的分辨率而获得的具有低分辨率的学生图像的预定像素、以及通过对于前一帧输出的高分辨率图像执行所述基于模型的处理而获得的图像的预定像素作为抽头；积蓄包括抽头、预定参数以及老师图像的像素值的公式作为样本；以及基于积蓄的样本计算在对将要输出的高分辨率图像的像素值的预测运算中使用的预定参数。

根据上述本发明的实施例，能够以高速进行高精度分辨率插值。

附图说明

图1为说明通过使用一帧的屏幕内的像素的现有的上转换（up conversion）技术获得的图像实例的示图；

图2为说明SDi信号的像素和HDp信号的像素的位置的示图；

图3为说明通过使用过去生成的多个图像的像素的现有的超分辨率技术获得的图像的实例的示图；

图4为说明SDi信号的像素和HDp信号的像素的位置的示图；

图5A至5C为说明通过使用一帧的屏幕内的像素时和使用过去生成的多个图像的像素时的超分辨率技术获得的图像的实例的示图；

图6A至6C为说明与图5A至5C的实例不同的图像的实例的示图；

图7为说明现有的超分辨率技术的概念图；

图8为说明采用现有的超分辨率技术的图像处理装置的构造实例的框图；

图9为说明由现有的图像处理装置执行的处理被简化的情况的示图；

图10说明由应用本发明的图像处理装置的执行的处理被简化的情况的示图；

图11为说明在本发明中系数的学习的概念图；

图12为说明在本发明中高分辨率图像的生成的概念图；

图13为说明根据本发明实施例的学习装置的构造实例的框图；

图14为说明根据本发明实施例的图像处理装置的构造实例的框图；

图15为说明系数学习处理的实例的流程图；

图16为说明基于模型的处理的实例的流程图；

图17为说明样本积蓄处理的实例的流程图；

图18为说明超分辨率处理的实例的流程图；

图19为说明预测处理的实例的流程图；以及

图20为说明个人计算机的构造实例的框图。

具体实施方式

下面将参考附图详细说明本发明的优选实施例。应注意，在该说明书和附图中，以相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

首先，将对现有技术的超分辨率技术进行说明。

图1示出图像的实例，在所述图像上使用现有的上转换技术执行高质量图像处理。在该实例中，将标准清晰度（SD）隔行（i）信号的图像转换为高清晰度（HD）逐行（p）信号的图像。图1所示的图像是运动图片。在该实例中，显示了在时刻t至t+4的各个帧的图像。在该实例中，基于在一帧的屏幕内的像素执行高质量图像处理。例如，基于多个SDi信号的像素生成一个HDp信号的像素。即，示出了对图像进行上转换的情况的实例。

在图1中，在最上面的部分示出了要最初生成的作为理想图像的HDp信号的图像。在图1中，从上往下顺序排列和显示时刻t至t+4的各个帧的图像，这些图像是通过对SDi信号执行高质量图像处理获得的图像。

在图2中，纵轴示出垂直方向的像素位置，横轴示出时刻，并且由圆形图形示出SDi信号的像素和通过利用超分辨率技术执行高质量图像处理生成的（插值的）HDp信号的像素。SDi信号的像素由较大的细线条（hatched）的圆形示出，并且HDp信号的像素由较小的黑色圆形示出。

由于执行高质量图像处理的图像是具有运动的图像，所以在图1中以x标记示出的像素在垂直方向移动。也就是说，图2中以圆圈围绕的黑色圆形对应于图1中以x标记示出的像素。

如上所述，由于基于一帧的屏幕内的像素执行高质量图像处理，所以由位于远离SDi信号的像素的位置的位置处的HDp信号的像素构成的图像的像素的插值精度通常变得较低。

例如，如图2所示，在时刻t+2的帧中的以圆圈围绕的HDp信号的像素远离SDi信号的像素的位置。因此，在图1的时刻t+2的帧的图像中，以x标记示出的位置附近的图像的像素的插值精度较低。

同时，当利用之前存在（过去）的多个时刻的帧的图像的像素执行高质量图像处理时，能够提高由位于远离SDi信号的像素的位置的位置处的HDp信号的像素构成的图像的像素的插值精度。

图3示出利用现有的超分辨率技术执行高质量图像处理的图像的实例。在该实例中，示出将SDi信号的图像转换为HDp信号的图像的情况。图3所示的图像是运动图片。在该实例中，显示时刻t至t+4的时刻的各个帧的图像。在该实例中，基于在过去生成的多个图像的像素执行高质量图像处理。例如，基于多个SDi信号的像素生成1个HDp信号的像素。

在图3中，在最上面的部分示出了要最初生成的作为理想图像的HDp信号的图像。在图3中，从上往下顺序排列和显示时刻t至t+4的各个帧的图像，这些图像是通过对SDi信号执行使用现有的超分辨率技术的高质量图像处理获得的图像。

在图4中，纵轴示出垂直方向的像素位置，横轴示出时刻，并且由圆圈图形示出SDi信号的像素和通过利用超分辨率技术执行高质量图像处理生成的（插值的）HDp信号的像素。SDi信号的像素由较大的细线条（hatched）的圆形示出，并且HDp信号的像素由较小的黑色圆形示出。

与图1的情况不同，在图3所示的图像的情况下，随着时刻经过清楚地显示图像。例如，在时刻t+4处示出的图像中，与图1的情况不同，远离SDi信号的像素的位置的位置处的像素被清楚地显示，而诸如图像的边缘的细节部分也被清楚地显示。

图5A至6C示出通过利用一帧的屏幕内的像素的超分辨率技术获得的图像和通过利用在过去生成的多个图像的像素的超分辨率技术获得的图像的另一个实例。

图5C和6C分别示出与实际被摄体的图像近似的理想图像。在图5C的情况下，显示包括多个边缘的图像，并且在图6C的情况下，显示包括多个字符的图像。

图5A示出通过基于一帧的屏幕内的像素执行高质量图像处理获得的图像的实例，并且图5B示出通过利用在过去生成的多个图像的像素执行高质量图像处理获得的图像的实例。例如，在图5A的情况下，在成为屏幕内的边缘的图像的附近发生混叠畸变（aliasingdistortion）。同时，在图5B的情况下，获得更近似于理想图像（参考图5C）的图像。在图5B的情况下，使用多个图像的像素，图像质量能够接近理想图像的质量。

图6A示出通过基于一帧的屏幕内的像素执行的高质量图像处理获得图像的实例，并且图6B示出通过利用在过去生成的多个图像的像素执行的高质量图像处理获得的图像的实例。例如，在图6A的情况下，屏幕内的字符的图像未被清楚地显示。同时，在图6B的情况下，获得与理想图像（参考图6C）更近似的图像。在图6B的情况下，利用将在下文说明的反复运算（repeated operation），图像质量能够接近理想图像的质量。

从而，在图5A至6C的情况下，通过利用在过去生成的多个图像的像素执行高质量图像处理，能够获得与理想图像近似的图像。

图7和8示出现有的超分辨率技术。在这些实例中，高质量图像处理将低分辨率图像转换为高分辨率图像、并且通过利用在过去生成的多个图像的像素而执行。

在现有的超分辨率技术中，如图7所示，通过相机对被摄体拍照，并且获得观测的低分辨率图像（例如，SDi信号的图像）。

同时，在通过相机拍摄被摄体时的相机模型（劣化模型）和相机运动（对准）被添加到前一帧的高分辨率图像（例如，HDp信号的图像）。例如，对前一帧的高分辨率图像有意添加模糊并且对运动进行补偿。之后，将图像下采样，并且将图像转换为低分辨率图像。从而，获得估计的低分辨率图像（例如SDi信号的图像）。

计算估计的低分辨率图像的每个像素与观测的低分辨率图像的每个像素的差分（误差）并更新高分辨率图像以减少误差。

通过对于一帧若干次地反复上述处理而更新高分辨率图像。高分辨率图像的质量逐渐接近理想图像的质量。从而，可以将用于反复更新高分辨率图像的像素值的处理称为反复运算。

例如，当将反复运算进行三次时，相比于将反复运算进行两次，图像的质量能够进一步接近理想图像。从而，如果通过反复运算更新通过最近的运算处理更新的高分辨率图像的像素，高分辨率图像的质量逐渐接近理想图像的质量。

图8是示出采用现有的超分辨率技术的图像处理装置的构造实例的框图。图8所示的图像处理装置10包括运动补偿单元（MC）21、模糊添加单元（模糊）22、下采样器23、加法器24、上采样器25、模糊去除单元（逆模糊（InvBlur））26、乘法器27以及加法器28。

运动补偿单元21接收在最近之前的更新的高分辨率图像，计算运动矢量，并对运动进行补偿。从运动补偿单元21输出的图像被称为运动补偿后的最近之前的更新的高分辨率图像。该运动补偿后的最近之前的更新的高分辨率图像被提供给模糊添加单元22。

模糊添加单元22对运动补偿后的最近之前的更新的高分辨率图像添加由相机拍摄被摄体时产生的模糊。也就是说，估计（模拟）相机的PSF或光模糊并生成图像。在该情况下，将基于预定图像估计（模拟）相机的PSF或光模糊并生成图像称为添加模糊。添加了模糊的运动补偿后的最近之前的更新的高分辨率图像被提供给下采样器23。

下采样器23间隔剔除（thin out）添加了模糊的运动补偿后的最近之前的更新的高分辨率图像的像素并生成低分辨率图像。从而，生成估计的低分辨率图像。

加法器24计算估计的低分辨率图像的每个像素与观测的低分辨率图像的每个像素的差分（误差）。该计算结果被提供给上采样器25。

上采样器25对于加法器24的计算结果的数据对像素进行插值以生成高分辨率图像，并将高分辨率图像提供给模糊去除单元（逆模糊（InvBlur））26。

模糊去除单元26去除提供的高分辨率图像的模糊。即，执行用于去除由模糊添加单元22添加的模糊的处理。

模糊添加单元22和模糊去除单元26可以不设置。

乘法器27将从模糊去除单元26输出的高分辨率图像的每个像素的像素值与预定增益相乘并将相乘的结果输出给加法器28。

加法器28将运动补偿后的最近之前的更新的高分辨率图像的每个像素与乘法器27的计算结果相加，并将相加的结果输出作为高分辨率图像。

即，如果如图9所示简单地说明现有技术的图像处理装置10，现有技术的图像处理装置10以模型基础转换低分辨率图像和反馈的高分辨率图像，并生成高分辨率图像。即，运动补偿或模糊添加或去除可以考虑基于作为相机模型提供的图像转换模型和作为对准提供的图像转换模型的处理，并且该图像转换被称为基于模型的处理。

对于在上述实例中的反馈，最近之前的高分辨率图像被反馈。另外，最近之前的更新的高分辨率图像被反馈并更新。通过对于一帧若干次地反复反馈而更新高分辨率的图像。

图9中的模型基础示出处理的概念，并且对应于图8的运动补偿单元21、模糊添加单元22和下采样器23的处理、以及它们的逆转换处理。

然而，相机模型或对准无法被完全指定，并且屏幕的内部无法以均一的模型描述。即，难以适当地构建图9所示的模型基础。如果相机模型或者对准发生估计误差，并且无法进行适当的高分辨率图像校正，将产生不良影响，诸如对边缘或细节部分的过分加强、过调节以及对噪声的加强，这导致图像质量的劣化。

考虑了用于根据图像的预先信息防止对图像质量的劣化或对噪声的加强的技术，以防止不良影响（称为重构建型超分辨率MAP法）。然而，该技术不足以防止不良影响，因为性能很大程度上依赖于图像的预先信息，而难以对混叠性能、分辨率感、抑制过调节、以及抑制噪声全部满足。

在现有技术中，如上所述，通过对于一帧反复若干次的反复运算的处理负荷较大，从而难以实现高速处理。

从而，在本发明中，如图10所示，对基于模型的处理添加使用学习数据库的处理。即，将高分辨率图像设置为教师图像（teacher image），并将通过劣化教师图像而生成的低分辨率图像设置为学生图像（student image），将高分辨率图像和低分辨率图像输入图像处理装置，并且根据学生图像生成高分辨率图像。将生成的高分辨率图像和教师图像相互比较，计算（学习）用于估计高分辨率图像的像素值的参数，并将该参数存储在学习数据库中。

例如，如图11所示，将作为学生图像输入的低分辨率图像（例如，SDi信号的图像）作为观测的低分辨率图像来处理。

同时，将由相机拍摄被摄体时的相机模型（劣化模型）和相机运动（对准）添加到前一帧的高分辨率图像（例如，HDp信号的图像）。例如，有意地将模糊添加到前一帧的高分辨率图像，并在对运动进行补偿。从而，获得估计的低分辨率图像（例如，SDi信号的图像）。在该情况下，将基于预定图像估计（模拟）相机的PSF或光模糊并生成图像称为添加模糊。

计算估计的低分辨率图像的每个像素与观测的低分辨率图像的每个像素的差分（误差），并通过学习用于生成高分辨率图像所需的信息而更新高分辨率图像。

在该情况下，基于观测的低分辨率图像的像素和运动补偿后的前一帧的高分辨率图像的像素来学习用于估计高分辨率图像的像素的预定系数。例如，将教师图像的像素值设置为yt，将学生图像的像素值设置为xi，将运动补偿后的前一帧的高分辨率图像的像素值设置为xj，并且假设通过公式1表示的线性公式。

在该情况下，公式1中的系数wi示出与观测的低分辨率图像的像素值相乘的系数，并且系数wj示出与运动补偿后的前一帧的高分辨率图像的像素值相乘的系数。在公式1中，N示出用于计算教师图像的像素值的学生图像的像素数目，并且M示出用于计算教师图像的像素数目的运动补偿后的前一帧的高分辨率图像的像素数目。

例如，使用学生图像的像素值与估计的低分辨率图像的像素值的差分作为特征量将关注像素分类为各个类型。在该情况下，关注像素成为要在高分辨率图像中获得的像素。从而，根据在对于学生图像的像素值与估计的低分辨率图像的像素值的差分的数据进行通过上采样器的像素插值之后，通过模糊去除单元去除模糊的数据的像素值来获得对应于实际关注像素值的特征量。

可以使用其它方法将关注像素分类为各个类型。例如，可以使用自适应动态范围编码（ADRC）将关注像素分类为各个类型。

如上所述，在将关注像素分类为各个类型之后，对每个类型积蓄公式1的多个样本。另外，使用最小二乘法对每个类型计算系数wi和wj。

如上所述所计算的系数wi和wj被存储在学习数据库中。

当对于实际输入的图像执行高质量图像处理时，使用被存储在学习数据库中的系数wi和wj。

即，如图12所示，执行下面的处理以将观测的低分辨率图像转换为高分辨率图像。

由相机拍摄被摄体，并且获得低分辨率图像（例如，SDi信号的图像）。

同时，将在由相机拍摄被摄体时的相机模型（劣化模型）和相机运动（对准）添加到前一帧的高分辨率图像（例如，HDp信号的图像）。例如，有意地将模糊添加到前一帧的高分辨率图像，并且对运动进行补偿。之后对图像进行下采样，并且将图像转换为低分辨率图像。从而，获得估计的低分辨率图像（例如，SDi信号的图像）。在该情况下，将基于预定图像估计（模拟）相机的PSF或光模糊并生成图像称为添加模糊。

将关注像素分类为各个类型，并使用对应于分类的类型的系数预测（运算）高分辨率图像的像素值。在该情况下，与在进行学习时类似，使用学生图像的像素值和估计的低分辨率图像的像素值的差分作为特征量而将关注像素分类为各个类型。读取与分类的类型相关联并被存储在学习数据库中的系数wi和wj。

例如，将要预测的高分辨率图像的像素值设置为y，将观测的低分辨率图像的像素值设置为xi，将运动补偿后的前一帧的高分辨率图像的像素值设置为xj，并且通过公式2的运算预测（运算）高分辨率图像的像素值。。

在该情况下，公式2中的系数wi示出与观测的低分辨率图像的像素值相乘的系数，并且系数wj示出与运动补偿后的前一帧的高分辨率图像的像素值相乘的系数，并且根据关注像素的类型从学习数据库读取系数。在公式2中，N示出用于计算高分辨率图像的像素值的观测的低分辨率图像的像素数目，并且M示出用于计算高分辨率图像的像素值的运动补偿后的前一帧的高分辨率图像的像素数目，并且各个像素数目等于在进行学习时的像素数目。

通过以由公式2运算的像素值替换高分辨率图像的每个像素值而更新高分辨率图像。

根据本发明，与上述参考图7的现有的超分辨率技术的情况不同，将公式2的运算对于一帧进行一次，生成与理想图像近似的高分辨率图像的像素。从而，解除了通过反复运算导致的处理负荷，并容易地实现了高速处理。

根据本发明，预先学习并存储在公式2的运算中使用的系数。从而，即使在相机模型或对准中产生估计误差，仍能够抑制产生不良影响，诸如对边缘或细节部分的过分加强、过调节、以及对噪声的加强。这是因为，即使在相机模型或对准中产生估计误差，也能够从包括该估计误差的状态学习用于生成与理想图像近似的图像的系数。

从而，根据本发明，因为不需要完美地调节相机模型或对准，从而能够在不复杂化装置的结构的情况下提高处理精度。

图13为示出根据本发明实施例的学习装置的构造实例的框图。在学习装置100中，输入高分辨率图像作为教师图像，并输入通过劣化教师图像而生成的低分辨率图像作为学生图像，并且根据学生图像生成高分辨率图像。将生成的高分辨率图像与教师图像相互比较，并计算（学习）用于估计高分辨率图像的像素值的参数，并将该参数存储在学习数据库中。

图13所示的学习装置100包括基于模型的处理单元111、学习处理单元112、学习数据库113、加法器124、上采样器125以及模糊去除单元（逆模糊（InvBlur））126。基于模型的处理单元111包括运动补偿单元（MC）121、模糊添加单元（模糊）122以及下采样器123。

即，学习装置100学习用于执行现有的超分辨率技术中的基于模型的处理、并生成高分辨率图像的预定系数。

在图13中，运动补偿单元121接收前一帧的高分辨率图像，计算运动矢量，并对运动进行补偿。运动补偿后的前一帧的高分辨率图像被提供给模糊添加单元122。

模糊添加单元122将由相机拍摄被摄体时产生的模糊添加到运动补偿后的前一帧的高分辨率图像。添加有模糊的运动补偿后的前一帧的高分辨率图像被提供给下采样器123。

下采样器123间隔剔除添加有模糊的运动补偿后的前一帧的高分辨率图像的像素并生成低分辨率图像。从而，生成估计的低分辨率图像。

加法器124计算估计的低分辨率图像的每个像素与观测的低分辨率图像的每个像素的差分（误差）。计算结果的数据被提供给上采样器125。

上采样器125对于加法器124的计算结果对像素进行插值以生成高分辨率图像，并将高分辨率图像提供给模糊去除单元（逆模糊（InvBlur））126。

模糊去除单元126去除提供的高分辨率图像的模糊。即，执行用于去除由模糊添加单元122添加的模糊的处理。

可以不提供模糊添加单元122和模糊去除单元126。

学生图像、教师图像以及从模糊去除单元126输出的数据被提供给学习处理单元112。学习处理单元112如下学习系数，该系数用于基于学生图像的像素和运动补偿后的前一帧的高分辨率图像的像素估计高分辨率图像的像素。

例如，学习处理单元112如上所述将关注像素分类为各个类型，并对每个类型积蓄公式1的多个样本。另外，使用最小二乘法对每个类型计算系数wi和wj。

如上所述地所计算的系数wi和wj被针对每个类型存储在学习数据库113中作为通过学习处理单元112的处理结果。

图14是示出根据本发明实施例的图像处理装置的构造实例的框图。图像处理装置200对应于图13的学习装置100。图像处理装置200利用通过学习装置100获得的学习结果将低分辨率输入图像转换为高分辨率输出图像。

图14所示的图像处理装置200包括基于模型的处理单元211、预测处理单元212、学习数据库213、加法器224、上采样器225以及模糊去除单元（逆模糊（InvBlur））226。基于模型的处理单元211包括运动补偿单元（MC）221、模糊添加单元（模糊）222以及下采样器223。

即，图像处理装置200除了执行现有的超分辨率技术中的基于模型的处理，还执行利用学习数据库的预测处理。通过复制存储在学习数据库113中的信息来生成图像处理装置200中的学习数据库213。

在图14中，运动补偿单元221接收前一帧的高分辨率图像、计算运动矢量，并对运动进行补偿。运动补偿后的前一帧的高分辨率图像被提供给模糊添加单元222。

模糊添加单元222将由相机拍摄被摄体时产生的模糊添加到运动补偿后的前一帧的高分辨率图像。添加有模糊的运动补偿后的前一帧的高分辨率图像被提供给下采样器223。

下采样器123间隔剔除添加有模糊的运动补偿后的前一帧的高分辨率图像的像素并生成低分辨率图像。从而，生成估计的低分辨率图像。

加法器224计算估计的低分辨率图像的每个像素与观测的低分辨率图像的每个像素的差分（误差）。计算结果被提供给上采样器225。

上采样器225对于加法器224的计算结果将像素插值以生成高分辨率图像，并将高分辨率图像提供给模糊去除单元（逆模糊（InvBlur））226。

模糊去除单元226去除提供的高分辨率图像的模糊。即，执行用于去除由模糊添加单元222添加的模糊的处理。

作为输入图像的低分辨率图像、运动补偿后的前一帧的高分辨率图像以及从模糊去除单元226输出的数据被提供给预测处理单元212。预测处理单元212将关注像素分类为各个类型，并从学习数据库213读取对应于所述类型的系数wi和系数wj。

另外，预测处理单元212利用读取的系数wi和wj进行公式2的运算，并预测高分辨率图像的像素值。通过以由公式2运算的像素值替换高分辨率图像的每个像素值而更新高分辨率图像。

下面将参考图15的流程图说明由图13的学习装置100执行的系数学习处理的实例。

在步骤S21，由用户输入教师图像和学生图像。

在步骤S22，设置关注像素。关注像素成为作为像素值的运算对象的高分辨率图像的像素。

在步骤S23，基于模型的处理单元111执行下面参考图16说明的基于模型的处理。

下面将参考图16的流程图说明图15的步骤S23的基于模型的处理的具体实例。

在步骤S41，运动补偿单元121接收前一帧的高分辨率图像，计算运动矢量，并对运动进行补偿。

在步骤S42，模糊添加单元122对运动补偿后的前一帧的高分辨率图像添加由相机拍摄被摄体时产生的模糊。在该情况下，将基于预定图像估计（模拟）相机的PSF或光模糊并生成图像称为添加模糊。

在步骤S43中，下采样器123间隔剔除（下采样）添加有模糊的运动补偿后的前一帧的高分辨率图像的像素并生成低分辨率图像。从而，生成估计的低分辨率图像。

在步骤S44，加法器124计算估计的低分辨率图像的每个像素与观测的低分辨率图像（在该情况下，为学生图像）的每个像素的差分（误差）。

在步骤S45，上采样器125对于加法器124在步骤S44中的计算结果将像素插值（上采样）以生成高分辨率图像。

在步骤S46，模糊去除单元126去除提供的高分辨率图像的模糊。即，执行用于去除由模糊添加单元22在步骤S42的处理中添加的模糊的处理。

以这样的方式，执行基于模型的处理。

返回到图15，在步骤S23的处理之后，在步骤S24中，学习处理单元112执行下面将参考图17说明的样本积蓄处理。

将参考图17的流程图说明图15的步骤S24的样本积蓄处理的详细实例。

在步骤S61中，学习处理单元112对于关注像素获取学生图像的像素值与估计的低分辨率图像的像素值的差分作为特征量。在对学生图像的像素值与估计的低分辨率图像的像素值的差分的数据进行通过上采样器的像素插值之后，根据通过模糊去除单元去除模糊的数据的像素值获得对应于实际关注像素的特征量。

可以获取其他特征量。

在步骤S62中，学习处理单元112基于在步骤S61中获取的特征量将关注像素分类为各个类型。

在步骤S63中，学习处理单元112提取抽头。此时，学生图像的N个像素和运动补偿后的前一帧的高分辨率图像的M个像素被提取作为抽头。

在步骤S64，学习处理单元112生成公式1的样本以与通过步骤S62的处理分类的类型相关联。即，通过以教师图像的像素值替换公式1的yt和以在步骤S63的处理中提取的抽头的值分别替换xi和xj而生成样本。

在步骤S65，学习处理单元112针对每个类型积蓄样本。

以这样的方式，执行样本积蓄处理。

返回到图15，在步骤S24的处理之后，处理进行到步骤S25，判断是否有下一个关注像素。在步骤S25中，当判定有下一个关注像素时，处理返回到步骤S22并反复执行下面的处理。

在步骤S25中，当判定没有下一个关注像素时，处理进行到步骤S26。

在步骤S26中，学习处理单元112基于在步骤S65的处理中积蓄的样本对于每个类型利用最小二乘法计算系数wi和系数wj。

在步骤S27中，学习处理单元112学习数据库113，其中将通过步骤S26的处理所计算的系数wi和wj与类型相关联，并存储所述系数wi和wj。

以这样的方式，执行系数学习处理。

下面，将参考图18的流程图说明由图14的图像处理装置200执行的超分辨率处理的实例。在超分辨率处理之前，将存储在学习数据库113中的信息复制到图像处理装置200的学习数据库213中。

在步骤S101中，由用户输入观测的低分辨率图像。

在步骤S102中，生成最初的高分辨率图像（进行初始设定）。例如，通过对观测的低分辨率图像的第一帧的图像进行上采样获得的图像被生成为最初的高分辨率图像。

在步骤S103中，设置关注像素。关注像素成为作为像素值的运算对象的高分辨率图像的像素。

在步骤S104，基于模型的处理单元211执行基于模型的处理。由于在步骤S104中执行的基于模型的处理与上述参考图16的处理相同，从而省略对其的详细说明。

在步骤S105中，预测处理单元212执行将在下面参考图19说明的预测处理。

将参考图19的流程图说明图18的步骤S105的预测处理的详细实例。

在步骤S121中，预测处理单元212对于关注像素获取观测的低分辨率图像的像素值与估计的低分辨率图像的差分作为特征量。在对于观测的低分辨率图像的像素值与估计的低分辨率图像的差分的数据进行通过上采样器的像素插值之后，根据由模糊去除单元去除模糊的数据的像素值获得对应于实际关注像素的特征量。

可以获取其他特征量。

在步骤S122中，预测处理单元212基于在步骤S121中获取的特征量将关注像素分类为各个类型。

在步骤S123中，预测处理单元212提取抽头。此时，观测的低分辨率图像的N个像素和运动补偿后的前一帧的高分辨率图像的M个像素被提取作为抽头。

在步骤S124，预测处理单元212从学习数据库213读取与在步骤S122的处理中分类的类型对应的系数wi和wj。

在步骤S125中，预测处理单元212进行预测运算。即，预测处理单元利用在步骤S123的处理中提取的抽头和在步骤S124的处理中读取的系数wi和wj进行公式2的运算，并预测高分辨率图像的像素值。

在步骤S126中，预测处理单元212用作为步骤S124的处理的结果而获得的像素值替换高分辨率图像的每个像素值。

以这样的方式，执行预测处理。

返回到图18，在步骤S105的处理之后，处理进行到步骤S106，判断是否有下一个关注像素。在步骤S106中，当判定有下一个关注像素时，处理返回到步骤S103，并且反复执行下面的处理。

同时，在步骤S106中，当判定没有下一个关注像素时，处理进行到步骤S107。

在步骤S107中，将高分辨率图像显示为输出图像。

以这样的方式，执行超分辨率处理。

在上述构造中，学习装置100采用这样的学习算法，其中将关注像素分类为各个类型，并且通过最小二乘法对每个类型计算用于生成高分辨率图像的像素所需的系数。然而，学习装置100可以采用与上述学习算法不同的学习算法。

例如，可以采用神经网络或支持向量机（SVM）作为学习算法。

可通过硬件或软件实行上述一系列处理。在通过软件实行所述一系列处理的情况下，从网络或记录介质在组装在专用硬件中的计算机、如图20所示的通用个人计算机等上安装构成软件的程序，所述个人计算机例如能够通过安装各种程序而进行各中功能。

在图20中，CPU（中央处理单元）701根据存储在ROM（只读存储器）702中的程序或从存储单元708装载到RAM（随机存取存储器）703上的的程序而执行各种处理。在需要时，CPU701执行各种处理所需的数据也被存储在RAM703中。

CPU701、ROM702和RAM703通过总线704相互连接。输入/输出接口705也被连接到该总线704。

以下单元被连接到输入/输出接口705：输入单元706，其由键盘、鼠标等构成；输出单元707，其由诸如LCD（液晶显示器）等的显示器、扬声器等构成；存储单元708，其由硬盘等构成；以及通信单元709，其由诸如调制解调器或LAN卡等网络接口等构成。通信单元709通过包括因特网的网络进行通信处理。

驱动器710也根据需要连接到输入/输出接口705，根据需要，将可移动介质711（诸如磁盘、光盘、磁光盘或半导体存储器）安装到输入/输出接口705上，并且根据需要将从其读取的计算机程序安装在存储单元708上。

在使软件执行上述一系列处理的情况下，从诸如因特网的网络或记录介质安装构成软件的程序，所述记录介质由可移动介质711等构成。

另外，该记录介质可以是如图20所示的可移动介质711，其包括以下部件：磁盘（包括软盘（注册商标）、光盘（包括CD-ROM（高密度盘只读存储器））、以及DVD（数字多用途盘））、磁光盘（包括MD（小型盘）（注册商标））、半导体存储器等，其上记录有程序以用于与装置分离地将程序提供给用户而发布程序，然而，该记录介质也可以是记录有程序的ROM 702或者存储单元708中所包括的硬盘，其通过预先组装在装置中而被提供给用户。

另外，本发明上述一系列处理显然可以根据所述的顺序按时间执行，并且也可以不按时间地并行或单独进行。

本领域技术人员可以理解，根据设计要求和其它因素，可以进行各种修改、组合、子组合以及改变，只要其落入所附权利要求及其等同物的范围中。

另外，本发明技术可以如下构成。

（1）一种图像处理装置，包括：

基于模型的处理单元，其执行基于模型的处理，用于转换分辨率，并且关于在前一帧输出的高分辨率图像基于相机模型和具有对准的预定模型转换图像；以及

预测运算模型，其基于预先存储的参数、作为输入低分辨率图像的观测的低分辨率图像、以及通过执行基于模型的处理获得的图像对将要输出的高分辨率图像的像素值进行预测运算。

（2）根据（1）的图像处理装置，

其中所述预测运算单元通过学习读取存储在预先生成的学习数据库中的参数，并进行预测运算。

（3）根据（1）或（2）的图像处理装置，

其中所述基于模型的处理单元包括：

运动补偿单元，其对在前一帧输出的高分辨率图像的运动进行补偿；

下采样器，其根据相机模型限制运动补偿后的在前一帧输出的高分辨率图像的频带、减少像素、并且生成估计的低分辨率图像；

差分计算单元，其计算作为输入低分辨率图像的观测的低分辨率图像与估计的低分辨率图像之间的差分，并生成差分图像数据；以及

上采样器，其对差分图像数据的像素进行插值，从而生成高分辨率图像。

（4）根据（1）至（3）中任一项的图像处理装置，

其中所述基于模型的处理单元包括：

模糊添加单元，其对在前一帧输出的高分辨率图像添加模糊；以及

模糊去除单元，其去除通过所述模糊添加单元添加的模糊。

（5）根据（1）至（4）中任一项的图像处理装置，还包括：

分类单元，其基于在基于模型的处理过程中计算的特征量将关注像素分类为各个类型，

其中所述预测运算单元使用预先存储的系数作为对应于分类的类型的参数进行预定运算，并对将要输出的高分辨率图像的像素值进行预测运算。

（6）根据（1）至（5）中任一项的图像处理装置，还包括：

抽头提取单元，其提取作为输入低分辨率图像的观测的低分辨率图像的预定像素、以及通过关于在前一帧输出的高分辨率图像执行基于模型的处理而获得的图像的预定像素作为抽头，

其中所述预测运算单元基于预先存储的参数进行关于抽头的预定运算，并对将要输出的高分辨率图像的像素值进行预测运算。

（7）一种图像处理方法，包括：

通过基于模型的处理单元执行基于模型的处理，用于转换分辨率，并且关于在前一帧输出的高分辨率图像基于相机模型和具有对准的预定模型转换图像；以及

基于预先存储的参数、作为输入低分辨率图像的观测的低分辨率图像、以及通过执行基于模型的处理获得的图像，通过预测运算单元对将要输出的高分辨率图像的像素值进行预测运算。

（8）一种用于使得计算机用作图像处理装置的程序，

其中所述图像处理装置包括：

基于模型的处理单元，其执行基于模型的处理，用于转换分辨率，并且关于在前一帧输出的高分辨率图像基于相机模型和具有对准的预定模型转换图像；以及

预测运算单元，其基于预先存储的参数、作为输入低分辨率图像的观测的低分辨率图像、以及通过执行基于模型的处理获得的图像对将要输出的高分辨率图像的像素值进行预测运算。

（9）一种记录介质，其中记录根据（8）的程序。

（10）一种学习装置，包括：

基于模型的处理单元，其执行基于模型的处理，用于转换分辨率，并且关于在前一帧输出的高分辨率图像基于相机模型和具有对准的预定模型转换图像；

抽头提取单元，其提取通过转换具有高分辨率的教师图像的分辨率获得的具有低分辨率的学生图像的预定像素、以及通过关于在前一帧输出的高分辨率图像执行基于模型的处理而获得的图像的预定像素作为抽头；

样本积蓄单元，其积蓄包括抽头、预定参数以及教师图像的像素值的公式作为样本；以及

参数计算单元，其基于积蓄的样本计算在对将要输出的高分辨率图像的像素值的预测运算中使用的预定参数。

（11）根据（10）的学习装置，还包括：

数据库，其存储计算的参数，

其中数据库被用于图像处理装置的图像处理中，用于将输入的低分辨率图像转换为高分辨率图像。

（12）根据（10）或（11）的学习装置，

其中所述基于模型的处理单元包括：

运动补偿单元，其对在前一帧输出的高分辨率图像的运动进行补偿；

下采样器，其根据相机模型限制运动补偿后的在前一帧输出的高分辨率图像的频带、减少像素、并且生成估计的低分辨率图像；

差分计算单元，其计算学生图像与估计的低分辨率图像之间的差分，并生成差分图像数据；以及

上采样器，其对差分图像数据的像素进行插值，并生成高分辨率图像。

（13）根据（10）至(12)中任一项的学习装置，

其中所述基于模型的处理单元包括：

模糊添加单元，其对在前一帧输出的高分辨率图像添加模糊；以及

模糊去除单元，其去除通过所述模糊添加单元添加的模糊。

（14）根据（10）至(13)中任一项的学习装置，还包括:

分类单元，其基于在基于模型的处理过程中计算的特征量将关注像素分类为各个类型，

其中所述参数计算单元计算系数，当对将要输出的高分辨率图像的像素值进行预测运算时，将所述系数与所述抽头相乘作为对应于分类的类型的参数。

（15）一种学习方法，包括：

通过基于模型的处理单元执行基于模型的处理，用于转换分辨率，并且关于在前一帧输出的高分辨率图像基于相机模型和具有对准的预定模型转换图像；

通过抽头提取单元提取通过转换具有高分辨率的教师图像的分辨率获得的具有低分辨率的学生图像的预定像素、以及通过关于在前一帧输出的高分辨率图像执行基于模型的处理而获得的图像的预定像素作为抽头；

通过样本积蓄单元积蓄包括抽头、预定参数以及教师图像的像素值的公式作为样本；以及

通过参数计算单元基于积蓄的样本计算在对将要输出的高分辨率图像的像素值的预测运算中使用的预定参数。

（16）一种用于使得计算机用作学习装置的程序，

其中所述学习装置包括：

基于模型的处理单元，其执行基于模型的处理，用于转换分辨率，并且关于在前一帧输出的高分辨率图像基于相机模型和具有对准的预定模型转换图像；

抽头提取单元，其提取通过转换具有高分辨率的教师图像的分辨率获得的具有低分辨率的学生图像的预定像素、以及通过关于在前一帧输出的高分辨率图像执行基于模型的处理而获得的图像的预定像素作为抽头；

样本积蓄单元，其积蓄包括抽头、预定参数以及教师图像的像素值的公式作为样本；以及

参数计算单元，其基于积蓄的样本计算在对将要输出的高分辨率图像的像素值的预测运算中使用的预定参数。

（17）一种记录介质，其中记录根据（16）的程序。

本申请包含与在日本优先权专利申请JP 2011-112311(2011年5月19日在日本专利局提交)的公开相关的主题内容，其整体内容在此引入作为参考。

Claims (7)

1.一种图像处理装置，包括：

基于模型的处理单元，该基于模型的处理单元执行基于模型的处理，该基于模型的处理根据前一帧输出的第一高分辨率图像生成估计的低分辨率图像，其中所述估计的低分辨率图像是通过对所述第一高分辨率图像执行运动补偿而生成的；以及

预测运算单元，该预测运算单元基于预先存储的第一参数、预先存储的第二参数、观测的低分辨率图像、以及所述估计的低分辨率图像，对将要输出的第二高分辨率图像的像素值进行预测，

其中所述参数是根据运动补偿后的第一高分辨率图像而生成的，所述第二高分辨率图像的像素值是根据所述第一参数与对应的观测的低分辨率图像的像素值之乘积与所述第二参数与对应的运动补偿后的第一高分辨率图像的像素值之乘积的和而预测的。

2.根据权利要求1的图像处理装置，

其中所述预测运算单元读取通过预先学习生成的存储在学习数据库中的所述第一参数和所述第二参数，并预测所述像素值。

3.根据权利要求1的图像处理装置，

其中所述基于模型的处理单元包括：

运动补偿单元，该运动补偿单元对所述第一高分辨率图像的运动进行补偿；

下采样器，该下采样器根据相机模型限制运动补偿后的第一高分辨率图像的带域，间隔剔除被限制的运动补偿后的第一高分辨率图像的像素，而生成所述估计的低分辨率图像；

差分计算单元，该差分计算单元计算作为输入的低分辨率图像的观测的低分辨率图像与估计的低分辨率图像之间的差分，并生成差分图像数据；以及

上采样器，该上采样器对差分图像数据的像素进行插值，从而生成所述第二高分辨率图像。

4.根据权利要求1的图像处理装置，

其中所述基于模型的处理单元包括：

模糊添加单元，该模糊添加单元对所述第一高分辨率图像添加模糊；以及

模糊去除单元，该模糊去除单元从上采样后的差分图像去除模糊，

其中，所述差分图像是根据下采样后的第一高分辨率图像和所述观测的低分辨率图像而生成的。

5.根据权利要求1的图像处理装置，还包括：

类型分类单元，该类型分类单元基于特征量将关注像素分类为各个类型，其中所述特征量是在所述估计的低分辨率图像的像素与低分辨率的学生图像的对应像素之间的差分值，

其中所述预测运算单元进行使用预先存储的与分类的类型相对应的所述第一参数和所述第二参数的预定运算，并且对所述第二高分辨率图像的像素值进行预测。

6.根据权利要求1的图像处理装置，还包括：

抽头提取单元，该抽头提取单元提取作为输入的低分辨率图像的观测的低分辨率图像的预定像素、以及对于所述第一高分辨率图像而获得的所述估计的低分辨率图像的预定像素作为抽头，

其中所述预测运算单元基于预先存储的所述第一参数和所述第二参数进行关于抽头的预定运算，并对所述第二高分辨率图像的像素值进行预测。

7.一种图像处理方法，包括：

由基于模型的处理单元执行基于模型的处理，该基于模型的处理根据前一帧输出的第一高分辨率图像生成估计的低分辨率图像，其中所述估计的低分辨率图像是通过对所述第一高分辨率图像执行运动补偿而生成的；以及

由预测运算单元基于预先存储的第一参数、预先存储的第二参数、观测的低分辨率图像、以及所述估计的低分辨率图像，对将要输出的第二高分辨率图像的像素值进行预测，

其中所述参数是根据运动补偿后的第一高分辨率图像而生成的，所述第二高分辨率图像的像素值是根据所述第一参数与对应的观测的低分辨率图像的像素值之乘积与所述第二参数与对应的运动补偿后的第一高分辨率图像的像素值之乘积的和而预测的。