CN102811331A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN102811331A
CN102811331A CN2012101637291A CN201210163729A CN102811331A CN 102811331 A CN102811331 A CN 102811331A CN 2012101637291 A CN2012101637291 A CN 2012101637291A CN 201210163729 A CN201210163729 A CN 201210163729A CN 102811331 A CN102811331 A CN 102811331A
Authority
CN
China
Prior art keywords
image
frame
motion vector
acceleration
interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101637291A
Other languages
English (en)
Inventor
滨崎浩树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102811331A publication Critical patent/CN102811331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

图像处理装置包括：运动矢量检测器，其被配置以基于多个图像中的第一图像和异于所述第一图像的第二图像，检测表示第二图像上的对象相对于第一图像上的对象的移动的运动矢量；第一计算单元，其被配置以基于运动矢量计算图像上的对象的加速度；第二计算单元，其被配置以基于加速度计算对象表示在多个图像中在时间方向上相邻的图像之间所插入的内插图像上的对象的位置的对象位置；以及内插处理单元，其被配置以插入在其上的对象位置处对象绘制了对象的内插图像。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开涉及图像处理装置、图像处理方法和程序，更加具体地涉及例如在保持图像上的对象的自然移动的同时，能够提高帧速率（或场速率）的图像处理装置、图像处理方法和程序。
背景技术
有例如用于将新帧插入包括多个帧（或场）的运动图像并提高帧速率的帧内插处理（例如，参见日本专利申请公开第2007-288681号）。
在该帧内插处理中，例如，表示在第二帧上的对象相对于第一帧上的对象的移动的运动矢量在构成运动图像的多个帧中被检测到。需注意的是，第二帧表示紧接第一帧的下一帧。
此外，在帧内插处理中，如图1所示，基于所检测到的运动矢量，计算第一帧上的对象的位置P（x1，yc）与第二帧上的对象的位置P（x2，yc）之间的中间位置P（（x1+x2）/2，yc）。
然后，在所计算出来的中间位置P（（x1+x2）/2，yc）处显示对象的帧，作为内插帧被插入于第一帧和第二帧之间，从而提高帧速率。
值得注意的是，在中间位置P（（x2+x3）/2，yc）处显示对象的内插帧，被插入于第二帧和表示紧跟第二帧的下一帧的第三帧之间。在此情况中，中间位置P（（x2+x3）/2，yc）表示第二帧上的对象位置P（x2，yc）与第三帧上的对象位置P（x3，yc）之间的中间位置。
此外，在中间位置P（（x3+x4），yc）处显示对象的内插帧，被插入于第三帧和表示紧跟第三帧的下一帧的第四帧之间。在此情况中，中间位置P（（x3+x4）/2，yc）表示第三帧上的对象位置P（x3，yc）与第四帧上的对象位置P（x4，yc）之间的中间位置。
发明内容
在上面所描述的帧内插处理中，例如，将插入于第一帧和第二帧之间的内插帧上的对象的位置简单地设在中间位置P（（x1+x2）/2，yc），而不管对象的移动如何。
因此，例如，当对象以加速度a（≠0）匀加速运动地行进时，对象依自然法则应当真实存在的位置和在帧内插处理中所计算出来的内插帧上的对象的位置是不同的。
因此，在由帧内插处理获得的运动图像中，图像上的对象的移动变得相当不自然。
鉴于上述情况，为了在保持图像上的对象的自然运动的同时提高帧速率，构思了本公开。
根据本公开的实施例，提供图像处理装置，其包括：运动矢量检测器，其被配置以基于在多个图像中的第一图像和异于第一图像的第二图像检测表示第二图像上的对象相对于第一图像上的对象的移动的运动矢量；第一计算单元，其被配置以基于运动矢量计算图像上的对象的加速度；第二计算单元，其被配置以基于加速度计算对象位置，该对象位置表示多个图像中在时间方向上相邻图像之间所插入的内插图像上的对象的位置；及内插处理单元，其被配置以插入在其上的对象位置处绘制对象的内插图像。
第二计算单元，可基于在各自表示着内插图像上的对象位置的多条内插曲线中对应于加速度的内插曲线，计算对象位置。
第一计算单元也可基于运动矢量计算图像上的对象的初始速度，且第二计算单元可基于加速度和初始速度，计算内插图像上的对象位置。
第一计算单元可基于运动矢量计算水平方向和垂直方向中至少一个方向上的加速度。
根据本公开的实施例，提供在时间方向上相邻的图像间插入内插图像的图像处理装置的图像处理方法，该方法包括：通过图像处理装置，基于多个图像中的第一图像和异于第一图像的第二图像检测表示第二图像上的对象相对于第一图像上的对象的移动的运动矢量；基于这些运动矢量计算图像上的对象的加速度；基于该加速度计算对象位置，其表示着在多个图像中时间方向上相邻的图像之间所插入的内插图像上的对象的位置；及插入在其上的对象位置处绘制对象的内插图像。
根据本公开的实施例，提供一种程序，其使得计算机作用如下：运动矢量检测器，其被配置以基于多个图像中的第一图像和异于第一图像的第二图像检测表示第二图像上的对象相对于第一图像上的对象的移动的运动矢量；第一计算单元，其被配置以基于运动矢量计算图像上的对象的加速度；第二计算单元，其被配置以基于加速度计算对象位置，该对象位置表示着在多个图像中时间方向上相邻的图像之间所插入的内插图像上的对象的位置；及内插处理单元，其被配置以插入在其上的对象位置处绘制对象的内插图像。
根据本公开的实施例，基于图像中第一图像和异于第一图像的第二图像，检测表示第二图像上的对象相对于第一图像上的对象的移动的运动矢量，基于运动矢量计算图像上的对象的加速度，基于加速度计算对象位置，其表示着在多个图像中时间方向上相邻图像之间所插入的内插图像上的对象的位置，并插入在其上的对象位置处绘制对象的内插图像。
根据本公开的实施例，可以在保持图像上的对象的自然运动的同时提高帧速率。
本公开的这些及其他对象、特性和优点会随着下面这些如附图中所示的实施例的最佳方式的细节描述而越发明显。
附图说明
图1是用于说明过去的帧内插处理的示图；
图2是示出根据本公开实施例的图像处理装置的配置示例的框图；
图3A到3D是说明用于计算初始速度和加速度的计算方法的示例的示图；
图4A和4B是示出用于确定内插帧上所显示的对象的位置的确定方法的示例的示图；
图5是用于解释由图像处理装置实施的内插处理的流程图；
图6是示出在X轴向和Y轴向上任意位置被改变的对象的示例的框图；
图7A和7B是示出不管对象的移动如何而将对象位置确定在中间位置上的情况的示例的示图；
图8A和8B是示出根据对象的移动确定对象的位置的情况的示例的示图；
图9是示出表示以加速度a=0匀加速运动地在X轴向上行进的对象的位置的内插曲线的示例的示图；
图10是示出表示以加速度a≠0匀加速运动地在X轴向上行进的对象的位置的内插曲线L（a≠0）的示例的示图；
图11是示出表示以加速度a≠0匀加速运动地在X轴向上行进的对象的位置的内插曲线M（a≠0）的示例的示图；且
图12是示出计算机的配置示例的示图。
具体实施方式
以下，将描述用于实现本公开的实施例（以下所及均称为本实施例）。在此，说明将以如下顺序进行。
1、本实施例（根据图像上的对象的加速度计算所插入内插帧上的对象的位置的示例）
2、改进示例
1、本实施例
【图像处理装置21的配置示例】
图2示出根据本公开的实施例的图像处理装置21的配置示例。
在此，该图像处理装置21可以例如在保持图像上的对象的自然运动的同时提高帧速率。
该图像处理装置21包括帧存储器41，运动矢量检测器42，内插处理单元43，控制单元44和操作单元45。
该图像处理装置21从外部接收包括多个帧（或场）的运动图像。即，帧存储器41、运动矢量检测器42和内插处理单元43适当地接收第n次从外部输入的帧n。
帧存储器41将来自外部的帧n延迟一帧，并将其提供给运动矢量检测器42和内插处理单元43。此外，帧存储器41将来自外部的帧n延迟两帧，并将其提供给运动矢量检测器42和内插处理单元43。
即，例如，当运动矢量检测器42和内插处理单元43接收到来自外部的帧n时，帧存储器41将帧n-1和帧n-2提供给运动矢量检测器42和内插处理单元43。
例如，运动矢量检测器42基于来自帧存储器41的帧n-1和帧n-2通过块匹配等检测表示帧n-1上的对象相对于帧n-2上的对象的移动的运动矢量MV（n-2，n-1）。
另外，例如，运动矢量检测器42基于来自外部的帧n和来自帧存储器41的帧n-1通过块匹配等检测表示帧n上的对象相对于帧n-1上的对象的移动的运动矢量MV（n-1，n）。
然后，运动矢量检测器42将所检测到的运动矢量MV（n-2，n-1）和运动矢量MV（n-1，n）提供给内插处理单元43。
该内插处理单元43基于来自运动矢量检测器42的运动矢量MV（n-2，n-1）和运动矢量MV（n-1，n），计算帧n上的初始速度v0和对象的加速度a。
在此，当帧n里的水平方向是X向且垂直方向是Y向时，初始速度v0被分解成作为X分量的v0x和作为Y分量的v0y。此外，加速度a被分解成作为X分量的ax和作为Y分量的ay。
该内插处理单元43将所计算出来的初始速度V0x和加速度ax应用到下列表达式（1），并计算在帧n-1和帧n之间所插入并在时间t时显示的内插帧f（n-1，n）上的对象的位移dx。
dx＝v0x×t+ax/2×t2…（1）
在此，例如该位移dx表示当时刻t=0时帧上的对象的位置（x0，y0）处的x0是参考位置x0时，在内插帧f（n-1，n）上的对象的位置（x，y）处的x相对参考位置x0的位移（变化量）。
该内插处理单元43基于使用表达式（1）所计算出来的位移dx和参考位置x0，计算内插帧f（n-1，n）上的对象的位置（x，y）处的x(＝x0+dx)。
同样地，该内插处理单元43将所计算出来的初始速度V0y和加速度ay应用到下列表达式（2），并计算在帧n-1和帧n之间所插入并在时刻t时显示的内插帧f（n-1，n）上的对象的位移dy。
dy＝v0y×t+ay/2×t2…（2）
在此，例如该位移dy表示当时刻t=0时帧上的对象的位置（x0，y0）处的y0是参考位置y0时，在内插帧f（n-1，n）上的对象的位置（x，y）处的y相对参考位置y0的位移（变化量）。
该内插处理单元43基于使用表达式（2）所计算出来的位移dy和参考位置y0，计算内插帧f（n-1，n）上的对象的位置（x，y）中的y＝(y0+dy)。
此外，该内插处理单元43基于来自外部的帧n和来自帧存储器41的帧n-1产生内插帧f（n-1，n），在该内插帧上在使用表达式（1）和（2）计算出来的位置（x，y）处显示（绘制）对象。然后，内插处理单元43在帧n-1和帧n之间插入所产生的内插帧f（n-1，n）。
如同产生并插入内插帧f（n-1，n）的情况，内插处理单元43基于来自帧存储器的帧n-2和帧n-1产生内插帧f（n-2，n-1），并将其插入于帧n-2和帧n-1之间。
内插处理单元43输出在插入内插帧后所获取的运动图像。
控制单元44响应例如来自操作单元45的操作信号控制帧存储器41、运动矢量检测器42和内插处理单元43。
操作单元45包括例如操作按钮，并根据用户的操作提供对应的操作信号给控制单元44。
【初始速度v0和加速度a的计算方法】
接着，参考图3A到3D，将描述用于计算初始速度v0和加速度a的计算方法的示例。
图3A示出在其上的位置P(x1,yc)处显示对象的帧n-2。在此，通过示出帧n-2的左下角位置作为原点（0，0）、水平方向作为X轴而垂直方向作为Y轴的XY轴表示位置P(x1,yc)。这同样类似地适用于图3B到图3D、图4A和图4B，也适用于下面所讨论的图6到图8A和8B。
此外，显示图3A中所示的帧n-2的时刻t在表达式（1）和（2）中被设置为0。这意味着帧n-2上的对象的位置P(x1,yc)被设置为参考位置，即X轴向的参考位置x0＝x1且Y轴向的参考位置y0＝yc。
图3B示出在其上的位置P(x2,yc)处显示对象的帧n-1。图3C示出在其上的位置P(x3,yc)处显示对象的帧n。图3D示出在其上的位置P(x4,yc)显示对象的帧n+1。
如图3A和图3B所示，运动矢量检测器42基于来自帧存储器41的帧n-2和帧n-1，检测运动矢量MV（n-2，n-1）（其设置位置P(x1,yc)为起点，而位置P(x2,yc)为终点），并将该运动矢量MV（n-2，n-1）提供给内插处理单元43。
此外，如图3B和3C所示，运动矢量检测器42基于来自帧存储器41的帧n-2和来自外部的帧n，检测到运动矢量MV（n-1，n），其设置位置P(x2,yc)为起点，位置P(x3,yc)为终点，并将该运动矢量MV（n-1，n）提供给内插处理单元43。
内插处理单元43例如基于来自运动矢量检测器42的运动矢量MV（n-2，n-1），计算X轴向的距离Dx(n-2,n-1)(＝|x1-x2|)和Y轴向的距离Dy(n-2,n-1)(＝|yc-yc|)作为从起点的位置P(x1,yc)到终点的位置P(x2,yc)的距离。
然后，内插处理单元43将所计算出来的距离Dx(n-2,n-1)除以预定时间T，并计算帧n-1上的对象在X轴向上的速度v0x＝(Dx(n-2,n-1)/T)作为初始速度v0的X分量。
在此，时间T表示在外部输入的运动图像中，从一帧（例如，帧n-2）的显示到下一帧（例如，帧n-1）的显示所花费的时间。
此外，内插处理单元43将所计算出来的距离Dy(n-2,n-1)除以预定时间T，并计算帧n-1上的对象在Y轴向上的速度v0y＝(Dy(n-2,n-1)/T)作为初始速度v0的Y分量。
更进一步，内插处理单元43例如基于来自运动矢量检测器42的运动矢量MV（n-1，n），计算位于X轴向的距离Dx(n-1,n)(＝|x2-x3|)和位于Y轴向的距离Dy(n-1,n)(＝|yc-yc|)作为从起点的位置P(x2,yc)到终点的位置P(x3,yc)的距离。
同样地，内插处理单元43计算X轴向上的速度v1x＝(Dx(n-1,n)/T)和Y轴向上的速度v1y＝(Dy(n-1,n)/T)作为帧n上的对象的速度v1。
内插处理单元43基于所计算出来的速度v0和速度v1及预定时间T，计算对象的加速度a(＝(v1-v0)/T)。即，例如，内插处理单元43计算X轴向上的加速度ax(＝(v1x-v0x)/T)和Y轴向上的加速度ay(＝(v1y-v0y)/T)作为加速度a。这里，例如，当在Y轴向上对象的位置yc是如图3中所示的常数时，对象在内插帧上Y轴向的位置变成位置yc。因此，在这种情况下，因为Y轴向上的位置已经确定，所以内插处理单元43可只计算X轴向的加速度ax(＝(v1x-v0x)/T)并由所计算出来的加速度ax确定X轴向上对象的位置。
在此，如上所述，内插处理单元43基于来自运动矢量检测器42的运动矢量MV（n-1，n）和运动矢量MV（n-2，n-1）计算初始速度v0和加速度a。
作为替换，例如，运动矢量检测器42可使用如图3D所示的帧n+1检测运动矢量MV（n，n+1），且内插处理单元43也可使用运动矢量MV（n，n+1）提高初始速度v0和加速度a的计算精度。
在此例中，帧存储器41将来自外部的帧延迟一帧和两帧甚至三帧并将其输出。
【确定对象的位置的方法】
接下来，图4A和4B示出用于确定显示在内插帧f（n-1，n）上的对象的位置的确定方法的示例。
不像图4A中所示示例，例如，内插处理单元43将不作为在内插帧f(n-2，n-1）上的对象的位置来计算在帧n-2上的对象的位置P(x1,yc)与在帧n-1上的对象的位置P(x2,yc)之间的中间位置P((x1+x2)/2,yc)。
即，例如，如图4B所示，内插处理单元43确定对应于对象的加速度a的位置作为在内插帧上的对象的位置。
具体地，例如，内插处理单元43将所计算出来的初始速度v0x和加速度ax应用在表达式（1），并计算在内插帧f（n-2，n-1）上的对象的位移dx。
基于使用表达式（1）及参考位置x0计算出来的位移dx，内插处理单元43计算在内插帧f（n-2，n-1）上的对象的X轴向上的位置X1(＝x0+dx)。
此外，例如，内插处理单元43将所计算出来的初始速度v0y和加速度ay应用到表达式（2），并计算在内插帧f（n-2，n-1）上的对象的位移dy。
基于使用表达式（2）和参考位置y0计算出来的位移dy，内插处理单元43计算在内插帧f（n-2，n-1）上的对象的Y轴向上的位置yc(＝y0+dy)。
然后，内插处理单元43确定包括所计算出来的X轴向上的位置X1和Y轴向上的位置yc的P(X1,yc)作为在内插帧f（n-2，n-1）上的对象的位置。
同样地，内插处理单元43确定内插帧f(n-1，n）上的对象的位置P(X2,yc)和内插帧f（n，n+1）上的对象的位置P(X3,yc)。
因此，在本实施例中，不像如图4A所示那样将帧上的对象的位置简单地设置为中间位置的情况，而是如图4B所示那样根据对象的加速度a将帧上的对象的位置设置在自然位置。即，帧上的对象的位置是根据自然法则行进的对象的位置。
【图像处理装置21的操作的描述】
接下来，参考图5中的流程图，描述由图像处理装置21执行的内插处理。
例如，当图像处理装置21从外部接收到运动图像（包括运动图像的帧）时，启动内插处理。
在步骤S21中，帧存储器41将自外部的帧n延迟一帧并将其提供给运动矢量检测器42和内插处理单元43。
在步骤S22中，帧存储器41将自外部的帧n延迟两帧并将其提供给运动矢量检测器42和内插处理单元43。
即，例如，当运动矢量检测器42和内插处理单元43接收到来自外部的帧n时，运动矢量检测器42和内插处理单元43在步骤S21和S22的处理中从帧存储器41接收帧n-2和帧n-1。
在步骤S23中，运动矢量检测器42基于来自帧存储器41的帧n-1和帧n-2通过块匹配等检测表示帧n-1上的对象相对于帧n-2上的对象的移动的运动矢量MV（n-2，n-1）。
此外，运动矢量检测器42基于来自外部的帧n和来自帧存储器41的帧n-1通过块匹配等检测表示帧n上的对象相对于帧n-1上的对象的移动的运动矢量MV（n-1，n）。
然后，运动矢量检测器42提供所检测到的运动矢量MV（n-2，n-1）和运动矢量MV（n-1，n）给内插处理单元43。
在步骤S24中，内插处理单元43基于来自运动矢量检测器42的运动矢量MV（n-2，n-1）和运动矢量MV（n-1，n），计算帧n上的对象的初始速度v0和加速度a。
在此，初始速度v0被分解为X分量的v0x和Y分量的v0y。此外，加速度a被分解为X分量的ax和Y分量的ay。
在步骤S25中，内插处理单元43将所计算出来的初始速度v0x和加速度ax应用到表达式（1），并计算内插帧f（n-1，n）上的对象的位移dx。
然后，内插处理单元43基于使用表达式（1）和参考位置x0计算出来的位移dx，计算内插帧f（n-1，n）上的对象的位置（x，y）处的x(＝x0+dx)。
同样地，内插处理单元43将所计算出来的初始速度v0y和加速度ay应用到表达式（2），并计算内插帧f（n-1，n）上的对象的位移dy。
内插处理单元43基于使用表达式（2）和参考位置y0所计算出来的位移dy，计算在内插帧f（n-1，n）上的对象的位置（x，y）处的y(＝y0+dy)。
在步骤S26中，内插处理单元43基于来自外部的帧n和来自帧存储器41的帧n-1，产生在其上使用表达式（1）和（2）所计算出来的位置（x，y）处显示（绘制）对象的内插帧f（n-1，n）。然后，内插处理单元43在帧n-1与帧n之间插入所产生的内插帧f（n-1，n）。
在此，如同在步骤S25和步骤S26中产生并插入内插帧f（n-1，n）的情况一样，内插处理单元43基于来自帧存储器41的帧n-2和帧n-1产生内插帧f（n-2，n-1），并在帧n-2和帧n-1之间插入该内插帧。
内插处理单元43输出在插入内插帧之后所获取的运动图像。然后，在构成从外部输入的运动图像的所有帧都在内插处理单元43中被处理后，结束上述内插处理。
如上所述，在内插处理中，计算对应于对象的加速度a的位置，产生在该位置上显示对象的内插帧。
因此，在内插处理中，可以在保持对象自然移动的同时提高帧速率。
接下来，参照图6到图8A和图8B描述从在X轴向和Y轴向上的任意位置处改变的对象确定内插帧上的对象的位置的情况。
图6是示出在X轴向和Y轴向上的任意位置处改变的对象的示例的框图。在图6中，位置P(x1,y1)示出在帧n-2上的对象的位置，位置P(x2,y2)示出在帧n-1上的对象的位置，位置P(x3,y3)示出在帧n上的对象的位置，位置P(x4,y4)示出在帧n+1上的对象的位置。
接下来，参照图7A、7B和图8A、8B描述在将内插帧上的对象的位置简单地确定在中间位置的情况与根据对象的加速度a确定内插帧上的对象的位置的情况之间的区别。
图7A和7B示出如过去一样不管对象的移动如何而将对象的位置确定在中间位置的情况的示例。
图7A示出将从在构成运动图像的每一帧上的对象的位置P(x1,y1)、P(x2,y2)、P(x3,y3)和P(x4,y4)计算出来的中间位置（图7A中的每个虚圆圈）确定在内插帧上的对象的位置的情况的示例。
图7B示出在构成运动图像的每一帧上的对象的位置P(x2，y2)和位置P(x3,y3)之间的中间位置P((x2+x3)/2,(y2+y3)/2)的示例。
图8A和8B示出根据对象的加速度a确定对象的位置的情况的示例。
图8A示出将使用表达式（1）、（2）等计算出来的位置（图8A中的每个虚圆圈）确定在内插帧上的对象的位置的情况的示例。
图8B示出使用表达式（1）、（2）等计算出的位置P(x,y)作为在构成运动图像的每一帧上的对象的位置P(x2,y2)和位置P(x3,y3)之间的位置的示例。位置P(x，y)是对应于根据自然法则绘制抛物线的对象的移动的位置。
如图7A所示，当不管对象的移动如何而将对象的位置确定在中间位置时，不被精确地插入对象的轨迹（locus）且是不自然的。
相反，如图8A所示，当根据对象的移动确定对象位置时，根据对象的加速度a插入对象的轨迹，从而对象的轨迹变得自然。
2、改进示例
在本实施例中，运动矢量检测器42使用相差一个帧的两个帧来检测运动矢量。作为替换，例如，运动矢量检测器42可使用相差多个帧的两个帧来检测运动矢量。
具体地，例如，运动矢量检测器42可使用帧n-2和帧n来计算运动矢量MV（n-2，n），并使用帧n和帧n+2来计算运动矢量MV（n，n+2）。
在此情况中，内插处理单元43使用运动矢量MV（n-2，n）和运动矢量MV（n，n+2）计算初始速度v0和加速度a，并基于所计算出来的速度v0和加速度a确定在内插帧上的对象的位置。
在本实施例中，内插处理单元43通过将所计算出来的初始速度v0和加速度a应用到表达式（1）和（2）来确定内插帧上的对象的位置。作为替换，例如，内插处理单元43可使用多个预定内插曲线中对应于所计算出来的加速度a的内插曲线来确定内插帧上的对象的位置。
在此，例如，对于每个不同的加速度，将多条内插曲线提前存储于内插处理单元43的内置存储器（未显示）等中。
【内插曲线的示例】
接下来，参照图9到图11描述在确定在内插帧上的对象的位置时使用的内插曲线的示例。
图9示出表示在X轴向上以加速度a＝0匀加速运动（线性匀速运动）地行进的对象的位置的内插曲线的示例。
在此，在图9中，水平轴表示显示帧时的时间，且垂直轴表示帧上的对象在X轴向上的位置。
如图9所示，内插曲线L（a＝0）表示插入在帧A和帧B之间的内插帧f1、f2、f3和f4上的对象的位置P1、P2、P3和P4。
基于帧A上的对象的位置P0和帧B上的对象的位置P5，相对地确定位置P1、P2、P3和P4，并位置P1、P2、P3和P4示出在X轴向上以加速度a＝0匀加速运动地行进的对象的位置。
当插入内插帧f1到f4时使用内插曲线L（a＝0），以使得从帧A到帧B的时段中对象运动变得更平滑。
如图9所示，内插曲线M（a＝0）表示在帧A和帧B之间所插入的内插帧f1、f2、f3和f4上的对象的位置P1’、P2’、P3’和P4’。
基于帧A上的对象的位置P0和帧B上的对象的位置P5，相对地确定位置P1’、P2’、P3’和P4’，并位置P1’、P2’、P3’和P4’示出在X轴向上以加速度a＝0匀加速运动地行进的对象的位置。
当插入内插帧f1到f4时使用内插曲线M（a＝0），以在从帧A到帧B的时段中在对象的移动中产生急剧变化（judder）。在此，例如，当插入内插帧时使用内插曲线M（a＝0），以保持在原始帧A和帧B上产生的急剧变化。
接下来，图10示出表示在X轴向上以加速度a≠0匀加速运动地行进的对象的位置的内插曲线L（a≠0）的示例。
例如，内插处理单元43与不同加速度a关联地将如图10所示的多条内插曲线存储在内置存储器（未示出）等内。
在此，在图10中，多绘制于右手侧的内插曲线L与较大的加速度a相关联，并且多绘制于左手侧的内插曲线L与较小的加速度a相关联。此外，在图10中，对于每个不同的加速度a，内插曲线L示出对应于加速度a的对象的位置（x，y）。
因此，例如，当所计算出来的加速度a变大时，内插处理单元43使用图中右边方向上的内插曲线L（a＞0）确定在内插帧f1到f4上的对象的位置。
此外，例如，当加速度a变小时，内插处理单元43使用图中左边方向上的内插曲线L（a＜0）确定在内插帧f1到f4上的对象的位置。
在此，在图10中，对于每个不同加速度a，内插曲线L示出对应于加速度a的对象的位置（x，y）。作为替换，例如，同样可以对于每个加速度ax，准备表示对应于加速度ax的对象的位置x的第一内插曲线L，而对于每个加速度ay，准备表示对应于加速度ay的对象的位置y的第二内插曲线L。
在此情况中，内插处理单元43使用X轴向上的加速度ax通过第一内插曲线L来确定对象的位置x，并使用Y轴向上的加速度ay通过第二内插曲线L来确定对象的位置y。这也类似地应用于将在下面描述的图11。
接下来，图11示出表示在X轴向上以加速度a≠0匀加速运动地行进的对象的位置的内插曲线M（a≠0）的示例。
例如，内插处理单元43与不同加速度a相关联地将如图11所示的多条内插曲线存储在内置存储器（未示出）等中。
在此，在图11中，多绘制于右手侧的内插曲线M与较大的加速度a相关联，并且多绘制于左手侧的内插曲线M与较小的加速度a相关联。此外，在图11中，对于每个不同的加速度a，内插曲线M示出对应于加速度a的对象的位置（x，y）。
因此，例如，当所计算出来的加速度a变大时，内插处理单元43使用图中右边方向上的内插曲线M（a＞0）确定在内插帧f1到f4上的对象的位置。
此外，例如，当所加速度a变小时，内插处理单元43使用图中左边方向上的内插曲线M（a＜0）确定在内插帧f1到f4上的对象的位置。
如参照图9至图11所述，当内插处理单元43确定内插帧f1到f4上的对象的位置时，使用表达式（1）和表达式（2）等的计算是不需要的。因此，可以在较短时段中确定内插帧f1到f4上的对象的位置。
在此，可以使得图像处理装置21作用为电视接收机、硬盘记录器等。
此外，本公开也可以被配置成如下。
（1）一种图像处理装置，包括：运动矢量检测器，其被配置以基于多个图像中的第一图像和异于第一图像的第二图像检测表示第二图像上的对象相对于第一图像上的对象的移动的运动矢量；第一计算单元，其被配置以基于运动矢量计算图像上的对象的加速度；第二计算单元，其被配置以基于加速度计算对象位置，该对象位置表示了在多个图像中时间方向上相邻的图像之间所插入的内插图像上的对象的位置；和内插处理单元，其被配置以插入在对象位置上绘制对象的内插图像。
（2）根据项目（1）的图像处理装置，其中，第二计算单元基于各自表示内插图像上的对象位置的多条内插曲线中对应于加速度的内插曲线，计算对象位置。
（3）根据项目（1）的图像处理装置，其中，第一计算单元也基于运动矢量计算图像上的对象的初始速度，且第二计算单元基于该加速度和该初始速度计算内插图像上的对象位置。
（4）根据项目（1）的图像处理装置，其中，第一计算单元基于运动矢量计算水平方向和垂直方向至少之一上的加速度。
值得注意的是，上面所描述的系列处理可由硬件执行，或者可由软件执行。例如，当该系列处理由软件执行时，构成软件的程序从程序记录介质被安装到与专用硬件相结合的计算机上或者是能安装各种程序以执行各种功能的通用计算机上。
【计算机的配置示例】
图12是示出用于以程序实现上面所描述的系列处理的计算机硬件的典型配置的框图。
根据存储在只读存储器（ROM）202或存储单元208中的程序，中央处理器（CPU）201执行各种处理。将由CPU 201执行的程序、数据等被适当地存储于随机存储器（RAM）203中。CPU 201、ROM 202和RAM 203通过总线204彼此连接。
同样，输入/输出接口205通过总线204连接到CPU 201。连接到输入/输出接口205的有：包括键盘、鼠标、麦克风等的输入单元206和包括显示单元、扬声器等的输出单元207。CPU 201根据从输入单元206输入的指令执行各种处理。然后，CPU 201将处理的结果输出到输出单元207。
与输入/输出接口205连接的存储单元208例如由硬盘构成，且存储将由CPU 201执行的程序和各种数据。通信单元209与通过诸如因特网和局域网通信之类的网络连接到其的外部装置通信。
程序可通过通信单元209获取并存储在存储单元208中。
驱动器210连接到输入/输出接口205。当诸如磁盘、光盘、磁光盘和半导体存储器之类的可移动介质211装载到驱动器210时，该驱动器210驱动可移动介质211。因此，驱动器210获取记录在可移动介质211上的程序、数据等。需要时所获取的程序和数据被转移并存储到存储单元208。
例如如图12所示，在其上记录（存储）了要安装到计算机且由计算机置于可执行状态的程序的程序记录介质可以是程序包介质（packagemedium）形式的可移动介质211（由磁盘（包括软盘）、光盘（包括CD-ROM（只读光盘存储器））和DVD（数字通用光盘）、磁光盘（包括MD（微型盘））或者半导体存储器构成），或者可以由临时地或永久地存储程序的ROM 202、存储单元208之中所包括的硬盘等构成。利用诸如局域网、因特网和数字卫星广播之类的有线或无线通信介质，通过作为诸如路由器和调制解之类的接口的通信单元209，需求时实现在程序记录介质上的程序的记录。
值得注意的是，在本说明中，描述上述系列处理的步骤可以但非必须以上述顺序以时间顺序处理，且包括并行或单独地执行处理，而不以时间顺序进行处理。
此外，本公开不局限于在上文所描述的实施例，且可以做出可变的替换和修正，而不背离本公开的精神和范围。
本公开包含涉及到公开于2011年6月1日在日本专利局提交的日本优先权专利申请JP 2011-123371的主题的主题，其完整内容通过引用并入于此。

Claims (6)

1.一种图像处理装置，包括：
运动矢量检测器，其被配置以基于多个图像中的第一图像和异于第一图像的第二图像检测表示所述第二图像上的对象相对所述第一图像上的对象的移动的运动矢量；
第一计算单元，其被配置以基于所述运动矢量计算图像上的所述对象的加速度；
第二计算单元，其被配置以基于所述加速度计算对象位置，该对象位置表示在多个图像中时间方向上相邻的图像之间所插入的内插图像上的对象的位置；和
内插处理单元，其被配置以插入在其上的所述对象位置处绘制所述对象的所述内插图像。
2.根据权利要求1的所述图像处理装置，其中
所述第二计算单元基于各自表示内插图像上的对象位置的多条内插曲线中对应于所述加速度的内插曲线，计算对象位置。
3.根据权利要求1的所述图像处理装置，其中
所述第一计算单元也基于所述运动矢量计算图像上的对象的初始速度，且
所述第二计算单元基于所述加速度和所述初始速度计算内插图像上的对象位置。
4.根据权利要求1的所述图像处理装置，其中
所述第一计算单元基于所述运动矢量计算水平方向和垂直方向至少之一上的加速度。
5.一种图像处理装置的图像处理方法，该图像处理装置在时间方向上相邻的图像之间插入内插图像，所述方法包括：通过所述图像处理装置，
基于多个图像中的第一图像和异于第一图像的第二图像，检测表示所述第二图像上的对象相对所述第一图像上的对象的移动的运动矢量；
基于所述运动矢量，计算所述图像上的对象的加速度；
基于所述加速度，计算表示在多个图像中在时间方向上相邻的图像之间所插入的内插图像上的对象的位置的对象位置；和
插入在其上的所述对象位置处绘制所述对象的所述内插图像。
6.一种程序，其使计算机作用为：
运动矢量检测器，其被配置以基于多个图像中的第一图像和异于第一图像的第二图像，检测表示所述第二图像上的对象相对于所述第一图像上的对象的移动的运动矢量；
第一计算单元，其被配置以基于所述运动矢量计算图像上的所述对象的加速度；
第二计算单元，其被配置以基于所述加速度计算对象位置，该对象位置表示在多个图像中时间方向上相邻的图像之间所插入的内插图像上的对象的位置；和
内插处理单元，其被配置以插入在其上的所述对象位置处绘制所述对象的所述内插图像。
CN2012101637291A 2011-06-01 2012-05-24 图像处理装置、图像处理方法和程序 Pending CN102811331A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011123371A JP2012253492A (ja) 2011-06-01 2011-06-01 画像処理装置、画像処理方法、及びプログラム
JP2011-123371 2011-06-01

Publications (1)

Publication Number Publication Date
CN102811331A true CN102811331A (zh) 2012-12-05

Family

ID=47234897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101637291A Pending CN102811331A (zh) 2011-06-01 2012-05-24 图像处理装置、图像处理方法和程序

Country Status (3)

Country Link
US (1) US8744127B2 (zh)
JP (1) JP2012253492A (zh)
CN (1) CN102811331A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323775A (zh) * 2020-01-19 2020-06-23 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
WO2022002082A1 (zh) * 2020-07-01 2022-01-06 北京达佳互联信息技术有限公司 视频特效的展示方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253492A (ja) * 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2012257080A (ja) * 2011-06-09 2012-12-27 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US10192529B2 (en) * 2016-02-03 2019-01-29 Mediatek, Inc. Electronic apparatus, frames per second decision method, and non-transitory computer readable storage medium thereof
JP7114975B2 (ja) * 2018-03-27 2022-08-09 株式会社リコー フレーム補間装置およびフレーム補間方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646383A (ja) * 1992-03-24 1994-02-18 Sony Broadcast & Commun Ltd 動画の動き解析装置及び方法
US6401006B1 (en) * 1997-11-14 2002-06-04 Fanuc Ltd. Machine controller with primary and secondary interpolation
CN101023677A (zh) * 2004-07-20 2007-08-22 高通股份有限公司 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置
US20100271484A1 (en) * 2009-04-23 2010-10-28 Steven John Fishwick Object tracking using momentum and acceleration vectors in a motion estimation system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006012375A1 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for motion vector processing
US7783096B2 (en) * 2005-10-17 2010-08-24 Siemens Corporation Device systems and methods for imaging
JP2007288681A (ja) 2006-04-19 2007-11-01 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
TWI375140B (en) * 2008-10-13 2012-10-21 Ind Tech Res Inst Accumulative method for estimating a processing velocity limitation and method for controlling acceleration and deceleration before interpolation
US8254439B2 (en) * 2009-05-08 2012-08-28 Mediatek Inc. Apparatus and methods for motion vector correction
JP2012253492A (ja) * 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646383A (ja) * 1992-03-24 1994-02-18 Sony Broadcast & Commun Ltd 動画の動き解析装置及び方法
US6401006B1 (en) * 1997-11-14 2002-06-04 Fanuc Ltd. Machine controller with primary and secondary interpolation
CN101023677A (zh) * 2004-07-20 2007-08-22 高通股份有限公司 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置
US20100271484A1 (en) * 2009-04-23 2010-10-28 Steven John Fishwick Object tracking using momentum and acceleration vectors in a motion estimation system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323775A (zh) * 2020-01-19 2020-06-23 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
WO2022002082A1 (zh) * 2020-07-01 2022-01-06 北京达佳互联信息技术有限公司 视频特效的展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US8744127B2 (en) 2014-06-03
JP2012253492A (ja) 2012-12-20
US20120308080A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
CN102811331A (zh) 图像处理装置、图像处理方法和程序
JP5506800B2 (ja) フレーム補間装置及びフレーム補間方法
US10783692B2 (en) Animation authoring system and method for authoring animation
US20140325439A1 (en) Method for outputting image and electronic device thereof
EP4207784B1 (en) Playback control method and device
US9921710B2 (en) Method and apparatus for converting and displaying execution screens of a plurality of applications executed in device
JP2015177341A (ja) フレーム補間装置、及びフレーム補間方法
JP4752407B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2022116772A1 (zh) 视频裁剪方法、装置、存储介质及电子设备
CN103581646A (zh) 将二维图像转换成三维图像的方法及其显示装置
CN107454479A (zh) 一种多媒体数据的处理方法及装置
CN115129065A (zh) 机器人移动速度确定方法及装置
US12231872B2 (en) Audio signal playing method and apparatus, and electronic device
CN109656639A (zh) 一种界面滚动方法、装置、设备及介质
CN103455474B (zh) 一种影像素材的编辑方法和系统
CN112651909B (zh) 图像合成方法、装置、电子设备及计算机可读存储介质
CN102592641A (zh) 信息处理设备、信息处理方法和程序
CN103823654A (zh) 一种信息处理方法以及一种电子设备
CN111077984A (zh) 人机交互方法、装置、电子设备及计算机存储介质
JP6056466B2 (ja) 仮想空間中の音声再生装置及び方法、並びにプログラム
CN117241101A (zh) 一种视频生成方法、装置、设备及存储介质
CN110769129B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109829486B (zh) 图像处理方法和装置
JP4915018B2 (ja) 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置
US20110013852A1 (en) Approach for determining motion vector in frame rate up conversion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121205