JP7565606B2

JP7565606B2 - 画像処理装置および画像処理方法

Info

Publication number: JP7565606B2
Application number: JP2021530643A
Authority: JP
Inventors: 敏之小倉; 博昭江藤
Original assignee: Saturn Licensing LLC
Current assignee: Saturn Licensing LLC
Priority date: 2019-07-10
Filing date: 2020-07-01
Publication date: 2024-10-11
Anticipated expiration: 2040-07-01
Also published as: US20220254290A1; EP3998770B1; EP3998770A1; JPWO2021006146A1; CN114073072A; CN114073072B; EP3998770A4; US11776445B2; WO2021006146A1

Description

本技術は、画像処理装置および画像処理方法に関し、詳しくは、フレームレート変換を伴う画像処理装置および画像処理方法に関する。

例えば、特許文献１には、６０Ｈｚのフレームレートの連続する２フレームの画像の間に、中間フレーム画像を挿入して１２０Ｈｚのフレームレートの画像とすることで動画を滑らかに表示すること、が記載されている。また、この特許文献１には、その中間フレーム画像の部分に黒画像フレームを挿入することで、映画コンテンツ（フィルム画像）に特有の切れの良い画質を実現すること、が記載されている。中間フレーム画像として黒画像フレームを挿入する場合には、全体の輝度が低下するという不都合がある。

特開２００９－０５８７８５号公報

本技術の目的は、高輝度・高コントラストのテレビで例えば低フレームレートコンテンツの画像表示を良好に行い得るようにすることにある。

本技術の概念は、
第１のフレームレートの画像に基づいて、フレーム毎に、輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つオブジェクトを対象オブジェクトとして検出する対象オブジェクト検出処理部と、
上記第１のフレームレートの連続する２フレームの画像の間に、上記対象オブジェクトを順次移動する動き補償を行って得られた所定フレーム数の補間画像を挿入して、上記第１のフレームレートより大きな第２のフレームレートの画像を得る補間画像挿入処理部を備える
画像処理装置にある。

本技術において、対象オブジェクト検出処理部により、第１のフレームレートの画像に基づいて、フレーム毎に、輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つオブジェクトが対象オブジェクトとして検出される。例えば、輝度閾値は、第１のフレームレートの画像においてジャダー（ストロビング）が気にならないオブジェクトの輝度の最大値である、ようにされてもよい。また、例えば、動き量閾値は、第１のフレームレートの画像においてジャダー（ストロビング）が気にならないオブジェクトの動き量の最大値である、ようにされてもよい。また、例えば、輝度閾値および動き量閾値は、環境に応じて変化する変数である、ようにされてもよい。

補間画像挿入処理部により、第１のフレームレートの連続する２フレームの画像の間に、対象オブジェクトを順次移動する動き補償を行って得られた所定フレーム数の補間画像が挿入されて、第１のフレームレートより大きな第２のフレームレートの画像が得られる。例えば、補間画像挿入処理部は、所定数の補間画像における対象オブジェクトの移動量を、この対象オブジェクトの輝度および/または動き量に応じて変化させる、ようにされてもよい。

また、例えば、第１のフレームレートの画像は、２４Ｈｚの映画コンテンツの画像である、ようにされてもよい。この場合、例えば、第２のフレームレートは、１２０Ｈｚの画像である、ようにされてもよい。

このように本技術においては、第１のフレームレートの連続する２フレームの画像の間に、輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つオブジェクトである対象オブジェクトを順次移動する動き補償を行って得られた所定フレーム数の補間画像を挿入して、第１のフレームレートより大きな第２のフレームレートの画像を得るものである。そのため、高輝度・高コントラストのテレビであっても、例えば、映画コンテンツの画像を、ジャダーが目立つことがなく、映画らしさを残した状態で良好に表示できる。

なお、本技術において、例えば、第２のフレームレートの画像を表示する表示パネルをさらに備える、ようにされてもよい。この場合、例えば、４Ｋサイズまたは８Ｋサイズの表示パネルである、ようにされてもよい。また、本技術において、例えば、第１のフレームレートの画像は、放送信号を受信することで得られる、ストレージから再生されて得られる、または通信により得られる、ようにされてもよい。また、本技術において、対象オブジェクト検出処理部は、輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つと共にさらにサイズ閾値を越えるサイズを持つオブジェクトを、対象オブジェクトとして検出する、ようにされてもよい。

従来技術に係る、２４Ｈｚ（２４Ｐ）の映画コンテンツの画像を１２０Ｈｚ（１２０Ｐ）の画像に変換するフレームレート変換の一例を示す図である。本技術に係る、２４Ｈｚ（２４Ｐ）の映画コンテンツの画像を１２０Ｈｚ（１２０Ｐ）の画像に変換するフレームレート変換の一例を示す図である。２４Ｈｚ（２４Ｐ）から１２０Ｈｚ（１２０Ｐ）へのフレームレート変換の一例を説明するための図である。補間画像の生成の一例を概略的に示す図である。補間画像の生成の他の一例を概略的に示す図である。オブジェクトの輝度と輝度パラメータとの対応関係、オブジェクトの動き量と動き量パラメータとの対応関係、および各パラメータと動き補償の関係の一例を示す図である。オブジェクトの輝度と輝度パラメータとの対応関係、オブジェクトの動き量と動き量パラメータとの対応関係、および各パラメータと動き補償の関係の他の一例を示す図である。動き補償効果の変化の一例を示す図である。実施の形態としてテレビ受信機の構成例を示すブロック図である。フレームレート変換部の構成例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［本技術の基本説明］
図１は、従来技術に係る、２４Ｈｚ（２４Ｐ）の映画コンテンツの画像を１２０Ｈｚ（１２０Ｐ）の画像に変換するフレームレート変換の一例を示している。２４Ｐの画像表示では、動き量が大きくジャダーが目立つものとなる。１２０Ｐの画像は、２４Ｐのフレームレートの連続する２フレームの画像の間に、画像全体に順次移動する動き補償を行った４フレームの補間画像を挿入することで得られたものである。この場合、補間によりフレーム間の動き量が少なくなるので、ジャダーは目立たなくなるが、映画らしい動きではなくなる。

図２は、本技術に係る、２４Ｈｚ（２４Ｐ）の映画コンテンツの画像を１２０Ｈｚ（１２０Ｐ）の画像に変換するフレームレート変換の一例を示している。この例では、第１のフレーレートは２４Ｈｚであり、第２のフレームレートは１２０Ｈｚである。１２０Ｐの画像は、２４Ｐのフレームレートの連続する２フレームの画像の間に、ジャダーが目立つ、輝度が高くかつ動き量が大きい対象オブジェクトだけに順次移動する動き補償を行った４フレームの補間画像を挿入することで得られたものである。この場合、ジャダーが目立つオブジェクト部分だけ動き補償がされたので、ジャダーは目立たなくなり、かつ映画らしい動きを保つことが可能となる。

図３（ａ）は、２４Ｐの画像のｎフレームと（ｎ＋１）フレームの連続する２フレームを示し、図３（ｂ）は、それに対応した１２０Ｐの画像を示している。この場合、５ｎ～（５ｎ＋４）の５フレームは２４Ｐの画像のｎフレームに対応しており、５ｎフレームの画像はｎフレームの画像と同じ画像であり、（５ｎ＋１）～（５ｎ＋４）の４フレームの画像は対象オブジェクトだけが動き補償された補間画像である。

また、同様に、５（ｎ＋１）～（５（ｎ＋１）＋４）の５フレームは２４Ｐの画像の（ｎ＋１）フレームに対応しており、５（ｎ＋１）フレームの画像は（ｎ＋１）フレームの画像と同じ画像であり、（５（ｎ＋１）＋１）～（５（ｎ＋１）＋４）の４フレームの画像は対象オブジェクトだけが動き補償された補間画像である。

図４は、補間画像の生成の一例を概略的に示している。この例は、２４Ｐの画像に、動き量の大きな、高輝度オブジェクトと低輝度オブジェクトが存在している場合の例である。なお、高輝度オブジェクトは、その一部が高輝度であればよく、その全体が高輝度でなくともよい。このことは、以下においても同様である。

高輝度オブジェクトは、動き量も大きいので、対象オブジェクトとして検出され、（５ｎ＋１）～（５ｎ＋４）の４フレームの補間画像においては、この高輝度オブジェクトが動き補償されて順次移動した位置に置かれる。これに対して、低輝度オブジェクトは、動き量は大きいが低輝度であるので、動き補償はされず、（５ｎ＋１）～（５ｎ＋４）の４フレームの補間画像において、５ｎフレームの画像と同じ位置に置かれる。

図５は、補間画像の生成の他の一例を概略的に示している。この例は、２４Ｐの画像に、動き量の大きな高輝度オブジェクトと、動き量の小さな高輝度オブジェクトが存在している場合の例である。

動き量の大きな高輝度オブジェクトは、対象オブジェクトとして検出され、（５ｎ＋１）～（５ｎ＋４）の４フレームの補間画像においては、この高輝度オブジェクトが動き補償されて順次移動した位置に置かれる。これに対して、動き量の小さな高輝度オブジェクトは、動き補償はされず、（５ｎ＋１）～（５ｎ＋４）の４フレームの補間画像において、５ｎフレームの画像と同じ位置に置かれる。

補間画像において動き補償の対象となる対象オブジェクトは、上述したように輝度が高く、かつ動き量が大きなオブジェクトである。図６（ａ）は、オブジェクトの輝度と輝度パラメータとの対応関係を示している。輝度閾値Ｌobj0は、２４Ｐの画像において、ジャダーが気にならないオブジェクトの輝度の最大値である。この輝度閾値Ｌobj0は、周囲（画像を見る環境）の明るさによって変化する環境パラメータ（変数）である。オブジェクトの輝度が、輝度閾値Ｌobj0を超えて大きくなるにつれて、輝度パラメータは０から線形的に大きくなっていく。なお、この輝度パラメータを非線形的に変化させていくことも考えられる。

図６（ｂ）は、オブジェクトの動き量と動き量パラメータとの対応関係を示している。動き量閾値Ｍobj0は、２４Ｐの画像において、ジャダーが気にならないオブジェクトの動き量の最大値である。この動き量閾値Ｍobj0は、表示パネルのサイズ、視距離によって変化する環境パラメータ（変数）である。オブジェクトの動き量が、動き量閾値Ｍobj0を超えて大きくなるにつれて、動き量パラメータは０から線形的に大きくなっていく。なお、この動き量パラメータを非線形的に変化させていくことも考えられる。

本技術において、輝度パラメータと動き量パラメータを掛けた値が、０より大きくなるオブジェクトは、動き補償の対象となる対象オブジェクトとして検出される。この場合、図６（ｃ）に示すように、輝度パラメータと動き量パラメータを掛けた値が０であるオブジェクトに関しては、動き補償はオフ、つまり動き補償はされない。一方、輝度パラメータと動き量パラメータを掛けた値が０を超えるオブジェクトに関しては、動き補償はオン、つまり動き補償がされる。

なお、動き補償の効果を、オフ（Off）とオン（On）の２段階で制御するのではなく、輝度パラメータと動き量パラメータを掛けた値に応じて変化させることも考えられる。図７（ｃ）は、輝度パラメータと動き量パラメータを掛けた値に応じて、対象オブジェクトに対する動き補償効果を線形的に変化させることを示している。なお、詳細説明は省略するが、図７（ａ），（ｂ）は、図６（ａ），（ｂ）と同じものである。なお、動き補償効果を非線形的に変化させることも考えられる。

ここで、動き補償効果の最大は、図６（ｃ）における動き補償オン（On）の状態と同じとなる。上述の図４、図５の例に示した動き補償は、動き補償効果が最大とされた場合を示している。また、輝度パラメータと動き量パラメータを掛けた値が０であるときが、動き補償効果が最低、つまり図６（ｃ）における動き補償オフ（Off）の状態と同じとなる。

図８は、動き補償効果の変化の一例を示している。図８（ａ）は、動き補償効果が最大の場合を示している。この場合、５ｎフレームの画像における対象オブジェクトの位置をＲ０と５（ｎ＋１）フレームの画像における対象オブジェクトの位置をＲ１とするとき、Ｒ１とＲ０の間の距離を例えば５等分して、（５ｎ＋１）～（５ｎ＋４）の４フレームの補間画像における対象オブジェクトの位置とする。

図８（ｂ）は、図８（ａ）の場合より動き補償効果が小さくなった場合を示している。この場合、Ｒ１よりＲ０側に少し寄った位置をＲ２とし、Ｒ２とＲ０の間の距離を例えば４等分して、（５ｎ＋１）～（５ｎ＋４）の４フレームの補間画像における対象オブジェクトの位置とする。また、図８（ｃ）は、図８（ｂ）の場合より動き補償効果が小さくなった場合を示している。この場合、Ｒ２よりさらにＲ０側に少し寄った位置をＲ３とし、Ｒ３とＲ０の間の距離を例えば４等分して、（５ｎ＋１）～（５ｎ＋４）の４フレームの補間画像における対象オブジェクトの位置とする。

［テレビ受信機］
図９は、実施の形態としてテレビ受信機１００の構成例を示している。このテレビ受信機１００は、映像入力部１０１と、画質調整部１０２と、フレームレート変換部１０３と、パネル駆動回路１０４と、表示パネル１０５を有している。

映像入力部１０１は、放送信号の受信、通信、あるいはストレージ（ディスク）再生により、映像信号を取得する。ここでは、この映像信号は、映画コンテンツに係る２４Ｈｚの画像に対応したものであるとする。放送信号の場合、映画コンテンツに係る２４Ｈｚの映像信号は、放送局側で例えば２－３プルダウン方式で６０Ｈｚ（６０Ｐ）の映像信号に変換されて送られてくる。映像入力部１０１では、この６０Ｈｚの映像信号を受信し、この６０Ｈｚの映像信号から元の映画コンテンツに係る２４Ｈｚの映像信号の各フレームを抽出して、映画コンテンツに係る２４Ｈｚの映像信号を再構成する。

画質調整部１０２は、映像入力部１０１で取得される映像信号に対して、明るさ、コントラスト、シャープネス等の画質調整処理をする。フレームレート変換部１０３は、画質調整部１０２から出力される映像信号ＳＶａに対して、フレームレートを２４Ｈｚから１２０Ｈｚに変換する処理を行って、１２０Ｈｚの画像に対応した映像信号ＳＶｂを出力する。

図１０は、フレームレート変換部１０３の構成例を示している。このフレームレート変換部１０３は、輝度比較処理部１３１と、動き量比較処理部１３２と、対象オブジェクト検出処理部１３３と、補間画像挿入処理部１３４を有している。

輝度比較処理部１３１には、映画コンテンツに係る２４Ｈｚの画像に対応した映像信号ＳＶａが入力される。輝度比較処理部１３１は、フレーム毎に、所定単位、例えばマクロブロック単位で輝度を検出し、各単位部分の輝度を輝度閾値Ｌobj0（図６（ａ）、図７（ａ）参照）と比較し、画像内で輝度閾値Ｌobj0を超える単位部分の情報を得る。この単位部分の情報には、位置情報の他に輝度パラメータ（図６（ａ）、図７（ａ）参照）の情報が含まれる。

動き量比較処理部１３２には、上述した映画コンテンツに係る２４Ｈｚの画像に対応した映像信号ＳＶａが入力される。動き量比較処理部１３２は、フレーム毎に、所定単位、例えばマクロブロック単位で動きベクトルを検出し、各単位部分の動き量を動き量閾値Ｍobj0（図６（ｂ）、図７（ｂ）参照）と比較し、画像内で動き量閾値Ｍobj0を超える単位部分の情報を得る。この単位部分の情報には、動きベクトル、動き量（動きベクトルの大きさ）の他に動きパラメータ（図６（ｂ）、図７（ｂ）参照）の情報が含まれる。

対象オブジェクト検出処理部１３３には、フレーム毎に、輝度比較処理部１３１で得られる画像内で輝度閾値Ｌobj0を超える単位部分の情報が供給されると共に、動き量比較処理部１３２で得られる画像内で動き量閾値Ｍobj0を超える単位部分の情報が供給される。対象オブジェクト検出処理部１３３は、上述のように供給される情報に基づいて、フレーム毎に、画像内に存在する、輝度閾値Ｌobj0を超える輝度を持つと共に動き量閾値Ｍobj0を超える動き量を持つオブジェクト（図４、図５の例では動き量の大きな高輝度オブジェクトに相当する）を、対象オブジェクトとして検出する。なお、オブジェクト検出の手法は、詳細説明は省略するが、例えば従来周知のいずれの手法を用いてもよい。

補間画像挿入処理部１３４には、対象オブジェクト検出処理部１３３で検出された各対象オブジェクトの情報が供給される。この情報には、対象オブジェクトの位置情報、動きベクトル、輝度パラメータ、動きパラメータの情報が含まれる。また、この補間画像挿入処理部１３４には、上述した映画コンテンツに係る２４Ｈｚの画像に対応した映像信号ＳＶａも入力される。

補間画像挿入処理部１３４は、２４Ｈｚのフレームレートの連続する２フレームの間に、４フレームの補間画像を挿入して、１２０Ｈｚの画像を得、この１２０Ｈｚの画像に対応した映像信号ＳＶｂを出力する。この場合、補間画像挿入処理部１３４は、各対象オブジェクトの情報に基づいて、４フレームの補間画像においては、対象オブジェクトだけを順次移動する動き補償を行う（図４、図５参照）。

また、この場合、補間画像挿入処理部１３４は、例えば、予めの設定により、図６（ｃ）に示す動き補償、または図７（ｃ）に示すような動き補償をする。図６（ｃ）に示すような動き補償では、対象オブジェクトに対して、輝度パラメータと動き量パラメータを掛けた値の大小によらず、常に最大の移動量となる動き補償がされる（図８（ａ）参照）。これに対して、図７（ｃ）に示す動き補償では、輝度パラメータと動き量パラメータを掛けた値が大きくなるにつれて移動量が大きくなっていく動き補償がされる（図８（ｃ）→（ｂ）→（ａ）参照）。

なお、フレームレート変換部１０３の各部の処理の一部または全部を、コンピュータによるソフトウェア処理で行うこともできる。

図９に戻って、パネル駆動部１０４は、フレームレート変換部１０３で得られる１２０Ｈｚの画像に対応した映像信号ＳＶｂに基づいて表示パネル１０５を駆動し、表示パネル１０５
に、１２０Ｈｚの画像を表示させる。表示パネル１０５は、液晶表示パネル、有機ＥＬ表示パネル、ＣＬＥＤ(Crystal LED)パネル等である。この表示パネル１０５は、例えば、４Ｋサイズあるいは８Ｋサイズ等の表示パネルである。

図９に示すテレビ受信機１００の動作を簡単に説明する。映像入力部１０１では、放送信号の受信、通信、あるいはストレージ（ディスク）再生により、映画コンテンツに係る２４Ｈｚの画像に対応した映像信号が取得されて、画質調整部１０２に供給される。画質調整部１０２では、２４Ｈｚの画像に対応した映像信号に対して、明るさ、コントラスト、シャープネス等の画質調整処理が行われる。画質調整処理が行われた後の映像信号ＳＶａは、フレームレート変換部１０３に供給される。

フレームレート変換部１０３では、画質調整部１０２から出力される映像信号ＳＶａに対して、フレームレートを２４Ｈｚから１２０Ｈｚに変換する処理が行われて、１２０Ｈｚの画像に対応した映像信号ＳＶｂが得られる。この場合、２４Ｈｚのフレームレートの連続する２フレームの間に、４フレームの補間画像を挿入して、１２０Ｈｚの画像が得られる。ここで、４フレームの補間画像においては、輝度閾値Ｌobj0を超える輝度を持つと共に動き量閾値Ｍobj0を超える動き量を持つ対象オブジェクトだけ、順次移動する動き補償が行われる。

フレームレート変換部１０３で得られる１２０Ｈｚの画像に対応した映像信号ＳＶｂは、パネル駆動回路１０４に供給される。パネル駆動部１０４では、映像信号ＳＶｂに基づいて表示パネル１０５を駆動することが行われ、表示パネル１０５に、映画コンテンツに係る１２０Ｈｚの画像が表示される。

上述したように、図９に示すテレビ受信機１００において、フレームレート変換部１０３では、２４Ｈｚの連続する２フレームの画像の間に、輝度閾値を超える輝度および動き量閾値を越える動き量を持つオブジェクトである対象オブジェクトだけを順次移動する動き補償を行って得られた４フレームの補間画像を挿入して、１２０Ｈｚの画像を得るものである。そのため、高輝度・高コントラストのテレビであっても、映画コンテンツの画像を、ジャダーが目立つことがなく、適切なジャダーを残した状態で良好に表示できる。

＜２．変形例＞
なお、上述実施の形態においては、輝度閾値を超える輝度および動き量閾値を越える動き量を持つオブジェクトを、動き補償を行う対象オブジェクトとしているが、輝度閾値を超える輝度を持つオブジェクト、あるいは動き量閾値を越える動き量を持つオブジェクトを、動き補償を行う対象オブジェクトとすることも考えられる。

また、上述実施の形態においては、オブジェクトとのサイズを考慮せずに、動き補償を行う対象オブジェクトを決定するものであったが、サイズ閾値を越えるサイズを持つオブジェクトのみを動き補償を行う対象オブジェクトとすることも考えられる。

また、上述していないが、ユーザが画質モードの設定で映画モードを設定した場合、または自動モードで映画コンテンツを検出した場合に、上述した本技術におけるフレームレート変換が適用可能である。

また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、本技術は、以下のような構成を取ることもできる。
（１）第１のフレームレートの画像に基づいて、フレーム毎に、輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つオブジェクトを対象オブジェクトとして検出する対象オブジェクト検出処理部と、
上記第１のフレームレートの連続する２フレームの画像の間に、上記対象オブジェクトを順次移動する動き補償を行って得られた所定フレーム数の補間画像を挿入して、上記第１のフレームレートより大きな第２のフレームレートの画像を得る補間画像挿入処理部を備える
画像処理装置。
（２）上記輝度閾値は、上記第１のフレームレートの画像においてジャダーが気にならないオブジェクトの輝度の最大値である
前記（１）に記載の画像処理装置。
（３）上記動き量閾値は、上記第１のフレームレートの画像においてジャダーが気にならないオブジェクトの動き量の最大値である
前記（１）または（２）に記載の画像処理装置。
（４）上記輝度閾値および上記動き量閾値は、環境に応じて変化する変数である
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記補間画像挿入処理部は、上記所定数の補間画像における上記対象オブジェクトの移動量を、上記対象オブジェクトの輝度および/または動き量に応じて変化させる
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）上記第１のフレームレートの画像は、２４Ｈｚの映画コンテンツの画像である
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）上記第２のフレームレートは、１２０Ｈｚの画像である
前記（６）に記載の画像処理装置。
（８）上記第２のフレームレートの画像を表示する表示パネルをさらに備える
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）上記表示パネルは、４Ｋサイズまたは８Ｋサイズの表示パネルである
前記（８）に記載の画像処理装置。
（１０）上記第１のフレームレートの画像は、放送信号を受信することで得られる、ストレージから再生されて得られる、または通信により得られる
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）上記対象オブジェクト検出処理部は、上記輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つと共にさらにサイズ閾値を越えるサイズを持つオブジェクトを、上記対象オブジェクトとして検出する
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）第１のフレームレートの画像に基づいて、フレーム毎に、輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つオブジェクトを対象オブジェクトとして検出する手順と、
上記第１のフレームレートの連続する２フレームの画像の間に、上記対象オブジェクトを順次移動する動き補償を行って得られた所定フレーム数の補間画像を挿入して、上記第１のフレームレートより大きな第２のフレームレートの画像を得る手順を有する
画像処理方法。

１００・・・テレビ受信機
１０１・・・映像入力部
１０２・・・画質調整部
１０３・・・フレームレート変換部
１０４・・・パネル駆動部
１０５・・・表示パネル
１３１・・・輝度比較処理部
１３２・・・動き量比較処理部
１３３・・・対象オブジェクト検出処理部
１３４・・・補間画像挿入処理部

Claims

第１のフレームレートの画像ストリームの各フレームについて、輝度および動き量に応じて対象オブジェクトを検出する対象オブジェクト検出部と、
上記第１のフレームレートの画像ストリームの連続するフレームの間に、上記対象オブジェクトの動き補償を行って所定フレーム数の補間画像を挿入して、上記第１のフレームレートよりも大きな第２のフレームレートの画像ストリームを得る補間画像挿入部を備え、
上記補間画像挿入部は、上記対象オブジェクトの動き量で決まる最大動き量を持つ上記所定フレーム数の補間画像における上記対象オブジェクトの動き量を、上記対象オブジェクトの輝度および動き量に応じて変化させる
画像処理装置。
上記補間画像挿入部は、上記所定フレーム数の補間画像における上記対象オブジェクトの移動量を、上記対象オブジェクトの輝度に対応した輝度パラメータと上記対象オブジェクトの動き量に対応した動き量パラメータとの乗算値に応じて変化させる
請求項１に記載の画像処理装置。
上記対象オブジェクト検出部は、上記第１のフレームレートの画像ストリームの各フレームについて、上記第１のフレームレートの画像ストリームにおいてジャダーが気にならないオブジェクトの輝度の最大値である輝度閾値に従って上記対象オブジェクトを検出する
請求項１に記載の画像処理装置。
上記対象オブジェクト検出部は、上記第１のフレームレートの画像ストリームの各フレームについて、上記第１のフレームレートの画像においてジャダーが気にならないオブジェクトの動き量の最大値である動き量閾値に従って上記対象オブジェクトを検出する
請求項１に記載の画像処理装置。
上記対象オブジェクト検出部は、上記第１のフレームレートの画像ストリームの各フレームについて、環境に応じて変化する変数である輝度閾値および動き量閾値のそれぞれに従って上記対象オブジェクトを検出する
請求項１に記載の画像処理装置。
上記第１のフレームレートの画像ストリームは、２４Ｈｚの映画コンテンツの画像ストリームである
請求項１に記載の画像処理装置。
上記第２のフレームレートの画像ストリームは、１２０Ｈｚの画像ストリームである
請求項６に記載の画像処理装置。
上記第２のフレームレートの画像ストリームを表示する表示パネルをさらに備える
請求項１に記載の画像処理装置。
上記表示パネルは、４Ｋサイズまたは８Ｋサイズの表示パネルである
請求項８に記載の画像処理装置。
上記第１のフレームレートの画像ストリームは、放送信号を受信することで得られる、ストレージから再生されて得られる、または通信により得られる
請求項１に記載の画像処理装置。
上記対象オブジェクト検出部は、輝度閾値を超える輝度および/または動き量閾値を越える動き量を持つと共にさらにサイズ閾値を越えるサイズを持つオブジェクトを、上記対象オブジェクトとして検出する
請求項１に記載の画像処理装置。
第１のフレームレートの画像ストリームの各フレームについて、輝度および動き量に応じて対象オブジェクトを検出する手順と、
上記第１のフレームレートの画像ストリームの連続するフレームの間に、上記対象オブジェクトの動き補償を行って所定フレーム数の補間画像を挿入して、上記第１のフレームレートよりも大きな第２のフレームレートの画像ストリームを得る手順を有し、
上記第２のフレームレートの画像ストリームを得る手順では、上記対象オブジェクトの動き量で決まる最大動き量を持つ上記所定フレーム数の補間画像における上記対象オブジェクトの動き量を、上記対象オブジェクトの輝度および動き量に応じて変化させる
画像処理方法。