JP2009005152A - 画像処理装置 - Google Patents

Abstract

【課題】画像の視認性を向上させることを可能とする。
【解決手段】映像入力部１０２は映像の入力を受け付ける。微小移動体探索部１０５は映像入力部１０２が入力を受け付けた映像内の、微小移動体が含まれている映像領域である微小移動体領域を特定する。微小移動体領域変換部１０６は微小移動体探索部１０５で特定された微小移動体領域を拡大した拡大微小移動体映像を生成する。映像生成部１０７は映像変換部１０３が生成した変換映像に、微小移動体領域変換部１０６が生成した拡大微小移動体映像を合成した合成映像を生成する。
【選択図】図１

Description

本発明は、微小移動体の画像を処理することが可能な画像処理装置に関する。

従来、動画の表示方法として、特定領域を拡大し、その周囲の領域を縮小して表示する表示方法が知られている（例えば特許文献１参照）。また、指定した関心領域をズーミングして撮像し、ズーミングして撮像した関心領域と全体画像とを合成する方法も知られている（例えば特許文献２参照）。また、動画像を周波数解析して注目位置を認識し、拡大範囲を決定して、決定した範囲の拡大表示を行う方法も知られている（例えば特許文献３参照）。
特開平７−３３４６６５号公報 特開２００３−３４８４３１号公報 特開２００５−２９２６９１号公報

しかし、特許文献１に記載の技術では、特定領域が矩形の場合には意図どおりに表示できるが、特定領域が球形領域のように矩形でない場合には画像に破綻が生じてしまうという問題がある。また、特許文献２に記載の技術では関心領域が静止物の場合にはうまくいくが、微小移動体のように移動する場合には関心領域を指定することは困難であるという問題がある。また、特許文献３に記載の技術では、映像を一律に拡大表示すると、元映像の表示範囲が狭まり、全体を把握することができないという問題がある。

本発明は、上記の問題を解決するためになされたものであり、画像の視認性を向上させることが可能な画像処理装置を提供することを目的とする。

本発明は、映像の入力を受け付ける映像入力部と、前記映像入力部が入力を受け付けた前記映像内の、微小移動体が含まれている映像領域である微小移動体領域を特定する微小移動体探索部と、前記微小移動体探索部が特定した前記微小移動体領域を拡大した拡大微小移動体映像を生成する微小移動体領域変換部と、前記映像変換部が生成した前記変換映像に、前記微小移動体領域変換部が生成した前記拡大微小移動体映像を合成した合成映像を生成する映像生成部と、を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置は、ユーザから前記微小移動体領域の拡大要求を受け付ける拡大要求部をさらに備え、前記微小移動体探索部は、前記拡大要求部が前記拡大要求を受け付けた場合に前記微小移動体領域を探索することを特徴とする。

また、本発明の画像処理装置は、前記出力先の表示画面のサイズおよび画素数に基づいて前記微小移動体領域の拡大倍率を算出する最小サイズ算出部をさらに備え、前記微小移動体領域変換部は、前記最小サイズ変換部が算出した前記拡大倍率に基づいて前記拡大微小移動体映像を生成することを特徴とする。

また、本発明の画像処理装置は、観察者の目と表示画面との距離である視聴距離を推定する視聴距離推定部をさらに備え、前記最小サイズ算出部はさらに、前記視聴距離推定部が推定した前記視聴距離に基づいて前記微小移動体領域の拡大倍率を算出することを特徴とする。

また、本発明の画像処理装置は、前記映像を撮像する撮像部をさらに備え、前記映像入力部は、前記撮像部が撮像した前記映像の入力を受け付けることを特徴とする。

また、本発明の画像処理装置は、前記微小移動体の情報を記憶するデータベースをさらに備え、前記微小移動体探索部は前記データベースが記憶する前記情報に基づいて前記微小移動体領域を特定することを特徴とする。

本発明によれば、映像全体の表示範囲を保ったまま、映像内に表示される微小移動体を特定し、微小移動体を拡大して表示することにより画像の視認性を向上させることができる。

[第１の実施の形態]
以下、図面を参照し、本発明の第１の実施の形態を説明する。図１は本実施形態による画像処理装置の構成を示している構成図である。画像処理装置１は変換倍率算定部１０１と、映像入力部１０２と、映像変換部１０３と、ブースト指令部１０４（拡大要求部）と、微小移動体探索部１０５と、微小移動体領域変換部１０６と、映像生成部１０７と、映像表示部１０８とを備える。

変換倍率算定部１０１は、映像入力部１０２が入力を受け付けた入力映像を、表示用の表示映像に倍率変換する際に、入力映像の解像度と表示画面の画素数とに基づいて入力映像を拡大・縮小する変換倍率を算定する。映像入力部１０２は、入力映像の入力を受け付ける。映像変換部１０３は、変換倍率算定部４０１が算定した変換倍率に基づいて入力映像を拡大・縮小して表示映像に変換する。ブースト指令部１０４はボタン（ブースト表示ボタン）を備え、ブースト表示ボタンを介し、ユーザより微小移動体領域の拡大を行う命令を受け付ける。微小移動体は、例えばテニスやゴルフなどのボールのように移動する小さな物体である。微小移動体探索部１０５は、入力映像内の微小移動体の画像領域（微小移動体領域）を探索する。微小移動体領域変換部１０６は、微小移動体探索部１０５が認識した微小移動体領域を入力映像より切り出し、拡大する。映像生成部１０７は微小移動体領域変換部１０６が拡大した微小移動体領域を、映像変換部１０３が変換した表示映像に上書きした上書き映像を生成する。映像表示部１０８は、映像生成部１０７が生成した上書き映像を表示画面上に出力する。

また、本実施形態の画像処理装置１はテレビ受像機やビデオカメラなどに用いられる。
図２は本実施形態による画像処理装置を用いたテレビ受像機の構成を示している構成図である。テレビ受像機は、映像受信部１１０と、画像処理装置１とを備える。映像受信部１１０は、テレビ放送用の電波より映像を受信する。画像処理装置１の映像入力部１０２は、映像受信部１１０が受信した映像の入力を受け付ける。その他の動作は前述と同様である。

図３は本実施形態による画像処理装置を用いたビデオカメラの構成を示している構成図である。ビデオカメラは、撮像部１１１と、画像処理装置１とを備える。撮像部１１１は、映像を撮像する。画像処理装置１の映像入力部１０２は、撮像部１１１が撮像した映像の入力を受け付ける。その他の動作は前述と同様である。

次に、図４を適宜参照して処理の流れについて説明する。図４は本実施形態での処理の流れを示した図である。はじめに、変換倍率算定部１０１は映像入力部１０２が入力を受け付けた入力映像の解像度と、表示画面の大きさおよび画素数とに基づいて入力映像を拡大・縮小する変換倍率を算定し（ステップＳ２０１）、ステップＳ２０２に進む。変換倍率の算出方法は、従来行われている、画像を表示画面に表示する方法と同様である。ステップＳ２０２では、微小移動体探索部１０５は入力映像を読み込み、ステップＳ２０３に進む。ステップＳ２０３では、映像変換部１０３は、ステップＳ２０２で読み込んだ入力画像を、ステップＳ２０１で算定した変換倍率に基づいて表示映像に変換し、ステップＳ２０４に進む。ステップＳ２０４では、ブースト指令部１０４はブースト表示ボタンが押されたか否か判断する。押されたと判断した場合ステップＳ２０５に進み、押されていないと判断した場合はステップＳ２０９に進む。

ステップＳ２０５では、微小移動体探索部１０５は、入力映像内の微小移動体領域を探索し、ステップＳ２０６に進む。ステップＳ２０６では、微小移動体探索部１０５は微小移動体を発見したか否か判断する。微小移動体を発見したと判断した場合ステップＳ２０７に進み、発見していないと判断した場合ステップＳ２０９に進む。ステップＳ２０７では、微小移動体領域変換部１０６は、微小移動体探索部１０５が認識した微小移動体領域を入力映像より切り出し、一段階大きなサイズに拡大し、ステップＳ２０８に進む。例えば、一段階大きなサイズとしては、拡大前のサイズを１０％拡大したサイズとする。ステップＳ２０８では、ステップＳ２０３で変換された表示映像の微小移動体領域に、ステップＳ２０７で拡大された入力映像を上書きして上書き映像を生成する。その後ステップＳ２０９に進む。

ステップＳ２０９では、上書き映像もしくは表示映像を表示し、ステップＳ２１０に進む。上書き映像がある場合は上書き映像を表示し、上書き映像がない場合は表示映像を表示する。ステップＳ２１０では、視聴もしくは撮影を続ける場合は、ステップＳ２０２へ戻る。終了する場合は終了する。

上述したとおり、本実施形態では微小移動体を認識し、微小移動体領域のみを相対的に拡大して、映像全体の表示範囲を保ったまま、拡大した微小移動体領域を元の映像に上書きした映像を生成するため、例えば、野球、テニス、ゴルフなどのスポーツ映像中のボールや天体観測における流れ星などの微小移動体の視認性を向上させることができる。

[第２の実施の形態]
次に、図面を参照し、本発明の第２の実施形態を説明する。図５は本発明の第２の実施形態による画像処理装置の構成を示している構成図である。画像処理装置は変換倍率算定部３０１と、映像入力部３０２と、映像変換部３０３と、データベース３０４と、微小移動体探索部３０５と、微小移動体領域変換部３０６と、映像生成部３０７と、映像表示部３０８と、目と画面との距離推定部３０９（視聴距離推定部）と、視認可能領域の最小サイズ算出部３１０（最小サイズ算出部）とを備える。

変換倍率算定部３０１、映像入力部３０２、映像変換部３０３、微小移動体探索部３０５、微小移動体領域変換部３０６、映像生成部３０７、映像表示部３０８は第１の実施の形態と同様である。データベース３０４は微小移動体の情報を記憶する。目と画面との距離推定部３０９は、観察者（視聴者または撮影者）の目と画面との距離を推定する。視認可能領域の最小サイズ算出部３１０は、表示画面のサイズや画素数、目と画面との距離推定部３０９で推定した距離とに基づいて、従来技術を使用し視認可能な領域サイズを算出する。

ここで、視認可能領域の最小サイズ算出部３１０での視認可能な領域の最小サイズの算出方法の一例を説明する。画素ピッチをＰ、画面と観察者の目との距離をＤ、観察者の視力をＣとすると、視認可能な領域の最小サイズＳは以下の式で算出することができる。
１／Ｃ≦６０×５７．３×Ｐ×Ｓ／Ｄ
つまり、
Ｓ≧Ｄ／（Ｃ×Ｐ×６０×５７．３）
となる。

また、本実施形態の画像処理装置３はテレビ受像機やビデオカメラなどに用いられる。図６は本実施形態による画像処理装置３を用いたテレビ受像機の構成を示している構成図である。テレビ受像機は、映像受信部３２０と、画像処理装置３とを備える。映像受信部３２０は、テレビ放送用の電波より映像を受信する。画像処理装置３の映像入力部３０２は、映像受信部３２０が受信した映像の入力を受け付ける。その他の動作は前述と同様である。

図７は本実施形態による画像処理装置３を用いたビデオカメラの構成を示している構成図である。ビデオカメラは、撮像部３２１と、画像処理装置３とを備える。撮像部３２１は、映像を撮像する。画像処理装置３の映像入力部３０２は、撮像部３２１が撮像した映像の入力を受け付ける。その他の動作は前述と同様である。

以下、上式を用いて、具体的な数値計算例をいくつか示す。本例では観察者の視力を０．５と設定する。
モバイル液晶の例では、画素ピッチＰ＝０．１２６ｍｍ、画面と観察者の目との距離Ｄ＝４００ｍｍとするとＳ≧１．８４であるため、視認可能な領域のサイズＳは２×２となる。
ＰＣ用のＴＦＴ液晶の例では、画素ピッチＰ＝０．２６４ｍｍ、画面と観察者の目との距離Ｄ＝８００ｍｍとするとＳ≧１．７６であるため、視認可能な領域のサイズＳは２×２となる。
３２型液晶テレビの例では、画素ピッチＰ＝０．５１ｍｍ、画面と観察者の目との距離Ｄ＝２４００ｍｍとするとＳ≧２．７９であるため、視認可能な領域のサイズＳは３×３となる。

次に、図８を適宜参照して処理の流れについて説明する。図８は第２の実施形態での処理の流れを示した図である。はじめに、目と画面との距離推定部３０９は観察者の目と表示画面との距離を推定し（ステップＳ４０１）ステップＳ４０２に進む。例えば、推定方法はリモコンに距離測定用の赤外線送受信装置を備え、リモコンと表示画面間の距離を測定する方法でも良い。ステップＳ４０２では視認可能領域の最小サイズ算出部３１０は、ステップＳ４０１で推定した観察者の目と表示画面との距離と、表示画面のサイズと、画素数とに基づいて、視聴可能な領域の最小サイズを算出し、ステップＳ４０３に進む。算出方法は前述の通りである。ステップＳ４０３以降の処理は、第１の実施の形態の同内容のステップと同一の処理である。ただし、ステップＳ４０８の微小移動体を視認可能な領域の最小サイズ以上の大きさに変換するステップでは、ステップＳ４０２で算出した視聴可能な領域の最小サイズに基づいて微小移動体を拡大する。例えば、微小移動体のサイズが１×１であり、最小サイズが３×３である場合、微小移動体領域変換部３０６は微小移動体のサイズを３×３に変換する。

上述したとおり、本実施形態では観察者の目と表示画面との距離を推定し、観察者が認識可能な領域の最小サイズを算出し、微小移動体領域のみを、算出した認識可能な領域の最小サイズより大きく拡大することができる。

なお、微小移動体探索部３０５において微小移動体を探索する際に、予めデータベース３０４に記憶している情報を探索に使用することも可能である。例えば、データベース３０４は球技名とその球技に使用するボールの色、形状を予め記憶している。映像入力部３０１は映像の入力と共に、入力される映像はテニスであるとの情報を、放送番組名もしくは明示的な指定により受け付ける。続いて、微小移動体探索部３０５は、テニスにおける微小移動体の情報である「黄色の球体」をデータベース３０４より取得し、取得した「黄色の球体」を手掛かりに微小移動体を探索することが可能である。

また、撮像部をさらに備え、映像入力部３０２は撮像部が撮像した画像の入力を受け付け、撮像対象を表示するモニタに対し映像表示部３０８が映像を出力する構成とすることで、ビデオカメラ、デジタルカメラ、携帯カメラとして本発明を実施することも可能である。例えば、球技のシーンを撮影する場合、表示部から出力される画像を液晶ファインダーや液晶モニタ上で確認するため、撮影者は全体シーンと拡大されたボールとの両方を確認することができる。これにより拡大されたボールの映像が液晶ファインダーや液晶モニタ上に映るため、ボールの動きが確認しやすくなる。

また、目と画面との距離推定部３０９を備える代わりに、予め観察者の目と画面との距離を固定値することも可能である。例えば、携帯機器は主に手に持って使用するので、観察者の目と画面との距離を３０ｃｍから５０ｃｍとすることも可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施の形態による画像処理装置の構成を示している構成図である。 本発明の第１の実施の形態による画像処理装置を用いたテレビ受像機の構成を示している構成図である。 本発明の第１の実施の形態による画像処理装置を用いたビデオカメラの構成を示している構成図である。 本発明の第１の実施の形態による処理の流れを示した図である。 本発明の第２の実施の形態による画像処理装置の構成を示している構成図である。 本発明の第２の実施の形態による画像処理装置の構成を用いたテレビ受像機の構成を示している構成図である。 本発明の第２の実施の形態による画像処理装置の構成を用いたビデオカメラの構成を示している構成図である。 本発明の第２の実施の形態による処理の流れを示した図である。

符号の説明

１,３・・・画像処理装置、１０１，３０１・・・変換倍率算定部、１０２，３０２・・・映像入力部、１０３，３０３・・・映像変換部、１０４・・・ブースト指令部、１０５，３０５・・・微小移動体探索部、１０６，３０６・・・微小移動体領域変換部、１０７，３０７・・・映像生成部、１０８，３０８・・・映像表示部、１１０,３２０・・・映像入力部、１１１，３２１・・・撮像部、３０４・・・データベース、３０９・・・目と画面との距離推定部、３１０・・・視認可能領域の最小サイズ算出部

Claims (6)

1. 映像の入力を受け付ける映像入力部と、
   前記映像入力部が入力を受け付けた前記映像内の、微小移動体が含まれている映像領域である微小移動体領域を特定する微小移動体探索部と、
   前記微小移動体探索部が特定した前記微小移動体領域を拡大した拡大微小移動体映像を生成する微小移動体領域変換部と、
   前記映像変換部が生成した前記変換映像に、前記微小移動体領域変換部が生成した前記拡大微小移動体映像を合成した合成映像を生成する映像生成部と、
   を備えたことを特徴とする画像処理装置。
2. ユーザから前記微小移動体領域の拡大要求を受け付ける拡大要求部
   をさらに備え、
   前記微小移動体探索部は、前記拡大要求部が前記拡大要求を受け付けた場合に前記微小移動体領域を探索する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記出力先の表示画面のサイズおよび画素数に基づいて前記微小移動体領域の拡大倍率を算出する最小サイズ算出部
   をさらに備え、
   前記微小移動体領域変換部は、前記最小サイズ変換部が算出した前記拡大倍率に基づいて前記拡大微小移動体映像を生成する
   ことを特徴とする請求項１または請求項２のいずれか一項に記載の画像処理装置。
4. 観察者の目と表示画面との距離である視聴距離を推定する視聴距離推定部
   をさらに備え、
   前記最小サイズ算出部はさらに、前記視聴距離推定部が推定した前記視聴距離に基づいて前記微小移動体領域の拡大倍率を算出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記映像を撮像する撮像部
   をさらに備え、
   前記映像入力部は、前記撮像部が撮像した前記映像の入力を受け付ける
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記微小移動体の情報を記憶するデータベース
   をさらに備え、
   前記微小移動体探索部は前記データベースが記憶する前記情報に基づいて前記微小移動体領域を特定する
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
   
   

Images