JP2016201812A - 画像選択表示方法および装置 - Google Patents

Abstract

【課題】フォーカスされた位置の異なる複数の画像から、人の生体信号に応じて画像を検索し表示できるようにする。
【解決手段】人が見るという行為において視神経に伝達される値を元に、カメラ写真及びＣＧ画像上の位置座標またはオブジェクトにフォーカスされた画像を検索し表示する、または脳でイメージしたオブジェクトを脳波等で特定し、その物体にフォーカスされた画像を検索表示する。
【選択図】図１

Description

本発明は、画像選択表示方法および装置に係り、特に、同一の対象を表示する画像であって、フォーカス位置（焦点位置）が異なる複数の画像から画像を選択するものに関する。

この種の従来例として、特許文献１がある。特許文献１では、１回のレリーズ操作に応じて焦点位置を多段階または無段階に変更し、変更された互いに異なる複数の焦点位置における被写体像について画像データを生成し、これにより、撮影後において合焦範囲を任意に変更可能としている。

特開２００３−１４３４６１号公報

本発明では、同一の対象を表示する画像であって、ピントの合っている位置が異なる複数の画像から、人の生体信号に応じて画像を選択し表示できるようにすることを課題とする。

この課題を解決するため、本発明では、以下の構成を採っている。

本発明では、人が見るという行為において視神経に伝達される値を生体信号として取得し、この生体信号に基づいて、カメラ写真またはＣＧ画像上の位置座標またはオブジェクトにフォーカスされた画像を検索し表示する。
また、本発明では、脳でイメージしたオブジェクトを脳波等の生体信号により特定し、当該生体信号に基づいて、そのオブジェクトにフォーカスされた画像を検索し表示する。

ここで、本発明は、カメラ写真だけでなくＣＧ画像も対象とする。カメラ写真の場合、画像上のフォーカスされた位置座標またはオブジェクトは、その写真を撮影した時の光学系のフォーカス位置に応じて異なる。フォーカス位置は、焦点位置、ピント位置、フォーカス距離とも呼ばれる。一方、ＣＧ画像の場合、画像上のフォーカスされた位置座標またはオブジェクトとは、ぼけて表示される部分とシャープに表示される部分とを含む画像においてシャープに表示される部分の位置座標またはオブジェクトをいうものとする。画像上のフォーカスされた位置座標とは、画像平面内のピクセル位置を表す座標であり、複数の座標によって特定される矩形範囲を含むものとする。

本発明によれば、同一の対象を表示する画像であって、ピントの合っている位置が異なる複数の画像から、人の生体信号に応じて画像を選択し表示することができる。

本発明の第１実施形態による構成図。 本発明の第２実施形態による構成図。 図２の画像記憶手段に格納されるデータの構造図。 本発明の第３実施形態による構成図。 本発明の第４実施形態による構成図。 本発明の第５実施形態による構成図。 本発明の第６実施形態による構成図。

［第１実施形態］
以下、本発明の第１実施形態を説明する。図１は第１実施形態である画像選択表示システムの構成図である。図１において、画像記憶手段１は、複数の画像ｉを記憶している。各画像ｉは、同一の対象を表示する画像であるが、各画像毎にピントの合っている位置が異なっている。例えば、同じ室内の様子を表示する複数の画像であるが、一の画像では、手前に見えるテーブルにピントが合っており、他の一の画像では、奥に見えるソファにピントが合っている、という具合である。ここでいう「ピントの合っている位置」とは、画像平面内のピントが合っている位置を意味し、ピクセルの座標によって特定される位置である。このピントの合っている位置を「フォーカスされた位置」と呼ぶことにする。

ただし、画像データｉは光学系を通じて撮影された写真画像に限らず、コンピュータによって制作されたＣＧ（Computer Graphics）画像でもよい。この場合、フォーカスされた位置とは、対象がぼけて表示される部分に対し、対象がシャープに表示される部分の位置をいうものとする。

また、画像ｉは、独立した静止画に限らず、動画のフレームでもよい。同一の対象を表示する映像であって、フォーカスされた位置の異なる複数の映像は、各フレームごとに、複数の画像ｉの組を持つと考えられる。

以上説明した画像ｉには、各画像ｉごとに、フォーカスされた位置ｐ１のデータが関連付けられている。例えば、テーブルにフォーカスされた画像ｉには、そのテーブルに対応するピクセルの位置座標が、フォーカスされた位置ｐ１として関連付けられる。同様に、ソファにフォーカスされた画像ｉには、そのソファに対応するピクセルの位置座標が、フォーカスされた位置ｐ１として関連付けられる。ここで、フォーカスされた位置は、ピクセルの一点の座標で表してもよいが、複数のピクセルの座標によって特定される座標範囲とする。ここでは、フォーカスされた位置ｐ１は、対角にある２点のピクセル座標によって特定される矩形範囲とする。中心点と半径によって特定される円の範囲をフォーカスされた位置としてもよい。

画像記憶手段１は、以上説明した画像ｉの画像データとフォーカスされた位置ｐ１のデータとを各画像ごとに関連付けて記憶している。以下、同一の対象を表示する複数の画像ｉの組を「画像セット」と呼ぶことにする。

また、図１に示す画像選択表示システムは、画像記憶手段１から読み出された画像ｉを表示する画像表示手段３と、この画像表示手段３に表示された画像ｉを見る者の画像平面上での視線の座標を入力する視線座標演算手段２とを有する。更に、この視線座標演算手段２から入力された視線の座標と前記フォーカスされた位置ｐ１とが適合する画像ｉを画像記憶手段１から読み出して画像表示手段３に表示する処理を繰り返す制御手段４を備えている。

視線座標演算手段２は、例えば、人の眼球運動量や脳波等に基づいて求めた画像平面上での視線の座標（注視点座標）を制御手段４に入力する。ここにいう画像平面とは、画像表示手段３に表示されている画像の画像平面である。この種の公知技術としては、特許第３２０１３３３号公報、特開平５−３３３９９５号公報、特開平９−３４６３１号公報、特開弊９−２１１５５７号公報などがある。視線位置入力手段２から入力する視線位置座標の有効値は、前記画像平面のピクセルの縦座標および横座標の範囲内とする。

画像表示手段３は、画像データに基づく画像を表示できる装置であればよい。例えば、液晶ディスプレイモニタである。

制御手段４は、制御回路または制御プログラムを実行するプロセッサである。制御手段４は、視線座標演算手段２から入力される視線の位置座標を取得し、この位置座標とフォーカスされた位置ｐ１とが適合する画像ｉのデータを画像記憶手段１から検索し、検索できた画像ｉのデータを画像記憶手段１から読み出す（視線座標マッチングＳ１）。次いで、制御手段４は、読み出した画像ｉのデータに基づく画像を画像表示手段３に表示する（適合画像表示Ｓ２）。このとき、画像を見る者にとっては、自己の視線を注いでいる位置でシャープな対象像を目にし、その周囲ではボケた対象像として見える。制御手段４は、以上のＳ１およびＳ２の処理を繰り返す。そうすると、見る者が視線を動かすことにより、その視線の動きに合わせて対象像のシャープに見える部分も移動する。

このように、本実施形態によれば、画像を見る者が視線を動かしながら画像を見ると、常に視線を注いでいる位置にフォーカスされた画像が表示される。

［第２実施形態］
次に、本発明の第２実施形態を説明する。図２は、第２実施形態の構成図である。図２に示す画像選択表示システムでは、画像記憶手段１が、同一の対象を表示する前述の画像セットを、光学系の絞り値（画像の明るさ）毎に複数記憶している。また、画像を見る者（以下適宜「ユーザ」と呼ぶ）の選択により絞り値を選択する条件選択手段５を有する。そして、制御手段４は、条件選択手段５からの入力信号に応じて選択された絞り値に対応する画像セットから画像の読み出しを行う。本実施形態において、画像セットに含まれる複数の画像ｉは、カメラによって光学系を通じて撮影された写真画像または動画のフレーム画像であるとする。

また、画像記憶手段１は、同一の対象（被写体）を撮影した画像セットを光学系の焦点距離（対象の大きさ）毎に複数記憶している。条件選択手段５は、画像を見る者の意思により焦点距離を選択する機能も備える。そして、制御手段４は、条件選択手段５からの入力信号に応じて選択された焦点距離に対応する画像セットから画像の読み出しを行う。その他の構成は第１実施形態と同一である。

これを更に詳述すると、本実施形態において、画像記憶手段１に記憶されるデータの構造は例えば図３のようになっている。画像記憶手段１には、焦点位置と、画像ｉと、フォーカスされた位置ｐ１と、絞り値と、焦点距離とが関連付けて記憶されている。この例では、太枠で囲った３行ごとに一組の画像セットを構成している。画像セットは、同一の被写体を焦点位置を変えながら撮影した一組みの画像の束である。この画像セットが複数記憶されており、各画像セットが、絞り値と焦点距離の異なる設定により撮影されている。「焦点位置」は撮影時の光学系の焦点位置を１〜３の指数で示している。例示の便宜上、焦点位置を３点だけ示したが、実際には、焦点位置を無段階に変化させて多数の画像を撮影することが好ましい。「画像ｉ」は、撮影毎に異なる画像データとなるため、ｉ（１）〜ｉ（１８）のそれぞれ異なる符号で示した。「フォーカスされた位置ｐ１」のデータは、前述したように画像平面内のピントが合っている位置を表しており、光学系の焦点距離が異なる場合は、被写体の画角が異なることから、画像平面内のフォーカスされる位置も異なるものと想定し、ｐ１（１）〜ｐ１（９）の異なる符号を付した。一方、光学系の絞り値が違っても焦点距離が同じ場合は、フォーカスされる位置もほぼ同一であろうと想定し、ｉ（１０）〜ｉ（１８）の画像についてもフォーカスされた位置をｐ１（１）〜ｐ１（９）とした。「絞り値」は１または２の指数で異なる値を示した。もっと多くの絞り値において、画像セットの撮影を行うことが望ましい。「焦点距離」は１〜３の指数で異なる値を示した。もっと多くの焦点距離において、画像セットの撮影を行うことが望ましい。ここで、「焦点距離」は「ズーム倍率」に置き換えてもよい。この図３に示したものは例示にすぎない。焦点位置の数、絞り値の数、焦点距離の数は、この例に限らない。例えば、焦点距離は無段階にズームしながら多数の画像を撮影してもよい。

条件選択手段５としては幾つかの構成が考えられるが、一つは、物理的な入力装置をユーザが手動操作し、絞り値および焦点距離の選択信号を入力することが考えられる。また、ユーザの生体信号により絞り値および焦点距離の選択信号を入力する構成が考えられる。例えば、脳波により車両の運転を制御できる事例が知られており、同様にユーザの脳波により絞り値および焦点距離の選択信号を入力するように条件選択手段５を構成することが可能である。

制御手段４は、条件選択手段５からの入力信号に応じて選択された絞り値および焦点距離の値を条件パラメータとして記憶部に保持する。そして、視線座標マッチング処理Ｓ１においては、条件パラメータを満たす画像セットの中から視線の位置座標とフォーカスされた位置ｐ１とが適合する画像を読み出して画像表示手段３に表示する。例えば、条件パラメータとして、絞り値１、焦点距離２が指定されていれば、図３の上から２番目の画像セットの中から画像ｉの読み出しを行う。

このようにしても第１実施形態と同一の作用効果を奏するほか、絞り値や焦点距離を選択しながら画像を見ることができる。

ここで、本実施形態では、絞り値と焦点距離の両方を選択できる構成としたが、どちらか一方だけとしてもよい。

［第３実施形態］
次に、本発明の第３実施形態を図４に基づいて説明する。図４は、第３実施形態の構成図である。この図４に示す画像選択表示システムは、前述の実施形態における画像記憶手段１とは別に画像ｉを記憶する第１画像記憶手段６を備えている。本実施形態において、前述の画像記憶手段１は第２画像記憶手段１とする。第１画像記憶手段６と第２画像記憶手段１との間には、フォーカスされた位置の判定手段７を設ける。フォーカスされた位置の判定手段７は、第１画像記憶手段６から画像ｉを読み出し、読み出した画像ｉの画像平面内においてフォーカスされた位置ｐ１を判定し、判定した位置ｐ１を画像ｉに関連付けて第２の画像記憶手段１に格納する。その他の構成は第１実施形態と同一である。

第１画像記憶手段６に格納される画像ｉは、第１実施形態において画像記憶手段１に格納される画像ｉと同一である。フォーカスされた位置の判定手段７は、各画像ｉの画像平面内においてフォーカスされた位置ｐ１を判定し、各画像ｉとフォーカスされた位置ｐ１とを関連付けて第２画像記憶手段１に格納する。

フォーカスされた位置の判定手段７が位置ｐ１を判定する方法には、幾つか考えられる。
一つは、画像ｉをモニタに表示し、物理的な入力装置、例えばポインティングデバイスにより、人が目視により画像ｉのフォーカスされた位置ｐ１を指定する方法が考えられる。
また、画像の部分がボケているか否かの判定は、その部分と周囲との色の差（周囲の色と大きく違うほどくっきりしているか否か）により判定できることが一般的に知られている。その際、フーリエ変換を用いるが、コンピュータ処理によりＦＦＴ（Fast Fourier Transform：高速フーリエ変換）アルゴリズムでスペクトルを分析する。フォーカスされた位置の判定手段７は、このＦＦＴアルゴリズムを用いて画像ｉ内でフォーカスされた位置ｐ１を自動的に判定するように構成してもよい。ＦＦＴによるボケの判定は、画像をマトリクス領域に区分した各領域毎に行ってもよい。又は、画像に含まれるオブジェクトの輪郭抽出処理を行い、輪郭を抽出できたオブジェクトについて、そのオブジェクトの画像平面内の座標を対象としてボケの判定を行ってもよい。

このようにしても第１実施形態と同一の効果を奏するほか、画像ｉとフォーカスされた位置ｐ１とを関連付けた情報を生成することができる。
ここで、第２実施形態のように、画像ｉにカメラで撮影した場合の絞り値および焦点距離を関連付ける場合は、第１画像記憶手段６に画像ｉのデータを格納する時点で、予め絞り値および焦点距離の値を関連付けて格納しておけばよい。

また、本実施形態では、フォーカスされた位置の判定手段７を第２画像記憶手段１の前段に設け、第２画像記憶手段１に格納する画像ｉとフォーカスされた位置ｐ１との関連付けを事前に生成する構成としたが、判定手段７の機能を制御手段４に持たせ、制御手段４が視線座標マッチング処理Ｓ１を行う際に都度、各画像ｉのフォーカスされた位置ｐ１を判定する構成としてもよい。

［第４実施形態］
次に、本発明の第４実施形態を説明する。図５は、第４実施形態の構成図である。図５に示す画像選択表示システムは、第１画像記憶手段５に格納する画像ｉを撮影するための撮像装置Ｃを備えている。その他の構成は第３実施形態と同一である。

撮像装置Ｃは、撮影光学系と、この光学系を通った光を受光する撮像素子と、これら光学系と撮像素子との間に位置するシャッター機構と、光学系およびシャッター機構を駆動する駆動部とを備えている。また、駆動部の動作を制御する制御部と、この制御部に指示を入力する操作部と、各種情報を表示する表示部とを備えている。

制御部は、操作部の操作によりシャッターボタンが押されると、駆動部を駆動して撮影光学系のフォーカス位置を一端部から他端部まで無段階に変化させながら、同時にシャッター機構を駆動して被写体を連写する（以下これを「無段階フォーカス撮影」と呼ぶ）。そして、連写により得た多数の画像ｉを第１画像記憶手段６に格納する。この一回の撮影の間は光学系の絞り値と焦点距離は固定し、各画像ｉには撮影時の絞り値と焦点距離の値とを関連付けて格納する。一回の撮影が終わると、制御部は、光学系の絞り値と焦点距離との組み合わせを変更しながら、無段階フォーカス撮影を繰り返し実行する。絞り値は、撮影装置Ｃが選択を許容するすべての絞り値について順次選択することが好ましい。また、焦点距離は、光学系が許容する範囲で焦点距離を無段階に変化させることが好ましい。

このようにしても第３実施形態と同一の効果を奏するほか、画像の撮影から画像セットの生成までを自動的に実行することができる。ここで、第１画像記憶手段６は、撮像装置Ｃの筺体内に収納されていてもよい。画像記憶手段１，６はデータを記憶できるメモリ媒体であれば種類を問わない。また、上記の説明は静止画を連写する構成を前提として記述したが、静止画を連写する代わりに動画を撮影し、撮影した動画の各フレームを各画像ｉとする構成にしてもよい。

［第５実施形態］
次に、本発明の第５実施形態を図６に基づいて説明する。本実施形態において、画像記憶手段１には、画像ｉのデータと、フォーカスされた位置ｐ２のデータとが関連付けられて、画像ごとに格納されている。本実施形態において、画像ｉは、複数のオブジェクトを表示する画像であり、そのうちの或るオブジェクトにフォーカスされている。つまり画像ｉは、フォーカスされたオブジェクトをシャープに表示し、その周囲や他のオブジェクトをぼかして表示する画像となっている。オブジェクトとは、画像に表れる物品、生物やキャラクタ等である。そして、各画像ｉごとに、フォーカスされたオブジェクトが異なっており、よって、各画像ｉごとに、フォーカスされた位置ｐ２が異なっている。ただし、各画像ｉは、第１実施形態等と同様に、同一の対象を表示する画像である。

フォーカスされた位置ｐ２は、フォーカスされたオブジェクトの画像平面内での位置を表す。本実施形態において、フォーカスされた位置ｐ２は、フォーカスされたオブジェクトの画像平面内での位置をピクセルの座標範囲で表したデータである。

制御手段４は、視線座標演算手段２から入力された注視点の座標が、フォーカスされた位置ｐ２の座標範囲に含まれる画像ｉのデータを画像記憶手段１から読み出す。これによると、注視点にあるオブジェクトにフォーカスされた画像ｉが読み出される（視線オブジェクトマッチングＳ１１）。

その他の構成は、第１実施形態と同一である。本実施形態によれば、視線を動かしながら画像を見ると、常に視線を注いでいるオブジェクトにフォーカスされた画像が表示される。

［第６実施形態］
次に、本発明の第６実施形態を図７に基づいて説明する。本実施形態において、画像記憶手段１には、画像ｉのデータと、脳波パターンｐ３のデータとが関連付けられて、画像ごとに記憶されている。各画像ｉは前述した第５実施形態と同一であり、複数のオブジェクトを表示する画像であって、画像ごとに異なるオブジェクトにフォーカスされている。脳波パターンｐ３は、画像を見る者がオブジェクトを脳にイメージした際に発生する脳波をパターン化したデータである。オブジェクトをイメージした際に発生する脳波のパターンは、イメージするオブジェクトによって異なる。そこで、ある画像ｉにおいてフォーカスされたオブジェクトと同じオブジェクトをイメージした際に発生した脳波のパターンｐ３をデータ化し、当該画像ｉに関連付けて記憶させておく。同様に、他の画像ｉについても、それぞれフォーカスされたオブジェクトに対応する脳波パターンｐ３を関連付けて記憶させておく。

制御手段４には、脳波パターン生成手段１２を接続する。脳波パターン生成手段１２は、オブジェクトを脳にイメージした者から生体信号としての脳波信号を取得し、取得した脳波信号をパターン化して制御手段４に入力する。脳波信号のパターン化には、画像記憶手段１に格納された脳波パターンｐ３を生成するのと同一のアルゴリズムを用いる。例えば、脳波信号を高速フーリエ変換し、周波数領域での特徴量のパターンをデータ化することが考えられる。

画像表示手段３に表示された画像に含まれるオブジェクトを、見る者が脳にイメージすると、そのオブジェクトのイメージに対応する脳波パターンが、脳波パターン生成手段１２から制御手段４に入力される。制御手段４は、脳波パターン生成手段１２から入力された脳波パターンと一致または類似する脳波パターンｐ３を関連付けられた画像ｉを画像記憶手段１から検索する（脳波オブジェクトマッチングＳ２１）。この結果、該当する画像ｉを検索できた場合は、当該画像ｉを画像記憶手段１から読み出して、画像表示手段３に画像ｉを表示する（適合画像表示Ｓ２）。これによると、見る者が脳にイメージしたオブジェクトにフォーカスされた画像が、画像表手段３に表示される。

制御手段４が、Ｓ２１およびＳ２の処理を繰り返すことにより常に、見る者が脳にイメージしたオブジェクトにフォーカスされた画像が画像表示手段３に表示される。

本発明は、以上説明した各実施形態の構成に限られない。また、上述した各実施形態の構成を組み合わせて実施することも可能である。

１ 画像記憶手段、第２画像記憶手段
２ 視線座標演算手段
３ 画像表示手段
４ 制御手段
５ 条件選択手段
６ 第１画像記憶手段
７ フォーカスされた位置の判定手段
Ｃ 撮像装置
ｉ 画像
ｐ１，ｐ２ フォーカスされた位置
ｐ３ フォーカスオブジェクト脳波パターン

Claims (6)

1. 同一の対象を表示する画像であって当該画像毎にフォーカスされた位置が異なり当該フォーカスされた位置を比較的シャープに表示すると共にその周囲を比較的ぼかして表示する複数の画像を画像セットとして予め記憶すると共に、前記画像毎に前記フォーカスされた位置を表す座標を予め関連付けて記憶する画像記憶部と、前記画像を見る者の当該画像平面における注視点座標を取得し、当該注視点座標と前記フォーカスされた位置の座標とが適合する画像を前記画像セットから選択し前記画像記憶部から読み出し、画像表示部に表示させる動作を、繰り返し実行する制御部と、を備えた画像選択表示装置。
2. 前記画像記憶部が、前記画像セットを絞り値毎に複数記憶し、前記制御部は、入力信号に応じて選択される絞り値を取得し、当該絞り値が対応する前記画像セットから前記画像を選択し前記画像記憶部から読み出す、請求項１に記載の画像選択表示装置。
3. 前記画像記憶部が、前記画像セットを焦点距離毎に複数記憶し、前記制御部は、入力信号に応じて選択される焦点距離を取得し、当該焦点距離が対応する前記画像セットから前記画像を選択し前記画像記憶部から読み出す、請求項１又は２に記載の画像選択表示装置。
4. 前記フォーカスされた位置が前記画像に表示される各オブジェクトに対応している、請求項１に記載の画像選択表示装置。
5. 同一の対象を表示する画像であって当該画像毎にフォーカスされた位置が異なり当該フォーカスされた位置を比較的シャープに表示すると共にその周囲を比較的ぼかして表示する複数の画像を画像セットとして予め記憶すると共に、前記画像毎に前記フォーカスされた位置を表す座標を予め関連付けて記憶する画像記憶部、を用いる画像選択表示方法であって、前記画像を見る者の当該画像平面における注視点座標を取得するステップと、当該注視点座標と前記フォーカスされた位置の座標とが適合する画像を前記画像セットから選択し前記画像記憶部から読み出し画像表示部に表示させるステップと、を繰り返し実行する画像選択表示方法。
6. 同一の対象を表示する画像であって当該画像毎にフォーカスされた位置が異なり当該フォーカスされた位置を比較的シャープに表示すると共にその周囲を比較的ぼかして表示する複数の画像を画像セットとして予め記憶すると共に、前記画像毎に前記フォーカスされた位置を表す座標を予め関連付けて記憶する画像記憶部、を用いる画像選択表示プログラムであって、前記画像を見る者の当該画像平面における注視点座標を取得する処理と、当該注視点座標と前記フォーカスされた位置の座標とが適合する画像を前記画像セットから選択し前記画像記憶部から読み出し画像表示部に表示させる処理と、をプロセッサに繰り返し実行させる画像選択表示プログラム。

Images