JP2019200312A - 表示制御装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】表示装置のダイナミックレンジに応じて、表示対象の画像ファイルに基づく画像の表示出力を行う。【解決手段】表示対象の画像ファイルを解析しＳ３０１、画像ファイルに含まれる主画像のダイナミックレンジと異なるダイナミックレンジの副画像の画像データが含まれるか否か判定し、表示装置が主画像のダイナミックレンジに対応する場合には、主画像の画像データを表示装置に出力し、表示装置が、主画像のダイナミックレンジに対応せず、副画像の画像データが含まれ、且つ、副画像のダイナミックレンジが表示装置が表示可能なダイナミックレンジに対応する場合には、副画像の画像データを表示装置に出力するＳ３０５。そして、表示装置が、画像ファイルの主画像のダイナミックレンジに対応せず、且つ、画像ファイルに副画像の画像データが含まれない場合、主画像の画像データのダイナミックレンジを変換しＳ３０６、表示装置に出力する。【選択図】図３

Description

本発明は表示制御装置及びその制御方法及びプログラムに関するものである。

デジタルカメラに代表される撮像装置は、撮像素子より得た画像データを圧縮符号化し、その符号化データをファイルとして記録媒体に記録する。

これまでの撮像装置における圧縮符号化前の画像データは、１００ｎｉｔｓの輝度レベルを上限とするＳＤＲ（Standard Dynamic Range）で表現されたものであった。しかし、近年の撮像装置は、輝度レベルの上限を１００００ｎｉｔｓ程度にまで拡張させたＨＤＲ（High Dynamic Range）画像を撮像し、記録媒体へ記録するようになってきた。

特許文献１には、ＨＤＲ画像をＨＤＲ非対応の表示装置に表示する際に、ＨＤＲ画像からＳＤＲ画像に輝度変換を行う再生装置について記載している。

特開２０１５−５８７８号公報

特許文献１には、ＨＤＲ画像のダイナミックレンジをＳＤＲのダイナミックレンジに変換し、ＨＤＲ非対応の表示部に表示すること記載されている。しかしながら、同じ被写体を表すＨＤＲ画像とＳＤＲ画像が両方記録されている場合であってダイナミックレンジの変換処理を行ってしまい、処理効率が悪い。

本発明はかかる問題に鑑みなされたものであり、表示装置のダイナミックレンジに応じて、表示対象の画像ファイルに含まれる画像データを効率よく表示出力を行う技術を提供しようとするものである。

この課題を解決するため、例えば本発明の表示制御装置は以下の構成を備える。すなわち、
記録媒体に格納された画像ファイルに基づく画像を表示装置に表示させる表示制御装置であって、
表示対象の画像ファイルを解析し、当該画像ファイルに含まれる主画像の画像データ、更には、前記主画像のダイナミックレンジと異なるダイナミックレンジの副画像の画像データが含まれるか否か判定する解析手段と、
画像データのダイナミックレンジを変換する変換手段と、
前記解析手段の解析の結果に基づき、前記画像ファイルに含まれる画像データを前記表示装置に出力する制御手段とを有し、
前記制御手段は、
前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応する場合には、前記主画像の画像データを前記表示装置に出力し、
前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応せず、前記画像ファイルに副画像の画像データが含まれ、且つ、当該副画像のダイナミックレンジが前記表示装置が表示可能なダイナミックレンジに対応する場合には、前記副画像の画像データを前記表示装置に出力し、
前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応せず、且つ、前記画像ファイルに副画像の画像データが含まれない場合、前記主画像の画像データを、前記変換手段を用いて前記表示装置が対応するダイナミックレンジの画像データに変換し、変換して得た画像データを前記表示装置に出力することを特徴とする。

本発明によれば、表示装置のダイナミックレンジに応じて、表示対象の画像ファイルに含まれる画像データを効率よく表示出力を行うことが可能になる。

実施形態における撮像装置のブロック構成図。 実施形態におけるＨＥＩＦの構造を示す図。 実施形態によるＨＥＩＦ再生、表示処理を示すフローチャート。 実施形態によるＨＥＩＦファイルの解析処理を示すフローチャート。 第２の実施形態によるＨＥＩＦ再生、表示処理を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す第１、第２の実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
＜撮像装置の構成＞
図１は、実施形態における撮像装置１００を示すブロック図である。撮像装置１００は、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、操作部１０４、撮像部１１２、画像処理部１１３、符号化処理部１１４、表示制御部１１５、表示部１１６を有している。更に、撮像装置１００は、通信制御部１１７、通信部１１８、記録媒体制御部１１９、並びに、これら各処理部を接続する内部バス１３０とを有している。撮像装置１００は、撮影レンズ１１１を用いて被写体の光学像を撮像部１１２の画素アレイに結像するが、撮影レンズ１１１は、撮像装置１００のボディ（筐体、本体）から、着脱不能であってもよいし、着脱可能であってもよい。また、撮像装置１００は、記録媒体制御部１１９を介して画像データの書き込み及び読み出しを記録媒体１２０に対して行う。記録媒体１２０は、撮像装置１００に着脱可能であってもよいし、着脱不能であってもよい。

ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、内部バス１３０を介して撮像装置１００の各部（各機能ブロック）の動作を制御する。

メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、撮像装置１００の各部の動作を制御するためのコンピュータプログラム、撮像装置１００の各部の動作に関するパラメータ等の情報、通信制御部１１７によって受信される情報等を一時的に記録する。また、メモリ１０２は、撮像部１１２によって取得された画像、画像処理部１１３、符号化処理部１１４等によって処理された画像及び情報を一時的に記録する。メモリ１０２は、これらを一時的に記録するために十分な記憶容量を備えている。

不揮発性メモリ１０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ、ハードディスク等が用いられる。不揮発性メモリ１０３は、撮像装置１００の各部の動作を制御するコンピュータプログラム及び撮像装置１００の各部の動作に関するパラメータ等の情報を記憶する。当該コンピュータプログラムにより、撮像装置１００によって行われる各種動作が実現される。

操作部１０４は、撮像装置１００を操作するためのユーザインターフェースを提供する。操作部１０４は、電源ボタン、メニューボタン、撮影ボタン等の各種ボタンを含んでおり、各種ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザの指示に従って撮像装置１００を制御する。なお、ここでは、操作部１０４を介して入力される操作に基づいてＣＰＵ１０１が撮像装置１００を制御する場合を例に説明したが、これに限定されるものではない。例えば、不図示のリモートコントローラ、不図示の携帯端末等から通信部１１８を介して入力される要求に基づいて、ＣＰＵ１０１が撮像装置１００を制御してもよい。

撮影レンズ（レンズユニット）１１１は、ズームレンズ、フォーカスレンズ等を含む不図示のレンズ群、不図示のレンズ制御部、不図示の絞り等によって構成される。撮影レンズ１１１は、画角を変更するズーム手段として機能し得る。レンズ制御部は、ＣＰＵ１０１から送信される制御信号により、焦点の調整及び絞り値（Ｆ値）の制御を行う。撮像部１１２は、動画像を構成する複数の画像を順次取得する取得手段として機能し得る。撮像部１１２としては、例えば、例えばＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補型金属酸化膜半導体）素子等でのエリアイメージセンサが用いられる。撮像部１１２は、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、すなわち、２次元的に配列された不図示の画素アレイを有している。当該画素アレイには、被写体の光学像が撮影レンズ１１１によって結像される。撮像部１１２は、撮像した画像を画像処理部１１３又はメモリ１０２に出力する。なお、撮像部１１２は、静止画像を取得することも可能である。

画像処理部１１３は、撮像部１１２から出力される画像データ、又は、メモリ１０２から読み出された画像データに対し、所定の画像処理を行う。当該画像処理の例としては、ダイナミックレンジ変換処理、補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部１１３は、撮像部１１２によって取得された画像データを用いて、露光制御、測距制御等のための所定の演算処理を行う。画像処理部１１３による演算処理によって得られた演算結果に基づいて、露光制御、測距制御等がＣＰＵ１０１によって行われる。具体的には、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理等がＣＰＵ１０１によって行われる。

符号化処理部１１４は、画像データに対してフレーム内予測符号化（画面内予測符号化）、フレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データのデータ量を圧縮する。符号化処理部１１４は、例えば、半導体素子等により構成された符号化装置である。符号化処理部１１４は、撮像装置１００の外部に設けられた符号化装置であってもよい。符号化処理部１１４は、例えば、Ｈ．２６５（ＩＴＵ Ｈ．２６５又はＩＳＯ／ＩＥＣ２３００８−２）方式によって符号化処理を行う。

表示制御部１１５は、表示部１１６を制御する。表示部１１６は、不図示の表示画面を備える。表示制御部１１５は、表示部１１６の表示画面に表示可能な画像を生成し、当該画像、すなわち、画像信号を表示部１１６に出力する。また、表示制御部１１５は表示部１１６に画像データを出力するだけでなく、通信制御部１１７を介して外部機器２１７に画像データを出力することも可能である。表示部１１６は、表示制御部１１５から送られてくる画像信号に基づいて、表示画面に画像を表示する。表示部１１６は、表示画面にメニュー等の設定画面を表示する機能であるＯＳＤ（On Screen Display）機能を備えている。表示制御部１１５は、画像信号にＯＳＤ画像を重畳して表示部１１６に画像信号を出力し得る。表示部１１６は、液晶ディスプレイ、有機ＥＬディスプレイ等により構成されており、表示制御部１１５から送られてきた画像信号を表示する。表示部１１６は、例えばタッチパネルであってもよい。表示部１１６がタッチパネルである場合、表示部１１６は、操作部１０４としても機能し得る。

通信制御部１１７は、ＣＰＵ１０１に制御される。通信制御部１１７は、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）やＳＤＩ（Serial Digital Interface）などの通信規格に準拠した映像信号を送るため通信部１１８を制御する。また、通信制御部１１７は映像信号以外の制御信号を送受信することが可能である。通信部１１８は映像信号と制御信号を物理的な電気信号に変換して外部機器２１７と送受信する。なお、通信制御部１１７は、ＩＥＥＥ８０２．１１等のような無線通信規格に適合する変調信号を生成して、当該変調信号を通信部１１８に出力し、外部機器２１７からの変調信号を、通信部１１８を介して受信すること構成であってもよい。なお、ここでは、通信部１１８によって映像信号と、無線通信が行われる場合を例に説明したが、通信部１１８によって行われるこれらに限定されるものではない。

記録媒体制御部１１９は、記録媒体１２０を制御する。記録媒体制御部１１９は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２０を制御するための制御信号を記録媒体１２０に出力する。記録媒体１２０としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体１２０は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体１２０は、符号化された画像データ等を記録する。記録媒体１２０のファイルシステムに適合した形式で画像データ等がファイルとして保存される。ファイルとしては、例えば、ＭＰ４ファイル（ＩＳＯ/ＩＥＣ １４４９６-１４:２００３）、ＭＸＦ（Material eXchange Format）ファイル等が挙げられる。各々の機能ブロック１０１〜１０４、１１２〜１１５、１１７、１１９は、内部バス１３０を介して互いにアクセス可能となっている。

次に実施形態の撮像装置１００の通常の動作について説明する。

撮像装置１００は、ユーザが操作部１０４の電源ボタンを操作すると、操作部１０４からＣＰＵ１０１に起動の指示が出される。この指示を受けて、ＣＰＵ１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。電源が供給されると、ＣＰＵ１０１は、例えば、操作部１０４のモード切り換えスイッチが、例えば、静止画撮影モード、再生モード等のどのモードであるかを操作部１０２からの指示信号により確認する。

通常の静止画撮影モードでは、撮像装置１００は、撮影待機状態でユーザが操作部１０４の静止画記録ボタンを操作することで撮影処理を行う。撮影処理では、撮像部１１２で撮影した静止画の画像データについて、画像処理部１１３で画像処理を施し、符号化処理部１１４で符号化処理し、記録媒体制御部１１９により符号化された画像データを画像ファイルとして記録媒体１２０に記録する。なお、撮影待機状態では、撮像部１１２で所定のフレームレートで画像を撮影し、画像処理部で表示用の画像処理を施して表示制御部１１５により表示部１１６に表示させることを繰り返すことで、ライブビュー画像の表示を行う。

再生モードでは、記録媒体１２０に記録されている画像ファイルを記録媒体制御部１１９により読み出し、読み出した画像ファイルの画像データを符号化処理部１１４で復号する。そして、画像処理部１１３で表示用の処理を施し、表示制御部１１５により表示部１１６に表示させる。

通常の静止画の撮影および再生については、上記のように実行されるが、本実施形態の撮像装置では、通常の静止画だけでなく、ＨＤＲ静止画を撮影するためのHDR撮影モードを有し、また、撮影したHDR静止画を再生表示することができる。本実施形態における撮影処理は、ダイナミックレンジをＰＱ（perceptual quantization）のＨＤＲ、ＨＬＧ（Hybrid Log Gamma）のＨＤＲ、またはＳＤＲのいずれか、もしくは同時に処理することを選択して行い、ファイルに保存することが可能である。

以降、ＨＤＲ静止画像の撮影および再生の処理について説明する。

＜ファイル構造＞
まずは、ＨＤＲ静止画像を記録する際のファイル構造について説明する。

最近、ＨＥＩＦ（High Efficiency Image File Format）と呼ばれる静止画ファイルフォーマットが策定された（ＩＳＯ/ＩＥＣ ２３００８-１２:２０１７）。これは、ＪＰＥＧのような従来の静止画ファイルフォーマットと比べ、以下のような特徴を持つ。
・ISOベースメディアファイルフォーマット（以下、ISOBMFFと称す）に準拠したファイル形式である。（ＩＳＯ/ＩＥＣ １４４９６-１４:２００３）
・単一の静止画像だけでなく、複数の静止画像を格納できる。
・HEVC/H.265やAVC/H.264など、動画の圧縮に用いられる圧縮形式で圧縮された静止画を格納できる。

本実施形態では、ＨＤＲおよびＳＤＲ静止画像の記録ファイルとして、上記のＨＥＩＦを採用する。そこでまずＨＥＩＦが格納するデータについて説明する。

ＨＥＩＦは、格納する個々のデータを、アイテムという単位で管理する。各アイテムは、データ自身の他に、ファイル内で一意となる整数値アイテムID（item_ID）と、アイテムの種別を表すアイテムタイプ（item_type）を持つ。アイテムは、データが画像を表す画像アイテム（image item）と、データがメタデータであるメタデータアイテム（metadata item）に分けることができる。画像アイテムには、データが符号化された画像データである符号化画像アイテム（coded image item）と、１個以上の他の画像アイテムを操作した結果の画像を表す、導出画像アイテム（derived image item）がある。導出画像アイテムの例として、オーバーレイ画像がある。これは、任意個の画像アイテムを任意の位置に配置した結果の画像である。メタデータアイテムの例として、Exifデータを格納することができる。

前述のように、ＨＥＩＦは複数の画像アイテムを格納することができる。複数の画像間に関係がある場合、それらの関係を記述することができる。複数の画像間の関係の例は、導出画像アイテムとそれを構成する画像アイテムの関係、本画像とサムネイル画像の関係、などである。また、画像アイテムとメタデータアイテムの関係も、同様に記述することができる。

ＨＥＩＦ形式は、ISOBMFF形式に準拠している。そのため、まず、ISOBMFFについて、簡単に説明する。

ISOBMFF形式は、ボックスと呼ばれる構造でデータを管理する。ボックスは、４バイトのデータ長フィールドと、４バイトのデータタイプフィールドから始まり、それ以降に任意長のデータを持つデータ構造である。データ部の構造は、データタイプによって決定する。ISOBMFFの仕様書やＨＥＩＦの仕様書では、いくつかのデータタイプ及びそのデータ部の構造が規定されている。また、ボックスは、別のボックスをデータに持つこともある。すなわち、ボックスの入れ子が可能である。ここで、或るボックスのデータ部に入れ子にされたボックスを、サブボックスと呼ぶ。また、サブボックスではないボックスを、ファイルレベルのボックスと呼ぶ。これは、ファイルの先頭から、順次アクセス可能なボックスでもある。

図２を用いて、複数の静止画を保存した場合の、ＨＥＩＦ形式のファイルについて説明する。

まず、ファイルレベルのボックスについて説明する。データタイプが“ftyp”であるファイルタイプボックスには、ファイルの互換性に関する情報を格納する。ISOBMFF準拠のファイル仕様は、その仕様が規定するファイルの構造や、ファイルが格納するデータを、ブランドと呼ぶ４バイトのコードで宣言し、それらをファイルタイプボックスに格納する。ファイルの先頭にファイルタイプボックスを配置することにより、ファイルのリーダは、ファイルタイプボックスの内容をチェックすることで、さらにファイルの内容を読み出して解釈することなく、ファイルの構造を知ることができる。

ＨＥＩＦの仕様では、“mif1”というブランドでそのファイル構造を表す。また、格納する符号化画像データがＨ．２６５で圧縮されたデータの場合、Ｈ．２６５圧縮のプロファイルに従って、“heic”または“heix”というブランドで表す。

データタイプが“meta”であるメタデータボックスは、いろいろなサブボックスを含み、各アイテムに関するデータを格納する。内訳については、後述する。

データタイプが“mdat”であるメディアデータボックスには、各アイテムのデータを格納する。例えば、符号化画像アイテムの符号化画像データや、メタデータアイテムのExifデータ、である。

次に、メタデータボックスのサブボックスについて説明する。データタイプが“hdlr”であるハンドラボックスは、メタデータボックスが管理するデータのタイプを表す情報を格納する。ＨＥＩＦ仕様では、ハンドラボックスのhandler_typeは“pict”である。データタイプが“dinf”であるデータ情報ボックスは、このファイルが対象とするデータが存在するファイルを指定する。ISOBMFFでは、あるファイルが対象とするデータを、そのファイル以外のファイルに格納することが可能である。その場合、データ情報ボックス内のデータリファレンスに、データが存在するファイルのURLを記述したデータエントリURLボックスを格納する。対象とするデータが同じファイルに存在する場合、それを表すフラグのみを有するデータエントリURLボックスを格納する。

データタイプが“pitm”であるプライマリアイテムボックスは、主画像を表す画像アイテムのアイテムIDを格納する。主画像は一つの画像のみ指定することができる。データタイプが“iinf”であるアイテム情報ボックスは、以下の、アイテム情報エントリを格納するためのボックスである。

データタイプが“infe”であるアイテム情報エントリは、各アイテムの、アイテムIDやアイテムタイプ、フラグを格納する。符号化画像データがＨ．２６５で圧縮されたデータである画像アイテムのアイテムタイプは、“hvc1”である。Exif形式のメタデータアイテムのアイテムタイプは、“Exif”である。また、画像アイテムで、フラグフィールドの最下位ビットが立っている場合、その画像アイテムは隠し画像（hidden image）である。データタイプが“iref”であるアイテム参照ボックスは、各アイテム間の参照関係を、参照関係の種類、参照元アイテムのアイテムID、１個以上の参照先アイテムのアイテムID、で格納する。

サムネイル画像の場合、参照関係の種類に“thmb”、 参照元アイテムのアイテムIDにサムネイル画像のアイテムID、参照先アイテムのアイテムIDに本画像のアイテムID、を格納する。主画像、副画像の場合、参照関係の種類に“cdsc”、 参照元アイテムのアイテムIDにEXIFメタデータのアイテムID、参照先アイテムのアイテムIDに主画像または副画像のアイテムID、を格納する。

データタイプが“iprp”であるアイテムプロパティボックスは、以下の、アイテムプロパティコンテナボックスとアイテムプロパティ関連ボックスを格納するためのボックスである。

データタイプが“ipco”であるアイテムプロパティコンテナボックスは、個々のプロパティデータのボックスを格納するボックスである。各画像アイテムは、その画像の特徴、属性を表すプロパティデータを持つことができる。

プロパティデータボックスには、以下のようなものがある。デコーダ構成・初期化データ（Decoder configuration and initialization。Ｈ．２６５の場合、タイプは“hvcC”）は、デコーダの初期化に使われるデータである。Ｈ．２６５のパラメータセットデータ（VideoParameterSet、SequenceParameterSet、PictureParameterSet）は、ここに格納する。

画像空間範囲（Image spatial extents。タイプは“ispe”）は、画像の大きさ（幅、高さ）である。主画像と副画像が同じ画像の大きさである場合は、主画像と副画像は共通の画像空間範囲を使用してもよい。色空間情報（Colour information。タイプは“colr”）は、画像の色空間情報である。色空間情報は、アイテムとして色空間を規定する“colour_primaries”、伝達関数を規定する“transfer_characteristics”、マトリックス係数“matrix_cofficients”、フルレンジであるか否かを示す“flags”で構成される。例えば、主画像にＰＱのＨＤＲ画像を保存する場合は、“colour_primaries”に9（ITU-R BT.2020）、“transfer_characteristics”に16（ ITU-R BT.2100 PQ）、“matrix_cofficients”に9（ITU-R BT.2020）を設定する。副画像にＳＤＲ画像を保存する場合には、ＳＤＲに適した値を設定する。画像ピクセル情報“pixi”は、画像のピクセル情報（ビット深度）である。主画像がＨＤＲの場合は、ビット深度は１０ビットで設定し、副画像がＳＤＲの場合はビット深度は８ビットの値を設定する。画像回転情報（Image rotation、タイプは“irot”）が、画像を回転して表示する際の、回転方向である。上記以外プロパティも存在するが、ここでは明記しない。

データタイプが“ipma”であるアイテムプロパティ関連ボックスは、各アイテムとプロパティの関連付けを、アイテムIDと、関連するプロパティの“ipco”におけるインデックスの配列、の形式で格納する。

データタイプが“idat”であるアイテムデータボックスは、データサイズが小さいアイテムデータを格納するボックスである。

データタイプが“iloc”であるアイテムロケーションボックスは、各アイテムのデータの位置情報を、オフセット基準、オフセット基準からのオフセット値、長さ、の形式で格納する。オフセット基準は、ファイルの先頭、または、“idat”、である。

なお、メタデータボックスには上記以外のボックスも存在するが、ここでは明記しない。

図２では、主画像と副画像の２つの符号化画像アイテムで構成している構造を図示しているが、副画像は複数持ってもよい、符号化画像アイテム数は２に限定されない。副画像が増えると以下のボックス、項目がその分増加する。
・データタイプが“iinf”であるアイテム情報エントリが副画像の分だけ増加
・データタイプが“infe”であるアイテム情報エントリが副画像の分だけ増加
・データタイプが“ipco”であるアイテムプロパティコンテナボックスにおいて、各副画像で必要なプロパティデータのボックスが増加
・データタイプが“ipma”であるアイテムプロパティ関連ボックスが副画像の分だけ増加
・データタイプが“iloc”であるアイテムロケーションボックスが副画像の分だけ増加
各副画像は異なるダイナミックレンジを持ち、例えば主画像のダイナミックレンジをＰＱとした場合、１つめの副画像のそれをＳＤＲ、２つ目の副画像のそれをＨＬＧとしてもよい。

また、副画像の代わりに、主画像よりも小さいが通常のサムネイル画像よりも大きいサムネイル画像を定義して使用してもよい。更に、上記構成では、データタイプが“mdat”であるメディアデータボックス“mdat”でメタデータアイテムのExifデータが主画像と副画像で共通のものとしたが、主画像と副画像で分けてメタデータアイテムのExifデータを保持してもよい。

また、図２では、主画像と副画像は関連性を持たない構造としたが、アイテム参照ボックス“iref”により主画像と副画像の関係を定義してもよい。例えば、 参照関係の種類に主画像と副画像を示すデータタイプを定義する。定義したデータタイプの中には、参照元となるアイテムIDを示す“from_item_ID”、参照数を示す“reference_count”、参照先となるアイテムIDを示す“to_item_ID”が含まれるものとする。“from_item_ID”には副画像のアイテムIDを入れ、“to_item_ID”には主画像のIDをいれる。これにより、主画像と副画像とが同じ原画像（撮像画像）を起源とすることが定義できる。

＜ＨＤＲ画像の再生＞
次に記録媒体１２０にＨＥＩＦフォーマットで記録されたＨＤＲ画像を再生（表示）する、撮像装置１００のＣＰＵ１０１の処理を説明する。なお、本実施形態では、撮像装置１００で再生する場合について説明するが、撮像部を有さないパーソナルコンピュータに代表される情報処理装置、或いは、再生専用の画像処理装置での再生処理も同じであるので、撮像装置１００に限った処理ではない。あくまで理解を容易にするためと理解されたい。なお、ＣＰＵ１０１が実行するプログラムは、不揮発性メモリ１０３に格納され、メモリ１０２に読み出され実行されるものとする。

以下、図３のフローチャートを参照して、ＣＰＵ１０１によるＨＥＩＦファイルから主画像と副画像との選択、再生処理を説明する。なお、以下の処理は、１つのＨＥＩＦファイルについてのものである、記録媒体１２０に複数のＨＥＩＦファイルがあって、それらを再生する場合には、記録された、もしくはユーザが再生のために選択したファイル数に応じた繰り返し処理になる。

ステップＳ３０１にて、ＣＰＵ１０１は、再生しようとするＨＥＩＦファイルを一旦メモリ１０２に読み出し、解析処理を行う。この解析処理の詳細については後述する。ステップＳ３０１の解析処理を終えると、ＣＰＵ１０１は処理をステップＳ３０２に進める。

ステップＳ３０２にて、ＣＰＵ１０１は、通信制御部１１７を介して外部機器２１７が接続されているかを確認する。ＣＰＵ１０１は外部機器２１７が接続されている場合には、外部機器２１７がＨＤＲに対応しているか否かをアイテムプロパティボックス“iprp”の色空間情報“colr”に相当する情報を通信制御部１１７からの受信信号により確認する。例えばＨＤＭＩ（登録商標）であればＥＤＩＤ（Extended Display Identification Data）情報によりＨＤＲ信号の有無を確認してもよく、ＣＥＣコマンドにより確認してもよい。外部機器２１７が接続されていない場合は、ＣＰＵ１０１は表示部１１６の表示設定がＨＤＲであるか否かを不揮発性メモリ１０３に格納されている設定値を読み出す。ＣＰＵ１０１はステップＳ３０２の処理を終えると、処理をステップＳ３０３に進める。

なお、上記のようにするのは、表示装置として、外部機器２１７を撮像装置１００が有する表示部１１６より優先するようにしたためである。

ステップＳ３０３にて、ＣＰＵ１０１は、ステップＳ３０１で取得したＨＥＩＦファイルの主画像の属性情報、特に色空間情報“colr”で規定されたダイナミックレンジの属性と、ステップＳ３０２で取得した色空間情報を比較する。ＣＰＵ１０１は、外部機器２１７あるいは表示部１１６のいずれかの内、表示する表示部のダイナミックレンジが異なる場合（Ｓ３０３のＹＥＳ）、処理をステップＳ３０３からＳ３０４に進める。ＣＰＵ１０１は、ＨＥＩＦファイルのダイナミックレンジの属性と、表示する表示部のダイナミックレンジが一致している場合（Ｓ３０３のＮＯ）、処理をステップＳ３０３からＳ３０７に進める。

ステップＳ３０４にて、ＣＰＵ１０１は、ステップＳ３０１の解析処理の結果に基づき、着目しているＨＥＩＦファイルに副画像が含まれるか否かを判断する。ＣＰＵ１０１は、着目ＨＥＩＦファイルに副画像が含まれていると判定した場合（Ｓ３０４のＹＥＳ）、処理をステップＳ３０４からステップＳ３０５へ処理を進める。また、ＣＰＵ１０１は、着目ＨＥＩＦファイルに副画像が含まれないと判定した場合（Ｓ３０４のＮＯ）、処理をステップＳ３０４からＳ３０６に進める。

ステップＳ３０５にて、ＣＰＵ１０１は、ステップＳ３０１の解析処理の結果に基づき、着目ＨＥＩＦファイル内に含まれる副画像を外部機器２１７、または表示部１１６に表示する。具体的には、ＣＰＵ１０１は、着目ＨＥＩＦファイルのメタデータボックス内のアイテムロケーションボックスから、副画像のアイテムIDのエントリを探し、オフセット基準（construction_method）、オフセット、長さ、を取得する。そして、ＣＰＵ１０１は、オフセット基準をチェックする。オフセット基準は、値０がファイルの先頭からのオフセット、値１がアイテムデータボックス内のオフセットを表す。オフセット基準が０の場合、ＣＰＵ１０１は、ファイルの先頭からオフセットバイトの位置から長さバイト分を、メモリ１０２から読み出す。ＣＰＵ１０１は、オフセット基準が１の場合、メタデータボックス内のアイテムデータボックスのデータ部の先頭からオフセットバイトの位置から長さバイト分を、メモリ１０２に読み出す。ＣＰＵ１０１は、メモリ１０２に読み出したＨ．２６５のストリームデータを符号化処理部１１４によりデコード処理を行い、デコードされた副画像の画像データをメモリ１０２に保存する。ＣＰＵ１０１は、外部機器２１７に表示する場合は、通信制御部１１７を制御し、表示部１１６に表示する場合は表示制御部１１５を制御して副画像の画像データを出力する。ＣＰＵ１０１はステップＳ３０５の処理で本フローチャートにおける処理を終了する。

一方、ステップＳ３０６に処理が進んだ場合、ＣＰＵ１０１は、ステップＳ３０１で解析した主画像のダイナミックレンジを表示装置に対応するように変換する。ＣＰＵ１０１は、ステップＳ３０５と同様の処理で、メモリ１０２に主画像のＨ．２６５ストリームデータを読み出す。ＣＰＵ１０１は、メモリ１０２に読み出した主画像のＨ．２６５のストリームデータを符号化処理部１１４によりデコード処理を行い、デコードされた主画像の画像データをメモリ１０２に保存する。ＣＰＵ１０１は、画像処理部１１３を制御し、ダイナミックレンジ変換処理によりＨＤＲをＳＤＲ画像に変換し、変換された画像データをメモリ１０２に保存する。ＣＰＵ１０１はステップＳ３０６の処理を終えて、ステップＳ３０７に進む。

ステップＳ３０７にて、ＣＰＵ１０１は、ステップＳ３０１で解析した主画像を外部機器２１７もしくは表示部１１６に表示する。ＣＰＵ１０１は、ステップＳ３０６の処理を実行していない場合は、ステップＳ３０６と同様に、メモリ１０２に主画像のＨ．２６５ストリームデータを読み出し、符号化処理部１１４によりデコード処理を行い、メモリ１０２に主画像の画像データを保存する。ＣＰＵ１０１は、外部機器２１７に表示する場合は、通信制御部１１７を制御し、表示部１１６に表示する場合は表示制御部１１５を制御して主画像の画像データを出力する。ＣＰＵ１０１はステップＳ３０７の処理で本フローチャートにおける処理を終了する。

次に、上記のステップＳ３０１におけるＨＥＩＦファイルの解析処理の詳細を図４のフローチャートを参照して説明する。

ステップＳ４０１で、ＣＰＵ１０１は、記録媒体制御部１１９を使用して、記録媒体１２０に存在する指定ファイルの先頭部分をメモリ１０２に読み出す。そして、読み出したファイルの先頭部分に、正しい構造のファイルタイプボックスが存在するか、さらに、その中のブランドに、ＨＥＩＦを表す“mif1”が存在するかをチェックする。また、独自のファイル構造に対応したブランドを記録してある場合、そのブランドの存在チェックを行う。そのブランドが特定の構造を保証する限りにおいて、このブランドのチェックにより、これ以降のいくつかの構造チェック、例えば、ステップＳ４０３、ステップＳ４０４、を省略することも可能である。ＣＰＵ１０１はステップＳ４０１の処理を終えると、処理をステップＳ４０２に進める。

ステップＳ４０２にて、ＣＰＵ１０１は、記録媒体１２０から指定ファイルのメタデータボックス“meta”をメモリ１０２に読み出す。ＣＰＵ１０１はステップＳ４０２の処理を終えると、ステップＳ４０３の処理に進める。

ステップＳ４０３で、ＣＰＵ１０１は、ステップＳ４０２で読み出したメタデータボックス“meta”からハンドラボックス“hdlr”を探し、その構造をチェックする。ＨＥＩＦの場合、ハンドラタイプは“pict”でなければならない。ＣＰＵ１０１はステップＳ４０３の処理を終えると、処理をステップＳ４０４に進める。

ステップＳ４０４にて、ＣＰＵ１０１は、ステップＳ４０２で読み出したメタデータボックス“meta”からデータ情報ボックス“dinf”を探し、その構造をチェックする。本実施形態では、同一ファイル内にデータが存在することを前提としているため、データエントリURLボックスに、その旨を表すフラグが立っていることをチェックする。ＣＰＵ１０１は、ステップＳ４０４の処理を終えると、ステップＳ４０５の処理に進める。

ステップＳ４０５にて、ＣＰＵ１０１は、ステップＳ４０２で読み出したメタデータボックス'meta'からプライマリアイテムボックス'pitm'を探し、主画像のアイテムIDを取得する。ＣＰＵ１０１はステップＳ４０５の処理を終えて、ステップＳ４０６の処理に進む。

ステップＳ４０６にて、ＣＰＵ１０１は、ステップＳ４０２で読み出したメタデータボックス“meta”からアイテム情報ボックス“iinf”を探し、ステップＳ４０５で取得した主画像のアイテムIDに対応したアイテム情報エントリを取得する。更に、主画像以外のアイテムタイプが“hvc1”である副画像または、サムネイル画像と、アイテムタイプが“Exif”であるExifメタデータのアイテムIDの確認を行う。ＣＰＵ１０１はステップＳ４０６の処理を終えると、ステップＳ４０７の処理に進める。

ステップＳ４０７にて、ＣＰＵ１０１は、ステップＳ４０２で読み出したメタデータボックス“meta”からアイテム参照ボックス“iref”を探し、ステップＳ４０６で取得したアイテム情報ボックスのアイテムIDから、各アイテム間の参照関係を確認する。ＣＰＵ１０１は、参照関係の種類“thmb”において、from_item_IDが主画像のIDであるものは主画像のサムネイルであると判定し、それ以外のＩＤである場合は副画像のサムネイルであると判定する。また、ＣＰＵ１０１は、、参照関係の種類“cdsc”において、主画像以外のものであって、主画像と参照関係にない場合は、副画像であると判断する。なお、アイテム参照ボックス“iref”に、主画像と副画像が関連付ける参照関係が存在する場合は、主画像と副画像の参照関係から主画像と副画像を認識する。ＣＰＵ１０１はステップＳ４０７の処理を終えて、ステップＳ４０８の処理に進む。

ステップＳ４０８にて、ＣＰＵ１０１は、ステップＳ４０２で読み出したメタデータボックス“meta”からアイテムプロパティボックス“iprp”を探し、各画像のプロパティデータを取得する。ＣＰＵ１０１は、アイテムプロパティ関連ボックス“ipma”で定義される各アイテムIDに関連するアイテムプロパティボックス“ipco”内のプロパティを参照する。ＣＰＵ１０１は、主画像、副画像、主画像用のサムネイル、副画像用のサムネイルの各属性情報を取得する。ＣＰＵ１０１は各画像の色空間情報“colr”から、各画像がＰＱのＨＤＲであるか、ＨＬＧのＨＤＲであるか、ＳＤＲであるかを識別可能となる。ＣＰＵ１０１はステップＳ４０８で本フローチャートにおける処理を終える。

以上説明したように本第１の実施形態によれば、主画像と類似した解像度であって、ダイナミックレンジが異なる主画像と副画像のいずれかの画像データを、表示部のダイナミックレンジに応じて選択して出力することができる。

なお、実施形態では、表示対象の画像ファイルとして、ＨＥＩＦファイルを例に説明したが、１つの画像ファイル内にダイナミックレンジが異なる主画像及び副画像の画像データが格納できるファイルフォーマットであれば良いので、ＨＥＩＦに限るものではない。

［第２の実施形態］
以下、第２の実施形態を説明する。上記第１の実施形態では、ＨＥＩＦファイルを解析して適切なダイナミックレンジの画像を選択して表示を行うものであった。そして、表示部と主画像のダイナミックレンジが異なり、更にＨＥＩＦファイルに副画像が存在しない場合は、主画像のダイナミックレンジを変換して表示する構成であった。しかしながら、例えばＰＣのアプリケーション等でダイナミックレンジの変換処理を実行する場合、ＰＣの性能に依存してしまうため、表示部に表示するまでに時間がかかってしまう場合が考えられる。本第２の実施形態では、装置の演算性能により主画像のダイナミックレンジを変換するか否かを判断して処理するものである。

撮像装置の構成は第１の実施形態と同様とする。ただし、撮像に関する処理部は無くてもよく、画像処理部１１３にダイナミックレンジ変換処理を持たなくてもよい。また、ファイル構造に関しても第１の実施形態と同様のＨＥＩＦ形式で記録されたファイルと同様とする。

以下、図５のフローチャートを参照して、本第２の実施形態におけるＨＥＩＦファイルの画像再生処理を説明する。

ステップＳ５０１にて、ＣＰＵ１０１は再生しようとしているＨＥＩＦファイルを解析する。この解析処理は、第１の実施形態におけるステップＳ３０１と同様とし、その説明は省略する。ＣＰＵ１０１はステップＳ５０１の処理を終えると、処理をステップＳ５０２に進める。

ステップＳ５０２にて、ＣＰＵ１０１は、外部機器２１７の接続の有無のチェックと、外部機器２１７並びに表示部１１６のダイナミックレンジを確認する。この処理は、第１の実施形態におけるステップＳ３０２と同様とする。ＣＰＵ１０１はステップＳ５０２の処理を終えて、ステップＳ５０３に処理を進める。

ステップＳ５０３にて、ＣＰＵ１０１は、第１の実施形態のステップＳ３０３と同様の処理を行う。ＣＰＵ１０１は、外部機器２１７あるいは表示部１１６のいずれかの内、表示する主画像のダイナミックレンジが異なる場合（Ｓ５０３のＹＥＳ）、処理をステップＳ５０３からＳ５０４に進める。ＣＰＵ１０１は、表示する表示部のダイナミックレンジが一致している場合（Ｓ５０３のＮＯ）、処理をステップＳ５０３からＳ５０９に進める。

ステップＳ５０４にて、ＣＰＵ１０１は、主画像のダイナミックレンジ変換処理を行うハードウェアを有しているか否かを確認する。例えば、ＣＰＵ１０１は画像処理部１１３が、ダイナミックレンジ変換処理が可能か否かを判断する。ＣＰＵ１０１は、ダイナミックレンジ変換処理のハードウェアを有していると判断した場合（Ｓ５０４のＹＥＳ）、処理をステップＳ５０４からステップＳ５０８に進める。また、ＣＰＵ１０１は、ダイナミックレンジ変換処理のハードウェアを有していないと判断した場合（Ｓ５０４のＮＯ）、ステップＳ５０４からステップＳ５０５に処理を進める。

ステップＳ５０５で、ＣＰＵ１０１は、ダイナミックレンジ変換処理をＣＰＵ１０１によるソフトウェアで行った場合に処理性能的に不足が無いか確認する。例えばＰＣであれば１秒当たりの計算処理能力をあらかじめ測定しておき、不揮発性メモリ１０３に記録されている閾値と比較し、閾値以上であれば性能的に問題ないと判断しても良い。なお、ダイナミックレンジ変換処理は、主画像のサイズ（画素数）と、１画素当たりのビット数に依存する。そこで、この閾値を、主画像のサイズと１画素当たりのビット数によって決まる係数を、予め設定された基本閾値に乗算することで算出しても良い。ＣＰＵ１０１は、主画像のダイナミックレンジ変換処理を行う十分な性能がある場合（Ｓ５０５のＹＥＳ）、処理をステップＳ５０５からＳ５０８へ処理を進める。また、ＣＰＵ１０１は、主画像のダイナミックレンジ変換処理を行う性能が無い場合（Ｓ５０５のＮＯ）、処理をステップＳ５０５からＳ５０６へ処理を進める。

ステップＳ５０６の処理はステップＳ３０４と同様とする。ＣＰＵ１０１は、ＨＥＩＦファイルに副画像の画像データが存在する場合（Ｓ５０６のＹＥＳ）、処理をステップＳ５０６からＳ５０７へ処理を進める。ＣＰＵ１０１は、ＨＥＩＦファイルに副画像の画像データが存在しないと判断した場合（Ｓ５０６のＮＯ）、処理をステップＳ５０６からＳ５０８へ処理を進める。

ステップＳ５０７の処理はステップＳ３０５と同様とする。ＣＰＵ１０１はステップＳ５０７の処理で本フローチャートにおける処理を終了する。

ステップＳ５０８で、ＣＰＵ１０１は、ステップＳ５０１で解析した主画像のサムネイルを外部機器２１７もしくは表示部１１６に表示する。ＣＰＵ１０１は、ステップＳ５０６と同様に、メモリ１０２に主画像のサムネイル画像のストリームデータを読み出し、符号化処理部１１４によりデコード処理を行い、メモリ１０２に主画像のサムネイル画像データを保存する。ＣＰＵ１０１は、外部機器２１７に表示する場合は、通信制御部１１７を制御し、表示部１１６に表示する場合は表示制御部１１５を制御して主画像のサムネイル画像データを出力する。なお、本処理において、主画像のサムネイル画像データに対して後述するステップＳ５０９のダイナミックレンジ変換処理を行ってもよい。ＣＰＵ１０１は、ステップＳ５０８の処理を終えて、Ｓ５０９の処理に進む。

ステップＳ５０９の処理はステップＳ３０６と同様とする。ＣＰＵ１０１はステップＳ５０８の処理を終えて、ステップＳ５０９の処理に進む。

ステップＳ５１０の処理はステップＳ３０７と同様とする。ＣＰＵ１０１はステップＳ５０９の処理で本フローチャートにおける処理を終了する。

以上、本第２の実施形態の処理を行うことにより、主画像と類似した解像度であって、ダイナミックレンジが異なる主画像と副画像を、撮像装置１００のダイナミックレンジ変換処理能力に応じて変換の有無を判断し、表示部に応じて選択して出力することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (8)

1. 記録媒体に格納された画像ファイルに基づく画像を表示装置に表示させる表示制御装置であって、
   表示対象の画像ファイルを解析し、当該画像ファイルに含まれる主画像の画像データ、更には、前記主画像のダイナミックレンジと異なるダイナミックレンジの副画像の画像データが含まれるか否か判定する解析手段と、
   画像データのダイナミックレンジを変換する変換手段と、
   前記解析手段の解析の結果に基づき、前記画像ファイルに含まれる画像データを前記表示装置に出力する制御手段とを有し、
   前記制御手段は、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応する場合には、前記主画像の画像データを前記表示装置に出力し、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応せず、前記画像ファイルに副画像の画像データが含まれ、且つ、当該副画像のダイナミックレンジが前記表示装置が表示可能なダイナミックレンジに対応する場合には、前記副画像の画像データを前記表示装置に出力し、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応せず、且つ、前記画像ファイルに副画像の画像データが含まれない場合、前記主画像の画像データを、前記変換手段を用いて前記表示装置が対応するダイナミックレンジの画像データに変換し、変換して得た画像データを前記表示装置に出力する
   ことを特徴とする表示制御装置。
2. 前記画像ファイルは、ＨＥＩＦ（High Efficiency Image File Format）形式のファイルであることを特徴とする請求項１に記載の表示制御装置。
3. 前記制御手段は、前記変換手段をハードウェアで実現するか、ソフトウェアで実現するか、並びに、ソフトウェアで実現する場合のプロセッサの処理能力が予め設定された閾値以上あるか否かを判定する判定手段を含み、
   前記制御手段は、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応しない場合であって、前記判定手段の判定の結果が、前記変換手段をハードウェアで実行できる、或いは、前記閾値以上の処理能力を有するプロセッサによるソフトウェアで実行できることを示している場合、前記主画像の画像データを前記変換手段を用いて前記表示装置が対応するダイナミックレンジの画像データに変換し、変換して得た画像データを前記表示装置に出力する
   ことを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記制御手段は、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応しない場合であって、前記判定手段の判定の結果が、前記変換手段をハードウェアで実行できる、或いは、前記閾値以上の処理能力を有するプロセッサによるソフトウェアで実行できることを示している場合、前記主画像のサムネイル画像データを前記表示装置に出力する
   ことを特徴とする請求項３に記載の表示制御装置。
5. 前記閾値は、基本閾値に、主画像の画素数と１画素当たりのビット数で決まる係数を乗算して算出することを特徴とする請求項３又は４に記載の表示制御装置。
6. 前記画像ファイル内の主画像及び副画像の符号化された画像データを復号する復号手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
7. 記録媒体に格納された画像ファイルに基づく画像を表示装置に表示させる表示制御装置の制御方法であって、
   表示対象の画像ファイルを解析し、当該画像ファイルに含まれる主画像の画像データ、更には、前記主画像のダイナミックレンジと異なるダイナミックレンジの副画像の画像データが含まれるか否か判定する解析工程と、
   画像のダイナミックレンジを変換する変換工程と、
   前記解析工程の解析の結果に基づき、前記画像ファイルに含まれる画像データを前記表示装置に出力する制御工程とを有し、
   前記制御工程は、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応する場合には、前記主画像の画像データを前記表示装置に出力し、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応せず、前記画像ファイルに副画像の画像データが含まれ、且つ、当該副画像のダイナミックレンジが前記表示装置が表示可能なダイナミックレンジに対応する場合には、前記副画像の画像データを前記表示装置に出力し、
   前記表示装置が、前記画像ファイルの主画像のダイナミックレンジに対応せず、且つ、前記画像ファイルに副画像の画像データが含まれない場合、前記主画像の画像データを、前記変換工程を用いて前記表示装置が対応するダイナミックレンジの画像データに変換し、変換して得た画像データを前記表示装置に出力する
   ことを特徴とする表示制御装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の表示制御装置が有する各手段として機能させるためのプログラム。

Images