JP4782105B2

JP4782105B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4782105B2
Application number: JP2007509259A
Authority: JP
Inventors: 健二平岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-06-30
Filing date: 2006-06-28
Publication date: 2011-09-28
Anticipated expiration: 2026-06-28
Also published as: JPWO2007004489A1; WO2007004489A1; US20100079496A1; US8339420B2

Description

本発明は、携帯端末等の表示領域が小さいデバイスに一覧表示される小画像を生成する画像処理装置及び画像処理方法に関する。

従来、多数の画像を管理する方法として、ウインドウとフォルダとを用いた方法、及び画像を表示するためのフォーマットを選択する方法がある。ウインドウを用いた方法は、最初に複数のプログラムグループを有するウインドウを表示し、ユーザがプログラムグループの１つを選択すると第２のウインドウを現し、選択したプログラムグループに属する画像を表す小画像を表示する。そして、この方法は、固定疑似ライトボックスを用いて画像を階層的に処理し、すべての画像を同じ大きさでスライド風に表示する。画像を表示するためのフォーマットを選択する方法は、ユーザがリストから表示ファーマットを選択すると、選択したフォーマットに合致したアイテムがデータベースから引き出され、選択したフォーマットに依存するリスト中に表示される方法である。

しかしながら、これらの方法では、ユーザが簡単かつ迅速に画像を把握できるように表示するという点において不十分であるという問題点があった。

上述した問題点を解決する方法として、図７（ａ）に示すように、把握対象の可能性を秘めた画像の選択に使用される小画像３００を、表示部の所定箇所に逐次表示させ、表示させた複数の小画像３００を矢印の方向に動的に移動させるとともに中央に行くに従って表示面積を大きくさせ、最終的に表示部の所定箇所から消去させる画像処理方法が開示されている。また、図７（ｂ）に示すように、小画像を、表示部の所定箇所に逐次表示させ、表示させた複数の小画像３００を螺旋形状に動的に移動させるとともに、移動するごとに表示面積を小さくさせていき、最終的に螺旋形状の中心において小画像を消去させる画像処理方法が開示されている（例えば、特許文献１参照）。このような方法では、大きく表示される小画像は見かけ上手前側に配置され、小さく表示される小画像は見かけ上奥側に配置されているため、擬似的な３次元表示が達成される。
特開２００１−３０６３７５号公報

しかしながら、特に表示領域の小さい小画像が表示される場合、その内容が判りづらくなるという問題があった。例えば、上述した擬似的３次元表示においては、見かけ上奥側に表示されている小画像ほど画像が小さくなり、その内容が判りづらくなるという事情があった。

本発明は、上記事情に鑑みてなされたものであって、表示が小さい画像の内容を判り易くする画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、小画像を複数有する小画像一覧を表示する画像処理装置であって、前記小画像を生成するための元画像を出力する元画像出力部と、前記元画像出力部により出力された元画像の中から主要領域の画像を抽出する主要領域抽出部と、前記小画像一覧に表示される各小画像の表示領域を示す表示領域情報と、前記小画像一覧に表示される各小画像の配置情報とを出力するレイアウト管理部と、前記レイアウト管理部により出力された前記表示領域情報に示されている表示領域の面積に応じて、前記主要領域抽出部より抽出された前記主要領域の画像をズームすることにより、ズーム画像を生成するズーム画像生成部と、前記ズーム画像生成部により生成されたズーム画像を拡大または縮小し、前記小画像一覧に表示される小画像を生成する小画像生成部と、前記レイアウト管理部より出力された前記配置情報に基づき、前記小画像生成部より生成された各小画像を小画像一覧の所定箇所に配置して小画像一覧を生成する小画像一覧生成部と、を備えるという構成を有する。

この構成によれば、小画像の表示領域に応じて適宜ズーム画像のズーム率が設定される。従って、各小画像における各々表示領域に応じて主要領域の占める割合を変化させることができ、小画像の内容を判り易くすることができる。

前記画像ズーム部が、前記表示領域情報に示されている表示領域の面積を、前記元画像出力部により出力された元画像の面積で除算した値を基にして、ズーム率を決定するような構成にすることもできる。

また、前記画像ズーム部が、前記主要領域抽出部により抽出された主要領域の画像を中心にし、かつ、前記主要領域の画像が前記ズーム画像に入るようにズームするという構成にすることもできる。

さらに、前記画像ズーム部が、最も大きくズームして生成されるズーム画像が前記主要領域抽出部により抽出された主要領域の画像と等しくなるようにズームすることもできる。

上述の画像処理装置と、前記小画像一覧生成部により生成された小画像一覧を表示する表示部とを組み合わせて画像表示装置が構成される。このような画像表示装置は、特に携帯電話等の携帯端末に好ましく使用される。

また、本発明の画像処理方法は、小画像を複数有する小画像一覧を表示する画像処理装置が実行する画像処理方法であって、元画像の中から主要領域の画像を抽出するステップと、前記小画像一覧に表示される各小画像の表示領域を示す表示領域情報に示されている表示領域の面積に応じて、前記主要領域の画像をズームすることによりズーム画像を生成するステップと、前記ズーム画像を拡大または縮小し、前記小画像一覧に表示される小画像を生成するステップと、前記小画像一覧に表示される各小画像の配置情報に基づき、生成した各小画像を小画像一覧の所定箇所に配置して小画像一覧を画像表示部に表示するステップと、を有する。

さらに、本発明は、プログラムの発明であって、前記小画像を生成するための元画像を出力する手順と、出力した元画像の中から主要領域の画像を抽出する手順と、小画像を複数有する小画像一覧に表示される各小画像の表示領域を示す表示領域情報に示されている表示領域の面積に応じて、抽出した前記主要領域の画像をズームすることによりズーム画像を生成する手順と、生成したズーム画像を拡大または縮小し、前記小画像一覧に表示される小画像を生成する手順と、前記小画像一覧に表示される各小画像の配置情報に基づき、生成した各小画像を小画像一覧の所定箇所に配置して小画像一覧を生成する手順とをコンピュータに実行させる。このようなプログラムは、画像処理装置の内外に設けられたメモリ、記憶装置等に記録され、ＣＰＵのごときコンピュータ、演算装置により実行される。

本発明は、小画像の大きさに応じて表示内容が変更されるため、表示されている小画像の内容を判り易くすることができる。特に、本発明は、擬似３次元表示の如き、様々な大きさを有する小画像を複数表示される場合に有効である。

以下、本発明の実施するための最良の形態に係る画像処理装置について、図面を参照して説明する。

図１は本発明の実施形態に係る画像処理装置の構成を示すブロック図である。この実施形態の画像処理装置は、撮像された画像から複数の小画像を有する小画像の一覧（以下、小画像一覧という）を生成する装置であって、図１に示すように、画像出力部１１と、主要領域検出部１２と、画像ズーム部１３と、レイアウト管理部１４と、表示画像管理部１５と、画像レイアウト部１６とを備えて構成されている。

「小画像」とは、元画像の一部又は全部が、後述する画像表示部１７の一部領域に表示される画像をいう。一般的に、元画像の一部が表示される場合は、下記で述べるように元画像の少なくとも主要領域が、当該一部に含められる。また、一般的に「小画像」、「小画像一覧」は「サムネイル画像」と呼ばれることがある。

画像出力部（元画像出力部）１１は、ＣＣＤカメラ等の撮像素子（図示せず）により撮影した画像または予め記憶されている画像を、小画像を生成する際に必要となる元画像１００として主要領域検出部１２に出力する。

主要領域検出部（主要領域抽出部）１２は、ＲＡＭ等のメモリにより構成されており、複数のパラメータを用いて画像出力部１１から入力された、例えば図２に示す元画像１００の中から、特定の形状を認識する際に用いられるパラメータを用いて主要領域１０１の画像（以下、主要領域画像という）を抽出する。ここで、主要領域１０１は、後述する小画像を生成する際に用いられる領域を示しており、小画像一覧に描かれている小画像の数に対応している。パラメータには、１）元画像中に特定の形状、例えば、人の顔を比較するテンプレート、２）元画像１００中の色相分布、すなわち元画像１００中の特定の形状のエッジ（輪郭）を特定する基各画素のＲＧＢ値、３）元画像１００中の輝度分布、すなわち色相分布と同様であるが画素のＲＧＢ値でなくＹＵＶ値、４）元画像１００に付随している音声、５）元画像１００の入力条件等がある。

画像ズーム部１３は、レイアウト管理部１４から出力された小画像一覧に表示される各小画像の表示領域を示す情報（表示領域情報）に基づき、主要領域検出部１２から出力された主要領域画像から小画像を生成する。まず、画像ズーム部１３は、主要領域検出部１２から出力された主要領域画像に対するズーム率を決定し、ズーム画像を生成する。

ズーム画像とは、元画像１００から少なくとも主要領域（主要領域画像）全体を含むように切り抜かれて得られた画像をいう。そして、ズーム率とは、そのようにして得られたズーム画像の大きさに対する元画像１００の大きさの比によって表わされる。言い換えると、ズーム率が大きいズーム画像ほど主要領域以外の領域がより小さくなり、ズーム率が小さいズーム画像ほど主要領域以外の領域がより大きくなる。更に言い換えると、ズーム率を大きく設定することにより、主要領域の面積割合が大きいズーム画像が得られ、ズーム率を小さく設定することにより、主要領域の面積割合が小さいズーム画像が得られる。

従って、ズーム率の小さいズーム画像を用いるにあたっては、実際に表示される小画像が比較的大きい場合、図７の例では、見かけ上手前側に配置される小画像に用いることが好ましい。実際に表示される小画像が比較的大きいため、主要領域の面積割合が小さくても、その内容は把握しやすいからである。

一方、ズーム率の大きいズーム画像を用いるにあたっては、実際に表示される小画像が小さい場合、図７の例では、見かけ上奥側に配置される小画像に用いることが好ましい。実際に表示される小画像が小さいため、主要領域の面積割合が大きい方が、その内容は把握しやすいからである。

以上を踏まえて、本実施形態では表示面積（実際に表示される小画像の面積）と元画像１００の面積で除算した値、（表示面積／元画像面積）に対し、図３のグラフに示すズーム率決定線に従ったズーム率を設定し、当該ズーム率に従ってズーム画像を生成する。グラフの右側、すなわち、表示面積が大きいほどズーム率が小さくなっている。従って、グラフの右側の設定は、図７の例では、見かけ上手前側に配置される小画像に好ましく用いられ、グラフの左側の設定は、図７の例では、見かけ上奥側に配置される小画像に好ましく用いられる。

図３中の符号Ｂに示された箇所では、表示領域を示す情報に示された表示領域の表示面積と元画像１００の面積が同じとなり、全くズームをしないズーム率が１であることを示している。また、図４中の符号Ａに示された箇所では、主要領域画像を最も大きくズームする最大ズーム率であることを示している。更に、符号Ｂから符号Ａにかけては、ズーム率が１から最大ズーム率に上昇している。本例では、符号Ｂから符号Ａにかけては、ズーム率が線形に変化しているが、変化の態様は特に限定されない。また、本例では符号Ｂにおいてズーム率が１に設定されているが、符号Ｂにおいて１以外の他のズーム率を設定することも可能である。

本例における符号Ｂ（ズーム率＝１）に相当するズーム画像を用いる場合、元画像がそのまま小画像として使用される。従って、小画像は元画像がそのまま縮小された形式にて表示されるが、このような場合も本発明に含まれる。

図４はズーム画像の切り抜き方法（ズーム画像の形状決定方法）の一例を示す。この例では、主要領域（画像）１０１の中心Ｏをズームの中心に設定し、当該中心と元画像１００の各頂点を結ぶ各線上にそってズーム画像の頂点を移動させる。ズーム率を変動させることにより、ズーム画像が一義的に定められる。ただし、主要領域１０１は必ずズーム画像内に収められなければならないので、点線で示したズーム画像１０２が最大ズーム率のズーム画像となる（左縁が主要領域１０１とズーム画像１０２で一致している）。本例では、元画像１００とズーム画像１０２各々のアスペスト比（縦横比）は同一となる。

図５はズーム画像の切り抜き方法（ズーム画像の形状決定方法）の他の例を示す。この例では、主要領域１０１を最大ズーム率のズーム画像１０２に設定し、主要領域１０１の各頂点と元画像１００の各頂点を結ぶ各線上にそってズーム画像の頂点を移動させる。ズーム率を変動させることにより、ズーム画像が一義的に定められる。点線で示したズーム画像１０２は一例である。

上述の、図３〜図５の例において、画像ズーム部１３はレイアウト管理部１４により出力された表示領域の面積に応じて、主要領域の画像をズームすることにより、ズーム画像を生成するズーム画像生成部として作用する。さらに画像ズーム部１３は、上述した方法によりズームされたズーム画像を拡大または縮小して、実際に小画像一覧に表示する小画像を生成し（小画像生成部として作用）、この画像を表示画像管理部１６に出力する。

上述したように、レイアウト管理部１４は、小画像一覧に表示される各小画像の表示領域を示す情報である表示領域情報を画像ズーム部１３に出力するとともに、小画像一覧に表示される各小画像の配置情報を画像レイアウト部１６に出力する。表示領域情報は小画像の面積に対応し、配置情報は小画像の位置に対応する。

表示画像管理部１５は、画像ズーム部１３により生成された小画像を記憶する。画像レイアウト部（小画像一覧生成部）１６は、入力された各小画像の配置情報に基づき、表示画像管理部１５から取得した各小画像を小画像一覧の所定箇所に配置し、小画像一覧を生成する。

上述の画像処理装置は、液晶表示装置等から構成された画像表示部１７と組み合わされ、画像表示装置を構成する。画像表示部１７は、画像レイアウト部１６から入力された小画像一覧を液晶表示装置に表示する。表示にあたっては、図７のような擬似３次元表示が行なわれ得るが、特に表示方式は限定されない。また、画像表示装置は、携帯電話、ＰＤＡ等の各種携帯端末に好ましくは搭載されるが、特に適用される製品は限定されない。

次に、この実施形態の画像処理装置の動作を説明する。

図６は実施形態の画像処理装置の動作を示すフローチャートである。主要領域検出部１２は、画像出力部１１から元画像１００が入力されると、図２に示すように、複数のパラメータを用いて元画像１００の中から、上述したパラメータを用いて主要領域１０１の画像を抽出し（ステップＳ１０１）、この主要領域１０１の画像を画像ズーム部１３に出力する。

画像ズーム部１３は、レイアウト管理部１４から出力された小画像一覧に表示される小画像の表示領域を示す情報に基づき、主要領域検出部１２から入力された主要領域１０１の画像のズーム画像を生成する（ステップＳ１０２）、次に、画像ズーム部１３は、ズーム画像を小画像の表示領域表示に示された大きさに拡大または縮小した小画像を生成し（ステップＳ１０３）、この小画像を表示管理部１５に出力する。

表示画像管理部１５は、画像ズーム部１３から入力された小画像を記憶する。画像レイアウト部１６は、小画像一覧に表示される各小画像の配置情報をレイアウト管理部１４から読み出すとともに（ステップＳ１０４）、表示画像管理部１５に記憶されている各小画像を読み出し（ステップＳ１０５）、読み出した配置情報に基づき、読み出した各小画像を小画像一覧の所定箇所に配置してサムネイル一覧を生成する（ステップＳ１０６）。

その後、画像レイアウト部１６は、生成した小画像を画像表示部１７に出力する（ステップＳ１０７）。すると、画像表示部１は、入力された画像一覧を表示し（ステップＳ１０８）、処理を終了する。

実施形態の画像処理装置では、レイアウト管理部１４により出力された表示領域の面積に応じて、画像ズーム部１３が、抽出した主要領域１０１の画像をズームしてズーム画像を生成するので、画像が小さい小画像の内容を判り易くすることができる。

すなわち、小画像の表示領域に応じて適宜ズーム画像のズーム率が設定される。従って、各小画像における各々表示領域に応じて、内容を的確に表わした主要領域の占める割合を変化させることができ、小画像の内容を判り易くすることができる。

本発明によれば、小画像の大きさに応じて表示内容が変更されるため、表示されている小画像の内容を判り易くすることができる。従って、本発明は、擬似３次元表示の如き、様々な大きさを有する小画像を複数表示する場合に有効である。もちろん本発明が適用される表示態様は、特定の方式に限定されるわけではない。

本出願は、２００５年６月３０日出願の日本特許出願（特願２００５−１９２０７６）に基づくものであり、その内容はここに参照として取り込まれる。

以上、本発明の各種実施形態を説明したが、本発明は前記実施形態において示された事項に限定されず、明細書の記載、並びに周知の技術に基づいて、当業者がその変更・応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

本発明によれば、小画像の内容を判り易くすることができる画像処理装置及び画像処理方法が提供される。

本発明の実施形態に係る画像処理装置の構成を示すブロック図元画像及び抽出される主要領域の１例を示す図ズーム率を説明する図ズーム画像の生成の仕方の一例を説明する図ズーム画像の生成の仕方の他の例を説明する図実施形態の画像処理装置の動作を示すフローチャート従来の画像処理装置が表示する小画像一覧を示す図

符号の説明

１１画像出力部
１２主要領域検出部
１３画像ズーム部
１４レイアウト管理部
１５表示画像管理部
１６画像レイアウト部
１７画像表示部

Claims

小画像を複数有する小画像一覧を表示する画像処理装置であって、
前記小画像を生成するための元画像を出力する元画像出力部と、
前記元画像出力部により出力された元画像の中から主要領域の画像を抽出する主要領域抽出部と、
前記小画像一覧に表示される各小画像の表示領域を示す表示領域情報と、前記小画像一覧に表示される各小画像の配置情報とを出力するレイアウト管理部と、
前記レイアウト管理部により出力された前記表示領域情報に示されている表示領域の面積に応じて、前記主要領域抽出部より抽出された前記主要領域の画像をズームすることにより、ズーム画像を生成するズーム画像生成部と、
前記ズーム画像生成部により生成されたズーム画像を拡大または縮小し、前記小画像一覧に表示される小画像を生成する小画像生成部と、
前記レイアウト管理部より出力された前記配置情報に基づき、前記小画像生成部より生成された各小画像を小画像一覧の所定箇所に配置して小画像一覧を生成する小画像一覧生成部と、
を備える画像処理装置。
請求項１記載の画像処理装置であって、
前記ズーム画像生成部は、前記表示領域情報に示されている表示領域の面積を、前記元画像出力部により出力された元画像の面積で除算した値を基にして、ズーム率を決定する画像処理装置。
請求項１記載の画像処理装置であって、
前記ズーム画像生成部は、前記主要領域抽出部により抽出された主要領域の画像を中心にし、かつ、前記主要領域の画像が前記ズーム画像に入るようにズームする画像処理装置。
請求項１記載の画像処理装置であって、
前記ズーム画像生成部は、最も大きくズームして生成されるズーム画像が前記主要領域抽出部により抽出された主要領域の画像と等しくなるようにズームする画像処理装置。
請求項１記載の画像処理装置と、
前記小画像一覧生成部により生成された小画像一覧を表示する表示部と、を備える画像表示装置。
請求項５の画像表示装置を含む携帯端末。
小画像を複数有する小画像一覧を表示する画像処理装置が実行する画像処理方法であって、
元画像の中から主要領域の画像を抽出するステップと、
前記小画像一覧に表示される各小画像の表示領域を示す表示領域情報に示されている表示領域の面積に応じて、前記主要領域の画像をズームすることによりズーム画像を生成するステップと、
前記ズーム画像を拡大または縮小し、前記小画像一覧に表示される小画像を生成するステップと、
前記小画像一覧に表示される各小画像の配置情報に基づき、生成した各小画像を小画像一覧の所定箇所に配置して小画像一覧を画像表示部に表示するステップと、を有する画像処理方法。
小画像を生成するための元画像を出力する手順と、
出力した元画像の中から主要領域の画像を抽出する手順と、
小画像を複数有する小画像一覧に表示される各小画像の表示領域を示す表示領域情報に示されている表示領域の面積に応じて、抽出した前記主要領域の画像をズームすることによりズーム画像を生成する手順と、
生成したズーム画像を拡大または縮小し、前記小画像一覧に表示される小画像を生成する手順と、
前記小画像一覧に表示される各小画像の配置情報に基づき、生成した各小画像を小画像一覧の所定箇所に配置して小画像一覧を生成する手順と、
をコンピュータに実行させるプログラム。