JP5904706B2 - メディアコンテンツ閲覧及び関連メディアコンテンツの機能実行方法及び装置 - Google Patents

Description

本発明はメディアコンテンツに関するもので、特にメディアコンテンツを閲覧し、メディアコンテンツに関連した機能を実行する方法及び装置に関する。

ユビキタス環境が発展するに従って、デジタルデータからなされたメディアコンテンツに対する消費者の需要が増加している。メディアコンテンツは、オーディオデータ、イメージデータ、動映像データ、テキストデータ、３Ｄ(3-Dimensional)データなどを含む。

メディアコンテンツを格納及び再生できるデバイス、例えば、ＭＰ３(MPEG Layer3)プレーヤ、ＰＭＰ(Personal Media Player)、移動通信端末、個人用コンピュータ、ノートブックコンピュータ、及びデジタルテレビは格納可能なデータ容量が増加しつつ、格納可能なメディアコンテンツの量も増加することによって、このようなメディアコンテンツの管理が難しくなった。さらに、メディアコンテンツを再生できるデバイスは、一種類のメディアコンテンツだけを再生することでなく、いろいろな種類のメディアコンテンツを再生するために格納されるメディアコンテンツの種類と容量も増加している。

一般的に、メディアコンテンツを閲覧して検索するためのブラウザは、メディアコンテンツの名称リストを提供する方式及びメディアコンテンツ又はそれに関連したサムネイル(thumbnail)イメージリストに関する情報を列挙する方式を使用する。

韓国公開特許第２００１−１０７００４号公報

しかしながら、但し名称リストを提供したり関連サムネイルイメージを列挙する方式は、ユーザーに退屈さを誘発し、メディアコンテンツに関する情報を直観的に伝送することができない。

名称リストを提供するブラウザの場合、メディアコンテンツの名称のみで該当メディアコンテンツの具体的な内容を把握できない。例えば、イメージファイル又はオーディオファイルである場合、デバイスに数多くのファイルが格納されているため、ファイル名だけでは正確な区分が容易ではない。

他の例として、イメージファイル又はオーディオファイルなどの関連サムネイルイメージを列挙するブラウザの場合に、ファイルを区分することはできるが、サムネイルイメージが列挙された状態で該当ファイルに関連した情報を確認することはできない。ユーザー操作は、該当ファイルに関連した情報を確認するためには追加されなければならない。また、サムネイルイメージが列挙される場合に、サムネイルイメージ間に一定の間隔が存在するので、無駄なディスプレイ領域が存在するという問題点があった。

したがって、上記した従来技術の問題点を解決するために、本発明の目的は、ユーザー操作が容易な複数のメディアコンテンツの閲覧方法及び装置を提供することにある。
また、本発明の目的は、複数のメディアコンテンツの識別が容易であり、メディアコンテンツの関連情報を効果的に伝送できる方法及び装置を提供することにある。

本発明の他の目的は、複数のメディアコンテンツの中から所望するメディアコンテンツを容易でかつ迅速に選択できる方法及び装置を提供することにある。
さらに、本発明の目的は、ユーザーによって選択されたメディアコンテンツに関連した機能を迅速に実行できる方法及び装置を提供することにある。

上記のような目的を達成するために、本発明の一態様によれば、ブラウザ装置のメディアコンテンツ閲覧及び関連機能実行方法であって、複数のメディアコンテンツ各々に対応する複数のイメージ要素が組み合わせて生成されたコラージュイメージをディスプレイするステップと、前記コラージュイメージ上で選択入力が発生すると、前記選択入力が発生した地点の位置に対応するイメージ要素又はテキスト要素のうち一つ以上の要素を獲得するステップと、前記獲得した一つ以上の要素を用いて関連メディアコンテンツに対するプレビューウィンドウを構成して前記コラージュイメージ上にオーバーレイするステップと、を具備し、前記テキスト要素は前記関連メディアコンテンツに対応し、前記関連メディアコンテンツに関する情報を含み、前記一つ以上の要素を獲得するステップは、前記コラージュイメージ上で発生する選択入力があるか否かを感知するステップと、前記選択入力が発生した地点に対応するピクセルの位置座標を決定するステップと、前記コラージュイメージのピクセルと対応付けられているラベルに基づいて前記位置座標に割り当てられたラベルを確認するステップと、前記ラベルに対応するイメージ要素及びテキスト要素のうち一つ以上の要素を獲得するステップと、を具備することを特徴とする。

そして、本発明は、コラージュイメージ上で機能実行入力が発生すると、機能実行入力が発生した地点の位置に対応するテキスト要素を獲得するステップと、獲得したテキスト要素に含まれた代表機能情報によって、関連メディアコンテンツを用いる代表機能を遂行するステップとをさらに具備することを特徴とする。

されに、本発明は、プレビューウィンドウに含まれた機能アイコンが選択される場合、獲得した一つ以上の要素に対応するメディアコンテンツを用いて機能アイコンに該当する機能を遂行するステップをさらに具備することを特徴とする。

本発明は、複数のメディアコンテンツの閲覧及び選択のためのユーザー操作を簡素化し、各メディアコンテンツの識別を容易にすることができる。さらに、本発明は、各メディアコンテンツと関連情報を効果的に伝達し、ユーザーによって選択されたメディアコンテンツに関連した機能を迅速に実行することができる。

本発明の一実施形態によるブラウザ装置の構成を示す図である。 本発明の一実施形態によるブラウザＵＩ生成部の動作プロセスを示す図である。 本発明の一実施形態によるブラウザＵＩ生成プロセスを示す図である。 本発明の一実施形態によるコラージュイメージ生成プロセスを示す図である。 本発明の一実施形態によるグレイレベルマップを示す図である。 本発明の一実施形態によるコラージュイメージ編集プロセスを示す図である。 本発明の一実施形態によるブラウザＵＩ駆動プロセスを示す図である。 本発明の実施形態によって多様なタイプのメディアコンテンツに関連したブラウザＵＩの実施例を示す図である。 本発明の実施形態によって多様なタイプのメディアコンテンツに関連したブラウザＵＩの実施例を示す図である。 本発明の実施形態によって多様なタイプのメディアコンテンツに関連したブラウザＵＩの実施例を示す図である。

以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
図面において、同一の構成要素に対してはできるだけ同一の参照符号及び参照番号を付して説明する。下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。

本発明は、多様な種類のメディアコンテンツに対する閲覧、検索、又は実行を向上させるためのメディアコンテンツ閲覧及び実行方法と装置を提供し、メディアコンテンツを迅速で効果的に閲覧、検索、及び選択でき、選択されたメディアコンテンツの実行が容易なブラウザユーザーインターフェース(User Interface：以下、“ＵＩ”と称する)を提供する。

メディアコンテンツは、その種類によってオーディオデータ、イメージデータ、動映像データ、テキストデータ、３Ｄデータなどで構成される。したがって、本発明において、メディアコンテンツは、オーディオファイル、イメージファイル、動映像ファイル、テキストファイル、及び３Ｄイメージファイルのうちいずれか一つとなり得る。複数のメディアコンテンツは、同一の数のファイルとなることができる。

上記したメディアコンテンツを再生してユーザーが認知できる形態で提供するメディアコンテンツデバイスは、その種類が多様であり、例えば、ＭＰ３プレーヤ、ＰＭＰ、移動通信端末、個人用コンピュータ、ノートブックコンピュータ、デジタルテレビ、電子辞典、ＰＤＡ(Personal Digital Assistant)などを含む。したがって、本発明は上記したデバイスはもちろん、言及されない多様な種類のメディアコンテンツデバイスに適用することができる。

本発明によるメディアコンテンツブラウザＵＩは、コラージュイメージ(collage image)を使用する。コラージュイメージは、複数のイメージが組み合わせて生成される一つのイメージである。本発明の一実施形態により、閲覧される複数のメディアコンテンツ各々に対応するイメージは、一つのコラージュイメージを生成するのに使用される。このようにコラージュイメージ生成に使用される複数のイメージをイメージ要素(element)と称する。

閲覧対象となる複数のメディアコンテンツの各々に対応して、該当メディアコンテンツに関する情報を含むテキストファイルを生成する。本発明では、このようなテキストファイルをテキスト要素と呼ぶ。

また、本発明では、コラージュイメージを構成する各イメージ要素と関連テキスト要素との間のリンク情報を含むメタデータファイルが生成される。以後、コラージュイメージ及び関連メタデータファイルは、コラージュイメージに対応する複数のメディアコンテンツを検索するためのブラウザＵＩを構成する。

本発明によるブラウザＵＩが活性化されると、コラージュイメージは、デバイスの画面にディスプレイされる。このようなコラージュイメージは、イメージ要素それぞれの特殊性を維持すると同時に複数のイメージ要素をユーザーに提供可能する。コラージュイメージは、デバイスの全体ディスプレイ領域を考慮して生成されることができるため、デバイスのスクリーン解像度は効果的に使用可能になる。特に、このコラージュイメージは携帯用装置でより効果的に使用される。

本発明において、コラージュイメージ上でポインタの位置に対応するイメージ要素及びテキスト要素は、メタデータファイルを用いて確認し、確認したイメージ要素及びテキスト要素を用いて該当メディアコンテンツに対するテキスト識別情報を提供し、あるいは該当メディアコンテンツに関連した簡略情報を含むプレビュー情報を提供できる。これによって、複数のコンテンツに対する比較が同時に可能になる。すなわち、複数のコンテンツは、コラージュイメージを通じて閲覧すると同時に、多数のメディアコンテンツに対するレビューを可能にする。

また、該当メディアコンテンツと関連した機能はユーザー要求によって実行することができる。それによって、メディアコンテンツ機能が迅速に実行できる。
図１は、本発明が適用されるメディアコンテンツ閲覧及び実行のためのブラウザ装置の一例を示す。本発明によるブラウザ装置は、上記した各種デバイスに含まれることができる。

図１を参照すると、ブラウザ装置は、制御部１０、ユーザー入力装置２０、メモリ３０、及び表示部４０を含む。
ユーザー入力装置２０は、ユーザー操作によって生成される各種入力データを制御部１０に出力する装置であって、各種機能キー、数字キー、及び方向キーなどを含むキーパッド又はマウスとなり得る。

表示部４０は、多様なメディアコンテンツをディスプレイする。
メモリ３０は、制御部１０の処理及び制御のためのプログラム、参照データ、更新可能な各種保管用データなどを格納し、制御部１０のワーキングメモリ(working memory)として提供される。

メモリ３０は、多様なメディアコンテンツを格納する。例えば、メモリ３０は、複数のオーディオファイル、複数のイメージファイル、複数の動映像ファイル、複数のテキストファイル、及び複数の３Ｄイメージファイルを格納することができる。オーディオファイルは、音楽ファイル又は録音ファイルとなり得る。そして、イメージファイルは、カメラを通じて生成されたイメージ又は外部でダウンロードしたイメージとなり得る。動映像ファイルは、音楽動映像ファイル、映画ファイルとなり得る。テキストファイルは、各種文書ファイル又は電話番号などが登録される電話帳(phonebook)データであり得る。電話帳の場合、登録された名前エントリ又は連絡先に対応して一つのテキストファイルが存在できる。例えば、一つの名前エントリに関連して電話帳に格納された一つ以上の接続番号又はアドレス、メモ、記念日などが一つのテキストファイルに含まれる。それによって、電話帳は、一つ以上のテキストファイルを含む。

メモリ３０は、本発明の一実施形態によって生成されるイメージ要素、テキスト要素、コラージュイメージ、及びメタデータファイルを格納する。
イメージ要素は、コラージュイメージを生成するために利用されるイメージとして、閲覧対象となる複数のメディアコンテンツの各々に対応して生成される。メディアコンテンツの種類別に生成されることができるイメージ要素の例は、次のようである。メディアコンテンツがイメージファイルである場合、イメージ要素はサムネイルであり、メディアコンテンツが動映像ファイルである場合、イメージ要素はアルバムアートイメージ、映画ポスター、スクリーンショット、及び任意のフレームイメージであり得る。そして、オーディオファイルの場合は関連音楽アルバムの表紙イメージ、歌手の写真などがイメージ要素となることができる。メディアコンテンツが電話帳である場合、電話帳に登録された名前エントリに対応する人の顔写真などがイメージ要素になり得る。３Ｄファイルの場合、イメージ要素は２Ｄプロジェクションになることができる。

テキスト要素は、閲覧対象となる複数のメディアコンテンツの各々に対する情報ファイルとして、複数のメディアコンテンツの各々に対応して生成される。メディアコンテンツの種類別にテキスト要素に含まれる情報の例は、次のようである。イメージファイルの場合、テキスト要素にはイメージファイルが生成された、又は格納された日付、時間、位置、ファイル名、又は解像度などを含むことができる。動映像ファイルの場合、該当テキスト要素は、ファイル名、題目、監督名前、ジャンル、上映時間、解像度、キャスティングなどを含むことができる。オーディオファイルの場合、テキスト情報にはファイル名、アルバム名称、音楽家、作曲家、歌手などの情報を含むことができる。テキストファイルの場合、テキスト要素にはファイル題目、格納時間などを含むことができる。電話帳であると、テキスト要素には名前、アドレス、接続番号、イメールアドレス、居住地アドレス、誕生日、記念日、メモなどを含むことができる。３Ｄファイルであると、テキスト情報は、題目、フレーム数、又はジオメトリ(geometry)に関する情報を含むことができる。

コラージュイメージは、複数のイメージ要素を一つのイメージで組み合わせることによって生成されるイメージである。コラージュイメージの容量は、単一コラージュイメージに含まれたイメージ要素の個数によって決定される。大部分のデバイスのディスプレイは、四角形であり、これによって四角形コラージュイメージが生成されることができる。コラージュイメージに含まれる各イメージ要素を効果的に閲覧し、強調するために、イメージ要素の解像度は基準値以上であることが望ましい。本発明では、基準値をＷ×Ｈで表現する。ここで、Ｗはイメージ要素の幅を表し、Ｈはイメージ要素の高さを表す。

したがって、任意のメディアコンテンツから獲得されたイメージ要素は、基準値に適合するようにサイズが調整される。コラージュイメージは、最大ディスプレイ領域をカバーするように生成されることが望ましい。スクリーンの解像度がＡ×Ｂであると、コラージュイメージの容量Ｎは、次の＜数式１＞のように決定されることができる。

ここで、｜Ｘ｜は、Ｘ以下の最大整数である。そのため、検索対象となるメディアコンテンツに対応するメディア要素の総量がＮより大きいと、複数のコラージュイメージが生成されることができる。一つのコラージュイメージに含まれることができるイメージ要素の最大個数は限定されるが、最大個数以下の複数のイメージ要素である場合にはコラージュイメージが生成できる。そして、コラージュイメージは一つ以上存在することができる。

制御部１０は、ブラウザ装置の全般的な動作を制御し、本発明の一実施形態によって、ＵＩ生成部１１とＵＩ駆動部１２を含む。ＵＩ生成部１１は、本発明の一実施形態によってメディアコンテンツを閲覧、検索、及び選択でき、選択されたメディアコンテンツに関連した機能に対する実行命令を入力できるブラウザＵＩ生成を制御する。ＵＩ駆動部１２は、生成されたブラウザＵＩを駆動させ、ブラウザＵＩの駆動によるブラウザ装置の動作を制御する。

本発明の一実施形態では、ＵＩ生成部１１とＵＩ駆動部１２が制御部１０に含まれた場合を例として説明した。他の実施形態では、ＵＩ生成部１１とＵＩ駆動部１２が別途に備えられ、制御部１０と連係して動作するように構成することもできる。

図２は、本発明の一実施形態によるブラウザＵＩ生成プロセスを示す。図２を参照して、このように構成されるブラウザ装置が本発明によってブラウザＵＩを生成するプロセスについて説明する。

本発明によって、ユーザーは、検索対象になるメディアコンテンツに対応するブラウザＵＩをオーサリング(authoring)できる。それによって、ブラウザ装置のブラウザＵＩ生成部１１は、ブラウザＵＩ生成に関連したオーサリングツール(tool）を表示部４０を通じてユーザーに提供できる。ユーザーは、オーサリングツールを通じて閲覧対象となる複数のメディアコンテンツを指定できる。

メディアコンテンツが指定されると、ブラウザＵＩ生成部１１は、ステップ１０１で、指定された複数のメディアコンテンツ各々に対応するイメージ要素及びテキスト要素を生成する。イメージ要素及びテキスト要素は、自動に生成されるか、あるいはユーザーによって構成することができる。

言い換えれば、ユーザーは、各メディアコンテンツに対応するイメージ要素及びテキスト要素に含まれる情報の種類を指定できる。メディアコンテンツがイメージファイルである場合にイメージ要素はサムネイルとして自動に生成されるが、各イメージファイルのうち特定部分をユーザーが関心領域として指定すると、指定された関心領域中心のイメージ要素が生成することもできる。映画に対する動映像ファイルである場合、該当映画のポスターのイメージがイメージ要素として自動に生成することができるが、動映像ファイルの任意のフレームに該当するイメージがユーザーによってイメージ要素として指定することもできる。

そして、テキスト要素に含まれた情報のうちいずれか一つの情報を代表情報として定めることができる。代表情報は、ブラウザＵＩが駆動されてコラージュイメージがディスプレイされた状態で、コラージュイメージ上にポインタが位置するとき、ポインタが位置したイメージ要素に対応してディスプレイされる情報であって、例えばメディアコンテンツに対応するファイル名称のようにメディアコンテンツの最小限の識別情報が設定されることが望ましい。代表情報として指定される情報の内容もユーザーが直接選択し、その選択によって代表情報の設定をしないこともある。このような代表情報は、テキスト要素に含まれる。

テキスト要素は、メディアコンテンツを用いて実行できる機能情報を一つ以上含む。例えば、オーディオファイルの場合にはオーディオ再生であり、又は動映像ファイルの場合には動映像再生であり、あるいはイメージファイルの場合にはイメージ編集であり、もしくは電話帳の場合には発信機能であり得る。また、テキスト要素に関連した機能を代表機能として設定することができる。代表機能は、自動に設定することもでき、ユーザーの選択によって指定することもできる。

イメージ要素及びテキスト要素の生成が完了すると、ブラウザＵＩ生成部１１は、ステップ１０３で、複数のイメージ要素を用いてコラージュイメージを生成する。コラージュイメージ生成の際に、関連イメージ要素の位置はランダムに定められ、ユーザーは、コラージュイメージ上に各イメージ要素の位置を指定することができる。例えば、図４に示すように、ブラウザＵＩ生成部１１は、コラージュイメージの配列パターン３０１をディスプレイできる。ユーザーは、コラージュイメージの配列パターン３０１上で各イメージ要素の位置を変更できる。その後、第１のコラージュイメージ３０３は、生成要求によって生成されることができる。コラージュイメージは、図４に示すように、複数のイメージ要素の一部領域が重なるように組み合わせて生成され、各イメージ要素間の境界はブレンディング(blending)処理されることが好ましい。しかし、本発明は、多様なコラージュイメージ生成アルゴリズムを利用できる。

更に図２を参照すると、コラージュイメージ生成が完了すると、ブラウザＵＩ生成部１１は、ステップ１０５で、コラージュイメージからメタデータファイルを生成する。言い換えれば、コラージュイメージ配列パターンの各イメージ要素領域がイメージ要素で満たすと、イメージ要素領域のピクセルは、一つのイメージ要素に対応する。したがって、最終コラージュイメージのピクセルは、該当ピクセルに対応する一つのラベルを有することができる。

メタデータファイルは、コラージュイメージに属する各ピクセルのためのラベルマップを含む。メタデータファイルは、コラージュイメージの各ピクセルと各ピクセルに対応するイメージ要素をリンクさせることができる。イメージ要素のグレイレベル(gray level)は、各ピクセルのラベルとして使用される。グレイレベルを用いるラベルマップの一例を図５に示す。図５は、総７個のイメージ要素で構成されるコラージュイメージのグレイレベルを示す。

例えば、複数のイメージ要素はＩ＝{Ｉ１,Ｉ２，Ｉ３，…，Ｉ７}であり、メタデータファイルはＭ１であり、２Ｄ座標を用いたピクセルの位置は(ｘ，ｙ)であり、メタデータ内の異なるグレイレベルはｇ＝{ｇ１,ｇ２,ｇ３,…,ｇ７}である。このとき、各グレイレベルは、一つのイメージ要素に対応する。例えば、グレイレベルｇ１はイメージ要素Ｉ１に対応し、グレイレベルｇ２はイメージ要素Ｉ２に対応する。ピクセル位置(ｘ，ｙ)において、グレイレベルはメタデータから獲得され、グレイレベルに関連したイメージ要素は把握することができる。

このように、メタデータファイルは、コラージュイメージの各ピクセルの位置座標にグレイレベルをラベルとして追加し、グレイレベルに対応するイメージ要素に関する情報を含む。メタデータファイルは、各イメージ要素に関連したテキスト要素に関する識別情報を含む。

メタデータファイルの生成が完了すると、ブラウザＵＩ生成部１１は、ステップ１０７で、コラージュイメージ、メタデータファイル、関連イメージ要素、及びテキスト要素をグルーピングによってブラウザＵＩを構成する。

ブラウザＵＩが生成された後に、ユーザーは、コラージュイメージを編集することができる。ブラウザＵＩの生成後に関連コラージュイメージが編集されると、編集されたコラージュイメージに関連したメタデータファイルは更新される。イメージ要素は、ブラウザＵＩに新たに追加され、あるいはブラウザＵＩから削除することができる。さらに、イメージ要素の位置は変更され得る。イメージ要素の追加は、検索対象になるコンテンツメディアが追加されることを意味する。また、イメージ要素の除去は、関連コンテンツメディアがブラウザＵＩの管理対象から除外されることを意味する。

ステップ１０９で、ユーザーからコラージュイメージに対する編集が要求されると、ブラウザＵＩ生成部１１は、ステップ１１１で、編集に従ってブラウザＵＩを変更する。
図６は、ブラウザＵＩの生成後のコラージュイメージ編集の一例を示す。参照符号３２０は、第２のコラージュイメージ３１０の左側上部に新たなイメージ要素を追加する場合を示す。参照符号３３０は、第２のコラージュイメージ３１０から風景イメージ要素３１１を削除する場合を示す。参照符号３４０は、第２のコラージュイメージ３１０の少女イメージ要素の位置が右側中間部から左側下部に移動される場合を示す。

上述したようにブラウザＵＩを生成するプロセスは、図３にフレームワークブロックとして表す。図３を参照すると、イメージ要素２２０とテキスト要素２３０は、メディアコンテンツ２１０から生成される。コラージュイメージ２４０とメタデータファイル２５０は、イメージ要素２２０から生成される。以後、イメージ要素２２０、テキスト要素２３０、コラージュイメージ２４０、及びメタデータファイル２５０は、ブラウザＵＩ２６０を構成するようにグルーピングされる。特定機能２７０は、ブラウザＵＩ２６０を通じて実行される。

図７は、本発明の一実施形態によるＵＩ駆動部１２によってブラウザＵＩを駆動するプロセスを示す。
図７を参照すると、ＵＩ駆動部１２は、ステップ４０１で、ブラウザＵＩを提供するためにコラージュイメージをディスプレイする。ユーザーは、ディスプレイされたコラージュイメージを閲覧しつつ、コラージュイメージ上のポインタの位置を変更できる。ポインタは、矢印状のインジケータ又はカーソルによって表現することができる。このポインタは、方向キー又はマウスの操作などを通じて可能である。

ＵＩ駆動部１２は、ステップ４０３で、コラージュイメージ上でポインタの位置を検出する。このとき、ポインタの位置は座標(ｘ，ｙ)として検出される。ＵＩ駆動部１２は、ステップ４０５で、メタデータファイルを用いて検出されたポインタの位置に対応するグレイレベルを獲得する。ＵＩ駆動部１２は、グレイレベルの獲得によって関連イメージ要素を把握できる。

ＵＩ駆動部１２は、ステップ４０７で、代表情報がグレイレベルに対応するイメージ要素に設定されたか否かを確認する。その結果、代表情報が設定されていると、ＵＩ駆動部１２は、ステップ４０９で、代表情報ウィンドウをコラージュイメージ上にオーバーレイする。例えば、現在駆動されたブラウザＵＩに関連したメディアコンテンツがイメージファイルであると、イメージファイルのファイル名が代表情報として設定することができる。この場合、ポインタが位置したイメージ要素に対応するイメージファイルのファイル名は、代表情報ウィンドウに含まれてポインタ位置にディスプレイされる。ステップ４０７で代表情報が設定されていないと、ＵＩ駆動部１２はステップ４１１に進行する。

ＵＩ駆動部１２は、ステップ４１１で、選択入力が発生したか否かを確認する。選択入力は、例えばマウスの単一クリックのようなユーザー入力であり得る。選択入力が発生すると、ＵＩ駆動部１２は、ステップ４１７に進行し、ステップ４０５で獲得したグレイレベルに対応するイメージ要素又はテキスト要素を獲得する。ＵＩ駆動部１２は、ステップ４１７で獲得したイメージ要素とテキスト要素を用いてプレビューウィンドウを構成する。プレビューウィンドウは、例えば左側にはイメージ要素が位置し、右側にはテキスト要素に含まれた情報が列挙されるように構成されることができる。このようなプレビューウィンドウは、コラージュイメージ上にオーバーレイされる。上記例では、プレビューウィンドウにテキスト要素の情報が含まれる場合を説明したが、プレビューウィンドウは、イメージ要素のみを含み、あるいはテキスト要素のみを含むことができる。プレビューウィンドウには関連イメージ要素に対応するメディアコンテンツを用いて実行できる機能に対する実行アイコンが含まれることができる。例えば、メディアコンテンツがイメージファイルである場合、原本イメージファイルディスプレイアイコン、イメージファイル編集機能アイコンなどがプレビューウィンドウに含まれることができる。オーディオファイルの場合に、再生アイコンを含むことができる。プレビューウィンドウにはプレビューウィンドウのディスプレイを取消すことができる取り消しアイコンを含むことができる。

ＵＩ駆動部１２は、ステップ４２１で、プレビューウィンドウがオーバーレイされた状態で、機能実行アイコンが選択されたか否かを確認する。その結果、機能実行アイコンが選択された場合には、選択されたアイコンに該当する機能がステップ４２３で実行される。ＵＩ駆動部１２は、ステップ４２５で、取り消しアイコンが選択されたか否かを確認する。選択された場合には、ＵＩ駆動部１２は、ステップ４２７でプレビューウィンドウを終了し、ステップ４０３に戻る。

一方、ステップ４１１で、選択入力が発生せず、代表機能実行入力を発生することができる。代表機能実行入力は、例えばダブルクリックすることができる。すなわち、如何なる選択なしにポインタがコラージュイメージ上に位置した状態でダブルクリックが発生できる。それによって、ＵＩ駆動部１２は、ステップ４１３で、代表機能実行入力が発生すると、ステップ４１５で、ダブルクリックが発生したグレイレベルに該当するイメージ要素に対応して設定された代表機能を実行する。メディアコンテンツが電話帳であると、ダブルクリックが発生したイメージ要素に該当する名前に関連して登録された電話番号を用いて呼を発信できる。

上述したブラウザＵＩ駆動による具体的な動作シナリオについて、図８乃至図１０を参照して説明する。図８は、本発明の一実施形態によってイメージファイルに関連したブラウザＵＩを実行する場合を示す。図９は、本発明の一実施形態によって映画動映像ファイルに関連したブラウザＵＩを実行する場合を示す。図１０は、本発明の一実施形態によって電話帳に関連したブラウザＵＩを実行する場合を示す。

図８は、イメージブラウザＵＩに関するものである。イメージブラウザＵＩを構成するプロセスは、次のようである。一つのグループのイメージファイルに対応する一つのグループのイメージ要素は、コラージュイメージを生成するために使用される。コラージュイメージに配置されたイメージ要素領域の各ピクセルに対応するグレイレベルのラベルを付加してメタデータファイルを生成する。本発明の実施形態では、テキスト要素の構成が省略されると仮定する。イメージファイルの場合、別途のテキスト要素が含まれなくてもイメージの閲覧及び検索が可能であるためである。それによって、イメージ要素、メタデータファイル、コラージュイメージをグルーピングしてイメージブラウザＵＩを構成する。

そして、イメージブラウザＵＩをユーザーに提供することによって、コラージュイメージがディスプレイされた状態(５００)でポインタが表示され(５１０)、ユーザーがコラージュイメージ上でポインタが位置したどの地点かをクリックすると、ＵＩ駆動部１２は選択入力が発生したと認知する。これによって、ＵＩ駆動部１２は、クリックされた地点と関連したイメージ要素がメタデータファイルから推定する。ユーザーによってクリックされた地点の座標が(ｘ，ｙ)である場合、メタデータファイル内のグレイレベルはｇ＝ＭＩ(ｘ，ｙ)で表すことができる。グレイレベルは関連イメージ要素とマッピングされるため、イメージ要素を獲得するのに利用される。獲得されたイメージ要素は、プレビューウィンドウに含まれてコラージュイメージの上部にオーバーレイされる(５２０)。
この状態(５２０)で、もう一度クリック入力が発生すると、ＵＩ駆動部１２は、関連機能実行であると判断し、イメージファイルを全体画面としてディスプレイする(５３０)。プレビューウィンドウ領域外の他の部分をクリックすることが感知されると、ＵＩ駆動部１２は、プレビューウィンドウのディスプレイを終了する(５００)。

ユーザーがコラージュイメージ上でポインタが位置した地点を連続してダブルクリックすると、ＵＩ駆動部１２は、代表機能実行入力が発生したと判断して該当地点に対応するイメージファイルを全体画面サイズでディスプレイする(５３０)。そして、イメージブラウザＵＩ状態をコラージュイメージディスプレイ状態に変更するために、終了(done)アイコンをクリックする。

図９を参照して、動映像ブラウザＵＩを説明すると、次のようである。
対象となる各動映像ファイルからアルバムアート又はＤＶＤカバー、又はスクリーンショットイメージを収集する。このようなイメージは、各動映像ファイルに関連したイメージ要素となる。題目、監督、ジャンル、上映時間、解像度、キャスティングのようなビデオファイルに関する情報を含むテキスト要素が各同映像ファイル別に生成される。動映像ファイルから獲得されたイメージ要素を用いてコラージュイメージを生成する。コラージュイメージの各ピクセルにラベル、すなわちグレイレベルを付与し、各グレイレベルに関連イメージ要素を対応させてメタデータファイルを生成する。

動映像ブラウザＵＩが提供されると、動映像コラージュイメージがディスプレイされる(６００)。動映像コラージュイメージ上でマウスが移動すると、該当ビデオクリップの題目、すなわち、代表情報がディスプレイできる(６１０)。言い換えれば、コラージュイメージ上でポインタの位置の座標(ｘ，ｙ)が決定され、位置座標を利用してメタデータファイルからグレイレベルを獲得する。代表情報は、グレイレベルに関連したテキスト要素から獲得されて代表情報ウィンドウに含まれ、動映像コラージュイメージ上にオーバーレイされる(６１０)。

プレビューウィンドウがディスプレイされた状態で単一クリックが発生されると、クリックが発生された地点の位置座標(ｘ，ｙ)を用いてイメージ要素とテキスト要素が獲得され、プレビューウィンドウが構成されてコラージュイメージ上にオーバーレイされる(６３０)。ダブルクリックが発生される場合には、対応動映像ファイルが再生される(６４０)。

この状態で、再生アイコンが選択されると(６３０)、該当ビデオファイルが再生され(６４０)、再生を完了し、あるいは取り消しアイコンが選択されると、動映像イメージコラージュディスプレイ状態に復旧される(６００)。

次に、図１０を参照して、電話帳ブラウザＵＩについて説明する。
電話帳ブラウザＵＩは、携帯電話などに格納された電話帳を閲覧し、発信のためのツールで使用することができる。電話帳の各名前エントリに対応する顔イメージを指定すると、顔イメージを用いてイメージ要素が生成される。そして、名前エントリに関連した名前、アドレス、電話番号、誕生日、ファックス番号のような情報を含むテキスト要素が生成され、各顔イメージ要素とリンクされる。顔イメージ要素を用いてコラージュイメージが生成され、コラージュの各顔イメージ要素及び該当ピクセルにラベルを付けてメタデータファイルを生成する。

電話帳ブラウザＵＩモードが設定されると、コラージュイメージがディスプレイされる(７００)。コラージュイメージ上にポインタが移動するに従って、現在ポインタの位置座標が確認される。メタデータファイルで位置座標を用いてグレイレベルを獲得し、グレイレベルに関連したテキスト要素を把握し、代表情報、すなわち名前を獲得する。獲得された名前は、代表情報ウィンドウに含まれてコラージュイメージ上にオーバーレイされる(７１０)。

このような状態で、単一クリックが発生すると、クリックが発生された地点の位置座標を用いてテキスト要素が獲得され、テキスト要素の情報が含まれたプレビューウィンドウが構成されてオーバーレイされる(７３０)。

この状態で、発信アイコンが選択されると、呼発信動作が遂行される(７４０)。
コラージュイメージ上でダブルクリックが発生すると、ダブルクリックが発生した地点に対応する名前エントリに登録された電話番号を用いる呼発信を遂行することもできる(７４０)。

以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲を外れない限り、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。例えば、相互に異なる種類のメディアコンテンツが一つのブラウザＵＩを通じて提供されることもある。したがって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。

１０ 制御部
２０ ユーザー入力装置
３０ メモリ
４０ 表示部

Claims (19)

1. ブラウザ装置のメディアコンテンツ閲覧及び関連機能実行方法であって、
   複数のメディアコンテンツ各々に対応する複数のイメージ要素が組み合わせて生成されたコラージュイメージをディスプレイするステップと、
   前記コラージュイメージ上で選択入力が発生すると、前記選択入力が発生した地点の位置に対応するイメージ要素又はテキスト要素のうち一つ以上の要素を獲得するステップと、
   前記獲得した一つ以上の要素を用いて、獲得した前記要素に対応する該当メディアコンテンツに対するプレビューウィンドウを構成して前記コラージュイメージ上にオーバーレイするステップと、を具備し、
   前記テキスト要素は前記該当メディアコンテンツに対応し、前記該当メディアコンテンツに関する情報を含み、
   前記一つ以上の要素を獲得するステップは、
   前記コラージュイメージ上で発生する選択入力があるか否かを感知するステップと、
   前記選択入力が発生した地点に対応するピクセルの位置座標を決定するステップと、
   前記コラージュイメージの生成時に前記複数のイメージ要素はコラージュイメージの該当イメージ要素領域に配置され、ラベルは、各イメージ要素領域に対応する各ピクセルに割当られたものであって、前記位置座標に割り当てられたラベルを確認するステップと、
   前記ラベルに対応するイメージ要素及びテキスト要素のうち一つ以上の要素を獲得するステップと、
   を具備することを特徴とする方法。
2. 前記コラージュイメージ上で機能実行入力が発生すると、前記機能実行入力が発生した地点の位置に対応するテキスト要素を獲得するステップと、
   前記獲得したテキスト要素に含まれた代表機能情報によって、前記該当メディアコンテンツを用いる代表機能を遂行するステップと、
   をさらに具備することを特徴とする請求項１に記載の方法。
3. 前記プレビューウィンドウに含まれた機能アイコンが選択される場合、前記獲得した一つ以上の要素に対応するメディアコンテンツを用いて前記機能アイコンに該当する機能を遂行するステップをさらに具備することを特徴とする請求項１に記載の方法。
4. 前記コラージュイメージ上で現在ポインタの位置を確認するステップと、
   前記ポインタの位置に対応するテキスト要素を獲得して代表情報を把握するステップと、
   前記代表情報を含むウィンドウを前記コラージュイメージ上にオーバーレイするステップと、
   をさらに具備することを特徴とする請求項１に記載の方法。
5. 前記コラージュイメージの生成時に前記複数のイメージ要素はコラージュイメージの該当イメージ要素領域に配置され、関連イメージ要素のグレイレベルは前記各イメージ要素領域に対応する各ピクセルにラベルとして割り当てられることを特徴とする請求項１に記載の方法。
6. 前記該当メディアコンテンツの種類が電話帳データである場合、前記機能実行入力が発生した位置に対応する名前エントリに登録された電話番号を用いて発信することを特徴とする請求項２に記載の方法。
7. 前記複数のメディアコンテンツの種類は、イメージデータ、動映像データ、テキストデータ、及びオーディオデータのうちいずれか一つであることを特徴とする請求項１に記載の方法。
8. 前記一つ以上の要素を獲得するステップは、
   前記コラージュイメージ上で前記選択入力が発生した地点に対応する位置のメタデータファイルの画素のグレイレベルを確認するステップと、
   前記確認したグレイレベルにより、前記選択入力が発生した地点の位置に対応する前記複数のイメージ要素の１つを決定するステップと、
   前記決定された前記複数のイメージ要素の１つに対応するイメージ要素及びテキスト要素のうち一つ以上の要素を獲得するステップと、
   を具備することを特徴とする請求項１に記載の方法。
9. 前記複数のイメージ要素の一部領域が重なるように組み合わせて、前記コラージュイメージを生成するステップ、
   をさらに具備することを特徴とする請求項１に記載の方法。
10. 前記イメージ要素間の境界をブレンディング（blending）処理するステップ、
    をさらに具備することを特徴とする請求項９に記載の方法。
11. メディアコンテンツ閲覧及び関連機能実行のためのブラウザ装置であって、
    表示部と、
    複数のメディアコンテンツを格納するメモリと、
    複数のメディアコンテンツ各々に対応する複数のイメージ要素が組み合わせて生成されたコラージュイメージを前記表示部にディスプレイし、前記コラージュイメージ上で選択入力が発生すると、前記選択入力が発生した地点の位置に対応するイメージ要素及びテキスト要素のうち一つ以上の要素を獲得し、前記獲得した一つ以上の要素を用いて、獲得した前記要素に対応する該当メディアコンテンツに対するプレビューウィンドウを構成して前記コラージュイメージ上にオーバーレイする制御部と、を含み、
    前記テキスト要素は前記該当メディアコンテンツに対応し、前記該当メディアコンテンツに関する情報を含み、
    前記制御部は、前記一つ以上の要素を獲得するために、前記コラージュイメージ上で発生する選択入力があるか否かを感知し、前記選択入力が発生した地点に対応するピクセルの位置座標を決定し、前記コラージュイメージの生成時に前記複数のイメージ要素が配置されるコラージュイメージの該当イメージ要素領域の各イメージ要素領域に対応する各ピクセルに割当られたラベルであって、前記位置座標に割り当てられた、ラベルを確認し、前記ラベルに対応するイメージ要素及びテキスト要素のうち一つ以上の要素を獲得する
    ことを特徴とするブラウザ装置。
12. 前記制御部は、前記コラージュイメージ上で機能実行入力が発生すると、前記機能実行入力が発生した地点の位置に対応するテキスト要素を獲得し、前記獲得したテキスト要素に含まれた代表機能情報によって前記該当メディアコンテンツを使用する代表機能を遂行することを特徴とする請求項１１に記載のブラウザ装置。
13. 前記制御部は、前記プレビューウィンドウに含まれた機能アイコンが選択されると、前記獲得した一つ以上の要素に対応するメディアコンテンツを用いて前記機能アイコンに該当する機能を遂行することを特徴とする請求項１１に記載のブラウザ装置。
14. 前記制御部は、前記コラージュイメージ上で現在ポインタの位置を確認し、前記ポインタの位置に対応するテキスト要素を獲得して代表情報を把握し、前記代表情報を含むウィンドウを前記コラージュイメージ上にオーバーレイすることを特徴とする請求項１１に記載のブラウザ装置。
15. 前記コラージュイメージの生成時に前記複数のイメージ要素は、コラージュイメージの該当イメージ要素領域に配置され、関連イメージ要素のグレイレベルは前記各イメージ要素領域に対応する各ピクセルにラベルとして割り当てられることを特徴とする請求項１１に記載のブラウザ装置。
16. 前記該当メディアコンテンツの種類が電話帳データである場合、前記機能実行入力が発生した位置に対応する名前エントリに登録された電話番号を用いて発信することを特徴とする請求項１２に記載のブラウザ装置。
17. 前記制御部は、前記一つ以上の要素を獲得するために、前記コラージュイメージ上で前記選択入力が発生した地点に対応する位置のメタデータファイルの画素のグレイレベルを確認し、前記確認したグレイレベルにより前記選択入力が発生した地点の位置に対応する前記複数のイメージ要素の１つを決定し、前記決定された前記複数のイメージ要素の１つに対応するイメージ要素及びテキスト要素のうち一つ以上の要素を獲得することを特徴とする請求項１１に記載のブラウザ装置。
18. 前記複数のイメージ要素の一部領域が重なるように組み合わせて、前記コラージュイメージを生成する生成部、
    をさらに具備することを特徴とする請求項１１に記載のブラウザ装置。
19. 前記生成部は、前記イメージ要素間の境界をブレンディング（blending）処理することを特徴とする請求項１８に記載のブラウザ装置。