JP6068384B2

JP6068384B2 - 収集された情報に基づいた映像処理方法及びその装置

Info

Publication number: JP6068384B2
Application number: JP2014058742A
Authority: JP
Inventors: 智英廉; ▲みん▼ 祐李; 宗浩金; 賢煕朴; 學均 ▲ペ▼; ソル−ギ張; 正 ▲ふん▼ 朴
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-03-20
Filing date: 2014-03-20
Publication date: 2017-01-25
Anticipated expiration: 2034-03-20
Also published as: JP2014183596A; US9927867B2; EP2782326A2; CN104063846B; US20140285431A1; EP2782326A3; EP2782326B1; CN104063846A; WO2014148829A1

Description

本発明は、収集された情報に基づいて処理された映像をディスプレイする方法及びその装置に関する。

ディスプレイ装置は、映像の鮮明度あるいはディテールを改善するために処理された映像をディスプレイする。
映像処理装置は、映像の画質を改善するために、映像を処理することによって、映像の画質がさらに向上したものと認識される映像がディスプレイされる。

本発明の目的は、ディスプレイされる映像の特性情報、またはディスプレイ装置の周辺環境情報に基づいて処理する方法及び該装置を提供することにある。

本発明の一実施形態において、映像処理方法は、映像の特性情報を獲得する段階と、前記映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得する段階と、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階と、を含むことを特徴とする。

前記特性情報は、前記映像のホワイトポイント、ガンマ値、色温度及び色領域情報のうち少なくとも一つを含むことを特徴とする。

前記特性情報は、前記特性情報の変化量についての情報をさらに含み、前記変化量は、以前の映像と現在の映像との少なくとも一つの特性情報の差値であることを特徴とする。

前記周辺環境情報は、前記ディスプレイ装置の周辺環境の輝度情報、周辺照明の色相情報、及びユーザと前記ディスプレイ装置との間の距離情報のうち少なくとも一つを含むことを特徴とする。

前記周辺環境情報を獲得する段階は、前記ユーザの身体部位のうち特定の部位を認識する段階と、前記認識された身体部位のサイズ値を、所定の時間間隔で少なくとも一回以上獲得する段階と、前記獲得したサイズ値の平均値を求める段階と、前記平均値に基づいて、前記ユーザと前記ディスプレイ装置との間の距離情報を獲得する段階と、を含むことを特徴とする。

前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、映像処理アルゴリズムのパラメータを決定する段階と、前記決定されたパラメータを利用して、前記映像を処理する段階と、を含むことを特徴とする。

前記パラメータを決定する段階は、前記特性情報と、前記周辺環境情報とを入力値とし、前記パラメータを出力値とする所定の数学的関係を利用して、前記パラメータを決定する段階を含むことを特徴とする。

前記パラメータを決定する段階は、それぞれの特性情報及び周辺環境情報の値によって決定可能なパラメータ値を含むルックアップテーブルを利用して、前記パラメータを決定する段階を含むことを特徴とする。

前記映像処理アルゴリズムは、前記映像の画質を制御する鮮明度改善、コントラスト制御、ノイズ低減及び彩度制御のうち少なくとも一つを含むことを特徴とする。

前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、前記映像の物理的特徴を決定する段階と、前記決定された物理的特徴を利用して、前記映像を処理する段階と、を含むことを特徴とする。

前記決定される物理的特徴は、色温度、ガンマ値、ホワイトポイント及びプライマリーカラーのうち少なくとも一つを含むことを特徴とする。

前記映像を処理する段階は、所定の時間間隔で獲得された映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することを感知すれば、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階を含むことを特徴とする。

前記映像の特性情報を獲得する段階は、所定の単位に属する映像の特性情報を獲得する段階を含み、前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、所定の単位別に映像を処理する段階を含むことを特徴とする。

前記映像は、フレーム、シーン及びシーケンスのうちいずれか一つの単位で処理されることを特徴とする。

前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理するための変数を段階的に増減させることによって、前記映像を処理する段階を含むことを特徴とする。
前記処理された映像をディスプレイする段階をさらに含むことを特徴とする。

本発明によれば、映像処理装置は、ディスプレイ装置の周辺環境情報だけでなく、ディスプレイ映像自体の特性情報をさらに考慮して、映像を処理することによって、該ディスプレイ装置は、改善された画質の映像をディスプレイすることができる。
また、本発明によれば、ディスプレイ装置は、ディスプレイ装置の周辺環境情報、または映像の特性情報に基づいて決定された最適の映像処理アルゴリズムのパラメータによって、映像処理アルゴリズムが適用された映像をディスプレイすることができる。

本発明の一実施形態による映像処理方法を示すフローチャートである。本発明の一実施形態による、映像処理アルゴリズムを利用した映像処理方法を示すフローチャートである。本発明の一実施形態による、映像の物理的特徴を利用した映像処理方法を示すフローチャートである。本発明の一実施形態による、収集された情報の変化量に基づいた映像処理方法を示すフローチャートである。本発明の一実施形態による、ユーザの視聴距離を獲得する方法を示すフローチャートである。本発明の一実施形態による映像処理装置の内部構造を示すブロック図である。本発明の一実施形態による映像処理装置の内部構造を示すブロック図である。

以下、本発明の望ましい実施形態について、添付図面を参照しつつ詳細に説明する。ただし、以下の説明及び添付図面において、本発明の要旨を不明確にする可能性のある公知の機能または構成に係わる詳細な説明は省略する。また、図面全体にわたり、同一の構成要素は、可能な限り同一の図面符号で示してあるということに留意しなければならない。

以下で説明する本明細書及び特許請求の範囲で使用された用語や単語は、一般的や辞書的な意味に限定して解釈されるものではなく、発明者が、自身の発明を最善の方法で説明するための用語でもって適切に定義することができるという原則にのっとり、本発明の技術的思想に符合する意味及び概念として解釈されなければならない。従って、本明細書に記載された実施形態、及び図面に図示された構成は、本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想をいずれも代弁するものではないので、本出願時において、それらを代替する多様な均等物と変形例とがあるということを理解しなければならない。

本明細書で、本発明の原理の「一実施形態」または「実施形態」というのは、本発明の原理の少なくとも１つの実施形態に含まれる実施形態と共に説明した特別な特性、構造、特徴などを意味するのである。それゆえ、本明細書全般にわたって多様なところに記載される「一実施形態において」または「実施形態において」という語句は、必ずしもいずれも同一の実施形態を示すものではない。

本明細書全般にわたって使用される「映像」という用語は、「映像」という用語自体だけではなく、「フレーム」、「フィールド」及び「スライス」として関連分野で周知のビデオイメージ情報の多様な形態を説明するための包括的な用語として使用される。

本発明の一実施形態において処理される「映像」は、写真や動画だけではなく、ディスプレイ装置でディスプレイされる一部画面または全体画面を含む。本明細書では、便宜上「映像」でもって統一して記載したが、以下で説明する「映像」は、本来の意味である写真や動画だけではなく、ユーザ・インターフェースやウェブページのような、ディスプレイされることができる画面自体も含む。

本発明の一実施形態によって映像処理装置によって処理された映像は、ディスプレイ装置で伝送され、ディスプレイ装置でディスプレイされる。または、映像処理装置内に含まれたディスプレイ部で、本発明の一実施形態によって処理された映像がディスプレイされる。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について説明する。

図１は、本発明の一実施形態による映像処理方法を示したフローチャートである。図１を参照すれば、本発明の一実施形態によって映像を処理する映像処理装置は、段階Ｓ１０１で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。

本発明の一実施形態において、映像の特性情報は、映像の色相と係わる視覚的な特性情報を含み、映像の輝度（brightness）、ホワイトポイント、ガンマ値（gamma value）、色温度及び色域（color gamut）のうち一つを含んでもよい。

映像の輝度は、映像の明るさ程度であって、数値で表示される。

映像のホワイトポイントとは、映像において白色に表示されたところの、カラー領域での位置を意味する。ホワイトポイントが変更されれば、映像の輝度が異なる。

ガンマ値は、映像の明暗を表現する階調（gray scale）表現の範囲を示し、ガンマ値の調整は、映像のコントラストを変化させもする。

色温度は、映像の色を温度で表現したものであり、色温度が高いほど青色を、低いほど赤色を帯びる。

色域は、全体光の領域において、映像に表示される色空間領域を意味する。例えば、映像がＲＧＢまたはＣＭＹＫ（cyan，magenta，yellow，black）のうちいずれの色相体系によって表示されたかということにより、色域が異なる。

さらに、映像の特性情報は、映像の内容によって分類される映像のカテゴリー情報を、さらに含んでもよい。本発明の一実施形態において、映像のカテゴリーは、ニュース、スポーツ、ドキュメンタリー、映画のような映像に含まれた内容によって分類される。映像処理装置は、映像のカテゴリーにより、最適の映像をディスプレイするために、映像処理の条件、例えば、映像処理アルゴリズムのパラメータや映像の物理的特徴を決定し、決定された値によって、映像を処理することができる。

また、段階Ｓ１０３で、映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。

本発明の一実施形態において、ディスプレイ装置の周辺環境情報は、周辺照明情報及びユーザ情報を含んでもよい。該周辺照明情報は、ディスプレイ装置周辺の照明に係わる特性情報であり、周辺照明の輝度、照度、色温度情報、色相情報を含む。ユーザ情報は、ディスプレイ装置を使用するユーザに係わる情報を含み、例えば、ディスプレイ装置とユーザとの距離情報、ユーザの視力情報または年齢情報を含んでもよい。

ユーザに係わる情報は、視聴距離情報を含むことにより、映像処理装置は、視聴距離によって、映像の物理的特徴や、映像処理アルゴリズムのパラメータを決定することができる。

例えば、映像処理装置は、視聴距離が短いと判断される場合、映像をさらに暗くしたり、あるいは細密感の改善処理時、細密感強度を低くして映像を処理することができる。すなわち、視聴距離が短くなるほど、認知される映像画質の改善程度を低くすることができる。鮮明度改善アルゴリズムによって、映像のエッジが強調されたり、あるいはさらに明らかに見えるように映像が処理される場合、エッジ周囲に、エッジを強調するための暈（halo）のようなアーティファクト（artifact）が生じるようにする。生じたアーティファクトが目にさらに敏感に観察され始める時点から、ユーザは、映像の画質がさらに劣化したと認識することができるので、視聴距離が短くなるほど、映像画質の改善程度が低く処理されることが望ましい。

また、ユーザに係わる情報は、ユーザの視力や年齢情報をさらに含むことにより、映像処理装置は、ユーザの視力によって、映像の物理的特徴や映像処理アルゴリズムのパラメータを決定することができる。詳細に説明すれば、映像処理装置は、ユーザの視力が良好ではないか、あるいは高齢であって視力が良好ではないと判断される場合には、映像の輝度をさらに明るく処理したり、あるいは映像の彩度をさらに高くして、ユーザが映像をさらに良好に認識するように映像を処理することができる。また、ユーザの視力情報によって映像処理装置は、視聴距離が短くなっても、鮮明度やエッジ強調のような映像画質の改善程度を高く設定し、ユーザが映像の画質を良好に認識することが可能なように、映像を処理することができる。

段階Ｓ１０５で、映像処理装置は、段階Ｓ１０１及び段階Ｓ１０３で獲得した映像の特性情報及び周辺環境情報に基づいて、ディスプレイ装置でディスプレイされる映像を処理することができる。

本発明の一実施形態において、該映像処理装置は、映像の特性情報及び周辺環境情報に基づいて、映像処理アルゴリズムのパラメータまたは映像の物理的特徴を決定し、決定された値によって、映像を処理することができる。

映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報だけではなく、ディスプレイされる映像自体の特性情報に基づいて、映像を処理することができる。従って、本発明の一実施形態による映像処理装置は、周辺環境情報だけ考慮しての処理より、さらに良好な画質を有する映像を出力することができる。

一方、本発明の一実施形態において、映像処理装置によって処理される「映像」は、動画または写真映像に制限されるものではなく、ディスプレイ装置でディスプレイされる画面自体も含んでもよい。すなわち、ディスプレイ装置に表示されるユーザ・インターフェース画面、アプリケーションの使用画面またはウェブページ画面も、本発明の一実施形態による映像処理装置によって、現在画面の特性情報、またはディスプレイ装置の現在周辺環境情報に基づいて処理される。

該映像処理装置は、本発明の一実施形態によって、自動的に映像を処理したり、あるいはユーザにおすすめ設定値を知らせ、ユーザが映像処理いかんを決定するように、提供することができる。推奨される設定値は、映像処理のために決定される映像処理アルゴリズムのパラメータ、及び映像の物理的特徴に含まれた変数のうち一つ以上が含まれる。おすすめ設定値は、制限された範囲内で決定されるように設定され、ユーザ設定による画質低下を防止することができる。

本発明の一実施形態において、映像処理装置は、映像が処理されることによって発生しうるフリッカ（flicker）現象を防止するために、特性情報と周辺環境情報とに基づいて、映像を処理するための変数を段階的に変化させて映像を処理することができる。従って、該映像処理装置は、映像処理アルゴリズムのパラメータ、または映像の物理的特徴に含まれた変数を、一定時間または一定フレーム数の映像で徐々に増減させ、映像を処理することができる。

図２は、本発明の一実施形態による映像処理アルゴリズムを利用した映像処理方法を示したフローチャートである。図２の段階Ｓ２０１，Ｓ２０３及びＳ２０７は、図１の段階Ｓ１０１，Ｓ１０３及びＳ１０５と対応するものであり、重複説明は省略する。図２を参照すれば、本発明の一実施形態による映像処理装置は、段階Ｓ２０１で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。

そして、段階Ｓ２０３で、該映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。

段階Ｓ２０５で、該映像処理装置は、段階Ｓ２０１または段階Ｓ２０３で獲得した映像の特性情報や周辺環境情報を利用して、映像処理アルゴリズムのパラメータを決定することができる。

該映像処理アルゴリズムは、エッジまたはテクスチャ（texture）のような映像の特定領域を検出し、前記検出された領域のピクセル値を処理することにより、映像の鮮明度またはディテールを改善させることができるアルゴリズムを含む。映像処理アルゴリズムは、設定によって、映像の全体領域または選択された一部領域に適用される。

本発明の一実施形態において、映像処理に利用される映像処理アルゴリズムは、鮮明度改善、ディテール改善、コントラスト制御、ノイズ低減、彩度制御のような映像画質処理のアルゴリズムを含んでもよい。

映像処理アルゴリズムは、原本映像において映像を処理するための特定領域を検出するための基準値（threshold）、またはアルゴリズムの強度を決定することができるパラメータを含む。ユーザが認知することができる映像の鮮明度またはディテールは、映像の特性及び周辺環境によって異なることがあるので、本発明の一実施形態によれば、該映像処理装置は、映像の特性情報及び周辺環境情報を考慮して、最適の映像処理アルゴリズムのパラメータを決定することができる。

例えば、鮮明度改善のための映像処理アルゴリズムのパラメータは、映像輝度が明るく、映像輝度と周辺環境の輝度との差が大きいほど、映像の鮮明度強度が小さく処理されるパラメータ値として決定することが、ユーザがディスプレイされた映像を認識するのにさらに容易である。

映像処理アルゴリズムは、開発者が当該機器に合わせた一定範囲の一次最適値のパラメータを提供し、一次最適値の範囲内で、ユーザの二次制御が可能である。かような２段階のパラメータ決定は、ユーザの便宜性を低下させ、アルゴリズムの最適化された性能を導き出し難い。従って、本発明の一実施形態によれば、映像処理装置は、周辺環境情報、または映像自体の物理的な特性情報を利用して、リアルタイムで映像を処理することにより、アルゴリズムの性能を極大化することができる。また、ユーザの制御なしに、自動的に映像が処理されるので、利便性も高くなる。

段階Ｓ２０５で、該映像処理装置は、既定のＬＵＴ（lookup table）または数学的関係によって、映像処理アルゴリズムのパラメータを決定することができる。

ＬＵＴは、与えられた演算に対して、事前に計算された結果の配列を含むデータ構造であり、ＬＵＴは、映像処理装置が、与えられた演算に係わる結果を計算する時間よりさらに短時間で値を取得するように使用される。本発明の一実施形態によれば、該映像処理装置は、段階Ｓ２０１及び段階Ｓ２０３で獲得された映像の特性情報と周辺環境情報とによって、ＬＵＴで、映像処理アルゴリズムのパラメータを決定することができる。

該映像処理装置は、段階Ｓ２０５で、ＬＵＴ以外に、段階Ｓ２０１及び段階Ｓ２０３で獲得された映像の特性情報と周辺環境情報とを入力値に、映像処理アルゴリズムのパラメータを出力値にする所定の数学的関係を利用して、パラメータを決定することもできる。

例えば、鮮明度改善のための映像処理アルゴリズムの場合、映像の輝度が、２００ｃｄ／ｍ^２であり、パラメータが２００であるとき、最適映像として処理可能な基準値として、映像の輝度により、パラメータ値が変更されるものと見なす。このとき、パラメータ値は、鮮明度の強度と比例する。

映像の輝度が、基準値である２００ｃｄ／ｍ^２から３００ｃｄ／ｍ^２に変更される場合、パラメータ値が１５０で決定され、決定されたパラメータ値によって映像が処理される。これは、映像の輝度が明るさほど、鮮明度改善映像処理アルゴリズムによって処理された映像に生じたアーティファクトが一層認識されるので、パラメータ値を低下させ、処理された映像の画質がさらに良好であると認識されるのである。

一方、映像の輝度がそのままであるが、周辺照明の明度が明るくなれば、鮮明度の強度が高くなることにより、映像の画質がさらに良好であると認識される。従って、パラメータ値を上昇させて映像を処理することができる。

また、平均的なユーザの視聴距離より２０％以上視聴距離が短い場合、鮮明度改善映像処理アルゴリズムによって処理された映像に生じたアーティファクトがさらに良好に認識されるので、パラメータ値を低下させ、処理された映像の画質がさらに良好であると認識される。

段階Ｓ２０７で、該映像処理装置は、段階Ｓ２０５で決定された映像処理パラメータにより、映像処理アルゴリズムを利用して、映像を処理することができる。このとき、該映像処理装置は、現在ディスプレイされている映像を即座に処理し、処理された映像をディスプレイしたり、あるいは特定シーンの最初の映像や、シーケンスの最初の映像部分のように適切な瞬間の映像を処理することができる。該映像処理装置は、シーン単位やシーケンス単位、またはディスプレイ画面を処理する場合には、所定時間間隔で多数の映像をグルーピングし、グループ単位で映像を、段階Ｓ２０５で決定されたパラメータにより、映像処理アルゴリズムを利用して処理することができる。

または、ディスプレイ装置でディスプレイされている画面の転換が生じるとき、該映像処理装置は、現在転換された画面から次の画面への転換が生じるまで適用するパラメータを決定し、決定されたパラメータにより、画面を処理することができる。該映像処理装置によって処理された映像は、ディスプレイ装置でディスプレイされる。

図３は、本発明の一実施形態による映像の物理的特徴を利用した映像処理方法を示したフローチャートである。図３の段階Ｓ３０１，Ｓ３０３及びＳ３０７は、図１の段階Ｓ１０１、Ｓ１０３及びＳ１０５と対応するものであり、重複説明は省略する。図３を参照すれば、本発明の一実施形態による映像処理装置は、段階Ｓ３０１で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。

そして、段階Ｓ３０３で、該映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。

段階Ｓ３０５で、該映像処理装置は、段階Ｓ３０１または段階Ｓ３０３で獲得した映像の特性情報や周辺環境情報に基づいて、映像の物理的特徴を決定することができる。

段階Ｓ３０５で決定される物理的特徴は、段階Ｓ３０１で獲得される映像の特性情報と同一に、映像の色相に係わる視覚的な特性情報を含んでもよい。例えば、段階Ｓ３０５で決定される物理的特徴は、映像の輝度、ホワイトポイント、ガンマ値、色温度、色域及びＲＧＢカラープライマリーのうち一つを含んでもよい。

例えば、映像処理装置は、映像の輝度またはカテゴリーに基づいて、ユーザが最も認識しやすい映像のホワイトポイント、ガンマ値、色温度などの映像の物理的特徴値を決定することができる。映像のカテゴリーがスポーツである場合、明暗対比の程度が高くてこそ、ディスプレイされるボールや選手の姿が、ユーザによってさらに認識されるので、該映像処理装置は、映像の明暗対比が高くなるように、ガンマ値を決定することができる。

また、映像処理装置は、ユーザの視聴距離、周辺照明の特性情報を含む周辺環境情報に基づいて、映像の輝度や色温度を含む物理的特徴値を決定することができる。例えば、該映像処理装置は、ユーザの視聴距離が遠いほど、または周辺照明が明るさほど、映像の輝度をさらに明るく決定することにより、ユーザをして映像の画質が良好であると認識させることが可能である。

段階Ｓ３０７で、該映像処理装置は、段階Ｓ３０５で決定された物理的特徴値により、映像を処理することができる。

このとき、該映像処理装置は、現在ディスプレイされている映像を即座に処理し、処理された映像をディスプレイしたり、あるいは特定シーンの最初の映像や、シーケンスの最初の映像部分のように適切な瞬間の映像を処理することができる。該映像処理装置は、シーン単位やシーケンス単位、またはディスプレイ画面を処理する場合には、所定時間間隔で多数の映像をグルーピングし、グループ単位で、映像を段階Ｓ３０５で決定された物理的特徴により、映像を処理することができる。

または、ディスプレイ装置でディスプレイされている画面の転換が生じるとき、該映像処理装置は、現在転換された画面から次の画面への転換が生じるまで適用する映像の物理的特徴値を決定し、決定された値により、画面を処理することができる。映像処理装置によって処理された映像は、ディスプレイ装置でディスプレイされる。

図４は、本発明の一実施形態による、収集された情報の変化量に基づいた映像処理方法を示したフローチャートである。図４の段階Ｓ４０１，Ｓ４０３及びＳ４０９は、図１の段階Ｓ１０１，Ｓ１０３及びＳ１０５と対応するものであり、重複説明は省略する。図４を参照すれば、本発明の一実施形態による映像処理装置は、段階Ｓ４０１で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。

そして、段階Ｓ４０３で、該映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。

段階Ｓ４０５で、該映像処理装置は、段階Ｓ４０１または段階Ｓ４０３で獲得した映像の特性情報や周辺環境情報に含まれた値のうち一つ以上が、以前の映像または以前時点で獲得された値と、基準値以上の差がある否かということ判断することができる。

段階Ｓ４０５での判断結果によって、基準値以上の差がある場合には、段階Ｓ４０９で映像処理装置は、段階Ｓ４０１または段階Ｓ４０３で獲得した映像の特性情報や周辺環境情報に基づいて、映像を処理することができる。

なお、基準値以上の差がない場合には、段階Ｓ４０７で、該映像処理装置は、所定時間間隔で、映像の特性情報や周辺環境情報を獲得することができる。段階Ｓ４０７で獲得した情報は、段階Ｓ４０５で、以前の映像または以前の時点で獲得された情報と比較され、差があるか否かということが判断される。

本発明の一実施形態によれば、該映像処理装置は、所定時間間隔で、映像の特性情報や周辺環境情報を獲得するが、獲得された情報が、以前情報に比べて、基準値以上の差がある場合にのみ映像処理を行う。従って、映像処理装置は、画質改善が必要な場合にのみ、映像処理を行う。

図５は、本発明の一実施形態による、ユーザの視聴距離を獲得する方法を示したフローチャートである。

本発明の一実施形態において、視聴距離は、映像がディスプレイされるディスプレイ装置とユーザとの距離を意味する。以下では、説明の便宜上、ディスプレイ装置が、映像処理装置内に含まれているものとして説明する。

図５を参照すれば、段階Ｓ５０１で、映像処理装置は、視聴距離の獲得に利用されるユーザの所定身体部位を認識することができる（Ｓ５０１）。このとき、該映像処理装置は、近接センサ、イメージセンサ及び赤外線センサのうち一つ以上を含み、センサを利用して、ユーザの身体部位を認識することができる。

段階Ｓ５０３で、該映像処理装置は、段階Ｓ５０１で認識された身体部位の大きさを獲得することができる。身体部位の大きさは、直径、広さ、円周を測定した値で決定される。

段階Ｓ５０５で、映像処理装置は、段階Ｓ５０１で認識された身体部位に係わる基準値が存在する否かということを判断することができる。

基準値が存在する場合には、段階Ｓ５０７で、該映像処理装置は、基準値を利用して、段階Ｓ５０３で獲得した身体部位の大きさと対応する視聴距離を獲得することができる。該基準値は、獲得された身体部位の大きさと対応する視聴距離を獲得するように、身体部位の大きさ別に、対応する視聴距離値を含む。

なお、基準値が存在しない場合には、段階Ｓ５０９で、該映像処理装置は、ユーザによって設定された値、または映像処理装置のセンサによって獲得された値を利用して、獲得された身体部位の大きさと対応する視聴距離を獲得することができる。一般的に、身体部位の大きさが大きくなるほど、視聴距離が短くなる。

さらに、段階Ｓ５０９で獲得した視聴距離を利用して、該映像処理装置は、視聴距離を獲得するのに基準になる所定身体部位の基準値を設定することにより、その後、該設定された基準値を利用して、視聴距離を容易に求めることができる。

該映像処理装置は、身体部位を所定時間間隔で何回か認識し、各認識された結果から獲得された視聴距離の平均値を、ユーザの視聴距離として決定することができる。従って、該映像処理装置は、身体部位の認識エラーによる誤差を最小化することができる。

また、該映像処理装置は、一つ以上の身体部位を認識し、一つ以上の視聴距離を獲得し、視聴距離の平均値を、視聴距離として決定することができる。該映像処理装置は、一つ以上の身体部位を認識し、各身体部位に対応する視聴距離の平均値を、ユーザの視聴距離として決定することにより、視聴距離をさらに高い正確度でもって獲得することができる。

例えば、該映像処理装置は、ユーザの頭の部位を認識し、頭の部位のサイズ変化により、ユーザの視聴距離を決定することができる。また、該映像処理装置は、ユーザの手や足を認識し、手や足のサイズ変化により、ユーザの視聴距離を決定することができる。該映像処理装置は、各身体部位別に決定された視聴距離の平均値を、視聴距離として決定することができる。

視聴距離は、ユーザの身体部位から獲得されるが、さらにユーザのリモートコントローラや携帯電話のような端末装置によっても獲得される。すなわち、赤外線センサやイメージセンサを含む端末装置によって決定された視聴距離を、端末装置から映像処理装置が受信することができる。または、端末装置によって伝送された赤外線を映像処理装置で受信することにより、視聴距離が決定されもする。該映像処理装置は、端末装置によって獲得された視聴距離と、身体部位認識によって獲得された視聴距離との平均を求めることにより、視聴距離をさらに高い正確度でもって決定することができる。

以上の説明では、ディスプレイ装置が、映像処理装置内に含まれているということを基準にして行ったが、該ディスプレイ装置は、ユーザを認識することができるセンサを具備し、該センサが獲得した情報を、映像処理装置に伝送することにより、映像処理装置で、ユーザとディスプレイ装置との視聴距離を獲得することも可能である。該ディスプレイ装置は、イメージセンサやカメラセンサを含み、ユーザの身体部位を認識し、認識された身体部位と係わる情報、例えば、ディスプレイ装置で獲得したユーザ身体部位の映像データを映像処理装置に伝送することができる。

前述の映像処理装置の内部構造について、図６及び図７を参照しつつ説明する。

図６は、本発明の一実施形態による映像処理装置の内部構造を示したブロック図である。図６を参照すれば、本発明の一実施形態による映像処理装置６００は、映像特性情報獲得部６１０、周辺環境情報獲得部６２０及び映像処理部６３０を含んでもよい。

映像特性情報獲得部６１０は、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。

周辺環境情報獲得部６２０は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。該周辺環境情報は、周辺照明情報及びユーザ情報を含んでもよい。該周辺照明情報は、ディスプレイ装置周辺の光に係わる情報であり、光の輝度、強度、色温度情報などを含む。ユーザ情報は、ディスプレイ装置を視聴するユーザに係わる情報であり、ユーザの視聴距離や視力、年齢情報を含む。

映像処理部６３０は、映像特性情報獲得部６１０や周辺環境情報獲得部６２０によって獲得された映像特性情報または周辺環境情報に基づいて、映像を処理することができる。映像処理部６３０は、動画や写真に限らず、ディスプレイされるユーザ・インターフェース画面やウェブページ画面も、本発明の一実施形態によって処理可能である。

映像処理部６３０によって処理された映像６４０は、映像処理装置６００の外部に位置したディスプレイ装置（図示せず）に伝送したり、あるいは映像処理装置６００内のディスプレイ部（図示せず）でディスプレイされる。

ディスプレイ装置は、映像処理装置６００によって、本発明の一実施形態によって処理された映像を、映像処理装置６００から受信し、ディスプレイすることができる。

または、映像処理装置６００内のディスプレイ部で処理された映像６４０をディスプレイすることができる。

または、クラウドサーバが、本発明の一実施形態による映像処理装置６００の構成を含み、ディスプレイ装置から制御信号が発せられれば、クラウドサーバでその制御信号を受信して映像を処理し、処理された映像をさらにディスプレイ装置に伝送し、ディスプレイ装置は、処理された映像をディスプレイすることができる。

図７は、本発明の一実施形態による映像処理装置の内部構造を示したブロック図である。図７の映像特性情報獲得部７１０、周辺環境情報獲得部７２０及び映像処理部７３０は、図６の特性情報獲得部６１０、周辺環境情報獲得部６２０及び映像処理部６３０と対応するものであり、重複説明は省略する。

図７の映像処理装置７００は、映像特性情報獲得部７１０、周辺環境情報獲得部７２０、映像処理部７３０、センサ部７４０、変化量探知部７５０及びディスプレイ部７６０を含んでもよい。

映像特性情報獲得部７１０は、ディスプレイ部７６０でディスプレイされる映像の特性情報を獲得することができる。

周辺環境情報獲得部７２０は、映像がディスプレイされるディスプレイ部７６０の周辺環境情報を獲得することができる。

センサ部７４０は、周辺環境情報獲得部７２０と連結され、ディスプレイ部７６０の周辺環境情報を獲得するための情報を収集し、収集された情報を、周辺環境情報獲得部７２０に伝達することができる。センサ部７４０は、赤外線センサ、照度センサ、索引式感知センサ、イメージセンサ、アンビエント照度センサ（ambient light sensor）、近接センサのうち一つ以上を含んでもよい。

照度センサやアンビエント照度センサは、ディスプレイ部７６０の周辺照明の輝度強度を測定することができる。

索引式感知センサは、ディスプレイ部７６０の周辺照明の色領域または色温度のような周辺照明の色と係わる情報を認識することができる。索引式感知センサは、ＲＧＢセンサ、カラーセンサを含んでもよい。

イメージセンサ、近接センサは、ユーザの身体部位を認識することができる。イメージセンサは、ユーザの身体部位を撮影した映像を獲得することができ、近接センサは、電磁気的な変化を感知し、ユーザの身体部位の近接を認識することができる。

赤外線センサは、リモートコントローラまたは携帯電話のような端末装置（図示せず）に具備され、端末装置から伝送された赤外線を、映像処理装置７００で受信することにより、視聴距離が獲得される。または、映像処理装置７００から伝送された赤外線を、端末装置で受信することにより、視聴距離が獲得される。該端末装置は、映像処理装置７００を使用するユーザが携帯している装置であり、映像処理装置７００がユーザの視聴距離を決定するのに利用される。

変化量探知部７５０は、映像特性情報獲得部７１０及び周辺環境情報獲得部７２０と連結され、映像特性情報獲得部７１０や周辺環境情報獲得部７２０によって獲得された映像特性情報または周辺環境情報の変化量を探知することができる。すなわち、変化量探知部７５０は、以前時点または以前映像の映像特性情報または周辺環境情報と比較し、現在獲得された映像特性情報または周辺環境情報の変化量が基準値以上であるか否かということを判断することができる。変化量が基準値以上であると判断されれば、変化量探知部７５０は、映像処理部７３０に、現在獲得された映像特性情報または周辺環境情報を伝送することにより、伝送された情報によって処理された映像がディスプレイ部７６０でディスプレイされる。

映像処理部７３０は、映像特性情報獲得部７１０や周辺環境情報獲得部７２０によって獲得された映像特性情報または周辺環境情報に基づいて、映像を処理することができる。映像処理部７３０は、アルゴリズム処理部７３１と物理的特徴処理部７３０とを含んでもよい。

アルゴリズム処理部７３１は、映像特性情報または周辺環境情報に基づいて、映像処理アルゴリズムのパラメータを決定し、決定されたパラメータにより、映像処理アルゴリズムを利用して、映像を処理することができる。

物理的特徴処理部７３２は、映像特性情報または周辺環境情報に基づいて、映像の物理的特徴を決定し、決定された映像の物理的特徴により、映像を処理することができる。

ディスプレイ部７６０は、映像処理部７３０によって処理された映像を受信し、ディスプレイすることができる。

本発明は、コンピュータで読み取り可能な記録媒体にコンピュータ（情報処理機能を有する装置をいずれも含む）で読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。

たとえ前述の多様な実施形態に適用される本発明の新規特徴に焦点を合わせて説明したとしても、本技術分野の当業者であるならば、本発明の範囲を外れずに、前述の装置及び方法の形態、並びに細部事項で、多様な削除、代替及び変更が可能であるということを理解するであろう。従って、本発明の範囲は、前述のところよりは、特許請求の範囲によって定義される。特許請求の範囲の均等範囲内のあらゆる変形は、本発明の範囲に含まれるものである。

本発明の収集された情報に基づいた映像処理方法及びその装置は、例えば、映像処理関連の技術分野に効果的に適用可能である。

６００，７００映像処理装置
６１０，７１０映像特性情報獲得部
６２０，７２０周辺環境情報獲得部
６３０，７３０映像処理部
７３１アルゴリズム処理部
７３２物理的特性処理部
７４０センサ部
７５０変化量探知部
７６０ディスプレイ部

Claims

映像を処理する方法において、
前記映像の特性情報を獲得する段階と、
前記映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得する段階と、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階と、を含み、
前記特性情報は、前記映像のカテゴリ情報を含み、
前記カテゴリ情報に応じて、映像処理アルゴリズムの処理パラメータが異なり、
前記周辺環境情報は、ユーザと前記ディスプレイ装置との距離情報を含み、
前記映像を処理する段階は、前記距離情報に基づき、前記映像の画質に対する改善程度を決定し、前記決定された改善程度によって前記映像を処理する段階と、を含む、
ことを特徴とする映像処理方法。
前記特性情報は、前記映像のホワイトポイント、ガンマ値、色温度及び色領域情報のうち少なくとも一つを含むことを特徴とする請求項１に記載の映像処理方法。
前記特性情報は、前記特性情報の変化量についての情報をさらに含み、
前記変化量は、以前の映像と現在の映像との少なくとも一つの特性情報の差値であることを特徴とする請求項２に記載の映像処理方法。
前記周辺環境情報は、前記ディスプレイ装置の周辺環境の輝度情報、及び周辺照明の色相情報のうち少なくとも一つを含み、
前記改善程度によって決定された前記映像の細密感強度によって前記映像が処理される、ことを特徴とする請求項１に記載の映像処理方法。
前記周辺環境情報を獲得する段階は、
前記ユーザの身体部位のうち特定の部位を認識する段階と、
前記認識された身体部位のサイズ値を、所定の時間間隔で少なくとも一回以上獲得する段階と、
前記獲得したサイズ値の平均値を求める段階と、
前記平均値に基づいて、前記ユーザと前記ディスプレイ装置との間の距離情報を獲得する段階と、を含むことを特徴とする請求項４に記載の映像処理方法。
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、映像処理アルゴリズムのパラメータを決定する段階と、
前記決定されたパラメータを利用して、前記映像を処理する段階と、を含むことを特徴とする請求項１に記載の映像処理方法。
前記パラメータを決定する段階は、
前記特性情報と、前記周辺環境情報とを入力値とし、前記パラメータを出力値とする所定の数学的関係を利用して、前記パラメータを決定する段階を含むことを特徴とする請求項６に記載の映像処理方法。
前記パラメータを決定する段階は、
それぞれの特性情報及び周辺環境情報の値によって決定可能なパラメータ値を含むルックアップテーブルを利用して、前記パラメータを決定する段階を含むことを特徴とする請求項６に記載の映像処理方法。
前記映像処理アルゴリズムは、前記映像の画質を制御できる鮮明度改善、コントラスト制御、ノイズ低減及び彩度制御のうち少なくとも一つを含むことを特徴とする請求項６に記載の映像処理方法。
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像の物理的特徴を決定する段階と、
前記決定された物理的特徴を利用して、前記映像を処理する段階と、を含むことを特徴とする請求項１に記載の映像処理方法。
前記決定される物理的特徴は、色温度、ガンマ値、ホワイトポイント及びプライマリーカラーのうち少なくとも一つを含むことを特徴とする請求項１０に記載の映像処理方法。
前記映像を処理する段階は、
所定の時間間隔で獲得された映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することを感知すれば、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階を含むことを特徴とする請求項１に記載の映像処理方法。
前記映像の特性情報を獲得する段階は、
所定の単位に属する映像の特性情報を獲得する段階を含み、
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、所定の単位別に映像を処理する段階を含むことを特徴とする請求項１に記載の映像処理方法。
前記映像は、フレーム、シーン及びシーケンスのうちいずれか一つの単位で処理されることを特徴とする請求項１３に記載の映像処理方法。
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理するための変数を段階的に増減させることによって、前記映像を処理する段階を含むことを特徴とする請求項１に記載の映像処理方法。
前記処理された映像をディスプレイする段階をさらに含むことを特徴とする請求項１に記載の映像処理方法。
前記映像は、ユーザインターフェース画面、ウェブページ画面、及びアプリケーション実行画面のうちいずれか一つを含む前記ディスプレイ装置でディスプレイ可能な画面を含むことを特徴とする請求項１に記載の映像処理方法。
映像の特性情報を獲得する映像特性情報獲得部と、
前記映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得する周辺環境情報獲得部と、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する映像処理部と、を備え、
前記特性情報は、前記映像のカテゴリ情報を含み、
前記カテゴリ情報に応じて、映像処理アルゴリズムの処理パラメータが異なり、
前記周辺環境情報は、ユーザと前記ディスプレイ装置との距離情報を含み、
前記映像を処理する段階は、前記距離情報に基づき、前記映像の画質に対する改善程度を決定し、前記決定された改善程度によって前記映像を処理する段階と、を含む、
ことを特徴とする映像処理装置。
前記特性情報は、前記映像のホワイトポイント、ガンマ値、色温度及び色領域情報のうち少なくとも一つを含むことを特徴とする請求項１８に記載の映像処理装置。
前記特性情報は、前記特性情報の変化量についての情報をさらに含み、
前記変化量は、以前の映像と現在の映像との少なくとも一つの特性情報の差値であることを特徴とする請求項１９に記載の映像処理装置。
前記周辺環境情報は、前記ディスプレイ装置の周辺環境の輝度情報、及び周辺照明の色相情報のうち少なくとも一つを含み、
前記改善程度によって決定された前記映像の細密感強度によって前記映像が処理される、ことを特徴とする請求項１８に記載の映像処理装置。
前記映像処理装置は、
前記ユーザの身体部位のうち特定の部位を認識するセンサ部をさらに備え、
前記周辺環境情報獲得部は、前記認識された身体部位のサイズ値を、所定の時間間隔で少なくとも一回以上獲得し、前記獲得したサイズ値の平均値を求め、前記平均値に基づいて、前記ユーザと前記ディスプレイ装置との間の距離情報を獲得することを特徴とする請求項２１に記載の映像処理装置。
前記映像処理部は、
前記特性情報と、前記周辺環境情報とに基づいて、映像処理アルゴリズムのパラメータを決定し、前記決定されたパラメータを利用して、前記映像を処理するアルゴリズム処理部を備えることを特徴とする請求項１８に記載の映像処理装置。
前記アルゴリズム処理部は、前記特性情報と、前記周辺環境情報とを入力値とし、前記パラメータを出力値とする所定の数学的関係を利用して、前記パラメータを決定することを特徴とする請求項２３に記載の映像処理装置。
前記アルゴリズム処理部は、それぞれの特性情報及び周辺環境情報の値によって決定可能なパラメータ値を含むルックアップテーブルを利用して、前記パラメータを決定することを特徴とする請求項２３に記載の映像処理装置。
前記映像処理アルゴリズムは、前記映像の画質を制御する鮮明度改善、コントラスト制御、ノイズ低減及び彩度制御のうち少なくとも一つを含むことを特徴とする請求項２３に記載の映像処理装置。
前記映像処理部は、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像の物理的特徴を決定し、前記決定された物理的特徴を利用して、前記映像を処理する物理的特徴処理部を備えることを特徴とする請求項１８に記載の映像処理装置。
前記決定される物理的特徴は、色温度、ガンマ値、ホワイトポイント及びプライマリーカラーのうち少なくとも一つを含むことを特徴とする請求項２７に記載の映像処理装置。
前記映像処理装置は、
所定の時間間隔で獲得された映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することを感知する変化量探知部をさらに備え、
前記映像処理部は、前記変化量探知部により、前記映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することが感知されれば、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理することを特徴とする請求項１８に記載の映像処理装置。
前記映像特性情報獲得部は、所定の単位に属する映像の特性情報を獲得し、
前記映像処理部は、前記特性情報と、前記周辺環境情報とに基づいて、所定の単位別に映像を処理することを特徴とする請求項１８に記載の映像処理装置。
前記映像は、フレーム、シーン及びシーケンスのうちいずれか一つの単位で処理されることを特徴とする請求項３０に記載の映像処理装置。
前記映像処理部は、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理するための変数を段階的に増減させることによって、前記映像を処理することを特徴とする請求項１８に記載の映像処理装置。
前記映像処理装置は、
前記処理された映像をディスプレイするディスプレイ部をさらに備えることを特徴とする請求項１８に記載の映像処理装置。
前記映像は、ユーザインターフェース画面、ウェブページ画面、及びアプリケーション実行画面のうちいずれか一つを含む前記ディスプレイ装置でディスプレイ可能な画面を含むことを特徴とする請求項１８に記載の映像処理装置。
コンピュータに、請求項１ないし１７のうちいずれか一項に記載の方法を遂行させるためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。