JP2014135677A - 投影装置及びその制御方法 - Google Patents

Abstract

【課題】画質の劣化を抑えたキーストーン補正処理を行うことができる投影装置を提供する。
【解決手段】光源と、光源からの光の透過を画像信号に基づき変調する光変調素子と、光変調素子を透過した光を投影面に投影する投影光学系と、を有する投影装置であって、入力される元画像が投影面に投影された場合の投影画像における歪みを補正するために元画像を幾何学的に変形させた補正画像を生成する変形手段と、前記補正画像の画像信号に基づき前記光変調素子における光の透過を制御する制御手段と、元画像に注目領域を設定する設定手段と、を有し、前記変形手段は、元画像の注目領域の変形の度合が注目領域以外の領域の変形の度合より小さくなるように元画像の変形を行う投影装置。
【選択図】図６

Description

本発明は、液晶プロジェクタなどの投影装置及びその制御方法に関する。

近年、液晶プロジェクタなどの投影装置は、プレゼンテーションや会議などの業務用途からホームシアターなどの家庭用途にまで幅広く普及し、それに伴い小型化・軽量化が進んできている。このためプロジェクタによって画像を投影する場所も様々であり、場所の制約から必ずしもスクリーンに対し正面にプロジェクタを配置することができない場合もある。一般的には机上に置いたプロジェクタから、やや上方のスクリーンに向かって傾斜させて投射する場合が多い。

しかしこの場合、プロジェクタ本体とスクリーンとの相対的な傾きが原因で、スクリーン上には台形歪と呼ばれる幾何学歪が発生してしまう。これを解消するために、一般的なプロジェクタにはこの台形歪を信号処理（画像処理）で補正する台形補正機能を有するものが多い。

例えば、特許文献１に、台形補正の計算方法が詳細に記載されている。同文献では、図１３に示すように、液晶パネルと入力画像のアスペクト比が同じ場合には縮小変形を行い、液晶パネルと入力画像のアスペクト比が異なる場合には拡大変形を行う台形補正が提案されている。

また、特許文献２では、画像の変形によって生ずる画質の劣化を低減するために、各画素における、元画像に対する変形後画像の変形率に応じて補間処理のフィルタ係数を変更するキーストーン補正が提案されている。変形率が１以下の場合に、カットオフ周波数に変形率を乗じ、得られたカットオフ周波数からフィルタ係数を算出している。すなわち、縮小方向における変形率が１倍から遠くなるに従ってカットオフ周波数を小さくすることで、変形によるジャギーやモアレを低減するものである。

特開２００５−１２３６６９号公報 特開２０１０−２６８７０号公報

しかしながら、カットオフ周波数を小さくすることにより、トレードオフとして画像の鮮鋭度が低下する。特許文献２の方式では、変形率が１以上（拡大）の場合のカットオフ周波数は変更しないとしているが、補正後画像を生成するための補間処理まで考慮すると、変形率が１倍の場合が最も元画像を再現でき、画像の鮮鋭度が優れている。

特許文献１で提案されている方法では、図１３（ａ）のように液晶パネルと入力画像のアスペクト比が同じ場合には縮小変形が行われるため、変形率が１倍となるのは同図の場合の下端となる。また、図１３（ｂ）のように液晶パネルと入力画像のアスペクト比が異なる場合には拡大変形が行われるが、傾きの度合いに応じて変形率が１倍となる箇所は不定である。

また、特許文献２では、全体としては縮小方向の変形となっており、部分的に拡大の箇
所があるものの、変形率が１倍となる箇所は不定である。

一方、画像を観察するとき、画像の一部に注目することが多い。それは、画面の中央部であったり、フォーカスの合った物体であったり、動いているものであったりする。これらの注目領域の画質が良いことが望まれるが、上述のように、特許文献１，２では変形率が１倍となる箇所を制御できないという課題がある。

そこで、本発明は、画質の劣化を抑えたキーストーン補正処理を行うことができる投影装置を提供することを目的とする。

本発明は、光源と、光源からの光の透過を画像信号に基づき変調する光変調素子と、光変調素子を透過した光を投影面に投影する投影光学系と、を有する投影装置であって、
入力される元画像が投影面に投影された場合の投影画像における歪みを補正するために元画像を幾何学的に変形させた補正画像を生成する変形手段と、
前記補正画像の画像信号に基づき前記光変調素子における光の透過を制御する制御手段と、
元画像に注目領域を設定する設定手段と、
を有し、
前記変形手段は、元画像の注目領域の変形の度合が注目領域以外の領域の変形の度合より小さくなるように元画像の変形を行う投影装置である。

本発明は、光源と、光源からの光の透過を画像信号に基づき変調する光変調素子と、光変調素子を透過した光を投影面に投影する投影光学系と、を有する投影装置の制御方法であって、
入力される元画像が投影面に投影された場合の投影画像における歪みを補正するために元画像を幾何学的に変形させた補正画像を生成する変形工程と、
前記補正画像の画像信号に基づき前記光変調素子における光の透過を制御する制御工程と、
元画像に注目領域を設定する設定工程と、
を有し、
前記変形工程では、元画像の注目領域の変形の度合が注目領域以外の領域の変形の度合より小さくなるように元画像の変形を行う投影装置の制御方法である。

本発明の投影装置によれば、画質の劣化を抑えたキーストーン補正処理を行うことができる。

液晶プロジェクタの全体の構成を示す図 本実施例の液晶プロジェクタの基本動作の制御を説明するためのフロー図 実施例１の画像処理部の内部構成を示す図 実施例１の変形処理を説明するためのフローチャート プロジェクタとスクリーンの位置関係を示す図 実施例１の液晶パネルの画像領域及びスクリーンの投影画像領域を示す図 実施例２の画像処理部の内部構成を示す図 実施例２の液晶パネルの画像領域及びスクリーンの投影画像領域を示す図 実施例２の変形処理を説明するためのフローチャート 実施例３の液晶パネルの画像領域及びスクリーンの投影画像領域を示す図 実施例３の変形処理の一部を詳細に説明するためのフローチャート 実施例４において注目領域の設定を説明するための図 従来の台形補正を説明する図 射影変換について説明する図

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定さるものではない。

（実施例１）
本実施例では、投影装置の一例として、透過型液晶パネルを用いたプロジェクタについて説明する。しかし、本発明は、表示デバイスとして透過型液晶パネルを用いたプロジェクタに限らない。例えば、ＤＬＰ（Digital Light Processing）、ＬＣＯＳ（Liquid crystal on silicon、反射型液晶）パネルなどの表示デバイスを用いたものなどにも適用可
能である。また、液晶プロジェクタには、単板式、３板式などが一般に知られているが、どちらの方式であっても良い。

本実施例の液晶プロジェクタは、表示するべき画像に応じて、液晶素子の光の透過率を制御して、液晶素子を透過した光源からの光をスクリーンに投影することで、画像をユーザに提示する。
以下、このような液晶プロジェクタについて説明する。

＜全体構成＞
まず、図１を用いて、本実施例の液晶プロジェクタの全体構成を説明する。
図１は、本実施例の液晶プロジェクタ１００の全体の構成を示す図である。

本実施例の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、液晶プロジェクタ１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。

ＣＰＵ１１０は、液晶プロジェクタ１００の各動作ブロックを制御するものであり、ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶するためのものである。また、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画像データや動画像データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画像データや動画像データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画像データや動画像データに変換して記録媒体１９２に記録させることもできる。

また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入
力された制御信号を受信して、液晶プロジェクタ１００の各ブロックの動作を制御する。

画像入力部１３０は、外部装置から画像信号を受信するものであり、例えば、コンポジット端子、Ｓ画像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子等を含む。また、アナログ画像信号を受信した場合には、受信したアナログ画像信号をデジタル画像信号に変換する。そして、受信した画像信号を、画像処理部１４０に送信する。ここで、外部装置は、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。

画像処理部１４０は、画像入力部１３０から受信した画像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。また、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換処理、歪み補正処理（キーストーン補正処理）といった機能を実行することが可能である。また、画像処理部１４０は、画像入力部１３０から受信した画像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

液晶制御部１５０は、画像処理部１４０で処理の施された画像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。液晶制御部１５０は、制御用のマイクロプロセッサからなる。また、液晶制御部１５０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が液晶制御部１５０と同様の処理を実行しても良い。たとえば、画像処理部１４０に画像信号が入力されている場合、液晶制御部１５０は、画像処理部１４０から１フレームの画像を受信する度に、画像に対応する透過率となるように、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを制御する。
液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、光源１６１からの光の透過を画像信号に基づき変調する光変調素子である。液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

この液晶制御部１５０による液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの具体的な制御動作や液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの構成については、後述する。

光源制御部１６０は、光源１６１のオン／オフの制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色の光に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６
１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光を投影面であるスクリーンに投影するためのものである。投影光学系１７１は、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

記録再生部１９１は、記録媒体１９２から読み出した静止画像データや動画像データを再生したり、また、撮像部１９４により得られた画像や映像の静止画像データや動画像データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画像データや動画像データを記録媒体１９２に記録しても良い。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。また、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。また、記録媒体１９２は、静止画像データや動画像データ、その他、本実施例の液晶プロジェクタに必要な制御データなどを記録することができる。記録媒体１９２は、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。

通信部１９３は、外部機器からの制御信号や静止画像データ、動画像データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ（Consumer Electronics Control）通信を行うものであっても良い。ここで、外部装置は、液晶プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

撮像部１９４は、本実施例の液晶プロジェクタ１００の周辺を撮像して画像を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画像データや動画像データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、光学像を画像信号に変換する撮像素子、画像信号をデジタル信号に変換するＡＤ変換部などからなる。また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影しても良い。

表示制御部１９５は、液晶プロジェクタ１００に備えられた表示部１９６に液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。

＜基本動作＞
次に、図１、図２を用いて、本実施例の液晶プロジェクタ１００の基本動作を説明する。
図２は、本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフロー図である。図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行されるものである。図２のフロー図は、操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示した時点をスタートとしている。

操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部からプロジェクタ１００の各部に不図示の電源回路から電源を供給する。

次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施例のプロジェクタ１００の表示モードの一つは、画像入力部１３０より入力された画像を表示する「入力画像表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、記録再生部１９１により記録媒体１９２から読み出された静止画像データや動画像データの画像や映像を表示する「ファイル再生表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、通信部１９３から受信した静止画像データや動画像データの画像や映像を表示する「ファイル受信表示モード」である。なお、本実施例では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。

ここでは、Ｓ２１０で、「入力画像表示モード」が選択されたものとして説明する。
「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から画像が入力されているか否かを判定する（Ｓ２２０）。入力されていない場合（Ｓ２２０でＮｏ）には、入力が検出されるまで待機し、入力されている場合（Ｓ２２０でＹｅｓ）には、制御部は、投影処理（Ｓ２３０）を実行する。

ＣＰＵ１１０は、投影処理として、画像入力部１３０より入力された画像を画像処理部
１４０に送信し、画像処理部１４０に、画像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０に、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御させる。そして、ＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに供給された、各色の光は、各液晶素子の画素ごとに透過する光量が制限される。そして、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、不図示のスクリーンに投影される。

この投影処理は、画像を投影している間、１フレームの画像ごとに順次、実行されている。
なお、このとき、ユーザにより投影光学系１７１の操作をする指示が操作部１１３から入力されると、ＣＰＵ１１０は、光学系制御部１７０に、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように投影光学系１７１のアクチュエータを制御させる。

この投影処理実行中に、ＣＰＵ１１０は、ユーザにより表示モードを切り替える指示が操作部１１３から入力されたか否かを判定する（Ｓ２４０）。ここで、ユーザにより表示モードを切り替える指示が操作部１１３から入力されると（Ｓ２４０でＹｅｓ）、ＣＰＵ１１０は、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部１４０に、表示モードを選択させるためのメニュー画面をＯＳＤ（on screen display）画像として送信し、投影中の画像に対して、このＯＳＤ画面を重畳させるよう
に画像処理部１４０を制御する。ユーザは、この投影されたＯＳＤ画面を見ながら、表示モードを選択するのである。

一方、投影処理実行中に、ユーザにより表示モードを切り替える指示が操作部１１３から入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより投影終了の指示が操作部１１３から入力されたか否かを判定する（Ｓ２５０）。ここで、ユーザにより投影終了の指示が操作部１１３から入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、プロジェクタ１００の各ブロックに対する電源供給を停止させ、画像投影を終了させる。一方、ユーザにより投影終了の指示が操作部１１３から入力されない場合には（Ｓ２５０でＮｏ）、ＣＰＵ１１０は、Ｓ２２０へ戻り、以降、ユーザにより投影終了の指示が操作部１１３から入力されるまで、Ｓ２２０からＳ２５０までの処理を繰り返す。

以上のように、本実施例の液晶プロジェクタ１００は、スクリーンに対して画像を投影する。
なお、「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１に、記録媒体１９２から静止画像データや動画像データのファイルリストや各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字や画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部１４０に送信する。そして、ＣＰＵ１１０は、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。

次に、投影画面上において、記録媒体１９２に記録された静止画像データや動画像データにそれぞれ対応する文字や画像を選択する指示が操作部１１３を通して入力される。そ
うすると、ＣＰＵ１１０は、選択された静止画像データや動画像データを記録媒体１９２から読み出すように記録再生部１９１を制御する。そして、ＣＰＵ１１０は、読み出された静止画像データや動画像データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画像データや動画像データの画像や映像を再生する。

そして、ＣＰＵ１１０は、例えば再生した動画像データの画像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。また、静止画像データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。

また、「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３から受信した静止画像データや動画像データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画像データや動画像データの画像や映像を再生する。そして、ＣＰＵ１１０は、例えば再生した動画像データの画像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。また、静止画像データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。

次に本実施例の特徴的な構成につて詳しく説明する。
図３は、図１の画像処理部１４０の内部構成を詳しく説明するためのブロック図である。
画像処理部１４０は、各種画像処理部３１０、変形率算出部３２０、フィルタ３３０、変形処理部３４０を含む。

元画像信号ｓ３０１は、前述のように、表示モードに応じて画像入力部１３０、記録再生部１９１、通信部１９３などから入力される。また、タイミング信号ｓ３０２は、元画像信号ｓ３０１に同期した垂直同期信号、水平同期信号、クロックなどのタイミング信号であって、元画像信号ｓ３０１の供給元から供給される。画像処理部１４０内の各ブロックは、タイミング信号ｓ３０２に基づいて動作するが、画像処理部１４０の内部でタイミング信号を作り直して使用してもよい。

各種画像処理部３１０は、ＣＰＵ１１０と連携して、元画像信号ｓ３０１を入力し、画像信号のヒストグラムやＡＰＬ（average picture level）をはじめとする統計情報を取
得する。また、各種画像処理部３１０は、ＩＰ変換（interlace/progressive）、フレー
ムレート変換、解像度変換、γ変換、色域変換、色補正、エッジ強調、ＯＳＤ合成などの各種画像処理を施す。各種画像処理部３１０は、画像処理後の画像信号をフィルタ３３０に対して出力する。また、これらの画像処理の詳細については公知であるので説明を割愛する。

変形率算出部３２０は、変形の式に基づいて、画素ごとの変形率を求め、フィルタ３３０に供給する。キーストーン補正は射影変換で実現できるため、ＣＰＵ１１０から射影変換のためのパラメータを入力する。元画像の座標を（ｘｓ、ｙｓ）とすると、変形後画像の座標（ｘｄ、ｙｄ）は式１で表わされる。

ここで、Ｍは３×３行列で、ＣＰＵ１１０から入力される元画像から変形後画像への射影変換行列である。ｘｓｏ、ｙｓｏは、図１４に実線で示す元画像の１つの頂点の座標であり、ｘｄｏ、ｙｄｏは、図１４に一点鎖線で示す変形後画像の、元画像の頂点（ｘｓｏ、ｙｓｏ）に対応する頂点の座標値である。

変形率算出部３２０は、式１に従って注目画素及び近傍の画素の変形後座標を求め、元画像における距離に対する変形後画像における距離を求めることで、注目画素における変形率を求める。具体的には、図１４に示すように、元画像の注目画素の座標（ｘｓ１、ｙｓ１）とその右隣の画素（ｘｓ２、ｙｓ２）＝（ｘｓ１＋１、ｙｓ１）を、式１を用いて変換し、（ｘｄ１、ｙｄ１）と（ｘｄ２、ｙｄ２）を得たとする。そのとき、水平方向の変形率ρｘは、元画像における２画素間の水平方向距離に対する変換後画像における２画素間の水平方向距離の比率なので、式２で表わされる。

ρｘ＝（ｘｄ２−ｘｄ１）／（ｘｓ２−ｘｓ１）
＝（ｘｄ２−ｘｄ１）／（ｘｓ１＋１−ｘｓ１）
＝ｘｄ２−ｘｄ１ （式２）

同様に垂直方向の変形率ρｙも、注目画素（ｘｓ１、ｙｓ１）とその下隣の画素（ｘｓ３、ｙｓ３）＝（ｘｓ１、ｙｓ１＋１）を変換することにより、式３で表わされる。

ρｙ＝ｙｄ３−ｙｄ１ （式３）

上記説明では、最も簡単に、隣接する２画素の距離から変形率を求めたが、注目画素の両隣の画素の距離を用いたり、注目画素の周辺の複数画素の距離を求めたりして、その平均値などを計算して変形率を求めてもよい。

フィルタ３３０は、変形率算出部３２０が式２、式３を用いて計算し、出力する画素ごとの変形率に基づいて、フィルタ係数を求める。フィルタ３３０は、各種画像処理部３１０が出力した画像信号ｓ３０３に対してローパスフィルタ処理を行って、フィルタ後画像信号ｓ３０４を変形処理部３４０に供給する。フィルタ係数は、縮小方向の変形率が大きいほど、カットオフ周波数が低くなるような係数を設定する。このようにすることで、変形の程度が小さい領域に関しては、元画像の信号がほぼ忠実に伝搬され、変形の程度が大きい領域に関しては、ジャギーやモアレといった画質の劣化を抑制することができる。

変形処理部３４０は、変形の式に基づいて変形後画像を求め、変形後画像信号ｓ３０５を出力する。ＣＰＵ１１０から、式１の行列Ｍの逆行列Ｍ^−１とオフセット（ｘｓｏ，ｙｓｏ）、（ｘｄｏ，ｙｄｏ）が入力され、式４に従って変形後の座標値（ｘｄ、ｙｄ）に対応する元画像の座標（ｘｓ、ｙｓ）を求める。

式４に基づいて求められた元画像の座標が整数になれば、元画像座標（ｘｓ、ｙｓ）が持つ画素値をそのまま変換後座標（ｘｄ、ｙｄ）の持つ画素値としてもよい。しかし、式４に基づいて求められた元画像の座標は整数になるとは限らないので、周辺画素の値を用いて補間することで、変形後座標（ｘｄ、ｙｄ）の持つ画素値を求める。補間の方法は、バイリニア、バイキュービック、その他の任意の補間方法を用いればよい。また、式４に基づいて求められた元画像の座標が、元画像領域の範囲外である場合には、その画素値は黒またはユーザが設定した背景色とする。

このようにして、変換後座標の全てについて画素値を求め、変換後画像を作成する。
上記説明では、ＣＰＵ１１０から画像処理部１４０には、行列Ｍとその逆行列Ｍ^−１が入力されるとした。しかし、逆行列Ｍ^−１のみを入力して画像処理部１４０の内部で行列Ｍを求めてもよいし、行列Ｍのみを入力して画像処理部１４０の内部で逆行列Ｍ^−１を求めてもよい。

変形処理部３４０が出力する変形後画像信号ｓ３０５は、前述の通り、液晶制御部１５０に供給され、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに表示される。

次に、図４〜図６を用いて、本実施例の特徴的な動作である、元画像内の注目領域に対する、補正後投影画像内において注目領域に対応する領域の変形率ができるだけ１に近くなるように変形条件を設定する方法について説明する。この変形条件は、元画像の注目領域の変形の度合が、注目領域以外の領域の変形の度合より小さくなるように元画像を変形させる条件の一例である。変形率は変形の度合を示す指標の一例である。
図４は、ＣＰＵ１１０が実行するフローチャートである。図４の動作は、ユーザが操作部１１３や不図示のリモコンにより、キーストーン補正の設定を変更した場合や、自動補正を選択した場合に開始される。

図５は、プロジェクタとスクリーンの位置関係を説明するための図である。液晶プロジェクタ１００とスクリーン５１０が、相対的に傾斜角θｖの角度で傾いている状態を示している。実際には、スクリーン５１０が垂直で、液晶プロジェクタ１００が上向きに配置されるが、幾何学的には同義なので、便宜上、スクリーン５１０を傾けた図としている。このとき、正対したスクリーン５２０上に投影される画像５３０は元画像と同じ矩形だが、傾いたスクリーン５１０上に投影される画像５４０は上部が広がった台形となる。

まず、ＣＰＵ１１０は、光学条件を検出する（Ｓ４０１）。光学条件とは、プロジェクタの傾斜角、ズームレンズの状態、レンズシフト量などである。傾斜角については、プロジェクタ本体に搭載した不図示の傾斜センサの出力を検出してもよいし、ユーザがリモコンやメニューで設定するキーストーン補正値を用いてもよい。ズームレンズの状態や、レンズシフト量は、エンコーダで検出してもよいし、ユーザがリモコンやメニューで設定する値を用いてもよい。

次に、液晶パネル上の画像がスクリーン５１０上の座標系においてどこに投影されるかを計算するための、座標系変換パラメータを算出する（Ｓ４０２）。このステップでは、Ｓ４０１で検出した光学条件を用いて、上下左右の投影角θＴ、θＢ、θＬ、θＲを計算
できる。更に、傾斜角θｖを加味することで、液晶パネル座標系からスクリーン上の座標系へ変換する座標系変換パラメータを求める。

図６は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ上の画像領域と、スクリーン上に投影される画像領域とを対比させた図である。同図（ａ）は補正前、（ｂ）は補正後の図である。液晶パネルは、代表して１枚を図示している。同図において、６１０は液晶パネルの表示可能領域、６２０は投影する元画像領域である。液晶パネル座標系はｘｙ座標、スクリーン座標系はｘ’ｙ’座標系で表示することとする。５４０は、図５の配置の場合に、スクリーン５１０上に投影される補正前投影画像形状である。

図６では、液晶パネルのアスペクトと元画像領域のアスペクトが異なる場合を示している。例えば１６：９の液晶パネルで４：３のスクリーンに投影する場合では、液晶パネルの左右には画像を表示せず、４：３の領域のみ元画像領域として用いる。元画像領域として、入力画像信号のアスペクトを用いてもよい。

次に、元画像内に注目領域を設定する（Ｓ４０３）。通常は、画面中央とし、図６（ａ）では注目領域を６３０として示す。
次に基準画素を決定する（Ｓ４０４）。注目領域６３０を通って水平な直線と、元画像領域６２０の縦の２辺（左辺及び右辺）との交点を基準画素Ａ、Ｂとする。注目領域が画面中央の場合には、基準画素Ａ、Ｂは、元画像領域６２０の縦の２辺のそれぞれ中点となる。

次に、基準画素の投影座標を算出する（Ｓ４０５）。基準画素Ａ，Ｂの座標を、Ｓ４０２で求めた座標系変換パラメータを用いて射影変換することで、スクリーン上の座標Ａ’、Ｂ’が求められる。
次に、補正後投影画像の４隅座標を算出する（Ｓ４０６）。図６（ｂ）に示すように、基準画素の投影座標Ａ’、Ｂ’が縦の２辺のそれぞれ中点となるような、元画像と同一アスペクトの矩形を形成する。その４つの頂点Ｐ１’〜Ｐ４’を、補正後投影画像の４隅座標とする。

次に、液晶パネル上の補正後４隅座標を算出する（Ｓ４０７）。Ｓ４０２で求めた、液晶パネル座標系からスクリーン上座標系へ変換する射影変換パラメータの逆関数を求め、Ｓ４０６で求めた補正後投影画像の４隅座標Ｐ１’〜Ｐ４’に適用することにより、液晶パネル座標系における補正後４隅座標Ｐ１〜Ｐ４を算出する。この４点を頂点に持つ四角形が補正画像領域６５０であり、これをスクリーン５１０上に投影すると、元画像と同一のアスペクトをもつ矩形になる。

次に、補正画像領域６５０が表示可能か否かを判定する（Ｓ４０８）。図６の場合、投影画像５４０の上辺が広がっている状態を、画面中心を注目領域として変形率を１倍となるように補正したため、上辺は縮小となるが下辺は逆に拡大となる。すなわち、補正画像領域６５０の下辺は、元画像領域６２０の下辺より長くなり、補正後４隅座標Ｐ３、Ｐ４は、元画像領域６２０の範囲には入らない。しかし、図６の例では、元画像領域６２０は液晶パネルの表示可能領域６１０より小さく、未使用領域がある。画像の表示には、元画像領域６２０の大きさにかかわらず、液晶パネルの表示可能領域６１０全体を使うことができる。図６の例では、補正画像領域６５０全体が表示可能領域６１０の範囲に入っているため、表示可能であると判定する。すなわち、この場合、液晶パネルの表示可能領域６１０のうち、元画像を表示する場合には使用されない画素も用いて補正画像の表示を行うことを許容する。

表示可能と判定した場合（Ｓ４０８：Ｙｅｓ）、液晶パネル上の補正後画像から元画像
への変形パラメータを算出する（Ｓ４０９）。画像処理部１４０に設定する変形パラメータは、前述のように、式１の行列Ｍ、オフセット（ｘｓｏ，ｙｓｏ）、（ｘｄｏ，ｙｄｏ）、式４の行列Ｍ^−１であるので、これらの値を計算する。行列Ｍと行列Ｍ^−１は、ＣＰＵ１１０からは、いずれか一方のみを設定し、他方は画像処理部１４０が逆行列を求めるようにしてもよい。
最後に、Ｓ４０９で算出した変形パラメータを、画像処理部１４０に設定する（Ｓ４１０）。

Ｓ４０８で、補正画像領域６５０が表示可能領域６１０の範囲に入っていない場合、表示不可能と判定する（Ｓ４０８：Ｎｏ）。その場合は、元画像の調整値を算出する（Ｓ４１１）。補正画像領域６５０の長い方の底辺の長さと、表示可能領域６１０の対応する辺の長さの比に基づいて、縮小処理のための縮小率を求める。また、縮小処理に加えて、画像全体をシフトしてもよい。この縮小率とシフト量を各種画像処理部３１０に含まれるスケーラ等に設定する（Ｓ４１２）。その後、元画像領域６２０を再設定してＳ４０３に戻って再計算することにより、補正画像領域６５０を表示可能領域６１０内に表示することができる。

以上説明したように、本実施例によれば、注目領域として設定した画面中央部の変形率を１倍に近くすることができるので、注目領域においては、まず、変形によるジャギーやモアレ等の画像劣化が発生しにくくなる。更に、変形率が１倍に近いため、注目領域にかけるフィルタのカットオフ周波数を高くすることができるので、鮮鋭度の劣化を抑えることができる。このように、本実施例によれば画質劣化の低減と鮮鋭度の維持を両立したキーストーン補正が可能となる。

なお、図６（ｂ）では、元画像領域の下辺と補正画像領域の下辺が一致していないが、これは単純に補正後４隅座標Ｐ１〜Ｐ４のｙ座標をシフトすることで一致させることができる。ｙ方向のみではなく、ｘ方向にもシフトさせることができ、変形率及び画質には影響しない。

（実施例２）
本実施例では、実施例１と同様に、液晶プロジェクタについて説明する。なお、本実施例の液晶プロジェクタの＜全体構成＞＜基本動作＞については、実施例１と同様であるため説明を割愛する。
本実施例の特徴的な構成について説明する。図７は、本実施例における画像処理部１４０の内部構成を説明するためのブロック図である。実施例１で示した図３との違いは、背景処理部７１０を含むことである。背景処理部７１０は、入力された画像に対し、ＣＰＵ１１０から座標値で指定される領域を黒などの背景色で塗りつぶす処理を施して、背景処理後画像信号ｓ７０１を出力する。

図６では、液晶パネルのアスペクトと元画像領域のアスペクトが異なり、液晶パネルに未使用領域がある場合について説明した。本実施例では、図８を用いて、液晶パネルのアスペクトと元画像領域のアスペクトが同じで、液晶パネルの未使用領域が無い場合を例にして説明する。もちろん、本実施例は未使用領域がある場合にも適用可能である。図８（ａ）は補正前、（ｂ）は背景処理なしの場合、（ｃ）は背景処理ありの場合の図である。図８（ａ）は、図６（ａ）の表示可能領域６１０と元画像領域６２０が一致している場合を示しており、投影画像５４０は図６（ａ）と同一である。図８（ｂ）は、実施例１と同様の処理を行った場合の補正後投影画像を示している。補正画像領域６５０が表示可能領域６１０からはみ出す部分８１０（範囲外画素）については、液晶パネル上に画像を表示することができずに欠落するため、補正後投影画像６４０は下側が斜めに切れた六角形になってしまう。

これを防止するため、背景処理を行う。なお、背景処理は元画像の端部を黒などの背景色で塗りつぶすので、入力画像の性質やユーザの好みによっては適用しない方がよい場合がある。そのため本実施例では、背景処理を実施するか否かを、あらかじめユーザが変形モード設定しておくこととする。変形モードは画質優先モードと全体表示モードがあり、画質優先モードは背景処理を実施する変形モードで、注目領域の変形率を１倍にすることを優先するため、光学条件や未使用領域の有無によっては背景処理を実施することにより画面端が欠落する場合がある。全体表示モードは、背景処理を実施しない変形モードで、元画像全体を表示することを優先するため、注目領域の変形率を１倍にできない場合がある。

図９は、本実施例におけるＣＰＵ１１０の処理を説明するフローチャートである。同図において、Ｓ４０１〜Ｓ４０８の処理内容は実施例１と同様である。
Ｓ４０８で表示不可能と判定した場合、変形モード判定を行う（Ｓ９０１）。ユーザが操作部１１３や不図示のリモコンを操作することにより、画質優先モードと全体表示モードのいずれかが選ばれており、現在の設定がそのどちらになっているかを判定する。画質優先モードが選択されていた場合には、Ｓ４０９へ進み、実施例１と同様に、液晶パネル上の補正後画像から元画像への変形パラメータを算出する。

Ｓ９０２では、液晶パネル座標系で、補正画像領域６５０が表示可能領域６１０からはみ出す境界点を計算する。図８（ｂ）では、補正画像領域６５０の下辺と表示可能領域６１０の縦の辺との交点であり、図８（ｂ）にＰＬ、ＰＲで示す。
次に、Ｓ９０２で求めた補正後画像上の境界点を、Ｓ４０９で求めた、液晶パネル上の補正後画像から元画像への変形パラメータを用いて変形することにより、元画像上の境界点を算出する（Ｓ９０３）。図８（ｃ）にＸＬ、ＸＲで示す。

ＸＬ、ＸＲの座標を用いて、背景処理を施す領域を計算する（Ｓ９０４）。ＸＬ、ＸＲのｘ座標をｘｌ、ｘｒとすると、元画像のｘ座標がｘｌより小さい領域、およいびｘｒより大きい領域を背景処理領域８２０とする。これにより、元画像において前記範囲外画素８１０に対応する画素を包含する領域が背景処理領域として定められる。
最後に、Ｓ４０９で算出した変形パラメータと、Ｓ９０４で算出した背景処理領域パラメータを、画像処理部１４０に設定する（Ｓ９０５）。

背景処理部７１０は、入力されるフィルタ後画像信号ｓ３０４に対し、ＣＰＵ１１０から設定された背景処理領域を黒などの背景色で塗りつぶす（所定の画素値の画素で置き換える）処理を施して、背景処理後画像信号ｓ７０１を出力する。変形処理部３４０は、背景処理後画像信号ｓ７０１を入力し、実施例１と同様に変形処理を施して、変形後画像信号ｓ３０５を出力する。

変形後の画像は、図８（ｃ）の補正画像領域６５０であり、背景色で塗りつぶされた補正後背景処理領域８３０を含む。これを投影した画像が補正後投影画像６４０であり、背景色で塗りつぶされた補正後背景処理領域投影画像８４０を含む。

Ｓ９０１で全体表示モードが選ばれていると判定した場合は、従来の台形補正のように、補正画像領域６５０全体（縮小処理後の画像）が表示可能領域６１０に入るような変形を行う。

まず、表示可能領域６１０の頂点の投影座標を算出する（Ｓ９０６）。本例の場合は、表示可能領域６１０は元画像領域６２０と一致しているので、図８の投影画像５４０の頂点の座標となる。次に、補正後投影画像の４隅座標を算出する（Ｓ９０７）。投影画像５
４０に内包され、元画像領域６２０と同一のアスペクトを持つ矩形を形成し、その頂点を補正後投影画像の４隅座標とする。そして、Ｓ４０７、Ｓ４０９と同様の処理により、液晶パネル上の補正後４隅座標を求め、液晶パネル上の補正後画像から元画像への変形パラメータを算出する（Ｓ９０８、Ｓ９０９）。また、背景処理領域の面積がゼロとなるパラメータを選択する（Ｓ９１０）。なお、本実施例では、背景処理を行う場合も行わない場合もＳ９０５により画像処理部１４０のパラメータ設定がなされる。上記のようにＳ９０５では変形パラメータと背景処理領域パラメータを画像処理部１４０に設定する。ここでは、背景処理を行わない場合には、背景処理領域の面積がゼロになるようなパラメータを、背景処理領域パラメータとして設定することで、画像処理部１４０に背景処理を行わせない設定ができるものとする。最後に、Ｓ９０５に合流し、Ｓ９０９で算出した変形パラメータと、Ｓ９１０で選択した背景処理領域パラメータを、画像処理部１４０に設定する。この場合、注目領域６３０の変形率は１倍にはならず、縮小されてしまう。

Ｓ４０８で表示可能と判断した場合には、Ｓ９０９に進み、Ｓ４０７で求めた液晶パネル上の補正後４隅座標を用いて、液晶パネル上の補正後画像から元画像への変形パラメータを算出する。以降、Ｓ９１０，９０５の処理は上述の通りである。この場合、注目領域６３０の変形率を１倍に近くし、更に画像全体の表示が可能ということであり、理想的な変形が可能となる。

以上説明したように、本実施例によれば、液晶パネルの未使用領域が無い場合にも、投影画像形状として長方形を保ちながら、注目領域の変形率を１倍に近くすることができる。これにより、ジャギーやモアレ等の画質劣化の低減と鮮鋭度の維持を両立したキーストーン補正が可能となる。

背景処理をすることにより、元画像の左右端部の画像が失われるが、自然画等、画像端に重要な情報が含まれないコンテンツの場合は特に問題ない。
なお、本実施例では、変形モードはユーザが設定するとしたが、入力端子によって、モードを自動的に切り替えるようにしてもよい。例えば、ＨＤＭＩ入力は画質優先モード、コンポーネント入力は全体表示モード、等のような自動切り替えを行うようにしてもよい。

また、本実施例では、背景処理部７１０をフィルタ３３０と変形処理部３４０の間に配置したが、順序は問わない。フィルタ３３０以前に配置することで、画像端部が変化するが、問題ない。変形処理部３４０の後ろに配置しても、背景処理は可能だが、背景処理領域が斜めになるので、領域の指定が煩雑になる。本実施例で例示した方法のように変形処理部３４０の前に配置すれば、元画像に対して背景処理領域を決める場合に、１軸のみの座標値で背景処理領域を指定することができるので、処理が簡単である。
以上、垂直方向の補正の場合について説明したが、水平方向の補正の場合にも、同様の考え方で補正することができる。

（実施例３）
本実施例では、実施例１と同様に、液晶プロジェクタについて説明する。なお、本実施例の液晶プロジェクタの＜全体構成＞＜基本動作＞については、実施例１と同様であるため説明を割愛する。
本実施例の特徴的な構成につて詳しく説明する。本実施例における画像処理部１４０の内部構成は、実施例１（図３）と同じである。ＣＰＵ１１０の処理のフローも実施例１（図４）と同じであるが、基準画素の選び方、補正後投影画像の４隅座標の算出の方法が異なるので、図６の代わりに図１０を用いて詳細に説明する。

図１０は、１台のプロジェクタで２画面表示（ＰｂｙＰ）をしている状態を示している
。図１０（ａ）はキーストーン補正前、（ｂ）は補正後の図である。液晶パネルの左側にメイン画面１０１０が表示され、右側にサブ画面１０２０が表示されるとする。メイン画面１０１０とサブ画面１０２０を合わせたものが元画像領域６２０である。図１０では、メイン画面１０１０とサブ画面１０２０は同一形状としているが、それぞれの大きさ、形状は問わない。図１０（ａ）の投影画像１０４０は、液晶プロジェクタ１００とスクリーン５１０が、相対的に垂直及び水平方向に傾いているときの、スクリーン５１０上の平面で表わしている。

本実施例のＣＰＵ１１０の処理は、実施例１と同様に図４のフローチャートに従って行われる。
ＣＰＵ１１０は、まず、光学条件を検出し（Ｓ４０１）、液晶パネル座標系からスクリーン上の座標系へ変換する射影変換パラメータを求める（Ｓ４０２）。これらの処理は実施例１と同じである。

次に、注目領域を設定する（Ｓ４０３）。ここで、注目領域は、元画像領域６２０に対して既定の割合をもつ範囲とする。図１０（ａ）では、メイン画面の中央部で、元画像領域６２０の縦横各２０％の大きさの範囲とし、注目領域１０３０で示す。図中、パーセント表示は、元画像領域６２０に対する注目領域の相対位置を表す。

次に、基準画素を決定する（Ｓ４０４）。注目領域１０３０の４隅の点を基準画素Ａ，Ｂ，Ｃ，Ｄとする。
次に、基準画素の投影座標を算出する（Ｓ４０５）。基準画素Ａ〜Ｄの座標を、Ｓ４０２で求めた座標系変換パラメータを用いて射影変換することで、スクリーン上の座標Ａ’、Ｂ’、Ｃ’、Ｄ’が求められる。

次に、補正後投影画像の４隅座標を算出する（Ｓ４０６）。Ｓ４０６の処理の詳細フローを図１１に示す。まず、スクリーン上に投影された注目領域１０５０の、補正前の面積を求める（Ｓ１１０１）。これは、投影基準画素の投影座標Ａ’、Ｂ’、Ｃ’、Ｄ’が形成する四角形１０５０の面積である。次に、補正後の注目領域の投影形状を算出する（Ｓ１１０２）。Ｓ１１０１で求めた面積と同一の面積を持ち、元画像領域６２０の注目領域１０３０と同一アスペクトの矩形Ａ”Ｂ”Ｃ”Ｄ”を形成する。このとき、四角形Ａ’Ｂ’Ｃ’Ｄ’と長方形Ａ”Ｂ”Ｃ”Ｄ”の対角線の交点は一致させる。すなわち、四角形ＡＢＣＤの対角線の交点を基準画素、補正画像領域１０８０におけるこの基準画素に対応する画素を補正基準画素とする。そして、投影画像１０４０において基準画素に対応する画素の位置と、補正後投影画像１０７０において補正基準画素に対応する画素（長方形Ａ”Ｂ”Ｃ”Ｄ”の対角線の交点）の位置と、が同じになるようにする。そして、補正後投影画像の４隅座標を算出する（Ｓ１１０３）。元画像領域６２０に対する注目領域１０３０の相対位置及びサイズ情報を用いて、長方形Ａ”Ｂ”Ｃ”Ｄ”に対する補正後投影画像１０７０を求める。注目領域１０３０は、図１０（ａ）に示したように、ｘ方向は元画像領域６２０の左から１５％〜３５％、ｙ方向は元画像領域６２０の４０％〜６０％の位置にある。よって、逆算して、補正後投影画像１０７０の４つの頂点Ｐ１’〜Ｐ４’の座標を求め、補正後投影画像１０７０の４隅座標とする。

次に、液晶パネル上の補正後４隅座標Ｐ１〜Ｐ４を算出し（Ｓ４０７）、補正画像領域１０８０を求める。以降の処理は、実施例１と同様である。

本実施例では、補正前後の注目領域の面積が同じになるような補正を行っている。これにより、変形率を厳密に１倍にできるわけではないが、注目領域というある面積をもったエリアにおいて、平均的には変形率を約１倍にすることができる。

本実施例によれば、液晶プロジェクタとスクリーンが、垂直及び水平方向に傾いている場合にも、注目領域の変形率を概ね１倍にして画質の劣化を抑えたキーストーン補正が可能である。

また、２画面表示などの場合にも、メイン画像の中心など任意の領域を注目領域とすることが可能である。２画面表示の場合、入力端子によって注目領域とする優先順位を決めておくこともできる。例えば、アナログＰＣ入力よりも精細な画像が入力するＨＤＭＩ端子入力を優先にすることで、自動的に優先端子の中心を注目領域として補正することができる。

なお、補正後投影画像１０７０の４隅座標Ｐ１’〜Ｐ４’が、投影画像１０４０の範囲内に入らない場合には、実施例２と同様に、背景処理を施して画像端部を除去するようにしても良い。補正画像領域１０８０をシフトすると、変形率が１倍ではなくなってしまうため、望ましくない。

（実施例４）
本実施例では、元画像を解析し、注目領域を設定する場合について説明する。本実施例における画像処理部１４０の内部構成は、図３と同じである。ＣＰＵ１１０の処理のフローは、注目領域の設定を除き、上述の実施例１〜３と同様である。

本実施例では、画像処理部１４０に含まれる統計処理部（不図示）により、元画像を分析し、分析結果をＣＰＵ１１０が読みだし、それに応じて注目領域を設定する。元画像を複数のブロックに分割し、ブロックごとに画像の特徴量を取得することにより、注目領域とするブロックを決定する。

図１２に、元画像の例を示す。同図では、簡略化のため、縦横４ブロックの１６ブロックに分割し、横方向にＩ〜ＩＶ、縦方向に１〜４としている。注目領域として設定すべき領域は、例えば空間周波数が高く精細な領域であったり、フォーカスの合った物体や、動いているものがある領域であったりする。同図においては、家の模様が精細で空間周波数が高いので、空間周波数に着目すればＩＩ−３ブロックが注目領域となる。また、車が動いているので、動いているものに着目すれば、ＩＶ−３ブロックが注目領域となる。どちらを優先するかは、ユーザ設定やその他の方法によって決定すればよい。

（その他の実施例） 本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成される。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボ
ードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれる。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

１００：プロジェクタ、１１０：ＣＰＵ、１４０：画像処理部、１５１Ｒ，１５１Ｇ，１５１Ｂ：液晶素子、１６１：光源、１７１：投影光学系、３２０：変形率算出部、３４０：変形処理部

Claims (20)

1. 光源と、光源からの光の透過を画像信号に基づき変調する光変調素子と、光変調素子を透過した光を投影面に投影する投影光学系と、を有する投影装置であって、
   入力される元画像が投影面に投影された場合の投影画像における歪みを補正するために元画像を幾何学的に変形させた補正画像を生成する変形手段と、
   前記補正画像の画像信号に基づき前記光変調素子における光の透過を制御する制御手段と、
   元画像に注目領域を設定する設定手段と、
   を有し、
   前記変形手段は、元画像の注目領域の変形の度合が注目領域以外の領域の変形の度合より小さくなるように元画像の変形を行う投影装置。
2. 前記変形手段は、元画像の注目領域に対する、補正画像において当該注目領域に対応する領域の変形率が、元画像の注目領域以外の領域に対する、補正画像において当該注目領域以外の領域に対応する領域の変形率と比べて、より１に近くなるように、元画像に対する変形を行う請求項１に記載の投影装置。
3. 前記変形率は、元画像の注目領域に含まれる２つの画素の距離と、補正画像において当該２つの画素に対応する２つの画素の距離と、の比率に基づき求められる請求項２に記載の投影装置。
4. 前記変形率は、元画像の注目領域の面積と、補正画像において当該注目領域に対応する領域の面積と、の比率に基づき求められる請求項２に記載の投影装置。
5. 前記変形手段は、元画像の左辺及び右辺の画素であって、元画像の注目領域の所定の画素と縦方向の位置が同じである画素を基準画素とし、元画像の左辺及び右辺における基準画素の位置関係と、補正画像が投影面に投影された場合の投影画像である補正後投影画像の左辺及び右辺における前記基準画素に対応する画素の位置関係と、が同じになるように、元画像を変形する請求項１〜４のいずれか１項に記載の投影装置。
6. 前記変形手段は、元画像の注目領域の所定の画素を基準画素、補正画像において当該基準画素に対応する画素を補正基準画素とし、元画像の投影画像において前記基準画素に対応する画素の位置と、補正画像が投影面に投影された場合の投影画像である補正後投影画像において前記補正基準画素に対応する画素の位置と、が同じになるように、元画像を変形する請求項１〜４のいずれか１項に記載の投影装置。
7. 前記変形手段は、元画像の大きさが前記光変調素子の表示可能領域より小さく、かつ、補正画像の全ての画素が前記光変調素子の表示可能領域に入る場合、前記光変調素子の画素のうち元画像を表示する場合には使用されない画素も用いて補正画像の表示を行うことを許容するように、元画像を変形する請求項１〜６のいずれか１項に記載の投影装置。
8. 前記変形手段は、補正画像の画素のうち前記光変調素子の表示可能領域に入らない画素がある場合、当該画素を範囲外画素とし、元画像において当該範囲外画素に対応する画素を包含する領域を背景処理領域として定め、元画像に対し、当該背景処理領域の画素を所定の画素値の画素で置き換える背景処理を行い、背景処理後の元画像に対して変形を行う請求項１〜７のいずれか１項に記載の投影装置。
9. 前記変形手段は、補正画像の画素のうちに前記光変調素子の表示可能領域に入らない画素がある場合、補正画像の全ての画素が前記光変調素子の表示可能領域に入るように元画
   像に対し縮小処理を行い、縮小処理後の元画像に対して変形を行う請求項１〜７のいずれか１項に記載の投影装置。
10. 前記設定手段は、元画像を複数のブロックに分割し、ブロックごとに画像の特徴量を取得し、取得した特徴量に基づき１又は複数のブロックを注目領域として設定する請求項１〜９のいずれか１項に記載の投影装置。
11. 光源と、光源からの光の透過を画像信号に基づき変調する光変調素子と、光変調素子を透過した光を投影面に投影する投影光学系と、を有する投影装置の制御方法であって、
    入力される元画像が投影面に投影された場合の投影画像における歪みを補正するために元画像を幾何学的に変形させた補正画像を生成する変形工程と、
    前記補正画像の画像信号に基づき前記光変調素子における光の透過を制御する制御工程と、
    元画像に注目領域を設定する設定工程と、
    を有し、
    前記変形工程では、元画像の注目領域の変形の度合が注目領域以外の領域の変形の度合より小さくなるように元画像の変形を行う投影装置の制御方法。
12. 前記変形工程では、元画像の注目領域に対する、補正画像において当該注目領域に対応する領域の変形率が、元画像の注目領域以外の領域に対する、補正画像において当該注目領域以外の領域に対応する領域の変形率と比べて、より１に近くなるように、元画像に対する変形を行う請求項１１に記載の投影装置の制御方法。
13. 前記変形率は、元画像の注目領域に含まれる２つの画素の距離と、補正画像において当該２つの画素に対応する２つの画素の距離と、の比率に基づき求められる請求項１２に記載の投影装置の制御方法。
14. 前記変形率は、元画像の注目領域の面積と、補正画像において当該注目領域に対応する領域の面積と、の比率に基づき求められる請求項１２に記載の投影装置の制御方法。
15. 前記変形工程では、元画像の左辺及び右辺の画素であって、元画像の注目領域の所定の画素と縦方向の位置が同じである画素を基準画素とし、元画像の左辺及び右辺における基準画素の位置関係と、補正画像が投影面に投影された場合の投影画像である補正後投影画像の左辺及び右辺における前記基準画素に対応する画素の位置関係と、が同じになるように、元画像を変形する請求項１１〜１４のいずれか１項に記載の投影装置の制御方法。
16. 前記変形工程では、元画像の注目領域の所定の画素を基準画素、補正画像において当該基準画素に対応する画素を補正基準画素とし、元画像の投影画像において前記基準画素に対応する画素の位置と、補正画像が投影面に投影された場合の投影画像である補正後投影画像において前記補正基準画素に対応する画素の位置と、が同じになるように、元画像を変形する請求項１１〜１４のいずれか１項に記載の投影装置の制御方法。
17. 前記変形工程では、元画像の大きさが前記光変調素子の表示可能領域より小さく、かつ、補正画像の全ての画素が前記光変調素子の表示可能領域に入る場合、前記光変調素子の画素のうち元画像を表示する場合には使用されない画素も用いて補正画像の表示を行うことを許容するように、元画像を変形する請求項１１〜１６のいずれか１項に記載の投影装置の制御方法。
18. 前記変形工程では、補正画像の画素のうち前記光変調素子の表示可能領域に入らない画素がある場合、当該画素を範囲外画素とし、元画像において当該範囲外画素に対応する画
    素を包含する領域を背景処理領域として定め、元画像に対し、当該背景処理領域の画素を所定の画素値の画素で置き換える背景処理を行い、背景処理後の元画像に対して変形を行う請求項１１〜１７のいずれか１項に記載の投影装置の制御方法。
19. 前記変形工程では、補正画像の画素のうちに前記光変調素子の表示可能領域に入らない画素がある場合、補正画像の全ての画素が前記光変調素子の表示可能領域に入るように元画像に対し縮小処理を行い、縮小処理後の元画像に対して変形を行う請求項１１〜１７のいずれか１項に記載の投影装置の制御方法。
20. 前記設定工程では、元画像を複数のブロックに分割し、ブロックごとに画像の特徴量を取得し、取得した特徴量に基づき１又は複数のブロックを注目領域として設定する請求項１１〜１９のいずれか１項に記載の投影装置の制御方法。

Images