JP2003111041A - 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】 被写体を撮影して得られた動画像等の一部を
トリミングして表示する際に、当該トリミング領域に対
して目的とする被写体を所定位置に所定サイズで表示す
る構成により、常に良好なトリミング表示を提供できる
画像処理装置を提供する。 【解決手段】 制御手段１０４は、動画像（複数の被写
体を撮影して得られた動画像）の一部をトリミングして
出力（表示出力）する際に、トリミング領域内の特定領
域（複数の被写体の中の注目する被写体の領域）に基づ
いて、トリミング動作（構成部１０８の動作）を制御す
る。これにより、トリミング領域内における特定領域の
位置やサイズ等を常に適切な状態とすることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、撮像装置
により被写体を撮像して得られた動画像の一部をトリミ
ング表示する装置或いはシステムに用いられる、画像処
理装置、画像処理システム、画像処理方法、それを実施
するためのプログラムを記憶したコンピュータ読出可能
な記憶媒体、及び当該プログラムに関するものである。

【０００２】

【従来の技術】従来より、空間的に異なる位置に存在す
る被写体を撮像する撮像装置としては、例えば、次に挙
げるようなトリミング表示（画像の切り出し表示）の方
式を用いた装置がある。 （１）撮像装置が小型ビデオカメラのような携帯型の装
置である場合、ユーザが手持ちで任意の被写体に視線位
置を合わせて撮影して得られた画像から、或いはカメラ
の視野を広角にして広い撮影範囲で一度に撮影して得ら
れた画像から、その一部を切り出し（トリミング）表示
する。 （２）魚眼レンズを搭載したカメラを用いることで、ほ
ぼ半球を一度に撮影して得られた画像から、その一部を
切り出し（トリミング）表示する。 （３）双曲面形状のミラーを有する光学系を用いること
で、水平方向に３６０度の範囲を一度に撮影して得られ
た画像から、その一部を切り出し（トリミング）表示す
る。

【０００３】上述のような撮像装置と共に、通信ネット
ワークを利用したシステムの一例として、遠隔会議シス
テムがある。遠隔会議システムは、地理的に隔たった複
数人の会議参加者（メンバ）が、会議机上に配置された
撮像装置により撮影されたお互いの姿を確認しながら、
マイク及びスピーカーを介して音声を交換できる構成か
らなる。

【０００４】ここで、遠隔会議システムにより会議を行
うにあたり、多くの場合、撮影されるべく被写体は発言
者の姿であり、当該発言者以外のメンバー、すなわち聞
き手は、各自のモニタ等の表示装置に映しだされた当該
発言者の表情や動作を見ながら意見の交換を進めていく
ことになる。

【０００５】具体的には例えば、図１３は、遠隔会議シ
ステムにより、東京−大阪間で行われている遠隔会議の
東京での会議室９００の様子を表したものである。東京
の会議室９００では、上記図１３に示すように、テーブ
ル９０１を囲んだ１２名のメンバ（メンバＡ〜メンバ
Ｌ）が会議に参加している。これと同様に、図示してい
ないが、大阪でも複数のメンバが会議に参加している。
テーブル９０１の中央には、撮像装置としてのビデオカ
メラ９０２が設置されており、ビデオカメラ９０２は、
メンバＡ〜メンバＬの中の任意のメンバの姿を撮影す
る。この映像（動画像）は、大阪の会議室へと伝送され
る。また、メンバＡ〜メンバＬのそれぞれに対しては、
モニタが設置されている。例えば、メンバＡに対して
は、モニタ９０３ａが設置されている。このモニタ９０
３ａには、大阪の会議室でビデオカメラにより撮影して
得られた任意のメンバの映像が映し出される。

【０００６】図１４は、ビデオカメラ９０２が有する、
３６０度全方位撮影可能な光学系を示したものであり、
図１５は、当該光学系を有するビデオカメラ９０２で撮
影して得られた画像がモニタ９０３ａで表示された様子
を示したものである。

【０００７】ビデオカメラ９０２の光学系は、上記図１
４に示すように、双曲面形状の反射鏡９１１を有し、そ
の中心軸は地面に対して垂直な重心方向と一致してい
る。このような反射鏡９１１により、地面に対して水平
方向の３６０度の被写体光が反射され、当該反射光が、
光学系下に設置されたビデオカメラ９０１の撮像部（不
図示）で受光される。

【０００８】上記図１４に示したような光学系を有する
ビデオカメラ９０２で得られた映像は、モニタ９０３ａ
で表示される。モニタ９０３ａの表示画面は、映像の歪
み等を対処するために、また、全体映像を見やすいよう
にするために、３６０度全方位を座標位置変換して得ら
れたパノラマ画像を表示するパノラマ表示部９２１を有
する。パノラマ表示部９２１には、ウィンドウ９２２が
パノラマ画像の上に重ねて表示される。また、モニタ９
０３ａの表示画面は、ウィンドウ９２２内の画像がパノ
ラマ画像からトリミングされた結果が大きく表示される
表示部９２３を有する。

【０００９】しかしながら、上述のような遠隔会議シス
テムにおいて、複数の会議参加者（メンバ）から交互に
変わる発言者の映像を、当該発言者以外の聞き手に対し
て提示するためには、ビデオカメラ９０２により当該発
言者にパンして当該発言者を撮影し、上記図１５に示し
たようなモニタ９０３ａのパノラマ表示部９２１におい
て、そのウィンドウ９２２を該当するメンバの位置に設
定することになるが、このウィンドウ９２２の操作は人
の手により行う必要がある。

【００１０】そこで、上記の問題を解決するために、例
えば、指向性マイクを用いることで発言者の方向を検知
し、或いはそれぞれのメンバに対して設けられたマイク
から発言中のマイクを判定することで発言者の方向を検
知し、この検知結果により、自動的にウィンドウ位置を
変えることが可能な構成が提案されている。

【００１１】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の遠隔会議システムでは、上記図１３から
も明かなように、ビデオカメラ９０２からメンバＡ〜メ
ンバＬのそれぞれに対する距離が異なるため、ビデオカ
メラ９０２の撮影対象となるメンバ（発言者等）の位置
によって、モニタ上に表示される当該メンバの映像の大
きさが異なり、不自然さがあった。

【００１２】例えば、メンバＤやメンバＨと比較して、
メンバＡやメンバＧはビデオカメラ９０２から遠い位置
にある。このため、メンバＤ或いはメンバＪが発言者と
してビデオカメラ９０２で撮影され、この映像がモニタ
上に表示された場合の状態を、図１６に示されるような
状態とした場合、メンバＡ或いはメンバＧが発言者とし
てビデオカメラ９０２で撮影され、この映像がモニタ上
に表示された場合の状態は、図１７に示されるような状
態となる。すなわち、ビデオカメラ９０２の撮影がメン
バＤ或いはメンバＪの撮影からメンバＡ或いはメンバＧ
の撮影に切り替わると、モニタ上の表示が上記図１６の
大きな映像の状態から上記図１７の小さな映像に切り替
わり、会議の参加者に対して非常に不自然さを与えてし
まう。

【００１３】上述のように、メンバの位置によってその
映像の大きさが異なってしまうのは、会議を進めるにあ
たり、発言者の表情等を読み取る上で非常に不都合であ
る。また、例えば、マイクを介して音声がどのメンバー
からも同一に聞こえる場合、映像だけ距離感を与えてし
まうのは非常に不自然である。

【００１４】また、ビデオカメラ９０２で撮影対象とな
るメンバの動きによっては、例えば、図１８に示すよう
に、当該メンバの映像が表示領域から外れてしまうこと
があった。

【００１５】そこで、本発明は、上記の欠点を除去する
ために成されたもので、被写体を撮影して得られた動画
像等の一部をトリミングして表示する際に、当該トリミ
ング領域に対して目的とする被写体を所定位置に所定サ
イズで表示する構成により、常に良好なトリミング表示
を提供できる、画像処理装置、画像処理システム、画像
処理方法、それを実施するためのプログラムを記憶した
コンピュータ読出可能な記憶媒体、及び当該プログラム
を提供することを目的とする。

【００１６】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、動画像の一部をトリミングして出力する
画像処理装置であって、上記トリミング領域内の特定領
域に基づいて、上記トリミング動作を制御する制御手段
を備えることを特徴とする。

【００１７】第２の発明は、上記第１の発明において、
上記制御手段は、上記動画像でトリミングする領域を変
更する制御を行なうことを特徴とする。

【００１８】第３の発明は、上記第１の発明において、
上記制御手段は、上記トリミング領域における上記特定
領域の位置及びサイズの少なくとも何れかを変更する制
御を行なうことを特徴とする。

【００１９】第４の発明は、上記第１の発明において、
上記制御手段は、上記特定領域の上記トリミング領域に
おける位置及びサイズの少なくとも何れかに基づいて、
上記トリミング動作を制御することを特徴とする。

【００２０】第５の発明は、上記第１の発明において、
上記特定領域は、被写体を撮影して得られた上記動画像
中に存在する当該被写体領域を含むことを特徴とする。

【００２１】第６の発明は、上記第１の発明において、
上記特定領域は、複数の被写体を撮影して得られた上記
動画像中に存在する任意の被写体領域を含むことを特徴
とする。

【００２２】第７の発明は、上記第１の発明において、
上記動画像は、魚眼レンズを搭載した光学系を有する撮
像手段、又は全方向撮像可能な光学系を有する撮像手段
により被写体を撮影して得られた動画像を含むことを特
徴とする。

【００２３】第８の発明は、上記第１の発明において、
上記動画像の信号は、所定の圧縮符号化方式により圧縮
符号化された信号を含み、上記圧縮符号化された動画像
信号を復号化する復号手段を備えることを特徴とする。

【００２４】第９の発明は、上記第８の発明において、
上記所定の圧縮符号化方式は、画像中に存在するオブジ
ェクトをオブジェクト毎に圧縮符号化する方式を含むこ
とを特徴とする。

【００２５】第１０の発明は、上記第９の発明におい
て、上記オブジェクト領域は、動画像の一部をトリミン
グした領域内の特定領域を含むことを特徴とする。

【００２６】第１１の発明は、上記第１の発明におい
て、上記制御手段は、外部指示に基づいて、上記トリミ
ング動作を制御することを特徴とする。

【００２７】第１２の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも１つの機器は、請求項１〜
１１の何れかに記載の画像処理装置の機能を有すること
を特徴とする。

【００２８】第１３の発明は、動画像の一部をトリミン
グして出力するための画像処理方法であって、上記トリ
ミング領域内の特定領域に基づいて、上記トリミング動
作を制御する制御ステップを含むことを特徴とする。

【００２９】第１４の発明は、動画像の一部を切り出し
て出力するための画像処理方法であって、上記動画像信
号を入力する入力ステップと、上記入力ステップにより
入力された動画像信号の一部を切り出すトリミングステ
ップと、上記トリミングステップにより得られた切出領
域の動画像信号から特定領域を抽出する領域抽出ステッ
プと、上記領域抽出ステップにより抽出された特定領域
に基づいて、上記トリミングステップにおける切出領域
を修正するための制御情報を生成する制御情報生成ステ
ップとを含み、上記トリミングステップは、上記制御情
報生成ステップにより得られた制御情報に基づいて、上
記切出領域を修正するステップを含むことを特徴とす
る。

【００３０】第１５の発明は、上記第１４の発明におい
て、上記入力ステップは、被写体を撮影して得られた動
画像信号を入力するステップ、又は魚眼レンズを搭載し
た光学系を有する撮像手段により被写体を撮影して得ら
れた動画像信号を入力するステップ、又は全方位撮像可
能な光学系を有する撮像手段により被写体を撮影して得
られた動画像信号を入力するステップを含むことを特徴
とする。

【００３１】第１６の発明は、上記第１４の発明におい
て、上記領域抽出ステップは、上記切出領域内に存在す
る任意の被写体領域を上記特定領域として抽出するステ
ップを含むことを特徴とする。

【００３２】第１７の発明は、上記第１４の発明におい
て、上記制御情報生成ステップは、上記特定領域を構成
する各画素が上記切出領域に含まれる又は接するか否か
に基づいて、上記制御情報を生成するステップを含むこ
とを特徴とする。

【００３３】第１８の発明は、上記第１４の発明におい
て、上記制御情報生成ステップは、上記特定領域が上記
切出領域中の所定の位置及び所定のサイズで含まれるよ
うに上記切出領域を修正するための制御情報を生成する
ステップを含むことを特徴とする。

【００３４】第１９の発明は、上記第１４の発明におい
て、上記制御情報生成ステップは、上記動画像信号を撮
影動作により取得する際のパン、チルト、及びズームの
少なくとも何れかを制御して上記切出領域を修正するた
めの制御情報を生成するステップを含むことを特徴とす
る。

【００３５】第２０の発明は、上記第１４の発明におい
て、上記入力ステップは、撮影して得られた動画像信号
がオブジェクト毎に圧縮符号化され伝送された信号を入
力するステップと、当該ステップにより入力された信号
を復号化するステップとを含み、上記トリミングステッ
プは、上記復号化後の動画像信号の一部を切り出すステ
ップを含むことを特徴とする。

【００３６】第２１の発明は、上記第１４の発明におい
て、上記制御情報生成ステップは、外部からの要求に基
づいて、上記制御情報を生成するステップを含むことを
特徴とする。

【００３７】第２２の発明は、上記第２１の発明におい
て、上記外部からの要求は、動画像から切り出された領
域の画像を確認しながら人為的に当該領域の更新を指示
することによる要求、及び音声の入力元に基いて当該領
域内の特定領域の空間上の座標位置を決定して当該領域
の更新を指示することによる要求の少なくとも何れかを
含むことを特徴とする。

【００３８】第２３の発明は、上記第１４の発明におい
て、上記入力ステップは、撮影して得られた動画像信号
がオブジェクト毎に圧縮符号化され伝送された信号を入
力するステップと、当該ステップにより入力された信号
を復号化するステップとを含み、上記トリミングステッ
プは、上記復号化後の動画像信号の一部を切り出すステ
ップを含み、上記領域抽出ステップは、上記トリミング
ステップにより得られた切出領域に含まれる任意のオブ
ジェクト領域を上記特定領域を抽出するステップを含む
ことを特徴とする。

【００３９】第２４の発明は、請求項１〜１１の何れか
に記載の画像処理装置の機能、又は請求項１２記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。

【００４０】第２５の発明は、請求項１３〜２３の何れ
かに記載の画像処理方法の処理ステップをコンピュータ
に実行させるためのプログラムをコンピュータ読出可能
な記憶媒体に記録したことを特徴とする。

【００４１】第２６の発明は、請求項１〜１１の何れか
に記載の画像処理装置の機能、又は請求項１２記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムであることを特徴とする。

【００４２】第２７の発明は、請求項１３〜２３の何れ
かに記載の画像処理方法の処理ステップをコンピュータ
に実行させるためのプログラムであることを特徴とす
る。

【００４３】具体的には例えば、主被写体を含む少なく
とも１つ以上の被写体を撮像して得られた動画像から、
その一部をトリミング（切り出し）して表示出力する場
合、動画像に含まれる少なくとも１つ以上の被写体のう
ちの注目する被写体（主被写体）を当該動画像から抽出
し（主被写体領域と、背景等の主被写体以外の領域を分
離する等）、主被写体領域が、トリミング領域の予め決
められた領域に表示されるように、トリミング動作を制
御する。このときのトリミング動作制御としては、主被
写体領域の拡大縮小や移動等の動作制御を含む。

【００４４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００４５】[第１の実施の形態]本発明は、例えば、図
１に示すような画像処理装置１００に適用される。本実
施の形態の画像処理装置１００は、例えば、遠隔会議シ
ステムに用いられる装置であり、特に、会議参加者であ
る複数のメンバ（空間上異なる位置に配置された複数の
被写体）のうち、少なくとも１人以上のメンバを含む視
野範囲を撮影して得られた動画像において、任意の１人
のメンバ（発言者等）に注目し、これを主被写体として
単独表示（トリミング表示）する際に、常に主被写体を
表示領域（トリミング領域）内の所定の位置に所定の大
きさで安定して表示する構成を有する。これにより、メ
ンバの位置によってはトリミング表示される映像の大き
さが異なるという不自然さをなくすことができ、常に自
然なトリミング表示を提供することができる。以下、本
実施の形態の画像処理装置１００の構成及び動作につい
て具体的に説明する。

【００４６】＜画像処理装置１００の構成＞画像処理装
置１００は、上記図１に示すように、撮像部１０１、映
像信号再構成部１０２、映像トリミング部１０８、被写
体抽出部１０３、制御情報生成部１０４、及び表示部１
１０を備えている。また、制御情報生成部１０４は、被
写体位置判定部１０５、被写体領域判定部１０６、及び
トリミング条件決定部１０７を含んでいる。

【００４７】＜画像処理装置１００の動作＞撮像部１０
１は、広角レンズの搭載、或いはズームレンズの広角設
定等により、空間上異なる位置に配置された複数の被写
体（ここでは会議に参加している複数のメンバ）を同一
画面上に撮像する機能を有する。例えば、画像処理装置
１００を、上記図１３に示したような会議室９００で行
なわれる遠隔会議のシステムに適用した場合、複数のメ
ンバＡ〜メンバＬのほぼ中央に配置されたビデオカメラ
９０２が、撮像部１０１に相当する。

【００４８】尚、撮像部１０１としては、撮像部１０１
の周囲を撮影するための魚眼レンズを搭載したビデオカ
メラや、上記図１４に示したような全方位撮影可能な専
用光学系を有するビデオカメラ等を適用可能である。

【００４９】ここで、例えば、撮像部１０１において、
超広角レンズや魚眼レンズが用いられている場合、この
ようなレンズは平面状に強い収差を有するため、多くの
場合、表示された映像には歪みが生じる。また、例え
ば、撮像部１０１において、双曲面形状ミラーを有する
光学系を矩形に配列した受光素子で被写体を２次元的に
撮像したものを、そのまま直交座標で表示した場合、表
示された映像には特有の歪みが生じる。このような映像
の歪みを解消するために、撮像部１０１で得られた撮像
信号（映像信号）は映像信号再構成部１０２へと供給さ
れる。

【００５０】映像信号再構成部１０２は、撮像部１０１
からの映像信号を、被写体に対し不自然な歪みのないパ
ノラマ画像に再構成（変換）するものであるが、その処
理方法については特に限定するものではない。具体的に
一例を挙げると、撮像部１０１が双曲面形状ミラーを有
する光学系を備えるものである場合、映像信号再構成部
１０２は、任意の変換式により、撮像部１０１からの映
像信号を、歪みのないパノラマ画像（又は透視投影画
像）へ幾何学的に変換する。

【００５１】上述のように、撮像部１０１で広視野範囲
を撮像して得られた映像信号は、映像信号再構成部１０
２により、歪み補正がなされたパノラマ画像（パノラマ
映像）に変換され、表示部１１０に供給される。したが
って、表示部１１０では、映像信号再構成部１０２から
のパノラマ画像が、上記図１５に示したようなパノラマ
表示部９２１に表示される。

【００５２】一方、映像信号再構成部１０２で得られた
パノラマ画像は、映像信号トリミング部１０８にも供給
される。ここで、映像信号再構成部１０２で得られたパ
ノラマ画像に対しては、例えば、上記図１５に示したよ
うなウィンドウ９２２により予め決められた矩形領域が
設定されている。したがって、映像信号トリミング部１
０８は、映像信号再構成部１０２で得られたパノラマ画
像を上記矩形領域でトリミングした映像信号を、表示部
１１０に供給する。この結果、表示部１１０では、上記
図１５に示したような表示部９２３により、パノラマ表
示部９２１のパノラマ画像から、ウィンドウ９２２の矩
形領域でトリミングされた映像が拡大表示される。

【００５３】一方、映像信号トリミング部１０８により
パノラマ画像からトリミングされた映像信号は、被写体
抽出部１０３に供給される。被写体抽出部１０３は、映
像信号トリミング部１０８からの映像信号に含まれる主
被写体（メンバ）を認識し、当該主被写体領域を抽出す
る。

【００５４】具体的には例えば、まず、被写体抽出部１
０３の目的は、例えば、図２に示すように、映像信号ト
リミング部１０８で得られた映像信号、すなわちパノラ
マ画像からトリミングされた映像（以下、「トリミング
画像」とも言う）２０１から、人物（メンバ）である主
被写体２０１ｂと背景２０１ａを区別することにある。
被写体抽出部１０３によりトリミング画像２０１から主
被写体２０１ｂが抽出されると、その結果は、上記図２
に示すように、主被写体２０１ｂ（人物）部分の「白」
画素と、背景２０１ａ（人物）以外の部分の「黒」画素
との２値で表現された画像２０２となる。

【００５５】被写体抽出部１０３での被写体抽出方法に
ついては、様々な方法を適用可能であり、特に限定しな
いが、例えば、背景差分法による被写体抽出方法や、Ｓ
nakes法、或いはフラクタルを応用した方法等を適用可
能である。

【００５６】例えば、図３は、被写体抽出方法の一例と
して、背景差分法による被写体抽出方法を表したもので
ある。ここでの対象となるトリミング画像２１１は、背
景２１１ａに対して、什器等の領域部分２１１ｃ，２１
１ｄ（図中斜線部参照）が、主被写体２０１ｂ（人物）
の後ろに存在している状況の撮影画像である。本被写体
抽出方法では、予め主被写体２０１ｂ（人物）を除いた
背景のみのを撮影し、これにより得られた画像２１２を
記録保持しておき、実際にトリミング画像２１１が得ら
れこれを処理する際に、トリミング画像２１１と、予め
記録保持しておいた画像２１２との差分を取ることで、
主被写体２０１ｂ（人物）の抽出画像２１３を得る。

【００５７】上述のようにして、被写体抽出部１０３に
よりトリミング画像から主被写体が抽出された映像信号
は、制御情報生成部１０４に供給される。制御情報生成
部１０４において、被写体位置判定部１０５は、被写体
抽出部１０３で得られた主被写体の映像信号により、当
該主被写体が、表示部１１０での表示領域内の納まるか
否かを判定する。

【００５８】具体的には例えば、被写体抽出部１０３で
得られた主被写体の映像信号をそのままの状態で表示部
１１０の表示領域内（トリミング画像の表示領域内、上
記図１４では表示部９２３の領域内、以下、「トリミン
グ領域」とも言う）に表示した場合、図４に表示状態２
２１となるものとする。すなわち、この表示状態２２１
では、トリミング領域内で主被写体２２１ａが左へずれ
ている。このような表示状態２２１となる場合、被写体
位置判定部１０５は、トリミング条件決定部１０７に対
して、パノラマ画像からのトリミング位置を左へシフト
することで、現在の主被写体２２１ａが左へずれた状態
の被写体抽出結果２２２から、主被写体２２１ａがトリ
ミング領域に収まった状態の被写体抽出結果２２３とな
るように指示する。

【００５９】図５及び図６は、被写体位置判定部１０５
における、主被写体の位置判定の処理を表したものであ
る。まず、上記図５（ａ）に示すように、トリミング領
域２３１の全体に対しては、左境界線２３２及び右境界
線２３３が設けられている。そこで、上記図６に示すよ
うに、被写体位置判定部１０５は、先ず、被写体抽出部
１０３で得られた主被写体の映像信号の当該主被写体領
域に左境界線２３２又は右境界線２３３が含まれる又は
接する状態にあるか否かを判別し（ステップＳ３０１〜
Ｓ３０３）、この判別の結果により、当該主被写体領域
に左境界線２３２又は右境界線２３３が含まれる又は接
する状態にある場合（上記図５（ｂ）又は同図（ｃ）の
状態にある場合）に、トリミング条件決定部１０７に対
して、パノラマ画像からのトリミング位置を左又は右へ
シフトすることを指示する（ステップＳ３０５、ステッ
プＳ３０６）。これにより、上記図５（ｄ）に示すよう
な、主被写体がトリミング領域内に納まった状態とな
る。このような状態が得られると、被写体位置判定部１
０５の後段の被写体領域判定部１０６に処理が移る（ス
テップＳ３０４、ステップＳ３０７）。

【００６０】尚、トリミング領域のほぼ中央位置に主被
写体が納まったが、主被写体に近接した撮影等により主
被写体領域が左境界線２３２又は右境界線２３３が含ま
れる又は接する状態にある場合には、被写体領域判定部
１０６に処理が移るものとする。具体的には例えば、ト
リミング領域のほぼ中央に被写体が収まった場合、すな
わち被写体位置判定部１０５による位置調整後の映像の
場合、上記図７の(ａ)〜（ｃ）のいずれかの状態となる
ことが考えられる。上記図７（ａ）は、主被写体に対し
適当な距離をおいて撮影された映像を示したものであ
り、これに対して同図（ｃ）は、主被写体に対し遠距離
をおいて撮影された映像を示したものであり、同図
（ｃ）の状態では、主被写体が小さくなりすぎている。
また、主被写体に近接した撮影の場合、その映像は、上
記図７（ｂ）に示されるような状態となる。このような
場合、主被写体領域が左境界線２３２及び右境界線２３
３の両方に含まれる、或いは接するまで、すなわち図７
（ｂ）に示される状態となるまで、被写体位置判定部１
０５で位置調整する。この位置調整の処理ステップは、
上記図６に示したステップＳ３０４に相当する。ここで
は、主被写体領域が左境界線２３２及び右境界線２３３
の両方に含まれる、又は接する場合、被写体領域判定部
１０６に処理が移ることになる。また、上記図６に示し
たステップＳ３０７において、被写体領域判定部１０６
に処理が移された状態が、上記図７（ａ）及び（ｃ）に
示される。ここでは、主被写体領域が左境界線２３２及
び右境界線２３３の両方に含まれない。

【００６１】上述のようにして、被写体位置判定部１０
５により主被写体の位置の調整がなされた結果（上記図
５（ｄ）に示したような状態の映像信号）は、被写体領
域判定部１０６に供給される。

【００６２】ここで、被写体領域判定部１０６に対して
供給される映像信号としては、例えば、図７（ａ）に示
すような状態の映像信号、同図（ｂ）に示すような状態
の映像信号、及び同図（ｃ）に示すような状態の映像信
号の３種類に分類される。

【００６３】上記図７（ａ）に示す状態は、トリミング
領域に主被写体がちょうど収まった状態である。このよ
うな場合、多くの状況で満足するトリミング画像である
見なせる。上記図７（ｂ）に示す状態は、被写体位置判
定部１０５により主被写体の位置の調整がなされても、
主被写体がトリミング領域に収まりきらない状態であ
る。これは、撮像部１０１から主被写体までの距離が近
いとき、具体的には上記図１３に示したような会議室９
００内の状況ではビデオカメラ９０２がメンバＤ又はメ
ンバＪを撮影した場合に起こる状態である。このような
場合、被写体領域判定部１０６は視野角を調整する。上
記図７（ｃ）に示す状態は、被写体位置判定部１０５に
より主被写体の位置の調整がなされ主被写体がトリミン
グ領域に収まった状態であるが、被写体が小さすぎる状
態である。これは、撮像部１０１から主被写体までの距
離が遠いとき、具体的には上記図１３に示したような会
議室９００内の状況ではビデオカメラ９０２がメンバＡ
又はメンバＧを撮影した場合に起こる状態である。この
ような場合、被写体領域判定部１０６は視野角を調整す
る。

【００６４】被写体領域判定部１０６における、上述し
たような状態の判定方法としては、次のような方法が挙
げられる。例えば、被写体領域判定部１０６では、図８
に示すように、トリミング領域２４１に対して、底辺の
開いた２つの矩形領域２４２，２４３が設定されてい
る。矩形領域２４２の左右辺については、上記図５
（ａ）に示した左境界線２３２及び右境界線２３３に対
応している。被写体領域判定部１０６は、被写体位置判
定部１０５により主被写体の位置の調整がなされた結果
である映像信号において、主被写体領域が矩形領域２４
２又は矩形領域２４３の左右辺に接するか否かを判別
し、この判別の結果、主被写体領域が矩形領域２４２又
は矩形領域２４３の左右辺に接する場合、被写体領域が
矩形領域２４２と矩形領域２４３の間に左右上辺のうち
少なくとも２辺が収まるよう、映像のズーム制御要求指
示をトリミング条件決定部１０７に対して出力する。

【００６５】トリミング条件決定部１０７は、被写体位
置判定部１０５からの指示、或いは被写体領域判定部１
０６からの指示に基いて、映像信号トリミング部１０８
における倍率を変えたトリミングを制御する。これによ
り、映像信号トリミング部１０８がトリミング条件決定
部１０７の制御に従って動作することで、主被写体が適
切な位置に且つ適切な大きさで配置されたトリミング画
像を、表示部１１０で表示することができる。

【００６６】尚、本実施の形態において、トリミング領
域内の主被写体の調整は、上述したようなステップバイ
ステップでなく、例えば、アフィン変換等による変倍及
び移動を同時に行うことで実施するようにしてもよい。

【００６７】[第２の実施の形態]本発明は、例えば、図
９に示すような画像処理装置４００に適用される。本実
施の形態の画像処理装置４００は、上記図１に示した画
像処理装置１００の構成に対して、撮像部１０１及び映
像信号再構成部１０２を設ける代わりに、復号化部４０
１を設ける構成としている。

【００６８】尚、上記図９の画像処理装置４００におい
て、上記図１の画像処理装置１００と同様に機能する構
成には同じ符号を付し、その詳細な説明は省略する。

【００６９】上記図１に示した画像処理装置１００で
は、撮像部１０１により得られた映像信号を、映像信号
再構成部１０２によりパノラマ画像に変換した。これに
対して本実施の形態の画像処理装置４００に対しては、
撮像部１０１及び映像信号再構成部１０２と同様の構成
により得られたパノラマ画像が圧縮されたかたちで入力
される。復号化部４０１は、当該入力圧縮データを復号
化（解凍復号化処理）して、圧縮前のパノラマ画像を取
得する。

【００７０】本実施の形態では、圧縮符号化方式とし
て、例えば、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕ
ｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）方式を用いる
ものとする。このＭＰＥＧ−４方式は、対象映像中に存
在するオブジェクトをオブジェクト単位で符号化するオ
ブジェクト符号化機能を有する方式であり、従来からの
符号化方式に比べ、高圧縮率且つ情報量の軽減を実現で
きる。

【００７１】本実施の形態では、例えば、対象とする映
像を、第１の実施の形態と同様に、遠隔会議システムに
参加しているメンバ（人物）や、その背景等を含む映像
とした場合、具体的には、対象映像中に、背景、人物
Ａ、及び人物Ｂ等の複数のオブジェクトが独立して存在
している場合、対象映像をＭＰＥＧ−４方式で符号化し
た結果は、オブジェクト単位でオブジェクトの対象映像
における座標位置が記述される。

【００７２】したがって、本実施の形態では、上述した
ようなトリミング領域を指定する座標が決まると、一義
的にトリミング領域内に存在するオブジェクト（人物
等）は、当該オブジェクトに記述されている座標情報か
ら特定することが可能となる。このため、本実施の形態
の被写体抽出部１０３は、第1の実施の形態のように、
映像信号トリミング部１０８で得られたトリミング画像
から主被写体領域と背景領域を分離する処理等を実行す
ることなしに、容易にトリミング領域内に存在する主被
写体を抽出することができる。

【００７３】[第３の実施の形態]本発明は、例えば、図
１０に示すような画像処理装置５００に適用される。本
実施の形態の画像処理装置５００は、上記図１に示した
画像処理装置１００の構成に対して、撮像部１０１を設
ける代わりに、復号化部５０１を設ける構成としてい
る。

【００７４】尚、上記図１０の画像処理装置５００にお
いて、上記図１の画像処理装置１００と同様に機能する
構成には同じ符号を付し、その詳細な説明は省略する。

【００７５】復号化部５０１は、上記図９に示した画像
処理装置４００の復号化部４０１と同様の機能を有する
ものである。したがって、本実施の形態でも第２の実施
の形態と同様に、画像処理装置５００に対しては、圧縮
符号化されたパノラマ画像が入力される。

【００７６】復号化部５０１の後段の映像信号再構成部
１０２は、復号化部５０１で得られた圧縮符号化前のパ
ノラマ画像で生じている歪みを補正する。これにより、
一般に処理負荷の重い圧縮符号化側は、映像信号再構成
部１０２での歪み補正を考慮して、その分、軽い処理で
圧縮符号化を行うことができる。

【００７７】[第４の実施の形態]本発明は、例えば、図
１１に示すような画像処理装置６００に適用される。本
実施の形態の画像処理装置６００は、上記図１に示した
画像処理装置１００の構成に加え、トリミング領域要求
入力部６０１、操作部６０２、及びマイクロフォン６０
３を設けた構成としている。

【００７８】尚、上記図１１の画像処理装置６００にお
いて、上記図１の画像処理装置１００と同様に機能する
構成には同じ符号を付し、その詳細な説明は省略する。

【００７９】操作部６０２は、ジョイスティックやマウ
ス等のマンマシンインターフェースを含み、ユーザは、
この操作部６０２により、意図する被写体の一部がトリ
ミング画像の表示領域内に映し出されるまで、トリミン
グ領域の移動操作が自在に可能となる。マイクロフォン
６０３は、ステレオマイク等の音源の位置を大まかに判
別する程度の指向性マイクや、被写体（会議に参加して
いるメンバ等）のそれぞれに設けられたピンマイク等を
含む。トリミング領域要求入力部６０１は、操作部６０
１やマイクロフォン６０３等の外部機器からの入力に基
いて、該当するトリミング領域を映像信号トリミング部
１０８に対して指定するための情報を生成するドライバ
を含む。

【００８０】例えば、操作部６０２において、ユーザか
らトリミング領域の移動が要求された場合、トリミング
領域要求入力部６０１は、当該要求を受け、映像信号ト
リミング部１０８に対して、ユーザがおおまかに意図す
る被写体の一部がトリミング領域内に映し出されるよう
なトリミングを指示する。

【００８１】このとき、例えば、ユーザが、上述の複数
の被写体（メンバ）から１人の特定被写体（メンバ）等
を見たい時、ユーザは、ジョイスティック等の操作部６
０２により大まかに特定被写体の一部が表示部１１０に
映るところまで操作する。この操作に基いて、位置判定
及び領域判定が実行され、自動的に被写体が表示部１１
０の中央に適切なサイズで映し出される。これをユーザ
からみて具体的に表現すると、例えば、任意の描画ツー
ルのグリッドへの吸着（グリッドへの位置合わせ）等の
ように、ある程度のところまで操作すると、自然に自動
的に最適位置に張り付くようなイメージとなる。

【００８２】また、トリミング領域要求入力部６０１
は、マイクロフォン６０３から入力された音声の強弱等
から主被写体の方向を判定し、この判定結果に基づい
て、映像信号トリミング部１０８に対して、主被写体が
トリミング領域内に映し出されるようなトリミングを指
示する。このときも上述したような手順により自動的に
撮影条件が最適に更新される。

【００８３】尚、本発明の目的は、第１〜第４の実施の
形態のホスト及び端末の機能を実現するソフトウェアの
プログラムコードを記憶した記憶媒体を、システム或い
は装置に供給し、そのシステム或いは装置のコンピュー
タ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプロ
グラムコードを読みだして実行することによっても、達
成されることは言うまでもない。この場合、記憶媒体か
ら読み出されたプログラムコード自体が第１〜第４の実
施の形態の機能を実現することとなり、そのプログラム
コードを記憶した記憶媒体及び当該プログラムコードは
本発明を構成することとなる。プログラムコードを供給
するための記憶媒体としては、ＲＯＭ、フレキシブルデ
ィスク、ハードディスク、光ディスク、光磁気ディス
ク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の
メモリカード等を用いることができる。また、コンピュ
ータが読みだしたプログラムコードを実行することによ
り、第１〜第４の実施の形態の機能が実現されるだけで
なく、そのプログラムコードの指示に基づき、コンピュ
ータ上で稼動しているＯＳ等が実際の処理の一部又は全
部を行い、その処理によって第１〜第４の実施の形態の
機能が実現される場合も含まれることは言うまでもな
い。さらに、記憶媒体から読み出されたプログラムコー
ドが、コンピュータに挿入された拡張機能ボードやコン
ピュータに接続された機能拡張ユニットに備わるメモリ
に書き込まれた後、そのプログラムコードの指示に基づ
き、その機能拡張ボードや機能拡張ユニットに備わるＣ
ＰＵなどが実際の処理の一部又は全部を行い、その処理
によって第１〜第４の実施の形態の機能が実現される場
合も含まれることは言うまでもない。

【００８４】図１２は、上記コンピュータの機能７００
を示したものである。コンピュータ機能７００は、上記
図１２に示すように、ＣＰＵ７０１と、ＲＯＭ７０２
と、ＲＡＭ７０３と、キーボード（ＫＢ）７０９のキー
ボードコントローラ（ＫＢＣ）７０５と、表示部として
のＣＲＴディスプレイ（ＣＲＴ）７１０のＣＲＴコント
ローラ（ＣＲＴＣ）７０６と、ハードディスク（ＨＤ）
７１１及びフレキシブルディスク（ＦＤ）７１２のディ
スクコントローラ（ＤＫＣ）７０７と、ネットワーク７
２０との接続のためのネットワークインターフェースコ
ントローラ（ＮＩＣ）７０８とが、システムバス７０４
を介して互いに通信可能に接続された構成としている。

【００８５】ＣＰＵ７０１は、ＲＯＭ７０２或いはＨＤ
７１１に記憶されたソフトウェア、或いはＦＤ７１２よ
り供給されるソフトウェアを実行することで、システム
バス７０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ７０１は、所定の処理シーケンスに従
った処理プログラムを、ＲＯＭ７０２、或いはＨＤ７１
１、或いはＦＤ７１２から読み出して実行することで、
第１〜第４の実施の形態での動作を実現するための制御
を行う。

【００８６】ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ
或いはワークエリア等として機能する。ＫＢＣ７０５
は、ＫＢ７０９や図示していないポインティングデバイ
ス等からの指示入力を制御する。ＣＲＴＣ７０６は、Ｃ
ＲＴ７１０の表示を制御する。ＤＫＣ７０７は、ブート
プログラム、種々のアプリケーション、編集ファイル、
ユーザファイル、ネットワーク管理プログラム、及び本
実施の形態における所定の処理プログラム等を記憶する
ＨＤ７１１及びＦＤ７１２とのアクセスを制御する。Ｎ
ＩＣ７０８は、ネットワーク７２０上の装置或いはシス
テムと双方向にデータをやりとりする。

【００８７】

【発明の効果】以上説明したように本発明では、動画像
（複数の被写体を撮影して得られた動画像等）の一部を
トリミングして出力（表示出力等）する際に、トリミン
グ領域内の特定領域（複数の被写体の中の注目する被写
体の領域等）に基づいて、トリミング動作を制御するよ
うに構成した。これにより、トリミング領域内における
特定領域の位置やサイズ等を常に適切な状態とすること
ができる。

【００８８】具体的には例えば、空間上の様々な位置に
存在する複数の被写体を撮影（遠隔会議システムにおけ
る会議室での撮影等）して得られた動画像の一部を切り
出して表示する場合、当該切出領域（トリミング領域）
から、注目する被写体（会議参加者の中の発言者等）の
領域を特定領域として抽出し、当該特定領域のトリミン
グ領域における位置や大きさを判定し、当該判定結果に
基づいてトリミング動作を制御することができる。これ
により、常に安定して、注目する被写体をトリミング表
示することができる。また、外部操作や音声を利用し
て、注目する被写体の位置指定等を行えるように構成し
た場合、ユーザの操作性の向上や、完全自動化等が可能
となる。

【図面の簡単な説明】

【図１】第１の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。

【図２】上記画像処理装置の被写体抽出部の処理を説明
するための図である。

【図３】上記被写体抽出部の他の処理方法を説明するた
めの図である。

【図４】上記画像処理装置の被写体位置判定部による主
被写体の調整（移動）を説明するための図である。

【図５】上記被写体位置判定部の処理を説明するための
図である。

【図６】上記被写体位置判定部の処理を説明するための
フローチャートである。

【図７】上記画像処理装置の被写体領域判定部で処理対
象となる映像の一例を説明するための図である。

【図８】上記画像処理装置の被写体領域判定部の処理を
説明するための図である。

【図９】第２の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。

【図１０】第３の実施の形態において、本発明を適用し
た画像処理装置の構成を示すブロック図である。

【図１１】第４の実施の形態において、本発明を適用し
た画像処理装置の構成を示すブロック図である。

【図１２】上記画像処理装置の機能をコンピュータに実
現させるためのプログラムをコンピュータ読出可能な記
憶媒体から読み出して実行する当該コンピュータの構成
を示すブロック図である。

【図１３】遠隔会議システムを説明するための図であ
る。

【図１４】上記遠隔会議システムに用いられるビデオカ
メラを説明するための図である。

【図１５】上記遠隔会議システムのモニタの表示状態を
説明するための図である。

【図１６】上記モニタでの表示のための従来技術による
問題点（主被写体が大きく表示された状態）を説明する
ための図である。

【図１７】上記モニタでの表示のための従来技術による
問題点（主被写体が小さく表示された状態）を説明する
ための図である。

【図１８】上記モニタでの表示のための従来技術による
問題点（主被写体がトリミング領域に収まっていない状
態）を説明するための図である。

【符号の説明】

１００ 画像処理装置 １０１ 撮像部 １０２ 映像信号再構成部 １０３ 被写体抽出部 １０４ 制御情報生成部 １０５ 被写体位置判定部 １０６ 被写体領域判定部

フロントページの続き Ｆターム(参考） 5C022 AA12 AB63 AB66 AB68 AC71 AC72 5C054 AA05 CA04 CC03 CE16 CF06 CF07 CG06 CH03 DA09 EA01 EG01 FA09 FC12 FD02 FF02 HA25 5C064 AA02 AC03 AC04 AC06 AC08 AC12 AD02 AD08 AD14 5L096 AA06 CA02 FA06 GA08 HA03

Claims (27)

【特許請求の範囲】
1. 【請求項１】 動画像の一部をトリミングして出力する
   画像処理装置であって、 上記トリミング領域内の特定領域に基づいて、上記トリ
   ミング動作を制御する制御手段を備えることを特徴とす
   る画像処理装置。
2. 【請求項２】 上記制御手段は、上記動画像でトリミン
   グする領域を変更する制御を行なうことを特徴とする請
   求項１記載の画像処理装置。
3. 【請求項３】 上記制御手段は、上記トリミング領域に
   おける上記特定領域の位置及びサイズの少なくとも何れ
   かを変更する制御を行なうことを特徴とする請求項１記
   載の画像処理装置。
4. 【請求項４】 上記制御手段は、上記特定領域の上記ト
   リミング領域における位置及びサイズの少なくとも何れ
   かに基づいて、上記トリミング動作を制御することを特
   徴とする請求項１記載の画像処理装置。
5. 【請求項５】 上記特定領域は、被写体を撮影して得ら
   れた上記動画像中に存在する当該被写体領域を含むこと
   を特徴とする請求項１記載の画像処理装置。
6. 【請求項６】 上記特定領域は、複数の被写体を撮影し
   て得られた上記動画像中に存在する任意の被写体領域を
   含むことを特徴とする請求項１記載の画像処理装置。
7. 【請求項７】 上記動画像は、魚眼レンズを搭載した光
   学系を有する撮像手段、又は全方向撮像可能な光学系を
   有する撮像手段により被写体を撮影して得られた動画像
   を含むことを特徴とする請求項１記載の画像処理装置。
8. 【請求項８】 上記動画像の信号は、所定の圧縮符号化
   方式により圧縮符号化された信号を含み、 上記圧縮符号化された動画像信号を復号化する復号手段
   を備えることを特徴とする請求項１記載の画像処理装
   置。
9. 【請求項９】 上記所定の圧縮符号化方式は、画像中に
   存在するオブジェクトをオブジェクト毎に圧縮符号化す
   る方式を含むことを特徴とする請求項８記載の画像処理
   装置。
10. 【請求項１０】 上記オブジェクト領域は、動画像の一
    部をトリミングした領域内の特定領域を含むことを特徴
    とする請求項９記載の画像処理装置。
11. 【請求項１１】 上記制御手段は、外部指示に基づい
    て、上記トリミング動作を制御することを特徴とする請
    求項１記載の画像処理装置。
12. 【請求項１２】 複数の機器が互いに通信可能に接続さ
    れてなる画像処理システムであって、 上記複数の機器のうち少なくとも１つの機器は、請求項
    １〜１１の何れかに記載の画像処理装置の機能を有する
    ことを特徴とする画像処理システム。
13. 【請求項１３】 動画像の一部をトリミングして出力す
    るための画像処理方法であって、 上記トリミング領域内の特定領域に基づいて、上記トリ
    ミング動作を制御する制御ステップを含むことを特徴と
    する画像処理方法。
14. 【請求項１４】 動画像の一部を切り出して出力するた
    めの画像処理方法であって、 上記動画像信号を入力する入力ステップと、 上記入力ステップにより入力された動画像信号の一部を
    切り出すトリミングステップと、 上記トリミングステップにより得られた切出領域の動画
    像信号から特定領域を抽出する領域抽出ステップと、 上記領域抽出ステップにより抽出された特定領域に基づ
    いて、上記トリミングステップにおける切出領域を修正
    するための制御情報を生成する制御情報生成ステップと
    を含み、 上記トリミングステップは、上記制御情報生成ステップ
    により得られた制御情報に基づいて、上記切出領域を修
    正するステップを含むことを特徴とする画像処理方法。
15. 【請求項１５】 上記入力ステップは、被写体を撮影し
    て得られた動画像信号を入力するステップ、又は魚眼レ
    ンズを搭載した光学系を有する撮像手段により被写体を
    撮影して得られた動画像信号を入力するステップ、又は
    全方位撮像可能な光学系を有する撮像手段により被写体
    を撮影して得られた動画像信号を入力するステップを含
    むことを特徴とする請求項１４記載の画像処理方法。
16. 【請求項１６】 上記領域抽出ステップは、上記切出領
    域内に存在する任意の被写体領域を上記特定領域として
    抽出するステップを含むことを特徴とする請求項１４記
    載の画像処理方法。
17. 【請求項１７】 上記制御情報生成ステップは、上記特
    定領域を構成する各画素が上記切出領域に含まれる又は
    接するか否かに基づいて、上記制御情報を生成するステ
    ップを含むことを特徴とする請求項１４記載の画像処理
    方法。
18. 【請求項１８】 上記制御情報生成ステップは、上記特
    定領域が上記切出領域中の所定の位置及び所定のサイズ
    で含まれるように上記切出領域を修正するための制御情
    報を生成するステップを含むことを特徴とする請求項１
    ４記載の画像処理方法。
19. 【請求項１９】 上記制御情報生成ステップは、上記動
    画像信号を撮影動作により取得する際のパン、チルト、
    及びズームの少なくとも何れかを制御して上記切出領域
    を修正するための制御情報を生成するステップを含むこ
    とを特徴とする請求項１４記載の画像処理方法。
20. 【請求項２０】 上記入力ステップは、撮影して得られ
    た動画像信号がオブジェクト毎に圧縮符号化され伝送さ
    れた信号を入力するステップと、当該ステップにより入
    力された信号を復号化するステップとを含み、 上記トリミングステップは、上記復号化後の動画像信号
    の一部を切り出すステップを含むことを特徴とする請求
    項１４記載の画像処理方法。
21. 【請求項２１】 上記制御情報生成ステップは、外部か
    らの要求に基づいて、上記制御情報を生成するステップ
    を含むことを特徴とする請求項１４記載の画像処理方
    法。
22. 【請求項２２】 上記外部からの要求は、動画像から切
    り出された領域の画像を確認しながら人為的に当該領域
    の更新を指示することによる要求、及び音声の入力元に
    基いて当該領域内の特定領域の空間上の座標位置を決定
    して当該領域の更新を指示することによる要求の少なく
    とも何れかを含むことを特徴とする請求項２１記載の画
    像処理方法。
23. 【請求項２３】 上記入力ステップは、撮影して得られ
    た動画像信号がオブジェクト毎に圧縮符号化され伝送さ
    れた信号を入力するステップと、当該ステップにより入
    力された信号を復号化するステップとを含み、 上記トリミングステップは、上記復号化後の動画像信号
    の一部を切り出すステップを含み、 上記領域抽出ステップは、上記トリミングステップによ
    り得られた切出領域に含まれる任意のオブジェクト領域
    を上記特定領域を抽出するステップを含むことを特徴と
    する請求項１４記載の画像処理方法。
24. 【請求項２４】 請求項１〜１１の何れかに記載の画像
    処理装置の機能、又は請求項１２記載の画像処理システ
    ムの機能をコンピュータに実現させるためのプログラム
    を記録したコンピュータ読出可能な記憶媒体。
25. 【請求項２５】 請求項１３〜２３の何れかに記載の画
    像処理方法の処理ステップをコンピュータに実行させる
    ためのプログラムを記録したコンピュータ読取可能な記
    憶媒体。
26. 【請求項２６】 請求項１〜１１の何れかに記載の画像
    処理装置の機能、又は請求項１２記載の画像処理システ
    ムの機能をコンピュータに実現させるためのプログラ
    ム。
27. 【請求項２７】 請求項１３〜２３の何れかに記載の画
    像処理方法の処理ステップをコンピュータに実行させる
    ためのプログラム。