JP3832971B2 - 画像処理装置及びその方法、及び画像処理システム - Google Patents
画像処理装置及びその方法、及び画像処理システム Download PDFInfo
- Publication number
- JP3832971B2 JP3832971B2 JP16773098A JP16773098A JP3832971B2 JP 3832971 B2 JP3832971 B2 JP 3832971B2 JP 16773098 A JP16773098 A JP 16773098A JP 16773098 A JP16773098 A JP 16773098A JP 3832971 B2 JP3832971 B2 JP 3832971B2
- Authority
- JP
- Japan
- Prior art keywords
- shadow
- image
- main object
- encoding
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に画像内のオブジェクトを抽出して処理する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来、動画像の符号化方式として、フレーム単位で符号化するMPEG-1、MPEG-2やH.261といった符号化方式が知られている。これらの符号化方式においては、フレーム間の相関を用いることにより、動画像を高効率に符号化することが出来る。
【０００３】
これらに対して更に高効率の符号化方式として、MPEG-4のように画像からオブジェクトを切り出し、背景とは別に符号化し、オブジェクトだけを伝送する方式が検討されている。このような符号化方式を用いれば、伝送する画像の領域を小さくできるため、低ビットレートの回線でも動画像の伝送が可能になる。さらに、受信側ではオフジェクトを選択して表示をしたり、配置や大きさ等を変更することにより、受信側で好適な表示を行えることが可能になった。さらには別な背景と合成するような編集も容易に行えるようになった。
【０００４】
また、静止画像の符号化方式としてJPEG符号化方式が知られており、画像の特性に最適な符号化、たとえば文字画像にはMMR符号化方式を、写真画像にはJPEG符号化方式を割り当てる方法も提案されている。
【０００５】
ここで、動画像からオブジェクトを抽出する方法としては、一般的には放送局等で使用されているクロマキーによる抽出技術が知られている。これは、青色の背景の前で人物等のオブジェクトを撮影し、この人物オブジェクトを電気信号的に切り出す手法である。尚、クロマキーを用いたオブジェクト撮影の場合、一般的に撮影スタジオ等で行われ、照明条件が整っているため、オブジェクトの影は発生しない。
【０００６】
また、静止画像においては、自動的に像域を分離したり、画像の中からオブジェクトを抽出する場合にはユーザの手動によって領域を指示したり、同じような色の領域を統合したりして、所望の像域の切り出しを行っている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したクロマキーによって抽出可能なオブジェクトは、背景を青色に限定した撮影ができる範囲の、比較的小さなものに限られてしまう。従って、比較的大きなオブジェクトについては、自然画像の動画像から抽出することが考えられる。その方法の一つとして、予め背景画像を入力しておき、その背景画像と入力された画像との差分画像からオブジェクトの切り出しを行なう方法や、また、背景を構成する色情報等を予め取得しておき、入力画像において該色情報と異なる色の領域を抽出する方法(画像符号化シンポジウムPSCJ97I-3.15)等が知られている。
【０００８】
以下、図21に示す様な画像1050からヘリコプタ1051の絵柄をオブジェクトとして切り出す例について説明する。即ち、図21の画像1050と図22に示す背景画像1052との差分を求め、ノイズ除去等の処理を行うことにより、図23に示すオブジェクト1053が抽出される。このオブジェクト1053を図24に示す背景画像1054と合成することにより、図25に示す新しい画像を編集することが可能となる。
【０００９】
しかしながら、自然画像の動画像内におけるオブジェクトには、一般的なクロマキー合成のための撮影とは異なり、自然光の中での撮影であるために影が生じることが多い。そのため、図25の画像においてはヘリコプタの影が空中に生じてしまい、不自然な合成結果となってしまう。
【００１０】
また、図26に示す画像1055において、芝生上の草を食む牛1056を同様に切り出した結果、図27に示す1057がオブジェクトとして得られる。このオブジェクト1057を例えば図28に示すように市街地の背景と合成した場合、オブジェクト1057に含まれていた牛の影もそのまま合成される。この牛の影の像については、原画像1055における芝生上の草の像を含んでいるため、図28のようにアスファルトの背景と合成された場合、かなり不自然な画像となってしまう。
【００１１】
さらに、クロマキー等によって影がないオブジェクトが得られ、該オブジェクトを合成する場合について考えると、この場合、オブジェクトと合成された背景との３次元的な位置関係や光源等の設定をコンピュータ処理等によって行うことができる。しかしながらこの設定は、例えばスタジオ等の限られた環境下では有効であるが、一旦、動画像として２次元的に入力されてしまったオブジェクトに対しては、影等の生成が行えないため、影のない不自然な合成画像ができてしまうという問題があった。図29に、牛1056を影なしで合成した画像を示すが、かなりの不自然さが生じていることが分かる。このような影のない合成による不自然さは、他の物体の影が多く発生しているような背景画像と合成されることにより、より顕著となる。
【００１２】
本発明は上述した課題を解決するためになされたものであり、主オブジェクトとそれに付随する例えば影のような従オブジェクトとを含むオブジェクトに対して好適な画像処理を可能とする画像処理装置及びその方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１４】
即ち、画像から主オブジェクトと該主オブジェクトに付随する影とを抽出するオブジェクト抽出手段と、前記抽出された影の形状を表す形状情報を生成する形状情報生成手段と、前記画像における前記主オブジェクト及び前記影が含まれない背景画像の前記影の形状情報が表す前記影の形状に対応する領域内の画素値と、前記影の画素値との差分から前記影の濃さを表す強度情報を生成する強度情報生成手段と、前記主オブジェクトをオブジェクト符号化する第１の符号化手段と、前記形状情報及び前記強度情報を算術符号化する第２の符号化手段と、符号化された前記形状情報と前記強度情報とを用い、前記主オブジェクトの合成位置に応じて影を合成する影合成手段とを備える。
【００１７】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１８】
＜第1実施形態＞
図1は、本実施形態に係る動画像編集装置の構成を示すブロック図である。尚、本実施形態においては、CPUを用いたソフトウェア処理を行った場合について説明する。同図において、101はソフトウェアを実行し、装置全体を制御するCPUである。102は不図示のユーザが編集処理の指示を行う端末である。103は編集に用いる画像データを蓄積している記憶装置である。104はメモリであり、装置全体を制御するためのOS、CPU101で実行するソフトウェア、各種処理に必要なワークメモリ等を格納する。105は画像メモリであり、各作業に必要な画像データを格納する。106は画像の合成処理を行う合成器であり、107は合成結果を格納するフレームメモリであり、108はフレームメモリ107の内容を表示するモニタである。109は種々のデータや制御コマンド、画像データを各構成間においてやり取りするバスである。
【００１９】
かかる構成において、ユーザは、まず、端末102から装置全体の起動を行う。さらに、画像の合成に用いる背景画像と、その内部に合成するオブジェクトを含む画像を選択する。例えば、合成する背景画像として図24の画像1054を、オブジェクトを含む画像として、図21のヘリコプタ1051を含む画像1050が選択されたとする。尚このとき、オブジェクトを含む画像1050のオリジナルの背景画像として、図22の背景画像1052も同時に選択される。続いて画像の合成処理を行うが、図2のフローチャートにその手順を示す。
【００２０】
まず、図22に示すオリジナルの背景画像1052の画像データを記憶装置103から読み出し、画像メモリ105の所定の領域に書き込む(ステップS101)。そして、オブジェクトであるヘリコプタ1051を含む画像1050の符号化データを記憶装置103から読み出し、画像メモリ105の所定の領域(Object1)に書き込む(ステップS102)。このとき、フレームカウンタnを0にセットする。尚、これら背景画像及びオブジェクトを含む画像のそれぞれは、ユーザによって予め指定されている必要があるが、その指定方法については限定しない。
【００２１】
以下、フレームカウンタnに従って、各フレームのオブジェクト抽出処理を行う。まず、第nフレームの画像と背景画像1052との差分画像を求める(ステップS104)。そして、該差分画像において所定の閾値以下である画素値を0としてノイズ除去を行い(ステップS105)、画素値が0以上である画素の集合を閉領域として分割した後、予め定めた大きさ以下である閉領域のみを抽出し、画像メモリ105の所定の領域(Object1)に書き込む(ステップS106)。
【００２２】
そしてステップS107において、画像メモリ105のObject1に保持された閉領域から、差分値が同じような値をとる領域を抽出してフレームメモリ107に書き込んでモニタ108に表示し、ユーザが該表示に基づいて影である領域を選択して端末102で指定する。この動作により影領域が抽出される。そして、Object1に保持されている閉領域の画素のうち、指定された影領域に含まれる画素を画像メモリ105上の所定の領域(Object2)に書き込む。そして更に、この影領域はオブジェクトの影であるとして、その画面内における位置や大きさ等がメモリ104の位置テーブルに、また、この影も1つのオブジェクト(従オブジェクト)であるとして、オブジェクトテーブルの例えば1番に登録される。このようにして得られた従オブジェクトである影の画像が、図3に示す影1060である。
【００２３】
続いてステップS108において、Object1に保持されている閉領域の画素のうち、合成対象となるオブジェクト(主オブジェクト)としてその領域に含まれる画素のみを残して他の画素を除去する。即ち、オブジェクトの閉領域から従オブジェクトである影領域を除去して、主オブジェクトを生成する。そして、該主オブジェクトがメモリ104内のオブジェクトテーブルの例えば2番に登録され、その画面内における位置や大きさ等が位置テーブルに記される。そしてこの時、オブジェクトテーブルの2番のLINK欄に、主オブジェクトに関する従オブジェクトである影が登録されているオブジェクトテーブルの番号「1」を記す(ステップS108)。このようにして得られた主オブジェクトの画像が、図4に示すヘリコプタ1061である。
【００２４】
そして、フレームカウンタnに1を加え、次のフレームの処理を行う(ステップS109)。尚、第1フレーム以降においては、前のフレームで得られた影の差分画像の平均差分値に近い領域を選択することで、ユーザの確認なしで影の領域を抽出することができる。フレームカウンタnが処理すべき全フレーム数よりも小さい間は（ステップS103)、ステップS104〜S109までの処理を繰り返す。
【００２５】
以上の処理の結果、メモリ104のオブジェクトテーブルに書き込まれるデータの例を図5に示す。同図においては、オブジェクトテーブルの1番に「Shade」という影を示す従オブジェクトが、2番に「Helicopter」というヘリコプタを示す主オブジェクトが登録され、該主オブジェクトはそのLINK欄より、1番に登録された従オブジェクトとリンクされていることが分かる。
【００２６】
図2に戻り、フレームカウンタnが全フレーム数を超えたら(ステップS103)、CPU101はユーザに影の処理方法の入力を促し、ユーザは端末102から該処理方法を入力する(ステップS110)。ここで影の処理方法とは即ち、合成の際に影をそのまま残すのか、または合成画像において影が残ることは不都合であるため影を削除するのか、のいずれかを指定する。その後、画像合成によって新たに背景となる画像1054(図24)の画像データを記憶装置103から読み出し、画像メモリ105の所定の領域(Background)に書き込む(ステップS111)。このとき、フレームカウンタnを0にセットする。そして、先頭のフレームから順次合成処理を行い、合成画像をモニタ108に表示する(ステップS113)。
【００２７】
ここで、ステップS113に示す合成・表示処理の詳細を図6のフローチャートに示し、説明する。
【００２８】
まず、背景画像1054の第nフレームをフレームメモリ107に書き込む(ステップS120)。続いて、オブジェクトテーブルに登録された主オブジェクトであるヘリコプタ1061(図4)の画像を画像メモリ105のObject1から読み出し(ステップS121)、フレームメモリ107上の位置テーブルによって示される位置、またはユーザが指示する新たな位置に上書きする(ステップS122)。尚、メモリ104内のオブジェクトテーブルにおいては、例えばそのLINK欄に「1」もしくは何らかの記載があるものが主オブジェクトとして認識される。図5に示す例では、オブジェクトテーブルの1番に登録された「Shade」は従オブジェクトであり、2番に登録された「Helicopter」が合成対象の主オブジェクトであると認識される。
【００２９】
そして、先ほどステップS110で指定された影の処理方法、即ち、上書きするのか削除するのかに応じた影処理を行なう。(ステップS123)。影をそのまま使用する場合は、オブジェクトテーブルにおける主オブジェクトのLINK欄に基づいて、対応する従オブジェクトである影1060を画像メモリ105のObject2から読み出し、位置テーブルで示される影の位置とオブジェクトであるヘリコプタ1061の位置関係とに従って、フレームメモリ107上に上書き(ステップS124)した後、ステップS125に進む。
【００３０】
一方、影を削除する場合は、従オブジェクトを無視してそのままステップS125に進む。例えば、図24に示す背景画像1054との合成の際には、オブジェクト1061の影が残ることは図25に示されるように不都合であるため、影削除が選択される。そしてステップS125において、フレームメモリ107の内容をモニタ108に表示する。このようにして合成され、表示された画像を図7に示す。
【００３１】
図2に戻り、以上説明したS113の合成・表示処理が終わったら、フレームカウンタnに1を順次加えて(ステップS114)、全フレーム分の合成・表示処理を繰り返す。フレームカウンタnが全フレーム数を超えたら(ステップS112)、CPU101は全ての処理を終了する。
【００３２】
以上説明したように本実施形態によれば、合成するオブジェクトから影領域を抽出し、該影の処理を合成する画像の状況に応じて選択的に行なうことにより、違和感のない合成画像を容易に作成することができる。
【００３３】
尚、本実施形態においては影領域やオブジェクトの抽出を背景との差分画像に基づいて行なう方法について説明したが、本発明はこれに限定されず、例えば1997年映像メディア処理シンポジウム(IMPS97)I-3.15「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」(1997.10.8苗村他)等に記載された抽出方法等を用いても構わない。これは、オブジェクトである選手のいないグラウンド等の情報を背景として予め取得しておき、該背景のカラーヒストグラム等に基づいて動画像からオブジェクト（選手）を抽出するという方法である。
【００３４】
また、記憶装置103に蓄積された画像データは符号化されていても構わない。この場合、MPEG-4符号化方式のようにオブジェクト毎に分割して符号化されていたり、影とオブジェクトとを分離して格納されていても良い。
【００３５】
また、動画像の1フレームだけにおける処理は、即ち静止画像に対する処理と同様である。従って、本実施形態と同様の動作を静止画像に対して行うことにより、静止画像においても本実施形態と同様の効果が得られることは言うまでもない。
【００３６】
尚、本実施形態ではオブジェクトが1つである場合について説明したが、オブジェクト数は1つに限定されず、メモリ104の各テーブルの容量や、画像メモリ105の格納領域に応じて、複数のオブジェクトに対応可能である。
【００３７】
＜第２実施形態＞
以下、本発明に係る第2実施形態について説明する。
【００３８】
図8は、第2実施形態における動画像編集システムの構成を示すブロック図である。同図において、201，202は動画像を撮像し、デジタル信号に変換して出力するTVカメラである。尚、以下、TVカメラ201からは図26の画像1055を撮像し、TVカメラ202からは図9に示す画像1070を撮像する場合について説明する。203は動画像からオブジェクトを抽出するオブジェクト抽出器である。204は抽出されたオブジェクトからその影を表す領域を従オブジェクト(影オブジェクト)として抽出し、更に、該オブジェクトから影オブジェクトを除去した主オブジェクトを出力する影抽出器である。205は抽出された影オブジェクトを符号化する影符号化器であり、206は主オブジェクトを符号化するオブジェクト符号化器である。オブジェクト符号化器206は主オブジェクトを動画像として符号化するが、ここではMPEG-4符号化方式による符号化を行なう例について説明する。もちろん、符号化方式はこれに限定されない。
【００３９】
207はTVカメラ202で撮像された動画像を符号化する符号化器であり、その符号化方式は特に限定しないが、ここではMPEG-1符号化方式による符号化を行なう例について説明する。208，209は送信器であり、生成された符号化データを通信回線210，211に送出する。212，213は受信器であり、符号化データを受信する。214はユーザが編集内容を指示する編集指示装置である。215は本実施形態の特徴であるところの動画像編集装置である。216は符号化器であり、MPEG-1符号化方式による符号化を行なうが、符号化方式は特に限定されない。217は送信器であり、通信網218に符号化データを送出する。219は記憶装置であり、符号化データを蓄積する。
【００４０】
このような構成をなす第2実施形態の動画像編集システムにおける動作について、以下に説明する。まず、TVカメラ201，202で動画像が撮像され、符号化が行われる。TVカメラ201から入力された動画像はオブジェクト抽出器203で主オブジェクトとその影オブジェクトを含むオブジェクト領域が抽出されるが、この抽出方法は特に限定されない。例えば、上述した第1実施形態で説明した、予め撮像した背景画像を記憶しておき、差分画像からオブジェクト領域を抽出する方法(図2のステップS104〜S109)を用いても良いし、他の方法でもかまわない。第2実施形態においては、予め撮像した背景画像に基づいて、画像1055から牛1056とその影をオブジェクト領域として抽出する例について説明する。抽出されたオブジェクト領域は影抽出器204に入力され、主オブジェクトとその影オブジェクトとに分離されるが、この分離の方法については特に限定されない。例えば、第1実施形態で説明したように背景との差分値の均一性に基づいて分離しても良いし、ユーザによるマニュアル抽出を行なっても構わない。ここで、このようにして抽出された主オブジェクトである牛1071を図10に、影オブジェクト1072を図11に示す。尚、ここで抽出される各オブジェクトは、実質的に該オブジェクトを含んだ矩形領域として切り出されることは言うまでもない。
【００４１】
抽出された主オブジェクトである牛1071はオブジェクト符号化器206に入力され、MPEG-4符号化方式で符号化される。MPEG-4符号化方式によれば、オブジェクトの形状を表すマスク情報と、画像の画素値とをそれぞれ符号化する。一方、抽出された影オブジェクト1072は、影符号化器205に入力される。影符号化器205においては、MPEG-4符号化方式と同様に、形状符号化と影の強度の符号化を行う。尚、影抽出器204においては、前段のオブジェクト抽出器203において参照された予め撮像された背景画像のうち、影オブジェクトの位置に相当する画像を、影符号化器205に対して出力する。
【００４２】
ここで図12に、影符号化器205のブロック構成図を示す。同図において、230は影抽出器204から影オブジェクトを含む矩形領域の画像を入力する端子である。231は影抽出器204から影オブジェクトの領域の背景画像を入力する端子である。232はマスク生成器であり、画素が影オブジェクトに含まれるか否かを1/0の2値画像で表現することにより、影オブジェクトの形状情報を示すマスクを生成する。233は該マスクを格納するマスクメモリである。234はマスクメモリ233の内容を算術符号化する符号化器である。235はマスクによって影領域内に存在すると判定される画素について、同一位置の背景画素と影オブジェクトの画素値の差分を求める差分器である。236は領域内画素について、求められた差分値の総和をマスクにおいて画素値が1である画素数、即ち影オブジェクト内に存在する画素数で割り、平均値を求める平均値算出器である。237は算出された平均値に符号を割り当てる符号化器である。238は符号化器234と符号化器237で生成された符号を合成して整える合成器である。239は合成された符号化データを出力する端子である。
【００４３】
かかる構成をなす影符号化器205における動作について以下に説明する。端子230から入力された影オブジェクトを含む画像(影1072)は、マスク生成器232と差分器252に入力される。マスク生成器232においては、画素が影の閉領域の内側にあるか外側にあるかによって影オブジェクトに含まれるか否かを判定し、その結果を1/0の2値画像のマスクとして出力する。即ち、該マスクは影の形状情報を示す。ここで図13に、図11の影1072におけるマスク情報を示す。このマスクはマスクメモリ233に格納される。マスクメモリ233に格納された2値画像のマスクは、符号化器234で符号化される。また、差分器235においては、影オブジェクトとその背景画像との画素値について差分を求め、平均値算出器236に入力する。平均値算出器236では、これらの差分の総和を求め、マスクメモリ233に格納されているマスクにおける画素値が「1」、即ち影領域内である画素数で割って平均値を求める。この平均値は符号化器237で符号化される。符号化器234と符号化器237で生成された符号化データは合成器238で合成され、整えられて端子239から出力される。
【００４４】
図8に戻り、オブジェクト符号化器206で生成された符号化データと、影符号化器205で生成された符号化データは送信器208に入力され、符号化データを整えて通信回線210に送信される。
【００４５】
一方、TVカメラ202で撮像された画像データは、符号化器207でMPEG-1符号化方式によって符号化され、送信器209を介して通信回線211に送出される。TVカメラ202で撮像された画像データは合成画像の背景画像となる(図9の背景画像1070)。
【００４６】
受信器212，213は、これらの符号化データを受信し、動画像編集装置215に入力する。動画像編集装置215は、ユーザが編集指示装置214から入力した指示に従って、動画像を編集する。以下、ユーザによる編集指示として、合成するオブジェクトの背景画像1070内における位置、オブジェクトの大きさ、及び影の強度が動画像編集装置215に入力された場合を例として説明する。
【００４７】
図14に、動画像編集装置215のブロック構成を示す。同図において、250は受信器212から合成対象となるオブジェクトの符号化データを入力する端子である。251は受信器213から背景となる画像の符号化データを入力する端子である。252は編集指示装置214からの編集指示を入力する端子である。253は分離器であり、受信器212から入力された符号化データから、主オブジェクトの形状を表す符号化データ、主オブジェクトの画素値の符号化データ、影の強度を示す符号化データ、影の形状を表す符号化データをそれぞれ分離する。254は主オブジェクトの形状を表すマスク情報を復号するマスク復号器であり、255はその結果を格納するマスクメモリである。256は主オブジェクトの画素値を復号するオブジェクト復号器であり、257はその結果を格納するオブジェクトメモリである。258は影の強度を復号する復号器であり、259はその結果を格納するラッチである。260は影の形状を表すマスク情報を復号するマスク復号器であり、261はその結果を格納するマスクメモリである。
【００４８】
262は受信器213から入力された背景画像の符号化データを復号する復号器であり、MPEG-1符号化方式の復号処理が行われる。263はその結果を格納するフレームメモリである。264，265，266，267は、編集指示装置214からの指示に従って、入力画像に対して拡大・縮小の変倍処理、回転処理、アフィン変換処理等による各種変形を施す変形器である。268は影合成器であり、編集指示装置214からの指示に従って、背景画像に影オブジェクトを合成する。269は画像合成器であり、影合成器268の出力に対して変形器264，265で変形された主オブジェクトを合成する画像合成器である。270は合成された結果を出力する端子である。
【００４９】
このような構成からなる動画像編集装置215における動作について、以下に説明する。端子250は、受信器212で受信した符号化データを分離器253に入力する。分離器253では、各符号のヘッダ等を参照して符号化データを分割し、後段のそれぞれの復号器に出力する。即ち、主オブジェクトの形状を表す符号化データをマスク復号器254に、主オブジェクトの画素値の符号化データをオブジェクト復号器256に、影の強度の符号化データを復号器258に、影オブジェクトのマスクの符号化データを復号器260に出力する。
【００５０】
マスク復号器254は主オブジェクトのマスクデータを復号し、マスク情報を再生してマスクメモリ255に格納する。オブジェクト復号器256は主オブジェクトの画像の符号化データを復号し、主オブジェクトの画素値を再生してオブジェクトメモリ257に格納する。復号器258は影オブジェクトの影の強度を復号し、ラッチ259に格納する。マスク復号器260は影オブジェクトのマスクデータを復号し、マスク情報を再生してマスクメモリ261に格納する。復号器262は背景画像の符号化データを復号し、背景画像の画素値を再生してフレームメモリ263に格納する。
【００５１】
編集指示装置214から入力された拡大・縮小の変倍処理、回転処理、アフィン変換処理等の変形処理のパラメータは、変形器264，265，266，267に入力される。以下、オブジェクトを背景画像の大きさにあわせて縮小してから合成を行なう場合を例として説明する。変形器264，265，266は、編集指示装置214からパラメータとして縮小率が入力される。変形器264はマスクメモリ255の内容を縮小して出力する。変形器265はオブジェクトメモリ257の内容を縮小して出力する。変形器266はマスクメモリ261の内容を縮小して出力する。尚この場合、オブジェクトのみを縮小すれば良いため、背景画像を変形する変形器267においては、フレームメモリ263の内容をそのまま出力する。
【００５２】
影合成器268は、ラッチ259に格納されている影の強度を表す平均値m、及び編集指示装置214から入力された影強度の変更パラメータpに基づいて、次式に従って実際に合成する影の強度Sを算出する。
【００５３】
S = m × p …(1)
さらに、影オブジェクトを合成する位置を、編集指示装置214から入力された主オブジェクトを合成する位置、及び主オブジェクトと影オブジェクトとの相対的な位置関係に基づいて決定する。そして、変形器267から出力された背景画像の変形結果に対して、算出された位置に影オブジェクトを合成する。具体的には、マスクメモリ261に保持されたマスク情報の変形結果、即ち、合成すべき影の形状情報に従って、影オブジェクトが合成される位置にある画素については、背景画像の画素値bと影の強度Sから次式によって得られる新たな画素値Cに変換する。
【００５４】
C = b - S …(2)
このようにして影オブジェクトが合成された背景画像は、画像合成器269に入力される。画像合成器269においては、編集指示装置214から入力された主オブジェクトを合成する位置及び、マスクメモリ255に保持された主オブジェクトのマスクデータ(形状情報)の変形結果に従って、主オブジェクトが合成される画素については背景画像の画素値を該主オブジェクトの画素値に置換する。そしてその合成結果が、端子270から図8に示す符号化器216に出力される。ここで図15に、図9に示す背景画像1070にオブジェクトである牛1056を縮小して影と共に合成した画像を示す。図15によれば、牛の影の部分において背景であるアスファルト路面の画像が反映されているため、従来例において示した図28の画像と比較して違和感をかなり抑制できたことが分かる。即ち、主オブジェクトの影部分についても、自然な合成がなされていることが分かる。
【００５５】
図8に戻り、符号化器216は合成された画像データをMPEG-1符号化方式で符号化し、送信器217を介して通信網218に送出したり、記憶装置219の所定の位置に格納する。
【００５６】
以上説明したように第2実施形態によれば、合成対象となるオブジェクトから影領域を抽出して主オブジェクトのみを符号化することにより、符号化すべき画素数を削減することができるとともに、抽出した影領域を影オブジェクトとしてその形状と強度のみで表示し、符号化することにより、情報量の大幅な削減が可能となり、通信コストや記憶媒体の容量を削減できる。
【００５７】
さらに、合成する画像の状況に応じて、変形や影の強度の調整を行うことで、違和感のない合成画像を容易に生成することができる。
【００５８】
尚、第2実施形態においては、影強度を0に指定することにより、上述した第1実施形態と同様に影を付与しない合成を行なうことも可能である。
【００５９】
また、第2実施形態においては、影符号化器205で影オブジェクトの形状と強度の代表値を符号化する例について説明したが、本発明はこれに限定されず、影の強度として、背景画像との差分値でも、黒画素を上に重畳する時の透過度を用いてもかまわない。また、差分値に対する多値の符号化を行ってももちろん構わない。
【００６０】
また、第2実施形態における変形処理も上述した例に限定されず、他の変形処理であってももちろんかまわない。また、符号化器216においてフレーム単位の符号化であるMPEG-1を行なうとして説明したが、MPEG-4符号化方式のように各オブジェクトを分離したままで再度符号化を行なっても良い。
【００６１】
また、動画像の1フレームだけにおける処理は、即ち静止画像に対する処理と同様であるため、第2実施形態と同様の動作を静止画像に対して行うことにより、静止画像においても第2実施形態と同様の効果が得られることは言うまでもない。
【００６２】
＜第３実施形態＞
以下、本発明に係る第3実施形態について説明する。
【００６３】
図16は、第3実施形態における動画像編集システムの構成を示すブロック図である。同図において、上述した第2実施例で示した図8と同様の構成については同一番号を付し、説明を省略する。即ち図16に示す構成においては、TVカメラ201の画像を送信する際に、影の抽出及び符号化を行わないことを特徴とする。
【００６４】
このような構成において、TVカメラ201，202で動画像が撮像され、符号化が行われる。TVカメラ201から入力された動画像は、第2実施形態におけるオブジェクト抽出器203及び影抽出器204における処理と同様に、オブジェクト抽出器303で主オブジェクトを抽出する。ここでは、図26に示す画像1055から牛1056を抽出し、図10に示す主オブジェクト1071を得たとする。抽出された主オブジェクトである牛1071はオブジェクト符号化器206に入力され、MPEG-4符号化方式で符号化される。MPEG-4符号化方式によれば、オブジェクトの形状を表すマスク情報と、画像の画素値とをそれぞれ符号化する。一方、TVカメラ202で撮像された画像データは、符号化器207でMPEG-1符号化方式によって符号化され、送信器209を介して通信回線211に送出される。TVカメラ202で撮像された画像データは合成画像の背景画像となる(図9の背景画像1070)。
【００６５】
受信器212，213は、これらの符号化データを受信し、動画像編集装置300に入力する。動画像編集装置300は、ユーザが編集指示装置214から入力した指示に従って、動画像を編集する。以下、ユーザによる編集指示として、合成するオブジェクトの背景画像1070内における位置、オブジェクトの大きさ、影の強度、及び影の方向が動画像編集装置215に入力された場合を例として説明する。
【００６６】
図17に、動画像編集装置300のブロック構成を示す。同図において、上述した第2実施形態で示した図14と同じ機能を有する構成については同一番号を付し、詳細な説明は省略する。301は主オブジェクトである牛1071の形状を表すマスク情報から従オブジェクトである影を生成する影生成器である。302は生成された影の合成を行う影合成器である。
【００６７】
このような構成をなす動画像編集装置300において、端子250は、受信器212で受信した符号化データを分離器253に入力する。分離器253では、各符号のヘッダ等を参照して符号化データを分割し、後段のそれぞれの復号器に出力する。即ち、オブジェクトの形状を表す符号化データをマスク復号器254に、オブジェクトの画素値の符号化データをオブジェクト復号器256に出力する。
【００６８】
マスク復号器254はオブジェクトのマスクデータを復号し、マスク情報を再生してマスクメモリ255に格納する。オブジェクト復号器256はオブジェクトの画像の符号化データを復号し、オブジェクトの画素値を再生してオブジェクトメモリ257に格納する。復号器262は背景画像の符号化データを復号し、背景画像の画素値を再生してフレームメモリ263に格納する。
【００６９】
編集指示装置214から入力された拡大・縮小の変倍処理、回転処理、アフィン変換処理等の変形処理のパラメータは、変形器264，265，影生成器301に入力される。以下、オブジェクトを背景画像の大きさにあわせて縮小する場合を例として説明する。変形器264，265は、編集指示装置214からパラメータとして縮小率を入力する。変形器264はマスクメモリ255の内容を縮小して出力する。変形器265はオブジェクトメモリ257の内容を縮小して出力する。尚、変形器267においては、背景画像を保持しているフレームメモリ263の内容をそのまま出力する。
【００７０】
影生成器301は、マスクメモリ255から形状情報を表す2値画像を読み出して反転させることにより、主オブジェクトである牛1071の影(従オブジェクト)の基本形状を作成する。図18に、生成された影の基本形状1080を示す。この基本形状に対して、編集指示装置214から影の形状を変形させるためのパラメータを入力する。この形状の変形パラメータは、変形器264，265に与えられた変形パラメータに対して更に、光線の方向を加味して決定される。尚、これらの調整は画像を実際に合成してみてから再調整しても構わない。また、１度決定された変形パラメータは、別なフレームの編集にも用いることができる。また、合成するオブジェクトが複数であれば、他のオブジェクトの変形パラメータを用いたり、影オブジェクトを伴うオブジェクトがあればその付置関係から変形パラメータを求めることは容易に可能である。また、合成する背景画像に存在している影を検知し、その影を作っている物体との位置関係等から、該背景において最も適切な光線方向を決定することも可能である。図19に、これらの変形パラメータによって影の基本形状1080を変形した例を示す。
【００７１】
影合成器302においては、影生成器301で生成された従オブジェクトである影の画像を、その形状と、編集指示装置214から出力される影の強度と、影を合成する位置とに従って、背景画像の変形結果に合成する。このようにして従オブジェクトである影が合成された背景画像は、画像合成器269に入力される。画像合成器269においては、編集指示装置214から入力された主オブジェクトを合成する位置及び、マスクメモリ255に保持された主オブジェクトのマスクデータの変形結果に従って、主オブジェクトが合成される画素については背景画像の画素値を主オブジェクトの画素値に置換する。そしてその合成結果が、端子270から図16に示す符号化器216に出力される。ここで図20に、図9に示す背景画像1070にオブジェクトである牛1056を縮小して、更に影を付加して合成した画像を示す。第2実施形態において示した図15の画像との比較からも容易に分かるように、第3実施形態においては影の方向を任意に変更することができる。
【００７２】
図16に戻り、符号化器216は合成された画像データをMPEG-1符号化方式で符号化し、送信器217を介して通信網218に送出したり、記憶装置219の所定の位置に格納する。
【００７３】
以上説明したように第3実施形態によれば、合成する主オブジェクトの形状情報に基づいて、任意の方向に従オブジェクトである影を生成して付加することで、例えば背景に存在している影の方向と主オブジェクトの影の方向とを一致させる等、合成画像における違和感の抑制を容易に行うことができる。
【００７４】
尚、第3実施形態における変形処理も上述した例に限定されず、他の変形処理であってももちろんかまわない。また、符号化器216においてフレーム単位の符号化であるMPEG-1を行なうとして説明したが、MPEG-4符号化方式のように各オブジェクトを分離したままで再度符号化を行なっても良い。
【００７５】
また、第3実施形態においては、主オブジェクトに対して影を合成した画像をMPEG-1符号化方式で符号化する例について説明したが、この影である従オブジェクトについては、形状と影の強度を用いた符号化や、MPEG-4符号化方式による符号化を行なってももちろん構わない。
【００７６】
また、動画像の1フレームだけにおける処理は、即ち静止画像に対する処理と同様であるため、第3実施形態と同様の動作を静止画像に対して行うことにより、静止画像においても第3実施形態と同様の効果が得られることは言うまでもない。
【００７７】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００７８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００７９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００８１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８３】
【発明の効果】
以上説明したように本発明によれば、主オブジェクトとそれに付随する例えば影のような従オブジェクトとを含むオブジェクトに対して好適な画像処理が可能となる。
【００８４】
例えば、主オブジェクトと従オブジェクトとを関連付け、主オブジェクトの画像処理結果を従オブジェクトの画像処理結果に反映することで、違和感のない自然な画像の合成を少ない情報量で実現することができる。
【００８５】
また、従オブジェクトを持たないオブジェクトに対しても、その形状に基づいて従オブジェクトである影を生成して付加することができるため、さらに自然な画像の合成が可能となる。
【００８６】
【図面の簡単な説明】
【図１】本発明に係る一実施形態における動画像編集装置の構成を示すブロック図である。
【図２】本実施形態における画像編集処理手順を示すフローチャートである。
【図３】本実施形態における従オブジェクトである影の様子を表す図である。
【図４】本実施形態における主オブジェクトの様子を表す図である。
【図５】本実施形態におけるオブジェクトテーブルの内容を説明するための図である。
【図６】本実施形態における合成・表示処理手順を示すフローチャートである。
【図７】本実施形態における画像合成の結果を表す図である。
【図８】本発明に係る第2実施形態における動画像編集システムの構成を示すブロック図である。
【図９】第2実施形態における背景画像を表す図である。
【図１０】第2実施形態における主オブジェクトの様子を表す図である。
【図１１】第2実施形態における影オブジェクトの様子を表す図である。
【図１２】第2実施形態における影符号化器の構成を示すブロック図である。
【図１３】第2実施形態における影オブジェクトのマスクを表す図である。
【図１４】第2実施形態における動画像編集装置の構成を示すブロック図である。
【図１５】第2実施形態における画像合成の結果を表す図である。
【図１６】本発明に係る第3実施形態における動画像編集システムの構成を示すブロック図である。
【図１７】第3実施形態における動画像編集装置の構成を示すブロック図である。
【図１８】第3実施形態における影オブジェクトの基本形状を表す図である。
【図１９】第3実施形態における影オブジェクトの基本形状の変形例を表す図である。
【図２０】第3実施形態における画像合成の結果を表す図である。
【図２１】オブジェクトを含む動画像におけるフレーム画像例を表す図である。
【図２２】オブジェクトを含まない背景画像例を表す図である。
【図２３】抽出されたオブジェクトを表す図である。
【図２４】合成対象となる背景画像例を表す図である。
【図２５】従来の画像合成の結果を表す図である。
【図２６】オブジェクトを含む動画像におけるフレーム画像例を表す図である。
【図２７】抽出されたオブジェクトを表す図である。
【図２８】従来の画像合成の結果を表す図である。
【図２９】従来の画像合成の結果を表す図である。
【符号の説明】
101 CPU
102 端末
103，219 記憶装置
104 メモリ
105 画像メモリ
106 合成器
107，263 フレームメモリ
108 モニタ
109 バス
201，202 TVカメラ
203，303 オブジェクト抽出器
204 影抽出器
205 影符号化器
206 オブジェクト符号化器
207，216，234，237 符号化器
208，209，217 送信器
210，211 通信回線
212，213 受信器
214 編集指示装置
215，300 動画像編集装置
230，231，239，250，251，252，270 端子
232，301 マスク生成器
233，255，261 マスクメモリ
235 差分器
236 平均値算出器
238 合成器
253 分離器
254，260 マスク復号器
256 オブジェクト復号器
257 オブジェクトメモリ
258，262 復号器
259 ラッチ
264，265，266，267 変形器
268，302 影合成器
269 画像合成器
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に画像内のオブジェクトを抽出して処理する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来、動画像の符号化方式として、フレーム単位で符号化するMPEG-1、MPEG-2やH.261といった符号化方式が知られている。これらの符号化方式においては、フレーム間の相関を用いることにより、動画像を高効率に符号化することが出来る。
【０００３】
これらに対して更に高効率の符号化方式として、MPEG-4のように画像からオブジェクトを切り出し、背景とは別に符号化し、オブジェクトだけを伝送する方式が検討されている。このような符号化方式を用いれば、伝送する画像の領域を小さくできるため、低ビットレートの回線でも動画像の伝送が可能になる。さらに、受信側ではオフジェクトを選択して表示をしたり、配置や大きさ等を変更することにより、受信側で好適な表示を行えることが可能になった。さらには別な背景と合成するような編集も容易に行えるようになった。
【０００４】
また、静止画像の符号化方式としてJPEG符号化方式が知られており、画像の特性に最適な符号化、たとえば文字画像にはMMR符号化方式を、写真画像にはJPEG符号化方式を割り当てる方法も提案されている。
【０００５】
ここで、動画像からオブジェクトを抽出する方法としては、一般的には放送局等で使用されているクロマキーによる抽出技術が知られている。これは、青色の背景の前で人物等のオブジェクトを撮影し、この人物オブジェクトを電気信号的に切り出す手法である。尚、クロマキーを用いたオブジェクト撮影の場合、一般的に撮影スタジオ等で行われ、照明条件が整っているため、オブジェクトの影は発生しない。
【０００６】
また、静止画像においては、自動的に像域を分離したり、画像の中からオブジェクトを抽出する場合にはユーザの手動によって領域を指示したり、同じような色の領域を統合したりして、所望の像域の切り出しを行っている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したクロマキーによって抽出可能なオブジェクトは、背景を青色に限定した撮影ができる範囲の、比較的小さなものに限られてしまう。従って、比較的大きなオブジェクトについては、自然画像の動画像から抽出することが考えられる。その方法の一つとして、予め背景画像を入力しておき、その背景画像と入力された画像との差分画像からオブジェクトの切り出しを行なう方法や、また、背景を構成する色情報等を予め取得しておき、入力画像において該色情報と異なる色の領域を抽出する方法(画像符号化シンポジウムPSCJ97I-3.15)等が知られている。
【０００８】
以下、図21に示す様な画像1050からヘリコプタ1051の絵柄をオブジェクトとして切り出す例について説明する。即ち、図21の画像1050と図22に示す背景画像1052との差分を求め、ノイズ除去等の処理を行うことにより、図23に示すオブジェクト1053が抽出される。このオブジェクト1053を図24に示す背景画像1054と合成することにより、図25に示す新しい画像を編集することが可能となる。
【０００９】
しかしながら、自然画像の動画像内におけるオブジェクトには、一般的なクロマキー合成のための撮影とは異なり、自然光の中での撮影であるために影が生じることが多い。そのため、図25の画像においてはヘリコプタの影が空中に生じてしまい、不自然な合成結果となってしまう。
【００１０】
また、図26に示す画像1055において、芝生上の草を食む牛1056を同様に切り出した結果、図27に示す1057がオブジェクトとして得られる。このオブジェクト1057を例えば図28に示すように市街地の背景と合成した場合、オブジェクト1057に含まれていた牛の影もそのまま合成される。この牛の影の像については、原画像1055における芝生上の草の像を含んでいるため、図28のようにアスファルトの背景と合成された場合、かなり不自然な画像となってしまう。
【００１１】
さらに、クロマキー等によって影がないオブジェクトが得られ、該オブジェクトを合成する場合について考えると、この場合、オブジェクトと合成された背景との３次元的な位置関係や光源等の設定をコンピュータ処理等によって行うことができる。しかしながらこの設定は、例えばスタジオ等の限られた環境下では有効であるが、一旦、動画像として２次元的に入力されてしまったオブジェクトに対しては、影等の生成が行えないため、影のない不自然な合成画像ができてしまうという問題があった。図29に、牛1056を影なしで合成した画像を示すが、かなりの不自然さが生じていることが分かる。このような影のない合成による不自然さは、他の物体の影が多く発生しているような背景画像と合成されることにより、より顕著となる。
【００１２】
本発明は上述した課題を解決するためになされたものであり、主オブジェクトとそれに付随する例えば影のような従オブジェクトとを含むオブジェクトに対して好適な画像処理を可能とする画像処理装置及びその方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１４】
即ち、画像から主オブジェクトと該主オブジェクトに付随する影とを抽出するオブジェクト抽出手段と、前記抽出された影の形状を表す形状情報を生成する形状情報生成手段と、前記画像における前記主オブジェクト及び前記影が含まれない背景画像の前記影の形状情報が表す前記影の形状に対応する領域内の画素値と、前記影の画素値との差分から前記影の濃さを表す強度情報を生成する強度情報生成手段と、前記主オブジェクトをオブジェクト符号化する第１の符号化手段と、前記形状情報及び前記強度情報を算術符号化する第２の符号化手段と、符号化された前記形状情報と前記強度情報とを用い、前記主オブジェクトの合成位置に応じて影を合成する影合成手段とを備える。
【００１７】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１８】
＜第1実施形態＞
図1は、本実施形態に係る動画像編集装置の構成を示すブロック図である。尚、本実施形態においては、CPUを用いたソフトウェア処理を行った場合について説明する。同図において、101はソフトウェアを実行し、装置全体を制御するCPUである。102は不図示のユーザが編集処理の指示を行う端末である。103は編集に用いる画像データを蓄積している記憶装置である。104はメモリであり、装置全体を制御するためのOS、CPU101で実行するソフトウェア、各種処理に必要なワークメモリ等を格納する。105は画像メモリであり、各作業に必要な画像データを格納する。106は画像の合成処理を行う合成器であり、107は合成結果を格納するフレームメモリであり、108はフレームメモリ107の内容を表示するモニタである。109は種々のデータや制御コマンド、画像データを各構成間においてやり取りするバスである。
【００１９】
かかる構成において、ユーザは、まず、端末102から装置全体の起動を行う。さらに、画像の合成に用いる背景画像と、その内部に合成するオブジェクトを含む画像を選択する。例えば、合成する背景画像として図24の画像1054を、オブジェクトを含む画像として、図21のヘリコプタ1051を含む画像1050が選択されたとする。尚このとき、オブジェクトを含む画像1050のオリジナルの背景画像として、図22の背景画像1052も同時に選択される。続いて画像の合成処理を行うが、図2のフローチャートにその手順を示す。
【００２０】
まず、図22に示すオリジナルの背景画像1052の画像データを記憶装置103から読み出し、画像メモリ105の所定の領域に書き込む(ステップS101)。そして、オブジェクトであるヘリコプタ1051を含む画像1050の符号化データを記憶装置103から読み出し、画像メモリ105の所定の領域(Object1)に書き込む(ステップS102)。このとき、フレームカウンタnを0にセットする。尚、これら背景画像及びオブジェクトを含む画像のそれぞれは、ユーザによって予め指定されている必要があるが、その指定方法については限定しない。
【００２１】
以下、フレームカウンタnに従って、各フレームのオブジェクト抽出処理を行う。まず、第nフレームの画像と背景画像1052との差分画像を求める(ステップS104)。そして、該差分画像において所定の閾値以下である画素値を0としてノイズ除去を行い(ステップS105)、画素値が0以上である画素の集合を閉領域として分割した後、予め定めた大きさ以下である閉領域のみを抽出し、画像メモリ105の所定の領域(Object1)に書き込む(ステップS106)。
【００２２】
そしてステップS107において、画像メモリ105のObject1に保持された閉領域から、差分値が同じような値をとる領域を抽出してフレームメモリ107に書き込んでモニタ108に表示し、ユーザが該表示に基づいて影である領域を選択して端末102で指定する。この動作により影領域が抽出される。そして、Object1に保持されている閉領域の画素のうち、指定された影領域に含まれる画素を画像メモリ105上の所定の領域(Object2)に書き込む。そして更に、この影領域はオブジェクトの影であるとして、その画面内における位置や大きさ等がメモリ104の位置テーブルに、また、この影も1つのオブジェクト(従オブジェクト)であるとして、オブジェクトテーブルの例えば1番に登録される。このようにして得られた従オブジェクトである影の画像が、図3に示す影1060である。
【００２３】
続いてステップS108において、Object1に保持されている閉領域の画素のうち、合成対象となるオブジェクト(主オブジェクト)としてその領域に含まれる画素のみを残して他の画素を除去する。即ち、オブジェクトの閉領域から従オブジェクトである影領域を除去して、主オブジェクトを生成する。そして、該主オブジェクトがメモリ104内のオブジェクトテーブルの例えば2番に登録され、その画面内における位置や大きさ等が位置テーブルに記される。そしてこの時、オブジェクトテーブルの2番のLINK欄に、主オブジェクトに関する従オブジェクトである影が登録されているオブジェクトテーブルの番号「1」を記す(ステップS108)。このようにして得られた主オブジェクトの画像が、図4に示すヘリコプタ1061である。
【００２４】
そして、フレームカウンタnに1を加え、次のフレームの処理を行う(ステップS109)。尚、第1フレーム以降においては、前のフレームで得られた影の差分画像の平均差分値に近い領域を選択することで、ユーザの確認なしで影の領域を抽出することができる。フレームカウンタnが処理すべき全フレーム数よりも小さい間は（ステップS103)、ステップS104〜S109までの処理を繰り返す。
【００２５】
以上の処理の結果、メモリ104のオブジェクトテーブルに書き込まれるデータの例を図5に示す。同図においては、オブジェクトテーブルの1番に「Shade」という影を示す従オブジェクトが、2番に「Helicopter」というヘリコプタを示す主オブジェクトが登録され、該主オブジェクトはそのLINK欄より、1番に登録された従オブジェクトとリンクされていることが分かる。
【００２６】
図2に戻り、フレームカウンタnが全フレーム数を超えたら(ステップS103)、CPU101はユーザに影の処理方法の入力を促し、ユーザは端末102から該処理方法を入力する(ステップS110)。ここで影の処理方法とは即ち、合成の際に影をそのまま残すのか、または合成画像において影が残ることは不都合であるため影を削除するのか、のいずれかを指定する。その後、画像合成によって新たに背景となる画像1054(図24)の画像データを記憶装置103から読み出し、画像メモリ105の所定の領域(Background)に書き込む(ステップS111)。このとき、フレームカウンタnを0にセットする。そして、先頭のフレームから順次合成処理を行い、合成画像をモニタ108に表示する(ステップS113)。
【００２７】
ここで、ステップS113に示す合成・表示処理の詳細を図6のフローチャートに示し、説明する。
【００２８】
まず、背景画像1054の第nフレームをフレームメモリ107に書き込む(ステップS120)。続いて、オブジェクトテーブルに登録された主オブジェクトであるヘリコプタ1061(図4)の画像を画像メモリ105のObject1から読み出し(ステップS121)、フレームメモリ107上の位置テーブルによって示される位置、またはユーザが指示する新たな位置に上書きする(ステップS122)。尚、メモリ104内のオブジェクトテーブルにおいては、例えばそのLINK欄に「1」もしくは何らかの記載があるものが主オブジェクトとして認識される。図5に示す例では、オブジェクトテーブルの1番に登録された「Shade」は従オブジェクトであり、2番に登録された「Helicopter」が合成対象の主オブジェクトであると認識される。
【００２９】
そして、先ほどステップS110で指定された影の処理方法、即ち、上書きするのか削除するのかに応じた影処理を行なう。(ステップS123)。影をそのまま使用する場合は、オブジェクトテーブルにおける主オブジェクトのLINK欄に基づいて、対応する従オブジェクトである影1060を画像メモリ105のObject2から読み出し、位置テーブルで示される影の位置とオブジェクトであるヘリコプタ1061の位置関係とに従って、フレームメモリ107上に上書き(ステップS124)した後、ステップS125に進む。
【００３０】
一方、影を削除する場合は、従オブジェクトを無視してそのままステップS125に進む。例えば、図24に示す背景画像1054との合成の際には、オブジェクト1061の影が残ることは図25に示されるように不都合であるため、影削除が選択される。そしてステップS125において、フレームメモリ107の内容をモニタ108に表示する。このようにして合成され、表示された画像を図7に示す。
【００３１】
図2に戻り、以上説明したS113の合成・表示処理が終わったら、フレームカウンタnに1を順次加えて(ステップS114)、全フレーム分の合成・表示処理を繰り返す。フレームカウンタnが全フレーム数を超えたら(ステップS112)、CPU101は全ての処理を終了する。
【００３２】
以上説明したように本実施形態によれば、合成するオブジェクトから影領域を抽出し、該影の処理を合成する画像の状況に応じて選択的に行なうことにより、違和感のない合成画像を容易に作成することができる。
【００３３】
尚、本実施形態においては影領域やオブジェクトの抽出を背景との差分画像に基づいて行なう方法について説明したが、本発明はこれに限定されず、例えば1997年映像メディア処理シンポジウム(IMPS97)I-3.15「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」(1997.10.8苗村他)等に記載された抽出方法等を用いても構わない。これは、オブジェクトである選手のいないグラウンド等の情報を背景として予め取得しておき、該背景のカラーヒストグラム等に基づいて動画像からオブジェクト（選手）を抽出するという方法である。
【００３４】
また、記憶装置103に蓄積された画像データは符号化されていても構わない。この場合、MPEG-4符号化方式のようにオブジェクト毎に分割して符号化されていたり、影とオブジェクトとを分離して格納されていても良い。
【００３５】
また、動画像の1フレームだけにおける処理は、即ち静止画像に対する処理と同様である。従って、本実施形態と同様の動作を静止画像に対して行うことにより、静止画像においても本実施形態と同様の効果が得られることは言うまでもない。
【００３６】
尚、本実施形態ではオブジェクトが1つである場合について説明したが、オブジェクト数は1つに限定されず、メモリ104の各テーブルの容量や、画像メモリ105の格納領域に応じて、複数のオブジェクトに対応可能である。
【００３７】
＜第２実施形態＞
以下、本発明に係る第2実施形態について説明する。
【００３８】
図8は、第2実施形態における動画像編集システムの構成を示すブロック図である。同図において、201，202は動画像を撮像し、デジタル信号に変換して出力するTVカメラである。尚、以下、TVカメラ201からは図26の画像1055を撮像し、TVカメラ202からは図9に示す画像1070を撮像する場合について説明する。203は動画像からオブジェクトを抽出するオブジェクト抽出器である。204は抽出されたオブジェクトからその影を表す領域を従オブジェクト(影オブジェクト)として抽出し、更に、該オブジェクトから影オブジェクトを除去した主オブジェクトを出力する影抽出器である。205は抽出された影オブジェクトを符号化する影符号化器であり、206は主オブジェクトを符号化するオブジェクト符号化器である。オブジェクト符号化器206は主オブジェクトを動画像として符号化するが、ここではMPEG-4符号化方式による符号化を行なう例について説明する。もちろん、符号化方式はこれに限定されない。
【００３９】
207はTVカメラ202で撮像された動画像を符号化する符号化器であり、その符号化方式は特に限定しないが、ここではMPEG-1符号化方式による符号化を行なう例について説明する。208，209は送信器であり、生成された符号化データを通信回線210，211に送出する。212，213は受信器であり、符号化データを受信する。214はユーザが編集内容を指示する編集指示装置である。215は本実施形態の特徴であるところの動画像編集装置である。216は符号化器であり、MPEG-1符号化方式による符号化を行なうが、符号化方式は特に限定されない。217は送信器であり、通信網218に符号化データを送出する。219は記憶装置であり、符号化データを蓄積する。
【００４０】
このような構成をなす第2実施形態の動画像編集システムにおける動作について、以下に説明する。まず、TVカメラ201，202で動画像が撮像され、符号化が行われる。TVカメラ201から入力された動画像はオブジェクト抽出器203で主オブジェクトとその影オブジェクトを含むオブジェクト領域が抽出されるが、この抽出方法は特に限定されない。例えば、上述した第1実施形態で説明した、予め撮像した背景画像を記憶しておき、差分画像からオブジェクト領域を抽出する方法(図2のステップS104〜S109)を用いても良いし、他の方法でもかまわない。第2実施形態においては、予め撮像した背景画像に基づいて、画像1055から牛1056とその影をオブジェクト領域として抽出する例について説明する。抽出されたオブジェクト領域は影抽出器204に入力され、主オブジェクトとその影オブジェクトとに分離されるが、この分離の方法については特に限定されない。例えば、第1実施形態で説明したように背景との差分値の均一性に基づいて分離しても良いし、ユーザによるマニュアル抽出を行なっても構わない。ここで、このようにして抽出された主オブジェクトである牛1071を図10に、影オブジェクト1072を図11に示す。尚、ここで抽出される各オブジェクトは、実質的に該オブジェクトを含んだ矩形領域として切り出されることは言うまでもない。
【００４１】
抽出された主オブジェクトである牛1071はオブジェクト符号化器206に入力され、MPEG-4符号化方式で符号化される。MPEG-4符号化方式によれば、オブジェクトの形状を表すマスク情報と、画像の画素値とをそれぞれ符号化する。一方、抽出された影オブジェクト1072は、影符号化器205に入力される。影符号化器205においては、MPEG-4符号化方式と同様に、形状符号化と影の強度の符号化を行う。尚、影抽出器204においては、前段のオブジェクト抽出器203において参照された予め撮像された背景画像のうち、影オブジェクトの位置に相当する画像を、影符号化器205に対して出力する。
【００４２】
ここで図12に、影符号化器205のブロック構成図を示す。同図において、230は影抽出器204から影オブジェクトを含む矩形領域の画像を入力する端子である。231は影抽出器204から影オブジェクトの領域の背景画像を入力する端子である。232はマスク生成器であり、画素が影オブジェクトに含まれるか否かを1/0の2値画像で表現することにより、影オブジェクトの形状情報を示すマスクを生成する。233は該マスクを格納するマスクメモリである。234はマスクメモリ233の内容を算術符号化する符号化器である。235はマスクによって影領域内に存在すると判定される画素について、同一位置の背景画素と影オブジェクトの画素値の差分を求める差分器である。236は領域内画素について、求められた差分値の総和をマスクにおいて画素値が1である画素数、即ち影オブジェクト内に存在する画素数で割り、平均値を求める平均値算出器である。237は算出された平均値に符号を割り当てる符号化器である。238は符号化器234と符号化器237で生成された符号を合成して整える合成器である。239は合成された符号化データを出力する端子である。
【００４３】
かかる構成をなす影符号化器205における動作について以下に説明する。端子230から入力された影オブジェクトを含む画像(影1072)は、マスク生成器232と差分器252に入力される。マスク生成器232においては、画素が影の閉領域の内側にあるか外側にあるかによって影オブジェクトに含まれるか否かを判定し、その結果を1/0の2値画像のマスクとして出力する。即ち、該マスクは影の形状情報を示す。ここで図13に、図11の影1072におけるマスク情報を示す。このマスクはマスクメモリ233に格納される。マスクメモリ233に格納された2値画像のマスクは、符号化器234で符号化される。また、差分器235においては、影オブジェクトとその背景画像との画素値について差分を求め、平均値算出器236に入力する。平均値算出器236では、これらの差分の総和を求め、マスクメモリ233に格納されているマスクにおける画素値が「1」、即ち影領域内である画素数で割って平均値を求める。この平均値は符号化器237で符号化される。符号化器234と符号化器237で生成された符号化データは合成器238で合成され、整えられて端子239から出力される。
【００４４】
図8に戻り、オブジェクト符号化器206で生成された符号化データと、影符号化器205で生成された符号化データは送信器208に入力され、符号化データを整えて通信回線210に送信される。
【００４５】
一方、TVカメラ202で撮像された画像データは、符号化器207でMPEG-1符号化方式によって符号化され、送信器209を介して通信回線211に送出される。TVカメラ202で撮像された画像データは合成画像の背景画像となる(図9の背景画像1070)。
【００４６】
受信器212，213は、これらの符号化データを受信し、動画像編集装置215に入力する。動画像編集装置215は、ユーザが編集指示装置214から入力した指示に従って、動画像を編集する。以下、ユーザによる編集指示として、合成するオブジェクトの背景画像1070内における位置、オブジェクトの大きさ、及び影の強度が動画像編集装置215に入力された場合を例として説明する。
【００４７】
図14に、動画像編集装置215のブロック構成を示す。同図において、250は受信器212から合成対象となるオブジェクトの符号化データを入力する端子である。251は受信器213から背景となる画像の符号化データを入力する端子である。252は編集指示装置214からの編集指示を入力する端子である。253は分離器であり、受信器212から入力された符号化データから、主オブジェクトの形状を表す符号化データ、主オブジェクトの画素値の符号化データ、影の強度を示す符号化データ、影の形状を表す符号化データをそれぞれ分離する。254は主オブジェクトの形状を表すマスク情報を復号するマスク復号器であり、255はその結果を格納するマスクメモリである。256は主オブジェクトの画素値を復号するオブジェクト復号器であり、257はその結果を格納するオブジェクトメモリである。258は影の強度を復号する復号器であり、259はその結果を格納するラッチである。260は影の形状を表すマスク情報を復号するマスク復号器であり、261はその結果を格納するマスクメモリである。
【００４８】
262は受信器213から入力された背景画像の符号化データを復号する復号器であり、MPEG-1符号化方式の復号処理が行われる。263はその結果を格納するフレームメモリである。264，265，266，267は、編集指示装置214からの指示に従って、入力画像に対して拡大・縮小の変倍処理、回転処理、アフィン変換処理等による各種変形を施す変形器である。268は影合成器であり、編集指示装置214からの指示に従って、背景画像に影オブジェクトを合成する。269は画像合成器であり、影合成器268の出力に対して変形器264，265で変形された主オブジェクトを合成する画像合成器である。270は合成された結果を出力する端子である。
【００４９】
このような構成からなる動画像編集装置215における動作について、以下に説明する。端子250は、受信器212で受信した符号化データを分離器253に入力する。分離器253では、各符号のヘッダ等を参照して符号化データを分割し、後段のそれぞれの復号器に出力する。即ち、主オブジェクトの形状を表す符号化データをマスク復号器254に、主オブジェクトの画素値の符号化データをオブジェクト復号器256に、影の強度の符号化データを復号器258に、影オブジェクトのマスクの符号化データを復号器260に出力する。
【００５０】
マスク復号器254は主オブジェクトのマスクデータを復号し、マスク情報を再生してマスクメモリ255に格納する。オブジェクト復号器256は主オブジェクトの画像の符号化データを復号し、主オブジェクトの画素値を再生してオブジェクトメモリ257に格納する。復号器258は影オブジェクトの影の強度を復号し、ラッチ259に格納する。マスク復号器260は影オブジェクトのマスクデータを復号し、マスク情報を再生してマスクメモリ261に格納する。復号器262は背景画像の符号化データを復号し、背景画像の画素値を再生してフレームメモリ263に格納する。
【００５１】
編集指示装置214から入力された拡大・縮小の変倍処理、回転処理、アフィン変換処理等の変形処理のパラメータは、変形器264，265，266，267に入力される。以下、オブジェクトを背景画像の大きさにあわせて縮小してから合成を行なう場合を例として説明する。変形器264，265，266は、編集指示装置214からパラメータとして縮小率が入力される。変形器264はマスクメモリ255の内容を縮小して出力する。変形器265はオブジェクトメモリ257の内容を縮小して出力する。変形器266はマスクメモリ261の内容を縮小して出力する。尚この場合、オブジェクトのみを縮小すれば良いため、背景画像を変形する変形器267においては、フレームメモリ263の内容をそのまま出力する。
【００５２】
影合成器268は、ラッチ259に格納されている影の強度を表す平均値m、及び編集指示装置214から入力された影強度の変更パラメータpに基づいて、次式に従って実際に合成する影の強度Sを算出する。
【００５３】
S = m × p …(1)
さらに、影オブジェクトを合成する位置を、編集指示装置214から入力された主オブジェクトを合成する位置、及び主オブジェクトと影オブジェクトとの相対的な位置関係に基づいて決定する。そして、変形器267から出力された背景画像の変形結果に対して、算出された位置に影オブジェクトを合成する。具体的には、マスクメモリ261に保持されたマスク情報の変形結果、即ち、合成すべき影の形状情報に従って、影オブジェクトが合成される位置にある画素については、背景画像の画素値bと影の強度Sから次式によって得られる新たな画素値Cに変換する。
【００５４】
C = b - S …(2)
このようにして影オブジェクトが合成された背景画像は、画像合成器269に入力される。画像合成器269においては、編集指示装置214から入力された主オブジェクトを合成する位置及び、マスクメモリ255に保持された主オブジェクトのマスクデータ(形状情報)の変形結果に従って、主オブジェクトが合成される画素については背景画像の画素値を該主オブジェクトの画素値に置換する。そしてその合成結果が、端子270から図8に示す符号化器216に出力される。ここで図15に、図9に示す背景画像1070にオブジェクトである牛1056を縮小して影と共に合成した画像を示す。図15によれば、牛の影の部分において背景であるアスファルト路面の画像が反映されているため、従来例において示した図28の画像と比較して違和感をかなり抑制できたことが分かる。即ち、主オブジェクトの影部分についても、自然な合成がなされていることが分かる。
【００５５】
図8に戻り、符号化器216は合成された画像データをMPEG-1符号化方式で符号化し、送信器217を介して通信網218に送出したり、記憶装置219の所定の位置に格納する。
【００５６】
以上説明したように第2実施形態によれば、合成対象となるオブジェクトから影領域を抽出して主オブジェクトのみを符号化することにより、符号化すべき画素数を削減することができるとともに、抽出した影領域を影オブジェクトとしてその形状と強度のみで表示し、符号化することにより、情報量の大幅な削減が可能となり、通信コストや記憶媒体の容量を削減できる。
【００５７】
さらに、合成する画像の状況に応じて、変形や影の強度の調整を行うことで、違和感のない合成画像を容易に生成することができる。
【００５８】
尚、第2実施形態においては、影強度を0に指定することにより、上述した第1実施形態と同様に影を付与しない合成を行なうことも可能である。
【００５９】
また、第2実施形態においては、影符号化器205で影オブジェクトの形状と強度の代表値を符号化する例について説明したが、本発明はこれに限定されず、影の強度として、背景画像との差分値でも、黒画素を上に重畳する時の透過度を用いてもかまわない。また、差分値に対する多値の符号化を行ってももちろん構わない。
【００６０】
また、第2実施形態における変形処理も上述した例に限定されず、他の変形処理であってももちろんかまわない。また、符号化器216においてフレーム単位の符号化であるMPEG-1を行なうとして説明したが、MPEG-4符号化方式のように各オブジェクトを分離したままで再度符号化を行なっても良い。
【００６１】
また、動画像の1フレームだけにおける処理は、即ち静止画像に対する処理と同様であるため、第2実施形態と同様の動作を静止画像に対して行うことにより、静止画像においても第2実施形態と同様の効果が得られることは言うまでもない。
【００６２】
＜第３実施形態＞
以下、本発明に係る第3実施形態について説明する。
【００６３】
図16は、第3実施形態における動画像編集システムの構成を示すブロック図である。同図において、上述した第2実施例で示した図8と同様の構成については同一番号を付し、説明を省略する。即ち図16に示す構成においては、TVカメラ201の画像を送信する際に、影の抽出及び符号化を行わないことを特徴とする。
【００６４】
このような構成において、TVカメラ201，202で動画像が撮像され、符号化が行われる。TVカメラ201から入力された動画像は、第2実施形態におけるオブジェクト抽出器203及び影抽出器204における処理と同様に、オブジェクト抽出器303で主オブジェクトを抽出する。ここでは、図26に示す画像1055から牛1056を抽出し、図10に示す主オブジェクト1071を得たとする。抽出された主オブジェクトである牛1071はオブジェクト符号化器206に入力され、MPEG-4符号化方式で符号化される。MPEG-4符号化方式によれば、オブジェクトの形状を表すマスク情報と、画像の画素値とをそれぞれ符号化する。一方、TVカメラ202で撮像された画像データは、符号化器207でMPEG-1符号化方式によって符号化され、送信器209を介して通信回線211に送出される。TVカメラ202で撮像された画像データは合成画像の背景画像となる(図9の背景画像1070)。
【００６５】
受信器212，213は、これらの符号化データを受信し、動画像編集装置300に入力する。動画像編集装置300は、ユーザが編集指示装置214から入力した指示に従って、動画像を編集する。以下、ユーザによる編集指示として、合成するオブジェクトの背景画像1070内における位置、オブジェクトの大きさ、影の強度、及び影の方向が動画像編集装置215に入力された場合を例として説明する。
【００６６】
図17に、動画像編集装置300のブロック構成を示す。同図において、上述した第2実施形態で示した図14と同じ機能を有する構成については同一番号を付し、詳細な説明は省略する。301は主オブジェクトである牛1071の形状を表すマスク情報から従オブジェクトである影を生成する影生成器である。302は生成された影の合成を行う影合成器である。
【００６７】
このような構成をなす動画像編集装置300において、端子250は、受信器212で受信した符号化データを分離器253に入力する。分離器253では、各符号のヘッダ等を参照して符号化データを分割し、後段のそれぞれの復号器に出力する。即ち、オブジェクトの形状を表す符号化データをマスク復号器254に、オブジェクトの画素値の符号化データをオブジェクト復号器256に出力する。
【００６８】
マスク復号器254はオブジェクトのマスクデータを復号し、マスク情報を再生してマスクメモリ255に格納する。オブジェクト復号器256はオブジェクトの画像の符号化データを復号し、オブジェクトの画素値を再生してオブジェクトメモリ257に格納する。復号器262は背景画像の符号化データを復号し、背景画像の画素値を再生してフレームメモリ263に格納する。
【００６９】
編集指示装置214から入力された拡大・縮小の変倍処理、回転処理、アフィン変換処理等の変形処理のパラメータは、変形器264，265，影生成器301に入力される。以下、オブジェクトを背景画像の大きさにあわせて縮小する場合を例として説明する。変形器264，265は、編集指示装置214からパラメータとして縮小率を入力する。変形器264はマスクメモリ255の内容を縮小して出力する。変形器265はオブジェクトメモリ257の内容を縮小して出力する。尚、変形器267においては、背景画像を保持しているフレームメモリ263の内容をそのまま出力する。
【００７０】
影生成器301は、マスクメモリ255から形状情報を表す2値画像を読み出して反転させることにより、主オブジェクトである牛1071の影(従オブジェクト)の基本形状を作成する。図18に、生成された影の基本形状1080を示す。この基本形状に対して、編集指示装置214から影の形状を変形させるためのパラメータを入力する。この形状の変形パラメータは、変形器264，265に与えられた変形パラメータに対して更に、光線の方向を加味して決定される。尚、これらの調整は画像を実際に合成してみてから再調整しても構わない。また、１度決定された変形パラメータは、別なフレームの編集にも用いることができる。また、合成するオブジェクトが複数であれば、他のオブジェクトの変形パラメータを用いたり、影オブジェクトを伴うオブジェクトがあればその付置関係から変形パラメータを求めることは容易に可能である。また、合成する背景画像に存在している影を検知し、その影を作っている物体との位置関係等から、該背景において最も適切な光線方向を決定することも可能である。図19に、これらの変形パラメータによって影の基本形状1080を変形した例を示す。
【００７１】
影合成器302においては、影生成器301で生成された従オブジェクトである影の画像を、その形状と、編集指示装置214から出力される影の強度と、影を合成する位置とに従って、背景画像の変形結果に合成する。このようにして従オブジェクトである影が合成された背景画像は、画像合成器269に入力される。画像合成器269においては、編集指示装置214から入力された主オブジェクトを合成する位置及び、マスクメモリ255に保持された主オブジェクトのマスクデータの変形結果に従って、主オブジェクトが合成される画素については背景画像の画素値を主オブジェクトの画素値に置換する。そしてその合成結果が、端子270から図16に示す符号化器216に出力される。ここで図20に、図9に示す背景画像1070にオブジェクトである牛1056を縮小して、更に影を付加して合成した画像を示す。第2実施形態において示した図15の画像との比較からも容易に分かるように、第3実施形態においては影の方向を任意に変更することができる。
【００７２】
図16に戻り、符号化器216は合成された画像データをMPEG-1符号化方式で符号化し、送信器217を介して通信網218に送出したり、記憶装置219の所定の位置に格納する。
【００７３】
以上説明したように第3実施形態によれば、合成する主オブジェクトの形状情報に基づいて、任意の方向に従オブジェクトである影を生成して付加することで、例えば背景に存在している影の方向と主オブジェクトの影の方向とを一致させる等、合成画像における違和感の抑制を容易に行うことができる。
【００７４】
尚、第3実施形態における変形処理も上述した例に限定されず、他の変形処理であってももちろんかまわない。また、符号化器216においてフレーム単位の符号化であるMPEG-1を行なうとして説明したが、MPEG-4符号化方式のように各オブジェクトを分離したままで再度符号化を行なっても良い。
【００７５】
また、第3実施形態においては、主オブジェクトに対して影を合成した画像をMPEG-1符号化方式で符号化する例について説明したが、この影である従オブジェクトについては、形状と影の強度を用いた符号化や、MPEG-4符号化方式による符号化を行なってももちろん構わない。
【００７６】
また、動画像の1フレームだけにおける処理は、即ち静止画像に対する処理と同様であるため、第3実施形態と同様の動作を静止画像に対して行うことにより、静止画像においても第3実施形態と同様の効果が得られることは言うまでもない。
【００７７】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００７８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００７９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００８１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８３】
【発明の効果】
以上説明したように本発明によれば、主オブジェクトとそれに付随する例えば影のような従オブジェクトとを含むオブジェクトに対して好適な画像処理が可能となる。
【００８４】
例えば、主オブジェクトと従オブジェクトとを関連付け、主オブジェクトの画像処理結果を従オブジェクトの画像処理結果に反映することで、違和感のない自然な画像の合成を少ない情報量で実現することができる。
【００８５】
また、従オブジェクトを持たないオブジェクトに対しても、その形状に基づいて従オブジェクトである影を生成して付加することができるため、さらに自然な画像の合成が可能となる。
【００８６】
【図面の簡単な説明】
【図１】本発明に係る一実施形態における動画像編集装置の構成を示すブロック図である。
【図２】本実施形態における画像編集処理手順を示すフローチャートである。
【図３】本実施形態における従オブジェクトである影の様子を表す図である。
【図４】本実施形態における主オブジェクトの様子を表す図である。
【図５】本実施形態におけるオブジェクトテーブルの内容を説明するための図である。
【図６】本実施形態における合成・表示処理手順を示すフローチャートである。
【図７】本実施形態における画像合成の結果を表す図である。
【図８】本発明に係る第2実施形態における動画像編集システムの構成を示すブロック図である。
【図９】第2実施形態における背景画像を表す図である。
【図１０】第2実施形態における主オブジェクトの様子を表す図である。
【図１１】第2実施形態における影オブジェクトの様子を表す図である。
【図１２】第2実施形態における影符号化器の構成を示すブロック図である。
【図１３】第2実施形態における影オブジェクトのマスクを表す図である。
【図１４】第2実施形態における動画像編集装置の構成を示すブロック図である。
【図１５】第2実施形態における画像合成の結果を表す図である。
【図１６】本発明に係る第3実施形態における動画像編集システムの構成を示すブロック図である。
【図１７】第3実施形態における動画像編集装置の構成を示すブロック図である。
【図１８】第3実施形態における影オブジェクトの基本形状を表す図である。
【図１９】第3実施形態における影オブジェクトの基本形状の変形例を表す図である。
【図２０】第3実施形態における画像合成の結果を表す図である。
【図２１】オブジェクトを含む動画像におけるフレーム画像例を表す図である。
【図２２】オブジェクトを含まない背景画像例を表す図である。
【図２３】抽出されたオブジェクトを表す図である。
【図２４】合成対象となる背景画像例を表す図である。
【図２５】従来の画像合成の結果を表す図である。
【図２６】オブジェクトを含む動画像におけるフレーム画像例を表す図である。
【図２７】抽出されたオブジェクトを表す図である。
【図２８】従来の画像合成の結果を表す図である。
【図２９】従来の画像合成の結果を表す図である。
【符号の説明】
101 CPU
102 端末
103，219 記憶装置
104 メモリ
105 画像メモリ
106 合成器
107，263 フレームメモリ
108 モニタ
109 バス
201，202 TVカメラ
203，303 オブジェクト抽出器
204 影抽出器
205 影符号化器
206 オブジェクト符号化器
207，216，234，237 符号化器
208，209，217 送信器
210，211 通信回線
212，213 受信器
214 編集指示装置
215，300 動画像編集装置
230，231，239，250，251，252，270 端子
232，301 マスク生成器
233，255，261 マスクメモリ
235 差分器
236 平均値算出器
238 合成器
253 分離器
254，260 マスク復号器
256 オブジェクト復号器
257 オブジェクトメモリ
258，262 復号器
259 ラッチ
264，265，266，267 変形器
268，302 影合成器
269 画像合成器
Claims (2)
- 画像から主オブジェクトと該主オブジェクトに付随する影とを抽出するオブジェクト抽出手段と、
前記抽出された影の形状を表す形状情報を生成する形状情報生成手段と、
前記画像における前記主オブジェクト及び前記影が含まれない背景画像の前記影の形状情報が表す前記影の形状に対応する領域内の画素値と、前記影の画素値との差分から前記影の濃さを表す強度情報を生成する強度情報生成手段と、
前記主オブジェクトをオブジェクト符号化する第１の符号化手段と、
前記形状情報及び前記強度情報を算術符号化する第２の符号化手段と、
符号化された前記形状情報と前記強度情報とを用い、前記主オブジェクトの合成位置に応じて影を合成する影合成手段と
を備えることを特徴とする画像処理装置。 - 画像から主オブジェクト及び該主オブジェクトに付随する影を抽出するオブジェクト抽出工程と、
前記抽出された影の形状を表す形状情報を生成する形状情報生成工程と、
前記画像における前記主オブジェクト及び前記影が含まれない背景画像の前記影の形状情報が表す前記影の形状に対応する領域内の画素値と、前記影の画素値との差分から前記影の濃さを表す強度情報を生成する強度情報生成工程と、
前記主オブジェクトをオブジェクト符号化する第１の符号化工程と、
前記形状情報及び前記強度情報を算術符号化する第２の符号化工程と、
符号化された前記形状情報と前記強度情報とを用い、前記主オブジェクトの合成位置に応じて影を合成する影合成工程と
を備えることを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16773098A JP3832971B2 (ja) | 1998-06-01 | 1998-06-01 | 画像処理装置及びその方法、及び画像処理システム |
| US09/323,254 US6625316B1 (en) | 1998-06-01 | 1999-06-01 | Image processing apparatus and method, and image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16773098A JP3832971B2 (ja) | 1998-06-01 | 1998-06-01 | 画像処理装置及びその方法、及び画像処理システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH11346329A JPH11346329A (ja) | 1999-12-14 |
| JPH11346329A5 JPH11346329A5 (ja) | 2004-11-18 |
| JP3832971B2 true JP3832971B2 (ja) | 2006-10-11 |
Family
ID=15855097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16773098A Expired - Fee Related JP3832971B2 (ja) | 1998-06-01 | 1998-06-01 | 画像処理装置及びその方法、及び画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3832971B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006033178A1 (ja) * | 2004-09-22 | 2006-03-30 | Polygon Magic, Inc. | 画像処理装置、方法、およびプログラム |
| JP5182590B2 (ja) * | 2009-09-09 | 2013-04-17 | Ｎｋワークス株式会社 | 画像合成装置および画像合成方法 |
| JP5871083B2 (ja) * | 2015-02-24 | 2016-03-01 | 辰巳電子工業株式会社 | 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム |
| KR102398874B1 (ko) * | 2019-10-10 | 2022-05-16 | 주식회사 신세계아이앤씨 | 전경 분리 장치 및 방법 |
| CN114626468B (zh) * | 2022-03-17 | 2024-02-09 | 小米汽车科技有限公司 | 在图像中生成阴影的方法、装置、电子设备及存储介质 |
-
1998
- 1998-06-01 JP JP16773098A patent/JP3832971B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11346329A (ja) | 1999-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6625316B1 (en) | Image processing apparatus and method, and image processing system | |
| US6987535B1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4698831B2 (ja) | 画像変換および符号化技術 | |
| KR101340911B1 (ko) | 다중 뷰들의 효율적인 인코딩 방법 | |
| US8798168B2 (en) | Video telecommunication system for synthesizing a separated object with a new background picture | |
| US20070165048A1 (en) | Image processing device, image processing method, and image processing program | |
| US20120274634A1 (en) | Depth information generating device, depth information generating method, and stereo image converter | |
| CA2559131A1 (en) | Stereoscopic parameter embedding apparatus and stereoscopic image reproducer | |
| JP4523193B2 (ja) | 拡張色域デジタル画像の処理方法及びコンピュータ保存用製品 | |
| US7657056B2 (en) | Apparatus for identifying a photographer of an image | |
| JP2004015288A (ja) | スクリーンセーバ作成システムおよび方法 | |
| KR101881295B1 (ko) | 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 | |
| KR100956768B1 (ko) | 합성 동영상 생성 장치 및 방법 | |
| JP2000057350A (ja) | 画像処理装置と方法及び画像送信装置と方法 | |
| US6606422B1 (en) | Method and apparatus for processing and recovering images | |
| JP3832971B2 (ja) | 画像処理装置及びその方法、及び画像処理システム | |
| CN113315925A (zh) | 数据处理方法、设备、拍摄系统及计算机存储介质 | |
| KR101143408B1 (ko) | 화상 또는 영상 합성 서비스 제공 시스템 | |
| KR100374914B1 (ko) | 출판만화를 이용한 애니메이션 제작방법 | |
| JP2007221606A (ja) | 画像処理用ファイル設定システム | |
| JP3551908B2 (ja) | 背景スプライトと前景オブジェクトの分離方法、及びその装置 | |
| JP2005117399A (ja) | 画像処理装置 | |
| JP2001320730A (ja) | 画像合成装置 | |
| JP4743922B2 (ja) | パラメータ設定システム、撮像装置、それらの制御方法、制御プログラム及びコンピュータ読み取り可能な記憶媒体 | |
| JPH09224259A (ja) | 画像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050610 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060407 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060718 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |