JPH02260079A - 動き情報抽出装置 - Google Patents
動き情報抽出装置Info
- Publication number
- JPH02260079A JPH02260079A JP1082739A JP8273989A JPH02260079A JP H02260079 A JPH02260079 A JP H02260079A JP 1082739 A JP1082739 A JP 1082739A JP 8273989 A JP8273989 A JP 8273989A JP H02260079 A JPH02260079 A JP H02260079A
- Authority
- JP
- Japan
- Prior art keywords
- frame memory
- image data
- data
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—Three-dimensional [3D] animation
- G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、例えばコンピュータグラフィックスによるア
ニメーション番組の製作に使用して好適な動き情報抽出
装置に関する。
ニメーション番組の製作に使用して好適な動き情報抽出
装置に関する。
〔発明の概要］
本発明は、例えばコンピュータグラフィックスによるア
ニメーション番組の製作に使用して好適な動き情報抽出
装置において、２次元表示される画像の所望の部分を選
択する手段と、この選択された部分の画像データを１次
元的にサンプリングする手段と、このサンプリングによ
って得られた画像データから動きを示す情報を抽出する
手段とを備えたことにより、ビデオテープレコーダ等に
収録したカットの中で人が話しをしているときの唇の動
きや人が手を振るときの動きなどの複雑な動きの情報を
容易に数値化して、その動きをそのままアニメーション
番組中のキャラクタの動きとして再現できるようにした
ものである。
ニメーション番組の製作に使用して好適な動き情報抽出
装置において、２次元表示される画像の所望の部分を選
択する手段と、この選択された部分の画像データを１次
元的にサンプリングする手段と、このサンプリングによ
って得られた画像データから動きを示す情報を抽出する
手段とを備えたことにより、ビデオテープレコーダ等に
収録したカットの中で人が話しをしているときの唇の動
きや人が手を振るときの動きなどの複雑な動きの情報を
容易に数値化して、その動きをそのままアニメーション
番組中のキャラクタの動きとして再現できるようにした
ものである。
画像処理技術の進展に伴い、所謂コンピュータグラフィ
ックス（ＣＣ）によりアニメーション番組を製作するこ
とができるようになって来た。この場合、アニメーショ
ン番組中のキャラクタに実際の人のような複雑で自然な
動きをいかに行わせるかが問題である。
ックス（ＣＣ）によりアニメーション番組を製作するこ
とができるようになって来た。この場合、アニメーショ
ン番組中のキャラクタに実際の人のような複雑で自然な
動きをいかに行わせるかが問題である。
このような問題に関して、本出願人は特開昭６２９９８
７４号公報において、複数のプリミティブ表情曲面デー
タを格納し、所定の内挿計数で２つの表情曲面データを
内挿することにより、それら２つの表情曲面データに対
応する画像の中間の複雑な画像を形成できるようにした
処理装置を提案している。更に、その内挿計数の考えを
発展させると、例えばアニメーション番組中のキャラク
タの唇の開口率（唇の開き具合）を時間の関数として入
力することにより、そのキャラクタに実際に人が話しを
しているときと同様な複雑な唇の動きをさせることがで
きる。
７４号公報において、複数のプリミティブ表情曲面デー
タを格納し、所定の内挿計数で２つの表情曲面データを
内挿することにより、それら２つの表情曲面データに対
応する画像の中間の複雑な画像を形成できるようにした
処理装置を提案している。更に、その内挿計数の考えを
発展させると、例えばアニメーション番組中のキャラク
タの唇の開口率（唇の開き具合）を時間の関数として入
力することにより、そのキャラクタに実際に人が話しを
しているときと同様な複雑な唇の動きをさせることがで
きる。
本発明による動き情報抽出装置は例えば第１図に示す如
く、２次元表示される画像（２７）の所望の部分を（例
えば切片（２８）によって）選択する手段（１６）と、
この選択された部分の画像データを１次元的にサンプリ
ングする手段（１８）と、このサンプリングによって得
られた画像データから動きを示す情報（例えば唇の開口
率）を抽出する手段（２０）とを備えたものである。
く、２次元表示される画像（２７）の所望の部分を（例
えば切片（２８）によって）選択する手段（１６）と、
この選択された部分の画像データを１次元的にサンプリ
ングする手段（１８）と、このサンプリングによって得
られた画像データから動きを示す情報（例えば唇の開口
率）を抽出する手段（２０）とを備えたものである。
〔発明が解決しようとする課題〕
このように、コンピュータグラフィックス技術の進歩に
より、キャラクタの唇の開口率等の動きの情報を入力す
るだけで、そのキャラクタに複雑な動きを容易にさせる
ことができるようになっているが、従来は実際の人の複
雑な動きの情報を数値化する効率的な装置がない不都合
があった。
より、キャラクタの唇の開口率等の動きの情報を入力す
るだけで、そのキャラクタに複雑な動きを容易にさせる
ことができるようになっているが、従来は実際の人の複
雑な動きの情報を数値化する効率的な装置がない不都合
があった。
本発明は斯かる点に鑑み、実際の人の手の振りや唇の動
き等の複雑な動きの情報を容易に数値化できるようにす
ることを目的とする。
き等の複雑な動きの情報を容易に数値化できるようにす
ることを目的とする。
斯かる本発明によれば、２次元表示される画像（２７）
の所望の部分の画像データを１次元的に例えば時間の関
数としてサンプリングすることができる。従って、その
サンプリングした画像データの中から例えば数値が急激
に変化する部分（エツジ部分）の位置を時間の関数とし
て抜き出すことにより、動きの情報が容易に数値化され
る。
の所望の部分の画像データを１次元的に例えば時間の関
数としてサンプリングすることができる。従って、その
サンプリングした画像データの中から例えば数値が急激
に変化する部分（エツジ部分）の位置を時間の関数とし
て抜き出すことにより、動きの情報が容易に数値化され
る。
以下、本発明による動き情報抽出装置の一実施例につき
図面を参照して説明しよう。
図面を参照して説明しよう。
第１図は本例の動き情報抽出装置を示し、この第１図に
おいて、（１）はホストコンピュータであり、このホス
トコンピュータ（１）は装置全体の制御手段（２）及び
動き情報を含んだ時系列データファイルの生成手段（３
）として機能する。（４）はデータバス、アドレスバス
、制御バス等より成るシステムバスを示し、ホストコン
ピュータ（１）はそのシステムバス（４）を介して装置
全体を制御する。
おいて、（１）はホストコンピュータであり、このホス
トコンピュータ（１）は装置全体の制御手段（２）及び
動き情報を含んだ時系列データファイルの生成手段（３
）として機能する。（４）はデータバス、アドレスバス
、制御バス等より成るシステムバスを示し、ホストコン
ピュータ（１）はそのシステムバス（４）を介して装置
全体を制御する。
（５）はビデオテープレコーダ（ＶＴＲ）を示し、この
Ｖ Ｔ Ｒ（５）にはテレビドラマ、スポーツ番組など
の実際の人の動きを含む様々なカットを収録したテープ
カセットを装填する。このＶ Ｔ Ｒ（５）より再生し
たビデオ信号をＹ、Ｒ−Ｙ、Ｂ−Ｙ分離（所謂４：’２
：２規格）又はＲ，Ｇ、Ｂ分離等した後に、アナログ／
デジタル（Ａ／Ｄ）変換器（６）を介してデジタルの画
像データに変換し、この画像データを入力フレームメモ
リ（７）の一方の入出力ポートに供給する。入力フレー
ムメモリ（７）とじては２枚のフレームメモリより成る
２バツフアメモリ又は２つのポートから夫々独立に読み
書き自在の完全デュアルポートメモリ等が使用できる。
Ｖ Ｔ Ｒ（５）にはテレビドラマ、スポーツ番組など
の実際の人の動きを含む様々なカットを収録したテープ
カセットを装填する。このＶ Ｔ Ｒ（５）より再生し
たビデオ信号をＹ、Ｒ−Ｙ、Ｂ−Ｙ分離（所謂４：’２
：２規格）又はＲ，Ｇ、Ｂ分離等した後に、アナログ／
デジタル（Ａ／Ｄ）変換器（６）を介してデジタルの画
像データに変換し、この画像データを入力フレームメモ
リ（７）の一方の入出力ポートに供給する。入力フレー
ムメモリ（７）とじては２枚のフレームメモリより成る
２バツフアメモリ又は２つのポートから夫々独立に読み
書き自在の完全デュアルポートメモリ等が使用できる。
その入力フレームメモリ０）の他方の入出力ポートをシ
ステムバス（４）及び合成回路（９）の一方の入力ボー
トに接続する。
ステムバス（４）及び合成回路（９）の一方の入力ボー
トに接続する。
（８）は重畳ビデオメモリを示し、この重畳ビデオメモ
リ（８）は入力フレームメモリ（７）と同じ大きさのア
ドレス領域を有し、入力フレームメモリ（７）の１画素
の例えば１６ビツトの画像データに対応して夫々１ビツ
トの選択データを記憶する如くなす。この１ビツトの選
択データが夫々ハイレベル「１」の部分が後述の切片（
２８）に対応する。その重畳ビデオメモリ（８）の一方
及び他方の入出力ポートを夫々システムバス（４）及び
合成回路（９）の他方の入力ボートに接続する。合成回
路（９）は入力フレームメモリ（７）より読出された画
像データ及び重畳ビデオメモリ（８）より読出された選
択データを合成してデジタル／アナログ（Ｄ／Ａ）変換
器（１０）に供給し、このＤ／Ａ変換器（１０）はアナ
ログの合成映像信号をモニタ（１１）に供給する。モニ
タ（１１）の画面（ｌｌａ）には、入力フレームメモリ
（７）に対応する画像（２７）と重畳ビデオメモリ（８
）が指示する切片（２８）とを合成した画像が表示され
る。この場合、画像（２７）はフレーム周波数３０ Ｈ
ｚで変化するが、切片（２８）の位置は後述のようにオ
ペレータからの指示がない限り一定である。
リ（８）は入力フレームメモリ（７）と同じ大きさのア
ドレス領域を有し、入力フレームメモリ（７）の１画素
の例えば１６ビツトの画像データに対応して夫々１ビツ
トの選択データを記憶する如くなす。この１ビツトの選
択データが夫々ハイレベル「１」の部分が後述の切片（
２８）に対応する。その重畳ビデオメモリ（８）の一方
及び他方の入出力ポートを夫々システムバス（４）及び
合成回路（９）の他方の入力ボートに接続する。合成回
路（９）は入力フレームメモリ（７）より読出された画
像データ及び重畳ビデオメモリ（８）より読出された選
択データを合成してデジタル／アナログ（Ｄ／Ａ）変換
器（１０）に供給し、このＤ／Ａ変換器（１０）はアナ
ログの合成映像信号をモニタ（１１）に供給する。モニ
タ（１１）の画面（ｌｌａ）には、入力フレームメモリ
（７）に対応する画像（２７）と重畳ビデオメモリ（８
）が指示する切片（２８）とを合成した画像が表示され
る。この場合、画像（２７）はフレーム周波数３０ Ｈ
ｚで変化するが、切片（２８）の位置は後述のようにオ
ペレータからの指示がない限り一定である。
（１２）は入力フレームメモリ（７）より抽出した画像
データ等を書込むための出力フレームメモリを示し、こ
の出力フレームメモリ（１２）の一方及び他方の入出力
ボートを夫々システムバス（４）及びＤ／Ａ変換器（１
３）の入力ボートに接続し、Ｄ／Ａ変換器（１３）のア
ナログ出力をモニタ（１４）に供給する。
データ等を書込むための出力フレームメモリを示し、こ
の出力フレームメモリ（１２）の一方及び他方の入出力
ボートを夫々システムバス（４）及びＤ／Ａ変換器（１
３）の入力ボートに接続し、Ｄ／Ａ変換器（１３）のア
ナログ出力をモニタ（１４）に供給する。
（１５）はイメージプロセッサを示し、このイメージプ
ロセッサ（１５）はホストコンピュータ（１）の指示に
応じて入力フレームメモリ（７）の選択された領域から
画像データをサンプリングし、このサンプリングした画
像データを圧縮又は伸張して出力フレームメモリ（１２
）の所定の領域に書込む。その入力フレームメモリ（７
）の画像データをサンプリングする領域を選択するため
に、イメージプロセッサ（１５）は重畳ビデオメモリ（
８）の任意の直線又は曲線に対応する領域にハイレベル
「１」を書込む如くなし、このハイレベル「１」の部分
が切片（２８）を構成する。そして、この切片（２８）
のアドレス領域に対応する入力フレームメモリ（７）中
のアドレス領域がイメージプロセッサ（１５）によって
サンプリングされる領域となる。また、その重畳ビデオ
メモリ（８）中の切片（２８）の位置はオペレータが外
部から入力切片移動手段（例えばマウスやトラックボー
ル） （１６）を操作することにより自由に変えること
ができる。
ロセッサ（１５）はホストコンピュータ（１）の指示に
応じて入力フレームメモリ（７）の選択された領域から
画像データをサンプリングし、このサンプリングした画
像データを圧縮又は伸張して出力フレームメモリ（１２
）の所定の領域に書込む。その入力フレームメモリ（７
）の画像データをサンプリングする領域を選択するため
に、イメージプロセッサ（１５）は重畳ビデオメモリ（
８）の任意の直線又は曲線に対応する領域にハイレベル
「１」を書込む如くなし、このハイレベル「１」の部分
が切片（２８）を構成する。そして、この切片（２８）
のアドレス領域に対応する入力フレームメモリ（７）中
のアドレス領域がイメージプロセッサ（１５）によって
サンプリングされる領域となる。また、その重畳ビデオ
メモリ（８）中の切片（２８）の位置はオペレータが外
部から入力切片移動手段（例えばマウスやトラックボー
ル） （１６）を操作することにより自由に変えること
ができる。
従って、これらのイメージプロセッサ（１５）の機能を
ハードウェア的に表現すると、切片（２８）の位置を決
定する入力切片決定手段（１７）、その切片（２日）に
対応するアドレス領域の入力フレームメモリ（７）より
画像データを読出す切片データ読取り手段（１８）及び
その読出した画像データを出力フレームメモリ（１２）
に書込む切片データ書込み手段（１９）となる。
ハードウェア的に表現すると、切片（２８）の位置を決
定する入力切片決定手段（１７）、その切片（２日）に
対応するアドレス領域の入力フレームメモリ（７）より
画像データを読出す切片データ読取り手段（１８）及び
その読出した画像データを出力フレームメモリ（１２）
に書込む切片データ書込み手段（１９）となる。
また、その切片（２８）は−次元的であり、その切片（
２８）により切取った画像データを時間軸方向へ展開し
て成るデータを展開データと称する。
２８）により切取った画像データを時間軸方向へ展開し
て成るデータを展開データと称する。
また、そのイメージプロセッサ（１５）はその出力フレ
ームメモリ（１２）に書込んだその展開データの画像処
理手段（２０）を有する。この画像処理手段（２０）は
マイクロコンピュータのソフトウェアでも実現すること
ができ、その機能の例を手段として表現すると、展開デ
ータを２値化する２値化手段（２１）。
ームメモリ（１２）に書込んだその展開データの画像処
理手段（２０）を有する。この画像処理手段（２０）は
マイクロコンピュータのソフトウェアでも実現すること
ができ、その機能の例を手段として表現すると、展開デ
ータを２値化する２値化手段（２１）。
２値化したデータのエツジを抽出するエツジ抽出手段（
２２）、例えば赤色（唇の輪郭等）のエツジ部分だけに
ハイレベル「１」のデータを割り付けるラヘリング手段
（２３） 、そのラベリングされた２点間の長さを時間
の関数として抽出して再び出力フレームメモリ（１２）
に書込む長さ抽出手段（２４）等より成る。また、第１
図において、（２５）は入出力回路、（２６）は磁気デ
ィスク装置などの記録装置を示し、その出力フレームメ
モリ（１２）に書込まれている長さの情報等をシステム
バス（４）及び入出力装置（２５）を介してその記録装
置（２６）に記録する。
２２）、例えば赤色（唇の輪郭等）のエツジ部分だけに
ハイレベル「１」のデータを割り付けるラヘリング手段
（２３） 、そのラベリングされた２点間の長さを時間
の関数として抽出して再び出力フレームメモリ（１２）
に書込む長さ抽出手段（２４）等より成る。また、第１
図において、（２５）は入出力回路、（２６）は磁気デ
ィスク装置などの記録装置を示し、その出力フレームメ
モリ（１２）に書込まれている長さの情報等をシステム
バス（４）及び入出力装置（２５）を介してその記録装
置（２６）に記録する。
入力フレームメモリ（７）に取込んだ１フレ一ム分の画
像データより夫々切片（２８）に対応する部分の画像デ
ータを読出して時間もの関数として出力フレームメモリ
（１２）に書込む場合の動作につき第３図のステップ毎
に説明する。この場合、第２図Ａに示す如く入力フレー
ムメモリ（７）の各画素の座標は（ＶＸＩ（水平方向）
、ＶＹＩ （垂直方向））で表示し、第２図Ｂに示す如
く出力フレームメモリ（１２）の各画素の座標は（ＶＸ
２（水平方向）。
像データより夫々切片（２８）に対応する部分の画像デ
ータを読出して時間もの関数として出力フレームメモリ
（１２）に書込む場合の動作につき第３図のステップ毎
に説明する。この場合、第２図Ａに示す如く入力フレー
ムメモリ（７）の各画素の座標は（ＶＸＩ（水平方向）
、ＶＹＩ （垂直方向））で表示し、第２図Ｂに示す如
く出力フレームメモリ（１２）の各画素の座標は（ＶＸ
２（水平方向）。
ＶＹ２ （垂直方向））で表示し、切片（２８）の始点
Ｐ＋及び終点Ｐ２の入力フレームメモリ（７）における
座標は夫々（Ｘｉ、Ｙｌ）及び（Ｘ２．Ｙ２）とする。
Ｐ＋及び終点Ｐ２の入力フレームメモリ（７）における
座標は夫々（Ｘｉ、Ｙｌ）及び（Ｘ２．Ｙ２）とする。
また、出力フレームメモリ（１２）においては、垂直方
向の長さＬドツトの領域に入力フレームメモリ（７）よ
り読出して圧縮又は伸張した画像データを水平方向（時
間軸方向）に展開して書込む如くなし、時間むの１単位
はフレーム周期である１／３０秒に相当するものとする
。そして、水平方向に展開できる長さをｔ ｒａａｘと
する。
向の長さＬドツトの領域に入力フレームメモリ（７）よ
り読出して圧縮又は伸張した画像データを水平方向（時
間軸方向）に展開して書込む如くなし、時間むの１単位
はフレーム周期である１／３０秒に相当するものとする
。そして、水平方向に展開できる長さをｔ ｒａａｘと
する。
ステップ（１０１） （初期設定）
本例では切片（２８）の長さＰ ｔ Ｐ ｚに相当する
画像データを出力フレームメモリ（１２）上の長さしの
画像データに圧縮又は伸張するため、その水平方向及び
垂直方向の夫々の圧縮率を次式で表わされるＡＸ及びΔ
Ｙで表わす。
画像データを出力フレームメモリ（１２）上の長さしの
画像データに圧縮又は伸張するため、その水平方向及び
垂直方向の夫々の圧縮率を次式で表わされるＡＸ及びΔ
Ｙで表わす。
ΔＸ＝ （Ｘ２−Ｘｉ）／Ｌ ・・・・（１）Δ
Ｙ＝ （Ｙ２−Ｙｌ）／Ｌ ・・・・（２）入力
フレームメモリ（７）上で水平方向にＡＸド・ント及び
垂直方向にΔＹドツトの長さを、出力フレームメモリ（
１２）上で垂直方向に１ドツトの長さに圧伸することを
意味し、ＡＸ及びΔＹが整数でないときには補間を行う
。また、座標（ｖｘｔ、ｖＹｌ）の初期値を切片（２８
）の始点Ｐ＋の座標（Ｘｌ、Ｙｌ）に設定し、時間ｔを
Ｏに設定した後に、入力フレームメモリ（７）に最初の
フレームの画像データを読込む。
Ｙ＝ （Ｙ２−Ｙｌ）／Ｌ ・・・・（２）入力
フレームメモリ（７）上で水平方向にＡＸド・ント及び
垂直方向にΔＹドツトの長さを、出力フレームメモリ（
１２）上で垂直方向に１ドツトの長さに圧伸することを
意味し、ＡＸ及びΔＹが整数でないときには補間を行う
。また、座標（ｖｘｔ、ｖＹｌ）の初期値を切片（２８
）の始点Ｐ＋の座標（Ｘｌ、Ｙｌ）に設定し、時間ｔを
Ｏに設定した後に、入力フレームメモリ（７）に最初の
フレームの画像データを読込む。
ステップ（１０２）
出カフＬ、−４／モリ（１２） （７）座標（ＶＸ２．
ＶＹ２）の初期値を（Ｘｓ＋ｔ、Ｙｓ）に設定し、パラ
メータａをＯに設定する。座標（Ｘｓ、 Ｙｓ）が画像
データを書込む領域のスタート点ＳＰの座標となる（第
２図Ｂ）。
ＶＹ２）の初期値を（Ｘｓ＋ｔ、Ｙｓ）に設定し、パラ
メータａをＯに設定する。座標（Ｘｓ、 Ｙｓ）が画像
データを書込む領域のスタート点ＳＰの座標となる（第
２図Ｂ）。
ステップ（１０３） 、 （１０４）
入力フレームメモリ（７）の座標（ＶＸＩ、ＶＹＩ）の
画素の値を読出して、出力フレームメモリ（１２）の座
標（ＶＸ２．ＶＹ２）の画素の値として書込む。また、
パラメータａの値を１だけ増加した後゛に、次式によッ
テ座標（ｉｉ！ＶＹ２．ＶＸＩ、ＶＹＩの値を更新する
。
画素の値を読出して、出力フレームメモリ（１２）の座
標（ＶＸ２．ＶＹ２）の画素の値として書込む。また、
パラメータａの値を１だけ増加した後゛に、次式によッ
テ座標（ｉｉ！ＶＹ２．ＶＸＩ、ＶＹＩの値を更新する
。
ＶＹ２＝Ｙｓ＋ａ ”（３）ＶＸ１＝ＶＸ
１−１−ＡＸ ・−・−（４）ＶＹ １ ＝ＶＹ
１ ＋ΔＹ −−−−＜５）ステップ（１０５
） パラメータａの値が、Ｌ未満であればステップ（１０３
）に戻り、入力フレームメモリ（７）の次の画素の値を
読出して出力フレームメモリ（１２）に書込む。
１−１−ＡＸ ・−・−（４）ＶＹ １ ＝ＶＹ
１ ＋ΔＹ −−−−＜５）ステップ（１０５
） パラメータａの値が、Ｌ未満であればステップ（１０３
）に戻り、入力フレームメモリ（７）の次の画素の値を
読出して出力フレームメモリ（１２）に書込む。
パラメータａの値がＬに達すれば切片（２８）全部の画
像データの抽出が完了したことになるのでステップ（１
０６）に転する。
像データの抽出が完了したことになるのでステップ（１
０６）に転する。
ステップ（１０６） 、 （１０７）
時間ｔの値を１だけ増して、次のフレームの画像データ
を入力フレームメモリ（７）に読込む。
を入力フレームメモリ（７）に読込む。
ステップ（１０Ｂ）
時間ｔが最大値ｔ ｍａｘ以下であればステップ（１０
２）以下に戻り、切片（２８）によって抽出した画像デ
ータを出力フレームメモリ（１２）の時間軸を１つだけ
右にずらした領域に書込む。時間ｔが最大値ｔ ｍａｘ
に達すれば所定の時間の画像データのサンプリングが終
了したことになるので、ステップ（１０９）に転じて次
の段階の処理を行う。
２）以下に戻り、切片（２８）によって抽出した画像デ
ータを出力フレームメモリ（１２）の時間軸を１つだけ
右にずらした領域に書込む。時間ｔが最大値ｔ ｍａｘ
に達すれば所定の時間の画像データのサンプリングが終
了したことになるので、ステップ（１０９）に転じて次
の段階の処理を行う。
そのステップ（１０９）における次の段階の処理の例に
つき第４図を参照して説明するに、入力フレームメモリ
（７）に取込まれた画像データに対応する画面を第４図
Ａの入力画面（ｌｌａ）で表わし、その入力画面（ｌｌ
ａ）から切片（２８）でサンプリングした展開データ（
３１）を第４図Ｂの出力画面（１４ａ）に表わす。
つき第４図を参照して説明するに、入力フレームメモリ
（７）に取込まれた画像データに対応する画面を第４図
Ａの入力画面（ｌｌａ）で表わし、その入力画面（ｌｌ
ａ）から切片（２８）でサンプリングした展開データ（
３１）を第４図Ｂの出力画面（１４ａ）に表わす。
また、本例では入力画面（ｌｌａ）には実際の人（２７
）が所定の言葉を話しているカットが映出されており、
切片（２８）はその人（２７）の上唇（２９）及び下唇
（３０）に夫々交叉する如く位置決めなされているとす
る。
）が所定の言葉を話しているカットが映出されており、
切片（２８）はその人（２７）の上唇（２９）及び下唇
（３０）に夫々交叉する如く位置決めなされているとす
る。
この場合、第４図Ｂの展開データ（３１）は上唇（２９
）及び下唇（３０）の間隔を時間軸を横軸としてプロッ
トしたようなものになる。しかしながら、このままでは
アニメーションの制作等への応用は困難であるため、そ
の第４図Ｂの展開データ（３１）を２値化した後に、そ
のデータの中で赤い部分部ら上唇（２９）と下唇（３０
）とに相当する部分をハイレベル「１」にラベリングす
る。更にその上唇（２９）の下側のエツジ（３２）とそ
の下唇（３０）の上側のエツジ（３３）とを抽出して第
４図Ｃに示す如くプロットする。
）及び下唇（３０）の間隔を時間軸を横軸としてプロッ
トしたようなものになる。しかしながら、このままでは
アニメーションの制作等への応用は困難であるため、そ
の第４図Ｂの展開データ（３１）を２値化した後に、そ
のデータの中で赤い部分部ら上唇（２９）と下唇（３０
）とに相当する部分をハイレベル「１」にラベリングす
る。更にその上唇（２９）の下側のエツジ（３２）とそ
の下唇（３０）の上側のエツジ（３３）とを抽出して第
４図Ｃに示す如くプロットする。
そして、そのエツジ（３２）とエツジ（３３）との間隔
を時間軸に対してプロットすることにより、第４図りに
示す如く時系列データ（３４）を得る。この時系列デー
タ（３４）は実際の人が所定の言葉を話す場合の唇の開
口率に相当するものである。従って、その第４図りの時
系列データ（３４）を記録装置に記録しておいて、アニ
メーション番組の制作時にその番組のキャラクタの唇の
開口率をその時系列データ（３４）に従って変化させる
ことにより、そのキャラクタに実際の人と同じような複
雑な動きをさせることができる。
を時間軸に対してプロットすることにより、第４図りに
示す如く時系列データ（３４）を得る。この時系列デー
タ（３４）は実際の人が所定の言葉を話す場合の唇の開
口率に相当するものである。従って、その第４図りの時
系列データ（３４）を記録装置に記録しておいて、アニ
メーション番組の制作時にその番組のキャラクタの唇の
開口率をその時系列データ（３４）に従って変化させる
ことにより、そのキャラクタに実際の人と同じような複
雑な動きをさせることができる。
次に、第５図Ａに示す如く、入力画面（ｌｌａ）に実際
の人（２７Ａ）が手を振っているカットが映出されてい
る場合にその手の動きを数値化するには、切片（２８Ａ
）の位置をその人（２７Ａ）の腕に交叉させる如くなす
。この場合、その切片（２８Ａ）は円弧状とする。この
とき、その切片（２８Ａ）によってサンプリングした画
像データを時間軸を横軸としてプロットして成る展開デ
ータは第５図Ｂの出力画面（１４ａ）に示す如くなり、
更に２値化、ラベリング。
の人（２７Ａ）が手を振っているカットが映出されてい
る場合にその手の動きを数値化するには、切片（２８Ａ
）の位置をその人（２７Ａ）の腕に交叉させる如くなす
。この場合、その切片（２８Ａ）は円弧状とする。この
とき、その切片（２８Ａ）によってサンプリングした画
像データを時間軸を横軸としてプロットして成る展開デ
ータは第５図Ｂの出力画面（１４ａ）に示す如くなり、
更に２値化、ラベリング。
エツジ抽出処理を施して成る展開データは第５図Ｃに示
す如くなる。そして、その第５図Ｃに示す２つのエツジ
の中点の位置を時間軸に対してプロットしたものが第５
図りに示す時系列データ（３４Ａ）となり、この時系列
データ（３４Ａ）は実際の人が手を振るときの動きを数
値化したものに相当する。
す如くなる。そして、その第５図Ｃに示す２つのエツジ
の中点の位置を時間軸に対してプロットしたものが第５
図りに示す時系列データ（３４Ａ）となり、この時系列
データ（３４Ａ）は実際の人が手を振るときの動きを数
値化したものに相当する。
上述のように本例の動き情報抽出装置によれば、入力フ
レームメモリ（７）に順次書込んだ画像データの中から
重畳ビデオメモリ（８）の中に書込んだ一次元的な切片
（２８）に対応する部分を夫々サンプリングして、この
サンプリングした画像データを時間軸に沿って出力フレ
ームメモリ（１２）においてプロットするようにしてい
るので、その入力フレームメモリ（７）に順次書込まれ
る所定のカットの中の人の複雑な動きを時間の関数とし
て容易に数値化できる利益がある。
レームメモリ（７）に順次書込んだ画像データの中から
重畳ビデオメモリ（８）の中に書込んだ一次元的な切片
（２８）に対応する部分を夫々サンプリングして、この
サンプリングした画像データを時間軸に沿って出力フレ
ームメモリ（１２）においてプロットするようにしてい
るので、その入力フレームメモリ（７）に順次書込まれ
る所定のカットの中の人の複雑な動きを時間の関数とし
て容易に数値化できる利益がある。
尚、上述実施例においては第２図に示すように切片（２
８）の位置は固定されているが、この切片（２８）の位
置は第６図に示す如く入力画面（ｌｌａ）中の人（２７
）の動きに合わせて時間的に移動させてもよい。
８）の位置は固定されているが、この切片（２８）の位
置は第６図に示す如く入力画面（ｌｌａ）中の人（２７
）の動きに合わせて時間的に移動させてもよい。
第６図例においては、人（２７）が時間の変化によって
位置（２７Ｂ）に移動したときに、切片（２８）も追随
して位置（２８Ｂ）に移動させている。この場合、切片
（２８）は平行移動させるだけでなく、回転させてもよ
い。また、このような切片（２８）の変位はイメージプ
ロセッサ（１５）に接続されている入力切片移動手段（
１６）の操作によって容易に行うことができる。
位置（２７Ｂ）に移動したときに、切片（２８）も追随
して位置（２８Ｂ）に移動させている。この場合、切片
（２８）は平行移動させるだけでなく、回転させてもよ
い。また、このような切片（２８）の変位はイメージプ
ロセッサ（１５）に接続されている入力切片移動手段（
１６）の操作によって容易に行うことができる。
このように、本例によれば所定のカットの中で人や物な
どの位置が太き（変化している場合であっても、それら
の人や物などの所定部分の複雑な動きの情報を時間の関
数として容易に且つ正確に数値化できる利益がある。ま
た、本例の動き情報抽出装置によって得た多種多様な複
雑な動きの情報を蓄積することにより、コンピュータグ
ラフィックスによるアニメーション番組（又は映画等）
制作用の動作パラメータのデータベース芝形成すること
もできる。
どの位置が太き（変化している場合であっても、それら
の人や物などの所定部分の複雑な動きの情報を時間の関
数として容易に且つ正確に数値化できる利益がある。ま
た、本例の動き情報抽出装置によって得た多種多様な複
雑な動きの情報を蓄積することにより、コンピュータグ
ラフィックスによるアニメーション番組（又は映画等）
制作用の動作パラメータのデータベース芝形成すること
もできる。
このように、本発明は上述実施例に限定されず、本発明
の要旨を逸脱しない範囲で種々の構成を採り得ることは
勿論である。
の要旨を逸脱しない範囲で種々の構成を採り得ることは
勿論である。
本発明によれば、ビデオテープレコーダ等に収録したテ
レビジョン番組や映画における所望のカットの中で、人
が話しをしているときの唇の動きや手を振るときの動き
などの？１雑な動きの情報を容易に数値化できる利益が
ある。そして、この動きの情報をパラメータとして使用
することにより、コンピュータグラフィックスによるア
ニメーション作品中のキャラクタに実際の人と同じよう
な複雑な動きをさせることができる。
レビジョン番組や映画における所望のカットの中で、人
が話しをしているときの唇の動きや手を振るときの動き
などの？１雑な動きの情報を容易に数値化できる利益が
ある。そして、この動きの情報をパラメータとして使用
することにより、コンピュータグラフィックスによるア
ニメーション作品中のキャラクタに実際の人と同じよう
な複雑な動きをさせることができる。
第１図は本発明動き情報抽出装置の一実施例を示す構成
図、第２図は実施例の入力フレームメモリ（７）及び出
力フレームメモリ（１２）の夫々のデータ構造を示す線
図、第３図は実施例の動作を示すフローチャート図、第
４図〜第６図は実施例による処理結果の例を夫々示す線
図である。 （７）は入力フレームメモリ、（８）は重畳ビデオメモ
リ、（１５）はイメージプロセッサ、（１６）は入力切
片移動手段、（１８）はイメージプロセッサ（１５）の
機能の一つに対応する切片データ読取り手段、（２ｏ）
は展開データの画像処理手段、（２７）は人の画像、（
２８）は切片の画像である。
図、第２図は実施例の入力フレームメモリ（７）及び出
力フレームメモリ（１２）の夫々のデータ構造を示す線
図、第３図は実施例の動作を示すフローチャート図、第
４図〜第６図は実施例による処理結果の例を夫々示す線
図である。 （７）は入力フレームメモリ、（８）は重畳ビデオメモ
リ、（１５）はイメージプロセッサ、（１６）は入力切
片移動手段、（１８）はイメージプロセッサ（１５）の
機能の一つに対応する切片データ読取り手段、（２ｏ）
は展開データの画像処理手段、（２７）は人の画像、（
２８）は切片の画像である。
Claims (1)
- 【特許請求の範囲】 ２次元表示される画像の所望の部分を選択する手段と、
該選択された部分の画像データを１次元的にサンプリン
グする手段と、該サンプリングによって得られた画像デ
ータから動きを示す情報を抽出する手段と を備えたことを特徴とする動き情報抽出装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8273989A JP2995745B2 (ja) | 1989-03-31 | 1989-03-31 | 動き情報抽出装置 |
| US07/500,393 US5083201A (en) | 1989-03-31 | 1990-03-28 | Video image motion data generator for computer graphics |
| KR1019900004147A KR0150452B1 (ko) | 1989-03-31 | 1990-03-28 | 움직임 정보 발생 장치 |
| DE69021759T DE69021759T2 (de) | 1989-03-31 | 1990-03-30 | Vorrichtung zur Erzeugung einer Bewegungsinformation. |
| EP19900400886 EP0390701B1 (en) | 1989-03-31 | 1990-03-30 | Motion information generating apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8273989A JP2995745B2 (ja) | 1989-03-31 | 1989-03-31 | 動き情報抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02260079A true JPH02260079A (ja) | 1990-10-22 |
| JP2995745B2 JP2995745B2 (ja) | 1999-12-27 |
Family
ID=13782786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8273989A Expired - Lifetime JP2995745B2 (ja) | 1989-03-31 | 1989-03-31 | 動き情報抽出装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5083201A (ja) |
| EP (1) | EP0390701B1 (ja) |
| JP (1) | JP2995745B2 (ja) |
| KR (1) | KR0150452B1 (ja) |
| DE (1) | DE69021759T2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5483630A (en) * | 1990-07-12 | 1996-01-09 | Hitachi, Ltd. | Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller |
| US6005589A (en) * | 1990-07-12 | 1999-12-21 | Hitachi, Ltd. | Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller |
| JP2921936B2 (ja) * | 1990-07-13 | 1999-07-19 | 株式会社東芝 | 画像監視装置 |
| US5459830A (en) * | 1991-07-22 | 1995-10-17 | Sony Corporation | Animation data index creation drawn from image data sampling composites |
| JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
| US5604821A (en) * | 1992-02-28 | 1997-02-18 | The University Of South Florida | Structure and method for dynamic scene analysis |
| US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
| JP3133517B2 (ja) * | 1992-10-15 | 2001-02-13 | シャープ株式会社 | 画像領域検出装置、該画像検出装置を用いた画像符号化装置 |
| US5387943A (en) * | 1992-12-21 | 1995-02-07 | Tektronix, Inc. | Semiautomatic lip sync recovery system |
| US5938447A (en) * | 1993-09-24 | 1999-08-17 | Readspeak, Inc. | Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work |
| US5741136A (en) * | 1993-09-24 | 1998-04-21 | Readspeak, Inc. | Audio-visual work with a series of visual word symbols coordinated with oral word utterances |
| WO1996002898A1 (en) * | 1994-07-18 | 1996-02-01 | 477250 B.C. Ltd. | Process of producing personalized video cartoons |
| US6172706B1 (en) * | 1995-04-19 | 2001-01-09 | Canon Kabushiki Kaisha | Video camera with automatic zoom adjustment based on distance between user's eyes |
| US6836295B1 (en) | 1995-12-07 | 2004-12-28 | J. Carl Cooper | Audio to video timing measurement for MPEG type television systems |
| JP3735187B2 (ja) * | 1997-08-27 | 2006-01-18 | 富士通株式会社 | 時系列データの符号化と編集を行うデータ変換装置および方法 |
| JP3419290B2 (ja) | 1997-12-27 | 2003-06-23 | ヤマハ株式会社 | 楽音・画像発生装置および記憶媒体 |
| JP3601350B2 (ja) | 1998-09-29 | 2004-12-15 | ヤマハ株式会社 | 演奏画像情報作成装置および再生装置 |
| JP4126126B2 (ja) * | 1998-12-11 | 2008-07-30 | 株式会社日立製作所 | 送信システム、送信方法 |
| JP4189654B2 (ja) * | 2003-04-18 | 2008-12-03 | セイコーエプソン株式会社 | 画像処理装置 |
| USD705804S1 (en) * | 2012-06-20 | 2014-05-27 | Microsoft Corporation | Display screen with animated graphical user interface |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3603729A (en) * | 1969-03-13 | 1971-09-07 | Squires Sanders Inc | Motion detector system which samples only a preselected area |
| US3798366A (en) * | 1972-03-06 | 1974-03-19 | R Winkler | Infrared imaging system |
| DE3279833D1 (en) * | 1981-11-10 | 1989-08-24 | Cbs Inc | System for stabilizing television picture |
| US4791581A (en) * | 1985-07-27 | 1988-12-13 | Sony Corporation | Method and apparatus of forming curved surfaces |
| JPH0766446B2 (ja) * | 1985-11-27 | 1995-07-19 | 株式会社日立製作所 | 移動物体像を抽出する方法 |
| US4698682A (en) * | 1986-03-05 | 1987-10-06 | Rca Corporation | Video apparatus and method for producing the illusion of motion from a sequence of still images |
| US4845557A (en) * | 1988-05-02 | 1989-07-04 | Dubner Computer Systems, Inc. | Field motion suppression in interlaced video displays |
| US4894716A (en) * | 1989-04-20 | 1990-01-16 | Burle Technologies, Inc. | T.V. motion detector with false alarm immunity |
| EP2704768B1 (en) | 2011-05-06 | 2018-10-10 | Sanofi-Aventis Deutschland GmbH | Reuse protection for disposable parts |
-
1989
- 1989-03-31 JP JP8273989A patent/JP2995745B2/ja not_active Expired - Lifetime
-
1990
- 1990-03-28 KR KR1019900004147A patent/KR0150452B1/ko not_active Expired - Fee Related
- 1990-03-28 US US07/500,393 patent/US5083201A/en not_active Expired - Lifetime
- 1990-03-30 DE DE69021759T patent/DE69021759T2/de not_active Expired - Lifetime
- 1990-03-30 EP EP19900400886 patent/EP0390701B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0390701A2 (en) | 1990-10-03 |
| JP2995745B2 (ja) | 1999-12-27 |
| KR900015025A (ko) | 1990-10-25 |
| DE69021759D1 (de) | 1995-09-28 |
| EP0390701A3 (en) | 1991-11-06 |
| EP0390701B1 (en) | 1995-08-23 |
| US5083201A (en) | 1992-01-21 |
| KR0150452B1 (ko) | 1998-10-15 |
| DE69021759T2 (de) | 1996-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2995745B2 (ja) | 動き情報抽出装置 | |
| EP0886245B1 (en) | Display of moving object on background image | |
| US5583980A (en) | Time-synchronized annotation method | |
| US6967666B1 (en) | Composite picture generating method | |
| US6573915B1 (en) | Efficient capture of computer screens | |
| US5428723A (en) | Method and apparatus for capturing the motion of an object in motion video | |
| US5767845A (en) | Multi-media information record device, and a multi-media information playback device | |
| JPH0816820A (ja) | ３次元アニメーション作成装置 | |
| US5119080A (en) | Video-data processor | |
| US5986660A (en) | Motion capture data system and display | |
| JP2002304638A (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
| JP2000149046A (ja) | 曲線生成装置及び方法、プログラムを格納した記録媒体、並びに対応点設定方法 | |
| JPH0353668B2 (ja) | ||
| JP3505361B2 (ja) | アニメーション作成装置および記録媒体 | |
| JPH11110446A (ja) | コンピュ−タを用いた家系図の製作方法と、その方法のプログラムを記憶した記憶媒体 | |
| JP3158291B2 (ja) | 表示装置 | |
| JP3523784B2 (ja) | 対話型画像操作表示装置および方法並びにプログラム格納媒体 | |
| JP2000148126A (ja) | 画像表示装置及び方法 | |
| JP2659376B2 (ja) | 三次元画像情報の処理方法及び装置 | |
| RU2229745C2 (ru) | Параллельная вычислительная система активного видео | |
| JPH02199579A (ja) | 動画作成方法 | |
| JP2001022917A (ja) | 画像合成方法および装置 | |
| EP0638861A1 (en) | Object content depiction in a graphical time bar on a data processing system user interface | |
| JP3507647B2 (ja) | アニメーション作成装置およびアニメーション作成方法 | |
| JP2921312B2 (ja) | 三次元アニメーション処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 10 |