JPH09214965A - 動画像符号化方法および装置 - Google Patents
動画像符号化方法および装置Info
- Publication number
- JPH09214965A JPH09214965A JP2138296A JP2138296A JPH09214965A JP H09214965 A JPH09214965 A JP H09214965A JP 2138296 A JP2138296 A JP 2138296A JP 2138296 A JP2138296 A JP 2138296A JP H09214965 A JPH09214965 A JP H09214965A
- Authority
- JP
- Japan
- Prior art keywords
- camera parameter
- resolution
- image
- camera
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 カメラのパニングやチルト、ズームなどによ
って引き起こされる符号化される画像信号の動きが激し
い部分を品質良く符号化できるようにする。 【解決手段】 符号化対象画像１が、多角形パターン２
と共に動き検出部３に入力され、動ベクトル１８が求め
られる。動ベクトル１８はカメラパラメータ検出部２３
に入力され、カメラパラメータ２４が検出される。カメ
ラパラメータ２４は解像度変換部位決定部２５に入力さ
れ、その種類および度合に従い、符号化対象画像１のど
の部分の解像度を高くし、どの部分を低くするかが決定
され、解像度変換部位識別子２６として出力される。空
間冗長度圧縮部１０では解像度変換部位識別子２６に
「重要」と示される部位に対応するマクロブロックでは
量子化特性値を細かくして符号化し、「重要でない」と
示される部位に対応するマクロブロックでは量子化特性
値を荒くして符号化する。
って引き起こされる符号化される画像信号の動きが激し
い部分を品質良く符号化できるようにする。 【解決手段】 符号化対象画像１が、多角形パターン２
と共に動き検出部３に入力され、動ベクトル１８が求め
られる。動ベクトル１８はカメラパラメータ検出部２３
に入力され、カメラパラメータ２４が検出される。カメ
ラパラメータ２４は解像度変換部位決定部２５に入力さ
れ、その種類および度合に従い、符号化対象画像１のど
の部分の解像度を高くし、どの部分を低くするかが決定
され、解像度変換部位識別子２６として出力される。空
間冗長度圧縮部１０では解像度変換部位識別子２６に
「重要」と示される部位に対応するマクロブロックでは
量子化特性値を細かくして符号化し、「重要でない」と
示される部位に対応するマクロブロックでは量子化特性
値を荒くして符号化する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像通信、画像記
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、詳しくは画像信号を端末間で送受信する場合や
ファイルに蓄積する場合などに用いられる画像符号化方
法および装置に関する。
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、詳しくは画像信号を端末間で送受信する場合や
ファイルに蓄積する場合などに用いられる画像符号化方
法および装置に関する。
【０００２】
【従来の技術】ＩＴＵ−Ｔ（前ＣＣＩＴＴ）勧告Ｈ．２
６１は、「ｐ×６４ｋｂ／ｓオーディオビジュアルサー
ビス用ビデオ符号化方式」と題され、６４ｋｂ／ｓ（ｐ
＝１）から２Ｍｂ／ｓ（ｐ＝３０）までのビットレート
を用いる通信用のビデオ符号化標準である。標準化の作
業開始は１９８４年１２月、勧告成立は１９９０年１２
月である。アプリケーションとしてはテレビ電話、テレ
ビ会議等が挙げられる。Ｈ．２６１は動画像信号の時間
的冗長度を動き補償予測により抑圧し、各フレームの空
間的冗長度を離散コサイン変換（ＤＣＴ）符号化により
抑圧する。
６１は、「ｐ×６４ｋｂ／ｓオーディオビジュアルサー
ビス用ビデオ符号化方式」と題され、６４ｋｂ／ｓ（ｐ
＝１）から２Ｍｂ／ｓ（ｐ＝３０）までのビットレート
を用いる通信用のビデオ符号化標準である。標準化の作
業開始は１９８４年１２月、勧告成立は１９９０年１２
月である。アプリケーションとしてはテレビ電話、テレ
ビ会議等が挙げられる。Ｈ．２６１は動画像信号の時間
的冗長度を動き補償予測により抑圧し、各フレームの空
間的冗長度を離散コサイン変換（ＤＣＴ）符号化により
抑圧する。
【０００３】以下、図３を用いてＨ．２６１を用いた画
像通信装置の概要を、図４を用いてＨ．２６１の符号化
アルゴリズムを簡単に説明する。
像通信装置の概要を、図４を用いてＨ．２６１の符号化
アルゴリズムを簡単に説明する。
【０００４】図３に示す画像通信装置はカメラ３０とＡ
／Ｄ変換部３１とフォーマット変換部３２と映像符号化
部３３と多重化部３４よりなる。映像信号３５はカメラ
３０から出力された映像信号であり、信号形式はＮＴＳ
Ｃ（National Television System Comitee）、ＰＡＬ
（Phase Alternate Line）、ＳＥＣＡＭ（Sequential C
ouleur a Memore ）等のアナログ信号である。ディジタ
ル信号３６はフォーマット変換部３２への入力信号であ
り、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等の信号をＡ／Ｄ変
換部３１で変換したディジタル映像信号である。信号３
７は共通中間フォーマット（Common Intermedeate Form
at: CIF 、またはQuarter CIF: QCIF ）である。信号３
８は映像符号化部３３で圧縮された映像信号であり、多
重化部３４への入力信号である。
／Ｄ変換部３１とフォーマット変換部３２と映像符号化
部３３と多重化部３４よりなる。映像信号３５はカメラ
３０から出力された映像信号であり、信号形式はＮＴＳ
Ｃ（National Television System Comitee）、ＰＡＬ
（Phase Alternate Line）、ＳＥＣＡＭ（Sequential C
ouleur a Memore ）等のアナログ信号である。ディジタ
ル信号３６はフォーマット変換部３２への入力信号であ
り、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等の信号をＡ／Ｄ変
換部３１で変換したディジタル映像信号である。信号３
７は共通中間フォーマット（Common Intermedeate Form
at: CIF 、またはQuarter CIF: QCIF ）である。信号３
８は映像符号化部３３で圧縮された映像信号であり、多
重化部３４への入力信号である。
【０００５】カメラ３０により人物や風景、書画等を撮
像し、その映像信号３５はカメラ３０からＮＴＳＣ、Ｐ
ＡＬ、ＳＥＣＡＭ等のアナログ信号形式で出力され、Ａ
／Ｄ変換部３１でディジタル信号３６となり、フォーマ
ット変換部３２へ入力される。その際、ＩＴＵ−Ｔ国際
標準化勧告に従った映像符号化部３３を利用するため、
フォーマット変換部３２において、入力されたディジタ
ル信号３６はＣＩＦまたはＱＣＩＦの信号３７に変換さ
れ、ＩＴＵ−Ｔ勧告Ｈ．２６１で規定される高機能符号
化方式に従う映像符号化部３３で圧縮される。この圧縮
されたディジタル映像信号３８は、さらに、ディジタル
化された音声信号やデータ信号とともに、多重化部３４
において、ＩＴＵ−Ｔ勧告Ｈ．２２１で規定されるフレ
ーム構成に多重化され、ＩＳＤＮ（Integrated Service
s Digital Network ）等の回線交換網や、高速ディジタ
ル回線等の専用線を通して相手装置に送られる。
像し、その映像信号３５はカメラ３０からＮＴＳＣ、Ｐ
ＡＬ、ＳＥＣＡＭ等のアナログ信号形式で出力され、Ａ
／Ｄ変換部３１でディジタル信号３６となり、フォーマ
ット変換部３２へ入力される。その際、ＩＴＵ−Ｔ国際
標準化勧告に従った映像符号化部３３を利用するため、
フォーマット変換部３２において、入力されたディジタ
ル信号３６はＣＩＦまたはＱＣＩＦの信号３７に変換さ
れ、ＩＴＵ−Ｔ勧告Ｈ．２６１で規定される高機能符号
化方式に従う映像符号化部３３で圧縮される。この圧縮
されたディジタル映像信号３８は、さらに、ディジタル
化された音声信号やデータ信号とともに、多重化部３４
において、ＩＴＵ−Ｔ勧告Ｈ．２２１で規定されるフレ
ーム構成に多重化され、ＩＳＤＮ（Integrated Service
s Digital Network ）等の回線交換網や、高速ディジタ
ル回線等の専用線を通して相手装置に送られる。
【０００６】図４は図３の映像符号化部３３、すなわ
ち、ＩＴＵ−Ｔ勧告Ｈ．２６１で規定される符号化方式
に従う映像符号化装置の構成例を示す図である。
ち、ＩＴＵ−Ｔ勧告Ｈ．２６１で規定される符号化方式
に従う映像符号化装置の構成例を示す図である。
【０００７】まず、符号化対象画像１は正方形パターン
２’と共に動き検出部３に入力され、１６画素×１６ラ
インのマクロブロックと称される正方形ブロックに分割
される。動き検出部３では、符号化対象画像１の中の各
マクロブロックごとに、参照画像との間の動き量を検出
し、得られた動ベクトル１８をブロック動き補償部４に
送る。ここで、各マクロブロックの動ベクトル１８は、
参照画像において、着目マクロブロックとのマッチング
度が最も高いブロックの座標と、着目マクロブロックの
座標との変位として表される。動ベクトルの探索範囲
は、着目マクロブロックの座標とその周囲の±１５画素
×±１５ラインに制限される。
２’と共に動き検出部３に入力され、１６画素×１６ラ
インのマクロブロックと称される正方形ブロックに分割
される。動き検出部３では、符号化対象画像１の中の各
マクロブロックごとに、参照画像との間の動き量を検出
し、得られた動ベクトル１８をブロック動き補償部４に
送る。ここで、各マクロブロックの動ベクトル１８は、
参照画像において、着目マクロブロックとのマッチング
度が最も高いブロックの座標と、着目マクロブロックの
座標との変位として表される。動ベクトルの探索範囲
は、着目マクロブロックの座標とその周囲の±１５画素
×±１５ラインに制限される。
【０００８】次に、ブロック動き補償部４では、各マク
ロブロックの動ベクトル１８とフレームメモリ５に蓄積
された直前フレームの局部復号画像６とから動き補償予
測画像７を生成する。ここで得られた動き補償予測画像
７は符号化対象画像１と共に減算器８に入力される。両
者の差分すなわち動き補償予測誤差９は、ＤＣＴ／量子
化部１０’においてＤＣＴ変換され、さらに量子化され
て圧縮差分データ１１となる。ここで、ＤＣＴのブロッ
クサイズは８×８である。
ロブロックの動ベクトル１８とフレームメモリ５に蓄積
された直前フレームの局部復号画像６とから動き補償予
測画像７を生成する。ここで得られた動き補償予測画像
７は符号化対象画像１と共に減算器８に入力される。両
者の差分すなわち動き補償予測誤差９は、ＤＣＴ／量子
化部１０’においてＤＣＴ変換され、さらに量子化され
て圧縮差分データ１１となる。ここで、ＤＣＴのブロッ
クサイズは８×８である。
【０００９】Ｈ．２６１では、符号化のビットレートは
約４０ｋｂ／ｓから２Ｍｂ／ｓの範囲にあるが、入力画
像信号は、その画像の複雑さや動きの激しさによって情
報の発生量が変動する。この変動を吸収し、一定の伝送
速度で伝送するには符号発生量制御（レート制御）が行
なわれる。Ｈ．２６１やＭＰＥＧ１，ＭＰＥＧ２など従
来の符号化方式では、この制御法は設計の自由である
が、一般的には、送信バッファを設けておき、このバッ
ファの占有率に応じてＭＱＵＡＮＴ（量子化特性）と呼
ばれる値を制御する方式がよく用いられる。すなわちバ
ッファの占有率以外は量子化の細かさを変える要因とし
て用いていない。
約４０ｋｂ／ｓから２Ｍｂ／ｓの範囲にあるが、入力画
像信号は、その画像の複雑さや動きの激しさによって情
報の発生量が変動する。この変動を吸収し、一定の伝送
速度で伝送するには符号発生量制御（レート制御）が行
なわれる。Ｈ．２６１やＭＰＥＧ１，ＭＰＥＧ２など従
来の符号化方式では、この制御法は設計の自由である
が、一般的には、送信バッファを設けておき、このバッ
ファの占有率に応じてＭＱＵＡＮＴ（量子化特性）と呼
ばれる値を制御する方式がよく用いられる。すなわちバ
ッファの占有率以外は量子化の細かさを変える要因とし
て用いていない。
【００１０】圧縮差分データ１１（量子化インデック
ス）は差分データ符号化部１２においてデータ圧縮さ
れ、差分画像符号化データ１３となる。一方、動ベクト
ル１８は動ベクトル符号化部１９において符号化され、
得られた動ベクトル符号化データ２０は差分画像符号化
データ１３と共に多重化部２１にて多重化され、多重化
データ２２として伝送される。
ス）は差分データ符号化部１２においてデータ圧縮さ
れ、差分画像符号化データ１３となる。一方、動ベクト
ル１８は動ベクトル符号化部１９において符号化され、
得られた動ベクトル符号化データ２０は差分画像符号化
データ１３と共に多重化部２１にて多重化され、多重化
データ２２として伝送される。
【００１１】なお、復号装置と同じ復号画像を符号化装
置内でも得るため、圧縮差分データ１１（量子化インデ
ックス）は逆量子化／逆ＤＣＴ部１４’で量子化代表値
に戻され、さらに逆ＤＣＴ変換された後、伸張差分画像
１５となる。伸張差分画像１５と動き補償予測画像７は
加算器１６で加算され、局部復号画像１７となる。この
局部復号画像１７はフレームメモリ５に蓄積され、次の
フレームの符号化時に参照画像として用いられる。
置内でも得るため、圧縮差分データ１１（量子化インデ
ックス）は逆量子化／逆ＤＣＴ部１４’で量子化代表値
に戻され、さらに逆ＤＣＴ変換された後、伸張差分画像
１５となる。伸張差分画像１５と動き補償予測画像７は
加算器１６で加算され、局部復号画像１７となる。この
局部復号画像１７はフレームメモリ５に蓄積され、次の
フレームの符号化時に参照画像として用いられる。
【００１２】
【発明が解決しようとする課題】上記従来技術では、入
力画像信号の複雑さとは無関係に、送信バッファの占有
率だけで量子化の細かさが決定されるため、カメラのパ
ニングやチルト、ズームなどによって引き起こされる符
号化される画像信号の動きが激しい部分では、視覚的に
十分な画質を維持することが不可能である。
力画像信号の複雑さとは無関係に、送信バッファの占有
率だけで量子化の細かさが決定されるため、カメラのパ
ニングやチルト、ズームなどによって引き起こされる符
号化される画像信号の動きが激しい部分では、視覚的に
十分な画質を維持することが不可能である。
【００１３】例えばズームの際など人間の目がズームの
中心点に注がれる場合などでは、画面の端など、実際に
人間の目にはあまり視覚的に影響しない部分にまで同じ
量子化の細かさで符号化するため、もっとも視覚的に歪
みが目につくズームの中心点が他の場所と同様に平均的
に歪んでしまうという問題がある。
中心点に注がれる場合などでは、画面の端など、実際に
人間の目にはあまり視覚的に影響しない部分にまで同じ
量子化の細かさで符号化するため、もっとも視覚的に歪
みが目につくズームの中心点が他の場所と同様に平均的
に歪んでしまうという問題がある。
【００１４】また、例えば定常的にカメラがパニング、
チルトするような動画像信号の場合は、明らかに次のフ
レームでは画面外に出ていってしまう部分に沢山の符号
量を割り当てるのは極めて非効率である。
チルトするような動画像信号の場合は、明らかに次のフ
レームでは画面外に出ていってしまう部分に沢山の符号
量を割り当てるのは極めて非効率である。
【００１５】すなわち、従来の画像符号化方法では、カ
メラの動き量に関わらず、画面全体に一定の量子化特性
で入力画像信号を符号化するため、カメラが激しくパニ
ングやチルト、ズームをするような動きの激しい画像で
は、画面全体が大きく歪んだり、もしくは例えばズーム
インの際に多くの人間が目が行くズームの中心点が他の
場所と同様にぼけてしまうなど、画質が著しく低下し、
逆に無理に画質を良くするために画面全体的に量子化特
性値を細かくすると、視覚的に十分なフレーム数を符号
化／伝送することができなくなってしまうという問題点
があった。
メラの動き量に関わらず、画面全体に一定の量子化特性
で入力画像信号を符号化するため、カメラが激しくパニ
ングやチルト、ズームをするような動きの激しい画像で
は、画面全体が大きく歪んだり、もしくは例えばズーム
インの際に多くの人間が目が行くズームの中心点が他の
場所と同様にぼけてしまうなど、画質が著しく低下し、
逆に無理に画質を良くするために画面全体的に量子化特
性値を細かくすると、視覚的に十分なフレーム数を符号
化／伝送することができなくなってしまうという問題点
があった。
【００１６】本発明の目的は、上記問題点を解決し、カ
メラのパニングや、チルトや、ズーム等が入力信号に含
まれる際には、利用者がカメラの動きを意識することな
く、歪みが存在すると視覚的に歪みが目につく部位の解
像度を自動的に高くし、画像信号を品質良く符号化でき
る動画像符号化方法および装置を提供することにある。
メラのパニングや、チルトや、ズーム等が入力信号に含
まれる際には、利用者がカメラの動きを意識することな
く、歪みが存在すると視覚的に歪みが目につく部位の解
像度を自動的に高くし、画像信号を品質良く符号化でき
る動画像符号化方法および装置を提供することにある。
【００１７】
【課題を解決するための手段】本発明の動画像符号化方
法は、入力された画像信号のカメラパラメータが既知の
際には該カメラパラメータをそのまま用い、既知でない
場合にはカメラパラメータを検出し、該カメラパラメー
タに従って、入力された画像信号のある特定の部位の解
像度を高く、もしくは低くして符号化することを特徴と
する。
法は、入力された画像信号のカメラパラメータが既知の
際には該カメラパラメータをそのまま用い、既知でない
場合にはカメラパラメータを検出し、該カメラパラメー
タに従って、入力された画像信号のある特定の部位の解
像度を高く、もしくは低くして符号化することを特徴と
する。
【００１８】本発明の実施態様によれば、画像信号のカ
メラパラメータを検出するに当たり、符号化対象画像を
複数の小領域に分割し、符号化対象画像と予測参照画像
との間の動き量を前記小領域毎に求め、求められた小領
域毎の動き量よりカメラパラメータを検出する。
メラパラメータを検出するに当たり、符号化対象画像を
複数の小領域に分割し、符号化対象画像と予測参照画像
との間の動き量を前記小領域毎に求め、求められた小領
域毎の動き量よりカメラパラメータを検出する。
【００１９】本発明の実施態様によれば、カメラパラメ
ータに従って入力画像のある特定の部位の解像度を高く
もしくは低くする際、どの部位の解像度を変化させるか
を選択する評価値としてカメラパラメータのズームイ
ン、ズームアウトの量を用いる。
ータに従って入力画像のある特定の部位の解像度を高く
もしくは低くする際、どの部位の解像度を変化させるか
を選択する評価値としてカメラパラメータのズームイ
ン、ズームアウトの量を用いる。
【００２０】本発明の実施態様によれば、検出されたカ
メラパラメータにズームインやズームアウトが含まれて
いる際、カメラがズームしている中心点近傍を符号化す
る際に細かく量子化し解像度を高くして符号化する。こ
れにより、視覚的な画質を向上させることができる。
メラパラメータにズームインやズームアウトが含まれて
いる際、カメラがズームしている中心点近傍を符号化す
る際に細かく量子化し解像度を高くして符号化する。こ
れにより、視覚的な画質を向上させることができる。
【００２１】本発明の実施態様によれば、カメラパラメ
ータに従って入力画像のある特定の部位の解像度を高く
もしくは低くする際、どの部位の解像度を変化させるか
を選択する評価値としてカメラパラメータのパニングや
チルトの量を用いる。
ータに従って入力画像のある特定の部位の解像度を高く
もしくは低くする際、どの部位の解像度を変化させるか
を選択する評価値としてカメラパラメータのパニングや
チルトの量を用いる。
【００２２】本発明の実施態様によれば、検出されたカ
メラパラメータにパニングやチルトが含まれている際、
カメラのパニングやチルトによって、画面外から新たに
現れる部分を符号化する際に、細かく量子化し解像度を
高くして符号化する。これにより、視覚的な画質を向上
させることができる。
メラパラメータにパニングやチルトが含まれている際、
カメラのパニングやチルトによって、画面外から新たに
現れる部分を符号化する際に、細かく量子化し解像度を
高くして符号化する。これにより、視覚的な画質を向上
させることができる。
【００２３】本発明の実施態様によれば、検出されたカ
メラパラメータにパニングやチルトが含まれている際、
カメラのパニングやチルトによって、画面外から新たに
現れる部分を符号化する際に、粗く量子化し解像度を低
くして符号化する。これにより、他の部分を符号化する
のに沢山の符号量を割り当てることができる。
メラパラメータにパニングやチルトが含まれている際、
カメラのパニングやチルトによって、画面外から新たに
現れる部分を符号化する際に、粗く量子化し解像度を低
くして符号化する。これにより、他の部分を符号化する
のに沢山の符号量を割り当てることができる。
【００２４】本発明の実施態様によれば、検出されたカ
メラパラメータにパニングやチルトが含まれている際、
カメラのパニングやチルトによって、次のフレームでは
画面外に出ていってしまう部分を符号化する際に、粗く
量子化し解像度を低くして符号化する。これにより、他
の部分を符号化するのに沢山の符号量を割り当てること
ができる。
メラパラメータにパニングやチルトが含まれている際、
カメラのパニングやチルトによって、次のフレームでは
画面外に出ていってしまう部分を符号化する際に、粗く
量子化し解像度を低くして符号化する。これにより、他
の部分を符号化するのに沢山の符号量を割り当てること
ができる。
【００２５】本発明の動画像符号化装置は、入力画像信
号のカメラパラメータを検出するカメラパラメータ検出
部と、前記カメラパラメータ検出部により検出されたパ
ラメータに従って、入力画像信号のどの部位の解像度を
どのように変化させるかを決定する解像度変換部位決定
部と、解像度変換部位決定部の決定にしたがって画像信
号を符号化する画像符号化部とを有する。
号のカメラパラメータを検出するカメラパラメータ検出
部と、前記カメラパラメータ検出部により検出されたパ
ラメータに従って、入力画像信号のどの部位の解像度を
どのように変化させるかを決定する解像度変換部位決定
部と、解像度変換部位決定部の決定にしたがって画像信
号を符号化する画像符号化部とを有する。
【００２６】検出されたカメラの動きに従って、符号化
する画像信号で視覚的に歪みが目につく部位の解像度を
高くし、一方逆に符号化する画像信号で視覚的には歪み
が目につかない部位の解像度を低くすることにより、カ
メラが激しく動いた際に、視覚的な画質を大きく向上さ
せることが可能となる。
する画像信号で視覚的に歪みが目につく部位の解像度を
高くし、一方逆に符号化する画像信号で視覚的には歪み
が目につかない部位の解像度を低くすることにより、カ
メラが激しく動いた際に、視覚的な画質を大きく向上さ
せることが可能となる。
【００２７】
【発明の実施の形態】次に、本発明の実施形態を図面に
より説明する。
より説明する。
【００２８】図１は、本発明の一実施形態における動画
像符号化装置の構成を示す図である。図４中と同符号は
同じものを示す。
像符号化装置の構成を示す図である。図４中と同符号は
同じものを示す。
【００２９】本実施形態の動画像符号化装置は、動ベク
トル１８（動き量）を入力し、パニング、チルト、ズー
ムイン、ズームアウトなどのカメラパラメータ２４を検
出するカメラパラメータ検出部２３と、カメラパラメー
タ２４を入力し、ズーム、パニング、チルトの種類およ
び度合に従い、符号化対象画像１のどの部分の解像度を
高くし、どの部分を低くするかを示す解像度変換部位識
別子２６を出力する解像度変換部位決定部２５を備えた
ことを特徴とする。
トル１８（動き量）を入力し、パニング、チルト、ズー
ムイン、ズームアウトなどのカメラパラメータ２４を検
出するカメラパラメータ検出部２３と、カメラパラメー
タ２４を入力し、ズーム、パニング、チルトの種類およ
び度合に従い、符号化対象画像１のどの部分の解像度を
高くし、どの部分を低くするかを示す解像度変換部位識
別子２６を出力する解像度変換部位決定部２５を備えた
ことを特徴とする。
【００３０】次に、本実施形態の動作を説明する。
【００３１】まず、符号化対象画像１が、多角形パター
ン２と共に動き検出部３に入力され、各パッチの動ベク
トル１８が求められる。ここで、多角形パターン２とし
ては正方形がよく用いられる。また、動ベクトル１８
は、誤差評価値として平均自乗誤差や誤差絶対値和など
を用いて参照画像において着目マクロブロックと同じ位
置の近傍をフルサーチをして求めることができ、着目マ
クロブロックとのマッチング度が最も高いブロックの座
標と、着目マクロブロックの座標との変位として表され
る。
ン２と共に動き検出部３に入力され、各パッチの動ベク
トル１８が求められる。ここで、多角形パターン２とし
ては正方形がよく用いられる。また、動ベクトル１８
は、誤差評価値として平均自乗誤差や誤差絶対値和など
を用いて参照画像において着目マクロブロックと同じ位
置の近傍をフルサーチをして求めることができ、着目マ
クロブロックとのマッチング度が最も高いブロックの座
標と、着目マクロブロックの座標との変位として表され
る。
【００３２】次に、動ベクトル１８はカメラパラメータ
検出部２３に入力され、パニング、チルト、ズームイ
ン、ズームアウトなどのカメラパラメータ２４が検出さ
れる。
検出部２３に入力され、パニング、チルト、ズームイ
ン、ズームアウトなどのカメラパラメータ２４が検出さ
れる。
【００３３】ここで、カメラパラメータ２４の検出は次
のように行なわれる。
のように行なわれる。
【００３４】図２において、画面の中心を原点（０，
０）とした時、点（ｉ，ｊ）でのパニングやチルトによ
る動ベクトルは位置に無関係で、各々水平／垂直方向の
パニング、チルトの速さによって決まる定数である。こ
れを（Ｈ，Ｖ）とする。また、ズームによる動ベクトル
は中心から離れるほど大きくなり、Ｚをズームの倍率に
よって決まる定数とすると、（Ｚ×ｉ，Ｚ×ｊ）と表す
ことができる。したがって、両方の影響によるカメラの
動きによる動ベクトルは（Ｚ×ｉ＋Ｈ，Ｚ×ｊ＋Ｖ）と
表すことができる。この３つの定数Ｚ，Ｈ，Ｖを求める
ことにより、動画像のカメラパラメータ２４を求めるこ
とができる。
０）とした時、点（ｉ，ｊ）でのパニングやチルトによ
る動ベクトルは位置に無関係で、各々水平／垂直方向の
パニング、チルトの速さによって決まる定数である。こ
れを（Ｈ，Ｖ）とする。また、ズームによる動ベクトル
は中心から離れるほど大きくなり、Ｚをズームの倍率に
よって決まる定数とすると、（Ｚ×ｉ，Ｚ×ｊ）と表す
ことができる。したがって、両方の影響によるカメラの
動きによる動ベクトルは（Ｚ×ｉ＋Ｈ，Ｚ×ｊ＋Ｖ）と
表すことができる。この３つの定数Ｚ，Ｈ，Ｖを求める
ことにより、動画像のカメラパラメータ２４を求めるこ
とができる。
【００３５】画面の中心に対して対象の位置にある２つ
のブロックの中心座標（ｉ，ｊ），（−ｉ，−ｊ）と、
その動ベクトル（Ｖ１x ，Ｖ１y ），（Ｖ２x ，Ｖ２
y ）を用いて、３つの定数Ｚ，Ｈ，Ｖを次式で求める。
のブロックの中心座標（ｉ，ｊ），（−ｉ，−ｊ）と、
その動ベクトル（Ｖ１x ，Ｖ１y ），（Ｖ２x ，Ｖ２
y ）を用いて、３つの定数Ｚ，Ｈ，Ｖを次式で求める。
【００３６】
【数１】 また、同様に画面内のすべての対称位置にあるブロック
についてＺ，Ｈ，Ｖを求め、Ｚ，Ｈ，Ｖの各々に対し
て、最大頻度のものを最終的にＺ，Ｈ，Ｖの値とする。
についてＺ，Ｈ，Ｖを求め、Ｚ，Ｈ，Ｖの各々に対し
て、最大頻度のものを最終的にＺ，Ｈ，Ｖの値とする。
【００３７】求められたカメラパラメータ２４は解像度
変換部位決定部２５に入力され、ズーム、パニング、チ
ルトの種類および度合、すなわち（Ｚ，Ｈ，Ｖ）の値に
従い、符号化対象画像１のどの部分の解像度を高くし、
どの部分を低くするかを決定する。
変換部位決定部２５に入力され、ズーム、パニング、チ
ルトの種類および度合、すなわち（Ｚ，Ｈ，Ｖ）の値に
従い、符号化対象画像１のどの部分の解像度を高くし、
どの部分を低くするかを決定する。
【００３８】例えば ・ズームが検出された時は、撮影者はそのズームの先に
ある物体に注視しており、当然映像を見る人にもその部
分に注視して欲しいはずである。また、このとき画面の
中心がズームの焦点となっているので、画面の中心近傍
を「重要」を示すフラグをたてる。
ある物体に注視しており、当然映像を見る人にもその部
分に注視して欲しいはずである。また、このとき画面の
中心がズームの焦点となっているので、画面の中心近傍
を「重要」を示すフラグをたてる。
【００３９】・カメラのパニング、チルトが検出された
時は、新たにフレーム内に入ってきた部位と、次のフレ
ームでは画面外に出てしまうであろう部位の量子化特性
値を変動させる。具体的には、カメラが左から右にパニ
ングしている時は、 −画面の左端は次のフレームでは消え去る部位なので、
画面の左端を「重要でない」を示すフラグをたてる。
時は、新たにフレーム内に入ってきた部位と、次のフレ
ームでは画面外に出てしまうであろう部位の量子化特性
値を変動させる。具体的には、カメラが左から右にパニ
ングしている時は、 −画面の左端は次のフレームでは消え去る部位なので、
画面の左端を「重要でない」を示すフラグをたてる。
【００４０】−画面の右端は新たに現れてくる部位であ
り、今後しばらくの間フレーム内に入り続けるであろう
物体であるので、送信バッファにゆとりがある時は「重
要」を示すフラグをたてる。逆に、送信バッファにゆと
りがない時は、あえて「重要でない」を示すフラグをた
て、他の部位での画質を向上させる。 のように「重要」や「重要でない」を示すフラグを各マ
クロブロック毎にたてる。選ばれた部位を示す情報であ
る解像度変換部位識別子２６は空間冗長度圧縮部１０に
入力される。
り、今後しばらくの間フレーム内に入り続けるであろう
物体であるので、送信バッファにゆとりがある時は「重
要」を示すフラグをたてる。逆に、送信バッファにゆと
りがない時は、あえて「重要でない」を示すフラグをた
て、他の部位での画質を向上させる。 のように「重要」や「重要でない」を示すフラグを各マ
クロブロック毎にたてる。選ばれた部位を示す情報であ
る解像度変換部位識別子２６は空間冗長度圧縮部１０に
入力される。
【００４１】また、動ベクトル１８はブロック動き補償
部４にも送られ、ブロック動き補償部４では、各マクロ
ブロックの動ベクトル１８と直前フレームの局部復号画
像６とから動き補償予測画像７を生成する。ここで得ら
れた動き補償予測画像７は符号化対象画像１と共に減算
器８に入力される。両者の差分、すなわち動き補償予測
誤差９は、解像度変換部位識別子２６とともに空間冗長
度圧縮部１０に入力され、空間冗長度の抑圧が行なわれ
る。この際、解像度変換部位識別子２６に「重要」と示
される部位に対応するマクロブロックでは量子化特性値
を細かくして符号化することで、視覚的に目につくとこ
ろの解像度をあげると同時に、「重要でない」と示され
る部位に対応するマクロブロックでは量子化特性値を荒
くして符号化することで、視覚的に目につくところに沢
山の符号量を割くことが可能となる。
部４にも送られ、ブロック動き補償部４では、各マクロ
ブロックの動ベクトル１８と直前フレームの局部復号画
像６とから動き補償予測画像７を生成する。ここで得ら
れた動き補償予測画像７は符号化対象画像１と共に減算
器８に入力される。両者の差分、すなわち動き補償予測
誤差９は、解像度変換部位識別子２６とともに空間冗長
度圧縮部１０に入力され、空間冗長度の抑圧が行なわれ
る。この際、解像度変換部位識別子２６に「重要」と示
される部位に対応するマクロブロックでは量子化特性値
を細かくして符号化することで、視覚的に目につくとこ
ろの解像度をあげると同時に、「重要でない」と示され
る部位に対応するマクロブロックでは量子化特性値を荒
くして符号化することで、視覚的に目につくところに沢
山の符号量を割くことが可能となる。
【００４２】現在の符号化対象画像１の局部復号画像１
７を得るため、空間冗長度圧縮部１０より出力される圧
縮差分データ１１は差分データ伸長部１４にて伸長差分
画像１５に復号される。伸長差分画像１５は空間冗長度
を抑圧された動き補償予測誤差信号である。伸長差分画
像１５は加算器１６にて動き補償予測画像７と加算さ
れ、現在の符号化対象画像の局部復号画像１７となる。
局部復号画像１７はフレームメモリ５に蓄積され、以降
のフレームの符号化にて参照される。
７を得るため、空間冗長度圧縮部１０より出力される圧
縮差分データ１１は差分データ伸長部１４にて伸長差分
画像１５に復号される。伸長差分画像１５は空間冗長度
を抑圧された動き補償予測誤差信号である。伸長差分画
像１５は加算器１６にて動き補償予測画像７と加算さ
れ、現在の符号化対象画像の局部復号画像１７となる。
局部復号画像１７はフレームメモリ５に蓄積され、以降
のフレームの符号化にて参照される。
【００４３】一方、動き補償予測誤差９に対する圧縮差
分圧縮データ１１は差分データ符号化部１２にてデータ
圧縮符号化され、差分画像符号化データ１３となる。動
ベクトル１８は動ベクトル符号化部１９にてデータ圧縮
符号化され、動ベクトル符号化データ２０となる。差分
画像符号化データ１３と動ベクトル符号化データ２０は
多重化部２１において多重化され、多重化データ２２と
して伝送または蓄積される。
分圧縮データ１１は差分データ符号化部１２にてデータ
圧縮符号化され、差分画像符号化データ１３となる。動
ベクトル１８は動ベクトル符号化部１９にてデータ圧縮
符号化され、動ベクトル符号化データ２０となる。差分
画像符号化データ１３と動ベクトル符号化データ２０は
多重化部２１において多重化され、多重化データ２２と
して伝送または蓄積される。
【００４４】また、この実施形態に示した装置は、入力
画像の解像度が既知ではない場合であり、画像の撮影と
同時に、カメラパラメータが記録される場合のように、
入力画像信号のカメラパラメータが既知の場合には、カ
メラパラメータ検出部２３は不要であり、記録されたカ
メラパラメータ２４を解像度変換部位決定部２５に直接
入力することで本装置を実現することが可能となる。
画像の解像度が既知ではない場合であり、画像の撮影と
同時に、カメラパラメータが記録される場合のように、
入力画像信号のカメラパラメータが既知の場合には、カ
メラパラメータ検出部２３は不要であり、記録されたカ
メラパラメータ２４を解像度変換部位決定部２５に直接
入力することで本装置を実現することが可能となる。
【００４５】
【発明の効果】以上説明したように、本発明によれば、
カメラの動きがある時、例えばズームが検出された時
は、画面中央部の解像度を自動的に高くしたり、パニン
グ、チルトが検出された時は画面の端の解像度を高くも
しくは低く変えることで、利用者が意識することなく、
画像信号を効率良く符号化できる効果がある。
カメラの動きがある時、例えばズームが検出された時
は、画面中央部の解像度を自動的に高くしたり、パニン
グ、チルトが検出された時は画面の端の解像度を高くも
しくは低く変えることで、利用者が意識することなく、
画像信号を効率良く符号化できる効果がある。
【００４６】これは、カメラの動きがある時には、それ
はカメラマンが意図して撮影したい物体があるはずであ
り、例えばズームの時はその中心近傍にカメラマンが写
したいものがあるはずであり、右にパニングした時は、
右に撮影したいものがあるはずである。本手法を用いて
カメラパラメータより撮影者および、映像を見ている人
が注視している部位の解像度を上げることで、視覚的な
画質が良好な復号画像を得ることが可能となる。
はカメラマンが意図して撮影したい物体があるはずであ
り、例えばズームの時はその中心近傍にカメラマンが写
したいものがあるはずであり、右にパニングした時は、
右に撮影したいものがあるはずである。本手法を用いて
カメラパラメータより撮影者および、映像を見ている人
が注視している部位の解像度を上げることで、視覚的な
画質が良好な復号画像を得ることが可能となる。
【図１】本発明の一実施形態の動画像符号化装置の構成
図である。
図である。
【図２】動画像からカメラパラメータを検出する動作の
説明図である。
説明図である。
【図３】従来の画像通信装置の概要を示す図である。
【図４】従来のブロック単位の動き補償予測符号化方法
による符号化装置の構成を示す図である。
による符号化装置の構成を示す図である。
１ 符号化対象画像 ２ 多角形パターン ３ 動き検出部 ４ ブロック動き補償部 ５ フレームメモリ ６ 局部復号画像 ７ 動き補償予測画像 ８ 減算器 ９ 動き補償予測誤差 １０ 空間冗長度圧縮部 １１ 圧縮差分データ １２ 差分データ符号化部 １３ 差分画像符号化データ １４ 差分データ伸張部 １５ 伸長差分画像 １６ 加算器 １７ 局部復号画像 １８ 動ベクトル １９ 動ベクトル符号化部 ２０ 動ベクトル符号化データ ２１ 多重化部 ２２ 多重化データ ２３ カメラパラメータ検出部 ２４ カメラパラメータ ２５ 解像度変換部位検出部 ２６ 解像度変換部位識別子
Claims (9)
- 【請求項１】 動画像符号化方法において、入力された
画像信号のカメラパラメータが既知の際には該カメラパ
ラメータをそのまま用い、既知でない場合にはカメラパ
ラメータを検出し、該カメラパラメータに従って、入力
された画像信号のある特定の部位の解像度を高く、もし
くは低くして符号化することを特徴とする動画像符号化
方法。 - 【請求項２】 画像信号のカメラパラメータを検出する
に当たり、符号化対象画像を複数の小領域に分割し、該
符号化対象画像と予測参照画像との間の動き量を前記小
領域毎に求め、求められた小領域毎の動き量よりカメラ
パラメータを検出する請求項１に記載の動画像符号化方
法。 - 【請求項３】 カメラパラメータに従って入力画像のあ
る特定の部位の解像度を高くもしくは低くする際、どの
部位の解像度を変化させるかを選択する評価値としてカ
メラパラメータのズームイン、ズームアウトの量を用い
る請求項１記載の動画像符号化方法。 - 【請求項４】 検出されたカメラパラメータにズームイ
ンやズームアウトが含まれている際、カメラがズームし
ている中心点近傍を符号化する際に細かく量子化し解像
度を高くして符号化する請求項３記載の動画像符号化方
法。 - 【請求項５】 カメラパラメータに従って入力画像のあ
る特定の部位の解像度を高くもしくは低くする際、どの
部位の解像度を変化させるかを選択する評価値としてカ
メラパラメータのパニングやチルトの量を用いる請求項
１記載の動画像符号化方法。 - 【請求項６】 検出されたカメラパラメータにパニング
やチルトが含まれている際、カメラのパニングやチルト
によって、画面外から新たに現れる部分を符号化する際
に、細かく量子化し解像度を高くして符号化する請求項
５記載の動画像符号化方法。 - 【請求項７】 検出されたカメラパラメータにパニング
やチルトが含まれている際、カメラのパニングやチルト
によって、画面外から新たに現れる部分を符号化する際
に、粗く量子化し解像度を低くして符号化する請求項５
記載の動画像符号化方法。 - 【請求項８】 検出されたカメラパラメータにパニング
やチルトが含まれている際、カメラのパニングやチルト
によって、次のフレームでは画面外に出ていってしまう
部分を符号化する際に、粗く量子化し解像度を低くして
符号化する請求項５記載の動画像符号化方法。 - 【請求項９】 画像信号を入力し、符号化する動画像符
号化装置において、入力画像信号のカメラパラメータを
検出するカメラパラメータ検出部と、前記カメラパラメ
ータ検出部により検出されたパラメータに従って、入力
画像信号のどの部位の解像度をどのように変化させるか
を決定する解像度変換部位決定部と、該解像度変換部位
決定部の決定にしたがって画像信号を符号化する画像符
号化部とを有することを特徴とする動画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2138296A JP3317327B2 (ja) | 1996-02-07 | 1996-02-07 | 動画像符号化方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2138296A JP3317327B2 (ja) | 1996-02-07 | 1996-02-07 | 動画像符号化方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09214965A true JPH09214965A (ja) | 1997-08-15 |
| JP3317327B2 JP3317327B2 (ja) | 2002-08-26 |
Family
ID=12053548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2138296A Expired - Fee Related JP3317327B2 (ja) | 1996-02-07 | 1996-02-07 | 動画像符号化方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3317327B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999040725A1 (fr) * | 1998-02-10 | 1999-08-12 | Nihon Computer Co., Ltd. | Procede de transfert video a forte valeur ajoutee haute resolution au moyen d'image pseudo-naturelle, unite de traitement video, procede de traitement video et systeme de transfert a forte valeur ajoutee haute resolution, ainsi que support de stockage |
| CN102461169A (zh) * | 2009-06-12 | 2012-05-16 | 微软公司 | 基于运动的动态分辨率多比特率视频编码 |
| JP2015115903A (ja) * | 2013-12-13 | 2015-06-22 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、コンピュータプログラム |
| JP2015231145A (ja) * | 2014-06-05 | 2015-12-21 | 日本放送協会 | 送信装置、受信装置及びこれらのプログラム |
| JP2017201777A (ja) * | 2016-03-15 | 2017-11-09 | アクシス アーベー | ビデオストリームをエンコードするための方法及びシステム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9591318B2 (en) | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
| US11089343B2 (en) | 2012-01-11 | 2021-08-10 | Microsoft Technology Licensing, Llc | Capability advertisement, configuration and control for video coding and decoding |
-
1996
- 1996-02-07 JP JP2138296A patent/JP3317327B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999040725A1 (fr) * | 1998-02-10 | 1999-08-12 | Nihon Computer Co., Ltd. | Procede de transfert video a forte valeur ajoutee haute resolution au moyen d'image pseudo-naturelle, unite de traitement video, procede de traitement video et systeme de transfert a forte valeur ajoutee haute resolution, ainsi que support de stockage |
| CN102461169A (zh) * | 2009-06-12 | 2012-05-16 | 微软公司 | 基于运动的动态分辨率多比特率视频编码 |
| JP2015115903A (ja) * | 2013-12-13 | 2015-06-22 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、コンピュータプログラム |
| JP2015231145A (ja) * | 2014-06-05 | 2015-12-21 | 日本放送協会 | 送信装置、受信装置及びこれらのプログラム |
| JP2017201777A (ja) * | 2016-03-15 | 2017-11-09 | アクシス アーベー | ビデオストリームをエンコードするための方法及びシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3317327B2 (ja) | 2002-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5357281A (en) | Image processing apparatus and terminal apparatus | |
| US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| JP4261630B2 (ja) | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 | |
| JP4378824B2 (ja) | 画像処理装置及び方法 | |
| US8780970B2 (en) | Motion wake identification and control mechanism | |
| JPH07264580A (ja) | 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置 | |
| JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
| MXPA04010318A (es) | Metodo y dispositivo para indicar parametros del cuantificador en un sistema de codificacion de video. | |
| JP2002519915A (ja) | 領域を基礎とする画像処理方法および装置 | |
| MXPA04008889A (es) | Metodo para la codificacion de movimiento en una secuencia de video. | |
| JP2000244927A (ja) | 動画変換装置 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JPH05111008A (ja) | 情報伝送装置及び情報受信装置 | |
| JPH0795566A (ja) | 画像符号化方法および装置 | |
| JP3317327B2 (ja) | 動画像符号化方法および装置 | |
| JP3086585B2 (ja) | ステレオ画像符号化装置 | |
| JP3346448B2 (ja) | 動画像符号化装置 | |
| JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
| JP3604266B2 (ja) | ビデオ信号用デジタルフィルタの動的制御装置 | |
| JPH09261530A (ja) | 映像記録装置 | |
| JPH10285542A (ja) | 録画装置および録画方法 | |
| JP2009081622A (ja) | 動画像圧縮符号化装置 | |
| JPH05130602A (ja) | 端末装置 | |
| JPH09275550A (ja) | テレビ会議システム | |
| JP3859118B2 (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090614 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090614 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100614 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100614 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110614 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120614 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130614 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |