JP2000509587A - 符号化信号に付加データを埋込む方法および装置 - Google Patents

Abstract

(57)【要約】 フィードバックループを有するエンコーダ例えばシグマーデルタ変調器（２１、２２、２３）によって符号化された信号に電子透かしを埋込む方法を述べる。ディジタル電子透かしパターン（ｗ）は、電子透かしパターンのサンプルにより符号化信号（ｙ）の選択されたサンプルを修正（例えば、１００番目のビット毎に置換）することによって信号（ｚ）内に埋込む。サンプルを修正する回路（２４）はエンコーダのループの内側に位置させる。従って、電子透かしの効果は次の符号化ステップで補償し、且つ信号対雑音比はわずかに影響を受けるだけである。

Description

【発明の詳細な説明】 符号化信号に付加データを埋込む方法および装置発明の技術分野 本発明は符号化された信号に付加データを埋込む方法および装置に関するもの である。また、この方法は符号化信号をフィードバックして符号化を制御するス テップを含む所定の符号化処理に従って信号を符号化するステップと、符号化さ れた信号を修正して前記付加データを表わすステップとを具える。また、本発明 はかかる符号化信号から付加データを抽出する方法および装置に関するものであ る。発明の背景 オーディオおよびビデオ信号に電子透かしを埋込む必要性が増してきはじめた 。この電子透かしとは、マルチメディア資産に、好適には不可視態様で埋込まれ た付加データメッセージである。これら電子透かしは、例えば文書および視聴覚 プログラムの出典または著作権の状態に関する情報である。これら電子透かしを 用いて著作権者の法律的な防御を行い、著作権侵害の探索を行い、知的財産の保 護を行うことができる。 上述したようにビデオ信号に電子透かしを付与する既知の方法はF.Hartungお よびB.Giros著“生および圧縮ビデオのディジタル電子透かし”SPIE Vol．2952, pp.205-212に記載されている。この著書では電子透かしは予測符号化（Ｐまたは Ｂ）画像のDCT係数を含むMPEG２エンコーダの出力ビット流の選択されたDCT係数 を修正することによって達成する。予測エンコーダは符号化処理を制御するフィ ードバックループを具える。予測エラー（入力信号および予測信号間の差）は入 力信号自体以外に符号化する。従って予測信号は符号化信号を局部的に複号する ことによって得ることができる。 従来の方法では、電子透かしは慣例の符号化の後に挿入する。斯様にして符号 化された信号に電子透かし処理を施し得る可能性は制限される。発明の概要 本発明の目的は知覚品質に悪影響を殆ど与えることなく、符号化信号の多くの ビットを偏向し得るようにした符号化オーディオまたはビデオ信号に付加データ を埋込む方法を提供せんとするにある。 この目的のため、本発明方法は、符号化信号をフィードバックして符号化を制 御するステップを含む所定の符号化処理に従って信号を符号化するステップと、 符号化された信号を修正して前記付加データを表わすステップとを具える符号化 信号に付加デーダを埋込むに当たり、前記符号化信号をフィードバックするステ ップを前記信号を修正するステップの後に実行することを特徴とする。符号化信 号を修正するステップはエンコーダのフィードバックループの内側で行う。これ がため、電子透かしを付与する目的での符号化信号の修正をフィードバックし、 次の符号化操作で補償する。斯くして埋込んだ電子透かしは、送信機で符号化処 理を行った場合と同様に受信機で復号化処理を行う。送信機での圧縮処理の結果 として、受信機によって入力信号の充分に良好なレプリカを再生する。信号対雑 音比は著しく改善されるか、或は又、多くの電子透かしデータを所定の信号対雑 音比で埋込むこができる。 本発明は、特に、単位ビット符号化信号に付加データを埋込むために特に好適 である。単位ビット符号化信号は電子透かしに対して特に影響を受ける。エンコ ーダによって各符号化ステップに対して１ビット出力サンプルを発生する。一般 に、電子透かしを付与する目的での符号化信号の出力サンプルの修正は例えばマ ルチビットサンプルの値を単に変化させる場合よりも一層厳しい。 単位ビット符号化の例はデルタ変調器、シグマ−デルタ変調器、および雑音形 状のエンコーダである。また、シグマ−デルタ変調はフィードバックループを有 するエンコーダのファミリーに属する。シグマ−デルタ変調は２８２２４００Ｈ ｚ（６４＊４４１００）のサンプリング周波数を用い、１１５ｄＢの信号対雑音 比を有するディジタルバーサタイルディスク（ＤＶＤ）のオーディオバージョン で高品質オーディオを記録し得るようにする。電子透かしは例えば出力ビット流 の選択されたビットをディジタル電子透かしパターンのビットで置換えることに よって挿入する。この挿入を従来既知のように、即ち、慣例の符号化後に行う場 合には、電子透かしビットの挿入によって量子化雑音が著しく発生する。例えば 、１電子透かしビットによるシグマ−デルタ変調されたオーディオ信号の１００ ビットごとの１ビット置換によって−６０ｄＢまでの量子化雑音が発生する。こ れに対し、本発明によれば量子化雑音を１ｄＢ増大させるだけで、シグマ−デル タ変調されたオーディオ信号を１００ビット当たり１ビット変化させることがで きる。これはほぼ２８００ビット／秒の電子透かしビット比に相当する。図面の簡単な説明 図１は本発明による符号化オーディオまたはビデオ信号に付加データを埋込む 装置を示すブロック回路図、 図２は本発明によるデルタ変調されたオーディオ信号に付加データを埋込む装 置を示すブロック回路図、 図３−５は図２に示す本発明装置の作動を説明するための特性図、 図６は本発明によるシグマ−デルタ変調されたオーディオ信号に付加データを 埋込む装置を示すブロック回路図、 図７−９は図６に示す本発明装置の作動を説明するための特性図、 図１０は図２または図６に示す装置によって符号化された信号から埋込まれた 電子透かしを抽出する装置を示すブロック回路図、 図１１は図１に示す装置によって符号化された信号から埋込まれた電子透かし を抽出する装置を示すブロック回路図、 図１２は（シグマー）デルタ変調された信号電子透かしを抽出する他の例を示 すブロック回路図、 図１３は図６に示す例の作動を説明するための特性図である。 発明を実施するための最良の形態 図１は本発明による符号化オーディオまたはビデオ信号に付加データを埋込む 装置のブロック回路図を示す。本例装置は予測エンコーダ１および修正回路２を 具える。予測エンコーダ１は（アナログまたはディジタル）入力信号ｘを受ける 予測エラー信号ｅを符号化段１２に供給する。予測エンコーダはさらに復号化段 ク経路を具える。予測エンコーダ１はデルタ復調器、差分パルス符号変調器また は離散余弦変換（ＤＣＴ）エンコーダのような従来既知の種々の形態のものとす ることができる。 修正回路２は符号化予測エラー信号ｙを受けるとともに所定の電子透かしｗに 従ってこの信号を修正するように配列する。この修正回路の例は既知である。前 述したHartung等の文献では電子透かし信号ｗの８＊８ブロックにＤＣＴを施し 、斯くして得たＤＣＴ係数を変換符号化予測エラー信号の選択されたＤＣＴ係数 に加算する。他の例は、I.J.Cox，J.Kilian，T.LeightonおよびT.Shamoon著“AS ecure Imperceptible yet Perceptually Salient，Spread Spectrum Watermark for Multimedia”Conference Record of Southcon 96，６月25−27日，1996年第 192-197頁に記載されている。この文献では、一連の真数をDC係数を含む最高次 変換係数に加算することによりビデオ信号に電子透かし処理を施すようにしてい る。 本発明によれば、この修正回路２を符号化段１２および復号化段１３間に、即 号化信号ｙの代わりに修正符号化信号ｚから取出す。信号を電子透かし化するス テップが符号化信号ｙにエラーを導入することと等価であると考える際には、そ の効果は明らかとなる。従来のシステムでは、“エラー”は送信された信号に挿 入される。予測符号化の分野で既知のように、かかるエラーは受信機の復号化処 理を経て伝搬し、信号品質を著しく劣化する。修正回路によって導入された任意 の“エラー”は復号化段１３を経て減算器１１にフィードバックしその結果の予 測エラーを次に符号化してその影響が補償されるようにする。従って、所定の信 号対雑音比に対する許容“エラー比”は著しく増大し、および／または知覚品質 が著しく改善される。 図１に示すようなエンコーダから符号化された信号を復号化する受信機は一般 にエンコーダの予測ループと同一であり、従って個別には示さない。 一層詳細な例を図２につき説明する。図２はアナログまたはＰＣＭ符号化オー ディオ信号を符号化するデルタ変調器を示す。この回路配置は入力信号ｘから予しこれによりサンプリング周波数fsにより決まる速度でｘ＞ｘに対し出力サンプ ル＋１，ｘ＜ｘに対し出力サンプル−１をそれぞれ発生する。フィードバックル ープは予測信号を得るための復号化フィルタ２３（加算器または積分器）を含む 。本発明によれば、修正回路２４は極性検出器２２およびフィルタ２３間に接続 する。 本例では、修正回路はマルチプレクサとし、これによって、極性検出器の出力 の選択されたビット（例えば、１００番目のビット毎）を、選択信号ｓに応答し て電子透かしビットパターンｗに置換する。電子透かしを埋込む他の例では符号 化信号の選択されたサンプルを反転し、電子透かしデータを順次の反転されたサ ンプル間のビット周期の数で表わすようにする必要がある。 図３−５は図２に示す装置の作動を説明する種々の信号波形を示す。これらの 図では記号３０は入力信号ｘを示す。 例えば、図３は電子透かし機能のない従来のデルタ変調器の波形を示す。この 波成分を除去するための低域通過フィルタ作動以外に）を示す。記号３２は慣例 のデルタ変調器の出力ビット流を示す。 図４は従来の技術により既知のように符号化信号を電子透かし処理する影響を 説明する。記号３４は、ビット流３２の６番目、１６番目および２６番目のビッ ト（図３）をディジタル電子透かしパターンｗ＝“００１”にそれぞれ相当する −１、−１および＋１で置換して得られたビット流を示す。記号３３はこのビッ ト流を受信する受信機の出力信号を示す。この図から明らかなように信号対雑音 比が著しく減少することを観察できる。 示す。記号３６は装置の出力ビット流を示す。図４に示す所と同様に、電子透か しビットパターンｗ＝“００１”はビット流３６の６番目、１６番目および２６ 番目のビット位置に収容されるが、今はビット修正を符号化信号のフィードバッ ク前に実行する。埋込まれた電子透かしの最初のビット５１は極性検出器がこの サンプル周期に対して発生するサンプル−１とは相違しない。従って、予測信号 レベル５４は図３の予測信号レベル３７と同一である。電子透かしの第２ビット ５２は極性エンコーダが発生するサンプル＋１とは相違する。この“間違った” ビットは予測ループを経てフィードバックするため、予測信号は、デルタ変調器 が異なる次のビットを発生することにより補償されるレベル５５にあるものとす る。この結果、予測信号３５が数サンプル周期後に再び入力信号と交差するよう になる。同様に、第３電子透かしビット５３によって装置から＋１サンプルを発 生するが、装置は、そうでないと、このサンプル周期に対して値＋１を発生し、 （且つ極性検出器が実際に発生する）。再び“間違った”予測レベル５６を補償 するには数サンプル周期のみが必要となる。 また、図５の記号３５は受信機の出力信号を示す。波形３３および３５を比較 することによって信号対雑音比が充分に改善されたことを示す。 図６は本発明によるシグマ−デルタ変調器を示す。シグマ−デルタ変調はＤＶ Ｄのオーディオバージョンに高品質オーディオを記録するものである。このシグ マーデルタ変調は、デルタ変調器の予測ループのフィルタと同一のフィルタによ って符号化前に、入力信号ｘをフィルタ処理する点でデルタ変調とは相違する。 次いで、入力経路およびフィードバック経路のフィルタを符号化ループのフォワ ード経路の単一フィルタと置換する。従って、図６に示すシグマ−デルタ変調器 は、フィルタ２３がフィードバック経路からフォワード経路に移動した点で、図 ２に示すデルタ変調器とは相違する。 図７は電子透かし機能のない従来のシグマ−デルタ変調器の波形を示す。記号 ７０は入力信号ｘを示し、記号７１は符号化された出力信号を示す。シグマ−デ ルタ変調器によって、入力信号が大きくなるにつれて一層正のサンプルを発生す る。記号７０は入力信号ｘを示し、記号７１は符号化された出力信号を示す。シ グマ−デルタ変調器によって、入力信号が大きくなるにつれて一層正のサンプル を発生する。図７に示すように、−０．５Ｖの入力信号は３つの−１Ｖパルスお よび１つの＋１Ｖパルスのシーケンスとして符号化され、０Ｖの入力信号は３つ の−１Ｖパルスおよび１つの＋１Ｖパルスのシーケンスとして符号化され、＋５ Ｖの入力信号は３つの＋１Ｖパルスおよび１つの−１Ｖパルスのシーケンスとし て符号化される。この信号は、受信したパルスを再成形し低域通過フィルタを通 過させることによって受信端で復号化する。図７では、ビット流の１３サンプル を平均化することによって斯かる信号を復調する。記号７２は平均化処理によっ て生ずる遅延の他に、再構成された信号をも示す。斯くして再構成された信号は 入力信号と時間的に整列されるようになる。 図８は従来技術に従って、即ち、慣例のシグマ−デルタ変調後に符号化信号を 電子透かし処理する影響を示す。本例では、慣例のシグマ−デルタ変調器のａ− １サンプル７３（図７）は、ａ＋１サンプル７４と置換されている。この置換は 符号化処理には影響を与えず、修正されていない符号化出力信号７５の残部はそ のままとする。記号７６は受信端の再構成信号を示す。図７の再構成された信号 ７２との差は記号７７（図ではこれは信号の時間整列により時間的に早期となる ９の箇所で著しくなり、復号化処理の残部中リップルを生ずるようになる。再び 、信号対雑音比が十分に減少していることを観察することができる。 図９は本発明による同一の電子透かしサンプル７４を埋込む効果を示す。本例 では、この電子透かしの効果を入力側にフィードバックループするとともに電子 透かしの挿入後に入力信号を個別に符号化して補償する。本例では再構成信号７ ８は入力信号に著しく良好に類似している。２８２２４００（６４*４４１００ ）のサンプリング周波数fsで高品質オーディオ信号を符号化する図６に示すシグ マーデルタ変調器の特定の例は１１５ｄＢの信号対雑音比を有する。この場合に は、１００サンプル当たり１サンプルの置換によって単に１ｂＢだけ量子化雑音 を増大することを確かめた。これは２８０００ビット／秒の電子透かしビット比 に相当する。 図１０は図２に示すような装置によって発生するデルタ変調された信号から、 または図６に示すような装置によって発生するシグマ−デルタ変調されたシグマ −デルタ変調器から埋込み電子透かしを抽出する装置を示す。修正された符号化 信号ｚは選択信号ｓによってクロック化されるレジスタ１００のデルタ入力端子 に供給する。レジスタ１００の出力は電子透かしビットパターンｗとなる。選択 信号ｓによってビット流のどのビットが電子透かしビットであるかどうかを決め る。この選択信号はサンプル周波数fsを諸定数Ｎ，例えば、１００で分周する分 周段１０１によって発生させる。この信号は送信機における関連する選択信号 ｓと同期するものとする。この同期化は電子透かし信号ｗに所定の同期化ビット パターンを組込むことによって達成する。かかる例では、同期検出器１０２によ ってこのパターンを検出し、同期パターンが検出されるまで駆動段１０１の位相 を変化させるようにする。 図１１は原入力信号ｘを受信端で得る場合に用いることができる埋込み電子透 かしを抽出する装置を示す。本例装置は図１に示す関連送信機と同一のエンコー ダ１を具える。しかし、フィードバックループは電子透かしの付された信号ｚを 号とする。局部的に符号化された信号ｙと受信した信号ｚとを抽出回路３に供給 し、この抽出回路によって図１の修正回路２を反転操作する。例えば、電子透か し信号がＭＰＥＧエンコーダのＤＣＴ係数に加算された実数のシーケンスである 場合には、抽出回路を減算器とする。 図１２は（シグマ−）デルタ変調信号から電子透かしを抽出する特定の例を示 す。図１２において、記号２１−２３は図２に示す所と同一のデルタ変調器を構 成する。抽出回路３は排他的ＯＲゲート３０１を具え、これによって電子透かし 信号ｚのビットまたは符号化信号ｙの関連するビットが等しいかどうかを決める 。これらビットが等しくない場合には電子透かし信号ｚが反転ビットを桁上げす るビット周期を検出する。検出された信号はサンプル周波数fsでクロック動作す る計数器３０２に供給し、この計数器によって２つの連続反転ビット間のビット 周期の数が第１の所定数（例えば、７５）である場合には２進数“０”を発生す るとともにビット周期の数が第２の所定数（例えば、１２５）である場合には２ 進数“１”を発生する。 図１３はこの例の動作を説明するための信号波形を示す。記号３０は原入力信 号ｘを示し、記号１３１は受信した電子透かし信号ｚを示し、記号１３２は電子 部極性検出器２２（図１２）の出力信号を示す。図から明らかなように、局部極 性検出器によって、受信した信号ｚが＋１となる箇所（記号１３５）で出力−１ （記号１３４）を発生する。この不一致を排他的ＯＲゲート３０１（図１２）に より検出する。同様に、排他的ＯＲゲートによって電子透かしビットの発生箇所 １３６および１３７を検出する。計数器３０２（図１２）によって計数器された 電子透かしビット間のビット周期の数を計数する。本例では、１５ビット周期の 距離で電子透かしパターンの“０”を表わし、７ビット周期の距離で“１”を表 わす。 要するに、フィードバックループを有するエンコーダ、例えば、シグマ−デル タ変調器（２１、２２、２３）によって符号化された信号に電子透かしを埋込む 方法を述べる。ディジタル電子透かしパターン（ｗ）は、電子透かしパターンの サンプルにより符号化信号（ｙ）の選択されたサンプルを修正（例えば、１００ 番目のビット毎に置換）することによって信号（ｚ）に埋込む。サンプルを修正 する回路（２４）はエンコーダのループの内側に位置させる。これがため、電子 透かしの効果は次の符号化ステップで補償し、且つ信号対雑音比はわずかに影響 を受けるだけである。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/24 (72)発明者 ノーイテン ペトルス アントニウス コ ルネリス マリア オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 オーメン アーノルダス ウェルネル ヨ ハネス オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６

Claims (1)

1. 【特許請求の範囲】 １．符号化信号をフィードバックして符号化を制御するステップを含む所定の符 号化処理に従って信号を符号化するステップと、符号化された信号を修正して 前記付加データを表わすステップとを具える符号化信号に付加データを埋込む に当たり、前記符号化信号をフィードバックするステップを前記信号を修正す るステップの後に実行することを特徴とする符号化信号に付加データを埋込む 方法。 ２．前記符号化を単位ビット符号化とすることを特徴とする請求項１に記載の符 号化信号に付加データを埋込む方法。 ３．前記符号化をシグマ−デルタ変調とすることを特徴とする請求項２に記載の 符号化信号に付加データを埋込む方法。 ４．前記符号化信号を修正するステップは符号化された信号の選択されたサンプ ルを前記付加データのサンプルで置換することを特徴とする請求項１、２また は３に記載の符号化信号に付加データを埋込む方法。 ５．前記符号化信号を修正するステップは単位ビット符号化信号の選択されたサ ンプルの反転サンプルを具え、埋込まれたデータは順次の反転サンプル間のサ ンプル周期の数により表わされることを特徴とする請求項１、２または３に記 載の符号化信号に付加データを埋込む方法。 ６．選択されたサンプルを付加データのサンプルで置換した受信符号化信号から 付加データを抽出するに当たり、所定の選択信号に応答して前記サンプルを選 択するステップを更に具えることを特徴とする受信符号化信号から付加データ を抽出する方法。 ７．前記付加データに含まれる同期化パターンを検出することにより前記選択信 号を回復（検索）することを特徴とする請求項６に記載の受信符号化信号から 付加データを抽出する方法。 ８．受信した符号化信号をフィードバックして符号化を制御するステップを含む 所定の符号化処理に従って原信号を符号化するステップと、符号化された原信 号と受信した符号化信号とを比較してこれら信号間の差により付加データを表 わすステップとを具えることを特徴とする受信符号化信号から付加データを抽 出する方法。 ９．前記付加データは順次の反転サンプル間のサンプル周期の数によって表わし 、前記反転サンプル間のサンプル周期の数を計数して付加データを抽出するス テップを更に具えることを特徴とする請求項８に記載の受信符号化信号から付 加データを抽出する方法。 １０．符号化を制御するフィードバックループを含み、信号を符号化するエンコ ーダと、符号化信号の選択されたサンプルを修正して付加データを表わす手段 とを具える符号化信号に付加データを埋込む装置において、前記フィードバッ クループを接続して修正された符号化信号をフィードバックすることを特徴と する符号化信号に付加データを埋込む装置。 １１．前記エンコーダを単位ビットエンコーダとすることを特徴とする請求項１ ０に記載の符号化信号に付加データを埋込む装置。 １２．前記エンコーダをシグマ−デルタ変調器とすることを特徴とする請求項１ １に記載の符号化信号に付加データを埋込む装置。 １３．前記符号化信号を修正する手段は符号化された信号の選択されたサンプル を前記付加データのサンプルで置換するマルチプレクサとすることを特徴とす る請求項１０、１１または１２に記載の符号化信号に付加データを埋込む装置 。 １４．前記符号化信号を修正する手段は単位ビット符号化信号の選択されたサン プルを反転するインバータとし、埋込まれたデータは順次の修正されたサンプ ル間のサンプル周期の数により表わされることを特徴とする請求項１１または １２に記載の符号化信号に付加データを埋込む装置。 １５．選択されたサンプルを前記付加データのサンプルと置換し、所定の選択信 号に応答して前記サンプルを選択するレジスタを更に具えることを特徴とする 受信符号化信号から付加データを抽出する装置。 １６．前記付加データに含まれる同期化パターンを検出する手段と、この検出に 応答して前記選択信号を発生する手段とを更に具えることを特徴とする請求項 １５に記載の受信符号化信号から付加データを抽出する装置。 １７．受信符号化信号を受信して符号化を制御するフィードバックループを含む 原オーディオまたはビデオ信号を符号化するエンコーダと、符号化された原信 号と受信した符号化信号とを比較してこれら信号間の差により付加データを表 わす手段とを具えることを特徴とする受信符号化信号から付加データを抽出す る装置。 １８．前記付加データは順次の反転サンプル間のサンプル周期の数によって表わ し、前記反転サンプル間のサンプル周期の数を計数して付加データを抽出する 計数器を更に具えることを特徴とする請求項１７に記載の受信符号化信号から 付加データを抽出する装置。 １９．符号化信号の選択サンプルを前記付加データのサンプルとすることを特徴 とする埋込み付加データを有する符号化信号。 ２０．符号化信号の選択ビットを反転し、順次の反転ビット間のビット周期の数 によって埋込みデータを表わすことを特徴とする埋込み付加データを有する単 位ビット符号化信号。 ２１．請求項１９または２０に記載の信号を記憶した記憶媒体。