JP2012186852A - デジタル・ビデオに電子透かしを入れる方法 - Google Patents

Abstract

【課題】デジタル・ビデオに電子透かしを入れる方法を提供すること。
【解決手段】電子透かしデータが、フレーム単位までの、各ブロックまでの複数のクロミナンス部分の少なくとも１つの選択されたクロミナンス部分の平均値の、例えば整数部分などの、複数のビット位置の少なくとも１つのビット位置に効果的に入れられる。１ブロックの個々のピクセルの選択されたクロミナンス部分の値は、必要に応じ、平均の選択されたビットの、結果として得られる代入をもたらすために、調整することができる。置き換えられたビット位置は、当該ブロックがどれだけ混み合っているかに応じて異なる場合がある。人為的誤りという結果が生じることを最小限に抑えながら、電子透かしデータのビットがいかなるＭＰＥＧ符号化にも耐えることをより確実にするために、平均値に「マージン」値を加算することもできる。受信器は、クロミナンス部分の平均値の選択されたビット位置から電子透かしデータのビットを抽出する。
【選択図】図１

Description

本発明は、デジタル・ビデオに電子透かしを入れる技術に関し、より詳細には、デジタル・ビデオ情報内に追加情報を含めることに関する。

ビデオ信号に電子透かしを入れることは、一般に、ビデオ自体の中に追加情報を含めることである。これは、ビデオのソースの埋め込まれた識別を提供し、ビデオがどこでどれだけの期間再生されるかを追跡し、ビデオによって補助装置に情報を伝達するために有益な場合がある。ビデオ信号に電子透かしを入れるための従来技術では、通常、追加情報を伝えるために、ビデオの輝度を使用してビデオ自体の中にアナログ形式の追加情報を符号化した。しかし、人間の視覚システムは、輝度信号に対して非常に感度が良い。したがって、電子透かし入りの信号を見る人間は、追加情報のビットレートを、ある一定のポイント、例えば秒速１２０ビットを超えて増やそうとした場合、追加情報を伝達するためにビデオ信号に行われた変更によって起こるゆがみを、人間の視覚システムは、容易に知覚する。したがって、ビデオ信号の電子透かしを入れる従来技術は、応用例によってはある程度成功であったが、このような成功は、追加情報を伝えるビデオ信号を見る人間によって認知できるゆがみなしに達成可能な、非常に小さいビットレートによって限定されてきた。

本明細書で十分に述べたように、参照により組み込まれた、既に出願された米国特許出願第１０／３４２７０４号において、本発明者は共同発明者と共に、人間の視覚システムのクロミナンスに対する感度は、輝度に対する感度よりも少ないことを認識した。したがって、本発明者らは、電子透かしを入れる信号の追加情報を、その輝度信号ではなく、ビデオ信号のクロミナンス成分に挿入するビデオ信号にデジタル電子透かしを入れるためのシステムを開発した。すなわち、追加情報は、ビデオ信号のクロミナンス成分に「刻印」される。有利には、従来技術によって認知可能なゆがみなしに達成可能なビットレートよりも高いビットレートを追加情報が有する場合は特に、クロミナンス成分には重大なゆがみがあるが、適切に管理されるならば、そのようなゆがみは人間の視覚システムによって検出されない。したがって、追加情報は、従来技術によって達成可能なビットレートよりもビットレートが高い場合がある。例えば、秒速１５０ビットより大きなビットレートを達成することができる。さらに、有利には、追加データを電子透かししたビデオ信号が、動画像符号化専門家会合（ＭＰＥＧ）−１およびＭＰＥＧ−２符号化システムを使用して圧縮された後でさえ、追加データをビデオ信号から回復することができる。

米国特許出願第１０／３４２，７０４号

本発明者は、クロミナンス成分上の情報を正確に送信するために、米国特許第１０／３４２７０４号のシステムは、ビデオの複数のフレームを要求したことを既に認識している。これは、１）ａ）より良い応答時間と、ｂ）一時的改ざんに対する改善された抵抗をビデオに提供するために、粒度のさらに細かい電子透かしが必要となる場合などの、ある種の応用例や、例えば追跡場面のような、ビデオの高速移動の場合に急速に起こり得る、場面展開がある場合などの、ある条件の下では不利な場合がある。

ビデオの電子透かしは、本発明の原理により、フレーム当たりベースまでで、電子透かしデータの１つまたは複数ビットを、ビデオ信号の様々なブロックのそれぞれのクロミナンス成分の平均値で伝えることにより改善される。より具体的には、電子透かしデータの１つまたは複数のビットを、最高各フレームまでの最高各ブロックまでのクロミナンス成分の少なくとも選択された部分の平均値の指定されたビット位置に効果的に入れることができる。通常、ビデオがクロミナンス成分のＹＵＶ形式で表現される場合、例えばＵおよびＶの２つのクロミナンス部分があることに留意されたい。より具体的には、元のビデオ信号の各フレームの各ブロックに対する電子透かしデータを伝えるために選択された、クロミナンス部分の平均値による電子透かしデータの、当該ブロック独自の１つまたは複数ビットを伝えるよう、当該ブロックを修正することができる。この場合、理論的には、ブロックに対する電子透かしデータを含むべき、選択されたクロミナンス部分の平均値のビット部分の値は、同ブロックで伝えられるべき電子透かしデータのビットの値で置き換えられると見なすことができる。

本発明の一態様により、クロミナンス部分の１つだけが、任意の特定ブロックに対する電子透かしデータを伝える。任意のブロックに対する電子透かしデータを伝えるために選択されたクロミナンス部分は、同ブロックに対して独立して選択することができる。本発明の別の態様により、電子透かしデータを伝えるべき平均値のビット位置は、平均値の整数部分の複数ビットのうちの１つである。

本発明の一実施形態では、必要に応じ、電子透かしデータを伝えるべきブロックの選択されたクロミナンス部分の平均値のビットが、電子透かしデータ・ビットの値と同じになるようにするために、ブロックの個々のピクセルの選択されたクロミナンス部分の値を調整することができる。これは、平均の選択ビット位置の値が、選択されたビット位置に入った電子透かしデータの値に適合するために、ブロック全体にわたりクロミナンス部分の値の平均が変更されるよう、ブロックの様々なピクセルの選択されたクロミナンス部分の値を変更することによって達成することができる。

本発明の一態様により、電子透かしデータを含むべき平均値のビット位置の値が既に電子透かしデータ・ビットの値と同じ場合、当該ブロックのどのピクセルにも変更は行われない。しかし、電子透かしデータを含むべき平均値のビットの値が、当該ブロックで伝えられるべき電子透かしデータ・ビットの値の補数である場合、ビットを電子透かしデータ・ビットの値に変更する平均値に対する少なくとも最小限の変更が、平均値に行われる。例えば、電子透かしデータを含むべき平均値のビットが平均値の整数部分の２番目の最下位ビットである場合、そのようなビットは、平均値に対して１を加算または減算することにより、その補数値に常に変更することができる。これを行うことは、２を加算することが好ましく、これは、ビットをその補数値に常に変更するために使用することもできる。何故ならば、これが、平均値に行われる変更を少なくし、したがって、ブロックでの変更も少なくし、したがって、視聴者認知可能な人為的間違いの結果をもたらす機会が低減されるからである。ブロックの選択されたクロミナンス部分の平均値に対する変更は、その平均で所望の変更が達成されるまで、当該ブロックの複数ピクセルのうち一部ピクセルの選択されたクロミナンス部分に対して、値を加算または減算する（負の数を加算することによって達成することができる）により実施される。

本発明の別の実施形態では、動画像符号化専門家会合（ＭＰＥＧ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４など、ＭＰＥＧ標準の１つのような、ビデオのブロック・ベースの周波数領域の符号化を使用する場合、電子透かしを入れたデータのビットの代入は、ブロックのクロミナンス・マトリックスの少なくとも１つの、平均値に対応する、ＤＣ係数の値を調整することにより達成することができる。本発明のそのような実施形態例では、ブロックに対するＤＣ係数の２番目の最下位ビットは、同ブロックに刻印されることが望まれる電子透かしビットの値に置き換えられる。

本発明の一態様により、クロミナンス部分の平均値のどのビットが電子透かしデータを伝えるために指定されているかは、当該ブロックのテクスチャ変動に応じて異なる場合がある。テクスチャ変動が増えるに従い、電子透かしデータを伝えるビット位置の桁を増やすことが有利である。その理由は、ＭＰＥＧ様符号化は、より高いテクスチャ変動に対してより大きな量子化ステップ・サイズを利用するが、このようなより大きな量子化ステップ・サイズを使用すると、電子透かしデータが十分上位に入っていない場合は、その電子透かしデータを、例えば濾過するなど、除去することになるからである。より上位のビット位置を使用する場合、電子透かしデータを伝えるビット位置の値をその補数値に変更するために、平均値に対して加算または減算されるべき値は１より大きくてよい。Ｙ、Ｕ、またはＶ、もしくはこれらの組合せのテクスチャ変動など、いかなるテクスチャ変動でも使用することができる。

本発明の一態様により、電子透かしデータを伝えるビット位置がその補数に変更されたか否かにかかわらず、認知可能な人為的誤りの結果が生じる可能性を最小限に抑えながら、当該ブロックの平均値により伝えられる電子透かしデータのビットが、いかなるＭＰＥＧ様符号化にも耐えることをより確実にするために、平均値に「マージン」値を加算することができる。

受信器は、ブロックのクロミナンス成分のどれが電子透かしデータを伝えるかを特定し、そのクロミナンス成分の平均値の整数部分の選択されたビット位置から電子透かしデータのビットを抽出する。選択されたビット位置は、当該ブロックの特定されたクロミナンス成分のテクスチャ変動または輝度成分のテクスチャ変動など、当該ブロックのテクスチャ変動から特定することができる。

有利には、従来技術では、より良い応答時間と、ビデオへの一時的改ざんに対する改善された抵抗が達成される。さらに有利には、場面変更は、刻印されたデータに誤りをもたらさない。さらに追加の利点としては、ビデオの元のピクセル・ドメイン・バージョンが使用可能でなく、そのブロック・ベースの周波数ドメインの符号化されたバージョンしか使用できない場合でさえ、ピクセル・ドメインに逆変換せずにビデオに電子透かしを入れることができる。

本発明の原理により、ビデオ信号をデジタル電子透かしするための送信器例を示す図である。 本発明の原理により、それ自体のクロミナンス信号にデジタル電子透かしを含めたデジタル信号の追加データを回復するための、受信器例を示す図である。 本発明の原理により、図３に示すように組み合わせた場合、追加データで複数のクロミナンス部分の１つに電子透かしを入れる際に使用するための、処理例を示す図である。 本発明の原理により、図３に示すように組み合わせた場合、追加データで複数のクロミナンス部分の１つに電子透かしを入れる際に使用するための、処理例を示す図である。 本発明の原理により、図４に示すように組み合わせた場合、ビデオ信号の電子透かし信号を構成する追加情報がクロミナンス成分に既に刻印されている、デジタルに電子透かしを入れたビデオ信号から追加情報を抽出するための処理例を示す図である。 本発明の原理により、図４に示すように組み合わせた場合、ビデオ信号の電子透かし信号を構成する追加情報がクロミナンス成分に既に刻印されている、デジタルに電子透かしを入れたビデオ信号から追加情報を抽出するための処理例を示す図である。 所望のビット位置が３番目の最下位ビットである、複数の安全な範囲の一例を示す図である。 ピクセルに対する電子透かし情報を含めるために、どの特定のクロミナンス部分がより適しており、選択されるべきかを特定するための処理例を示す図である。 分割された色空間例の一部分の断面図である。 ピクセルに対する電子透かし情報を含めるために、特定のクロミナンス部分を選択する、別の処理例を示す図である。 ブロックのクロミナンス部分の平均値にデータが刻印される前に、その刻印されるべきデータを、少なくとも１回、好適には数回、複製することによりちらつきを低減させることのできる、本発明の原理により構成された送信器例を示す図である。 図９の送信器により作成されるような、電子透かしを入れたビデオ信号を受信する際に使用することのできる、本発明の原理により構成された受信器の一実施形態を示す図である。

以下は、本発明の原理を単に例示したものに過ぎない。したがって、当業者は、本明細書には明示的に説明または図示はしないが、本発明の原理を実施し、本発明の趣旨および範囲に含まれる様々な構成を考案することができることが理解されよう。さらに、本明細書に記載のすべての実施例および条件付き用語は、本発明の原理および技術を推進するために本発明者らが導いた概念を理解する際に読者の役に立つために、特に教育的目的のみを原則として意図しており、このように具体的に記載された実施例および条件に限定しないものと解釈される。また、本発明の原理、態様、および実施形態、ならびにその具体例を記載する、本明細書のすべての記述は、その構造上および機能上の等価形態を包含することを意図する。さらに、そのような等価形態は、現在周知の等価形態、ならびに将来において開発される等価形態、すなわち、構造には関係なく、同じ機能を実行する、開発された任意の要素、の両方を含むことを意図する。

したがって、例えば、本明細書のいかなるブロック図でも、本発明の原理を実施する例示の回路の概念図を表すことが、当業者には理解されよう。同様に、いかなるフローチャート、流れ図、状態遷移図、擬似コードなども、コンピュータ可読媒体に実質的に表され、コンピュータまたはプロセッサによってそのように実行することができる、様々な処理を表す。これは、そのようなコンピュータまたはプロセッサが明示的に示されているか否かとは関係ない。

図示する様々な要素の機能は、「プロセッサ」とラベリングされたいかなる機能ブロックをも含めて、専用ハードウェア、ならびに適切なソフトウェアに関連するソフトウェアを実行することのできるハードウェアを使用することにより提供することができる。プロセッサによって提供される場合、これら機能は、単一の専用プロセッサにより、単一の共有プロセッサにより、またはいくつかは共有可能な複数の個別プロセッサにより、提供することができる。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することのできるハードウェアだけを意味するものと解釈されるべきでなく、限定はしないが、暗黙的に、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワーク・プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ソフトウェアを記憶するための読み取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および不揮発性記憶装置を含むことができる。従来型および／または特注の他のハードウェアを含むこともできる。同様に、図示するスイッチは、どれも概念上のみのものである。これらの機能は、プログラム論理の動作により、専用論理により、プログラム制御と専用論理の連携により、または場合によっては手動により遂行することができる。この場合、状況からより具体的に理解される特定の技術を、実施者により選択可能である。

本明細書の特許請求の範囲では、指定した機能を実行する手段として表した要素はどれでも、例えば、ａ）その機能を実行する回路素子の組合せ、またはｂ）その機能を実行するためにソフトウェアを実行するための適切な回路と組み合わされた、ファームウェア、マイクロコードなどを含めた、任意の形式のソフトウェアを含めて、その機能を実行するいかなる方法をも包含することを意図する。このような特許請求の範囲により規定される本発明は、様々な記載の手段により提供された機能が、本特許請求の範囲の要求する方法で組み合わされ、一体化されることにある。したがって、出願人は、それらの機能を提供することのできる手段ならばどれでも、本明細書に示す形態の等価形態と見なす。

ソフトウェア・モジュール、またはソフトウェアであることが暗示される単なるモジュールを、本明細書では、処理工程および／またはテクスチャ記述の実行を示す、フローチャート要素または他の要素のいかなる組合せとしても表すことができる。このようなモジュールは、明示的または暗黙的に示されるハードウェアによって実行することができる。

特に本明細書で明示的に指定しない限り、図面は一定比例による拡大表示ではない。
説明では、図面が別でも、同一番号を付した構成要素は、同一構成要素を示す。

図１は、ビデオ信号の様々なブロックのそれぞれのクロミナンス成分の平均値により伝えられる電子透かしデータの１つまたは複数のビットを有することにより、本発明の原理によってビデオ信号を、フレーム単位を基礎として、デジタル電子透かしを入れるための、送信器例１０１を示す。

図１には、ａ）ＹＵＶデマルチプレクサ（ｄｅｍｕｘ）およびデジメーター１０３、ｂ）色選択１０５、ｃ）二極形の双投形スイッチ１０９、ｄ）テクスチャ・マスキング・ユニット１１１、ｅ）乗算器１１３、ｆ）加算器１１５、ｇ）マルチプレクサ（ｍｕｘ）１１７、ｈ）ビット・マッパー１２３、およびｉ）加算器１３３を示す。図１には、任意選択のｊ）チャンネル・エンコーダー１１９、およびｋ）ブロック・インターリーバー１２１も示す。

ＹＵＶデマルチプレクサおよびデシメーター１０３は、電子透かしを入れるべきビデオ信号、すなわち追加情報を加えるビデオ信号を受け取る。ＹＵＶデマルチプレクサおよびデシメーター１０３は、シリアル・デジタル・インターフェース（ＳＤＩ）標準に従ってフォーマットされたビデオなどの、デジタル・ビデオを扱うことができる。当業者には理解されるだろうが、最初は適切なデジタル形式でないビデオ信号はどれも、従来技術を使用して適切なデジタル形式に変換することができる。

ＹＵＶデマルチプレクサおよびデシメーター１０３は、ビデオの輝度（Ｙ）成分およびそのクロミナンス成分を逆多重化する。ビデオ信号のクロミナンス成分は、ＵおよびＶという２つの部分を有する。ここで、Ｕは差分青部分、Ｖは差分赤部分である。

追加データをクロミナンス成分に埋め込む処理の大部分は、好適には、特別のデシメートされたビデオ形式で実行される。ここで、元のブロックが４−４−４表現の場合、ビデオの元のそれぞれ２×２の輝度ブロックに対して、１つのＹ値、１つのＵ値、および１つのＶ値しか残らない。この目的のため、入力されるビデオ信号が実際は所謂４−４−４形式である場合、その画像は、元の２×２の輝度ブロックのそれぞれに対して、１つのＹ値、１つのＵ値、および１つのＶ値があるように、ＹＵＶデマルチプレクサおよびデシメーター１０３によって適切にデシメートされる。同様に、入力されたビデオ信号が所謂「４−２−２」形式の場合、すなわち、輝度が最大解像度である一方、クロミナンス部分がａ）縦のみ最大解像度であり、ｂ）横は半分の解像度である場合、ＹＵＶデマルチプレクサおよびデシメーター１０３は、輝度成分を縦横共にデシメートし、各クロミナンス部分を縦のみデシメートする。同様に、入力されたビデオ信号が所謂４−２−０形式である場合、すなわち、輝度成分が最大解像度である一方、クロミナンス部分は、それぞれ縦横共に半分の解像度しかない場合、その画像の輝度成分はＹＵＶデマルチプレクサおよびデシメーター１０３によってデシメートされる。この結果、元のブロックが４−４−４表現の場合、元のそれぞれ２×２の輝度ブロックに対して、１つのＹ値、１つのＵ値、および１つのＶ値しか残らない。

好ましいデシメートされたビデオ形式を、色選択１０５への出力として供給することができる。したがって、好適には、入力されたビデオ信号の形式にかかわらず、システムによるさらなる処理は、元の入力されたビデオ信号の最大解像度の輝度ピクセルのすべての２×２ブロックに対して、１つのＹ値、１つのＵ値、および１つのＶ値があるように、デシメートされたビデオ信号に好適に基づくことができる。当業者は、輝度ピクセルのすべての２×２ブロックに対して１つのＹ値、１つのＵ値、および１つのＶ値の展開を希望するならば、これを展開する独自の方法を開発することができよう。

元のビデオの形式を知るために、ａ）オペレータが、ＹＵＶデマルチプレクサおよびデシメーター１０３に、送信器１０１に供給されたビデオの特定の形式を示すか、ｂ）ビデオの形式を、従来技術を使用してビデオから直接検出するか、またはｃ）その情報を、入力されたビデオ信号を供給するさらに上層のプロセッサから供給することができる。

ＹＵＶデマルチプレクサおよびデシメーター１０３は、元の入力されたビデオ信号のフル・フォーマットのＹＵＶ出力の第２の組を、二極形の双投形スイッチ１０９に供給することもできる。

色選択１０５は、どの特定ピクセルに対しても、可視的な人為的誤りを起こさずに、適宜、クロミナンス成分のどの部分に、すなわちＵ部分またはＶ部分に、値の変更を、より良く適合することができるか特定する。本発明の一実施形態では、色選択１０５は、以下でさらに説明するように、参照テーブルに基づく。あるいは、色選択１０５は、すべてまたは一部を、従来の米国特許第１０／３４２，７０４号のような、様々な演算に基づくことができる。

二極形の双投形スイッチ１０９の位置を制御するためにも、色選択１０５の出力を使用することができる。より具体的には、色選択１０５の出力は、二極形の双投形スイッチ１０９が、１）電子透かしデータを伝えるために選択されたクロミナンス成分の部分を加算器１１５に供給し、２）選択されなかったクロミナンス成分の部分をＹＵＶマルチプレクサ１１７に供給するようセットされる。色選択１０５の出力は、以下で説明するように使用するために、マルチプレクサ１１７とビット・マッパー１２３に供給することもできる。

テクスチャ・マスキング・ユニット１１１は、可視的な人為的誤りを起こさずに、そのピクセルが適合することのできる値の最大の変更を決定するために、ＹＵＶデマルチプレクサおよびデシメーター１０３により出力として供給されるデシメートされた形式の各ピクセル周囲の輝度領域のテクスチャを分析し、それが示す重みを出力として供給する。その重み値は、例えば１から５までの整数値を取って符号化することができる。他の値を使用することができる。例えば、実験では、２０までの値を、視覚的な低下なしにビジー・エリアで使用することができることが示されている。その重みは、乗算器１１３に供給される。テクスチャ・マッピング・ユニット１１１は、以下でさらに説明するように、ピクセルに持ち込まれる可能性のある最大のゆがみよりも小さい値を出す場合がある。

使用される特定の値は、少なくとも一部には、各Ｙ値、Ｕ値、およびＶ値を表すために使用されるビット数に、少なくとも一部には依存することに留意されたい。例えば、１から５の上記で提案した重み値、および場合によっては２０までの重みは、８ビット値のＹ、Ｕ、およびＶに対するものである。当業者には、８ビットに対して利用された値が、その値を左に２回シフトするなど、４を乗じることによって１０ビットにスケール変更することができることが容易に理解されよう。同様に、Ｙ、Ｕ、およびＶに対して使用される他のビット数を、同様に適合することができる。

乗算器１１３は、テクスチャ・マスキング・ユニット１１１から受け取った重みに、ビット・マッパー１２３によって供給される、当該ピクセルの部分として送信されるべき情報に関する値を乗じる。例えば、ビット・マッパー１２３によって供給される値は、−１、０、または１であってよい。乗算器１１３によって生成された積は、加算器１１５および加算器１３３に供給される。

テクスチャ・マスキング・ユニット１１１は、加算器１３３に応答する。この点で、上記のように、テクスチャ・マスキング・ユニット１１１は、加算器１３３からの結果に対する信号を受け取った場合、ピクセルにもたらされる可能性のある値の変更よりも小さい重み値を出す可能性がある。より具体的には、加算器１３３は、ブロックごとにテクスチャ・マスキング・ユニット１１１により供給された値を合計する。加算器１３３は、テクスチャ・マスキング・ユニット１１１が現在処理中のピクセルに対してその出力重みとして使用することのできる最大値を、出力としてテクスチャ・マスキング・ユニット１１１に供給する。加算器１３３により供給されるこの最大値は、ａ）ピクセル周囲のテクスチャに基づいてピクセルによって適合することのできる最大重み値と、ｂ）加算器１３３にビット・マッパー１２３により供給される当該ブロックに関する値と当該ブロックに対する現在の合計の差、の小さい方である。したがって、合計が、加算器１３３にビット・マッパー１２３により供給される当該ブロックに関する値と等しくなると、テクスチャ・マスキング・ユニット１１１は、当該ブロックの残りのピクセルごとに０を出力する。

加算器１１５は、乗算器１１３により供給された値を、ピクセルに関する追加情報を伝えるために色選択１０５により選択されたクロミナンスの部分の値に加算することにより、修正されたクロミナンス部分を生成する。指摘したように、追加情報を伝えるために色選択１０５により選択されたクロミナンスの部分は、二極形の双投形スイッチ１０９により加算器１１５に渡される。加算器１１５により供給された修正済みのクロミナンス部分は、乗算器１１７に供給される。

テクスチャ・マッピング・ユニット１１１、乗算器１１３、ビット・マッパー１２３、および加算器１３３は共同して、元のビデオ信号のクロミナンスの形式に一致するために、特別な処理解像度の各ピクセルに追加中の値を有効にアップサンプルする。この目的のために、結果的に得られたアップサンプルされた値を、処理に使用される、特別の解像度を低めた形式でのピクセルの位置に対応する、元のビデオ信号の各ピクセルの選択されたクロミナンス部分に加算することができる。例えば、元のビデオ信号が４−２−２形式の場合、特別の処理形式でブロックのピクセルのそれぞれに加算されるべきであると決定された値は、ラインあたり８ピクセル、ブロックあたり１６ラインを有する、加算されるべき値のブロックを作成するために、ラインごとを基礎として複製される。このブロックで、２つの連続したラインのオーバーラップしないグループのラインのそれぞれは、同一値を加算させる。このようなブロックは、４−２−２形式の元のビデオの選択されたクロミナンス部分の元のブロックに、サイズで対応する。結果的に得られたアップサンプルしたブロックの各値は、加算器１１５によって、元のビデオ信号の、それぞれの同様に配置されたピクセルの選択されたクロミナンス部分に加算される。当業者には、異なる形式に対しても、類似のブロック換算を容易に実行することができよう。選択されたクロミナンス部分が変更により良く適合することができると色選択１０５が決定しなかったブロックのピクセルに関して、加算される値は０となることに留意されたい。元のビデオ信号が４−２−０形式の場合、アップサンプルは要求されない。

本発明の別の実施形態では、デシメートされた特別の処理解像度形式だけが処理される。結果的に修正されたクロミナンス部分は、次いで、例えばマルチプレクサ１１７でアップサンプルされる。しかし、これを行うことにより、元のビデオ信号にある種の低下が発生する可能性がある。ただし、このような低下は、必ずしも可視的ではない。

マルチプレクサ１１７は、二極形の双投形スイッチ１０９により元の輝度成分（Ｙ）とＹＵＶデマルチプレクサおよびデシメーター１０３から供給された未修正のクロミナンス部分を受け取る。マルチプレクサ１１７は、加算器１１５から修正済みのクロミナンス部分も受け取る。マルチプレクサ１１７は次いで、元の輝度成分（Ｙ）、未修正のクロミナンス部分、および修正済みのクロミナンス部分を多重化する。色選択１０５の出力を受け取ることにより、マルチプレクサ１１７は、クロミナンス成分の修正済み部分をどのリードで受け取り、クロミナンス成分の未修正の部分をどのリードで受け取るかを知る。本発明の一態様により、結果的に得られたビデオ信号は、電子透かしを入れた出力ビデオ信号として供給される。

当業者は、アップサンプルを必要としないように、デシメートしたバージョンでなく、元のクロミナンス信号部分に追加データが加えられる、本発明の実施形態を開発することができよう。

指摘したように、バイナリ・データ値、すなわちブロックごとに送信されるべき追加情報の１または０を、電子透かしデータとして使用するためにビット・マッパー１２３に直接供給するか、または受信器での情報の処理および回復を容易にするためにまず処理することができる。このような処理例は、任意選択のチャンネル・エンコーダー１１９とブロック・インターリーバー１２１により実行することができる。

チャンネル・エンコーダー１１９は、ビデオ・ストリームに埋め込まれることが望まれる追加データを受け取る。このデータは次いで、例えば転送誤り訂正符号化スキームを使用して符号化される。このような転送誤り訂正スキームは、ビタビ符号化またはターボ符号化などの畳み込み符号化のようないかなる従来型の転送誤り訂正スキームであっても、または新規に開発されたいかなる符号化スキームであってもよい。本発明の実施形態例では、２分の１のレートの畳み込み符号化が使用される。そのような符号化の結果、元のビット・ストリームのすべてのビットに対して２ビットが生成される。チャンネル符号化ビット・ストリームが、出力としてブロック・インターリーバー・ユニット１２１にチャンネル・エンコーダー１１９により供給される。

ブロック・インターリーバー１２１は、データを無作為に分配するために、チャンネル符号化されたビット・ストリームのビットの順序を再構成する。これを行うことにより、チャンネル符号化されたビット・ストリームの隣接セクションが、例えばノイズのバーストまたは他の要因により消失する機会が低減される。この消失は、受信器でそのようなデータを残りの実際に受信したデータから回復することを困難にする。本発明の実施形態例では、１単位としてインターリーブされたビット数は、１フレーム内のブロック数に等しい。ブロック・インターリーバーは、データをブロックの行に左から右へ連続して書き込み、各行の終わりを下の次行の左端の位置で開始し、次いでそのデータを、そのブロックの左端最上部の位置から始めて、次列上部で読み取りが継続される、列の終端に達するまで、その列を下に読み取ることにより実施することができる。４５行×３０列のブロック・インターリーバーは、７２０×４８０ピクセルのピクチャ・サイズに効果的であることが証明済みである。別の解像度の場合、当業者は、匹敵するブロック・エンコーダーを容易に開発することができる。インターリーブしたチャンネル符号化されたビット・ストリームは、ビット・インターリーバー１２１によりビット・マッパー１２３に出力として供給される。

本発明の一態様では、ブロック・インターリーバー１２１により供給されたデータ・ビットは、ビット・マッパー１２３の制御下で、元のビデオ信号の少なくとも１フレームの少なくとも１ブロックに、電子透かしデータとして刻印される。本発明の原理により、ビット・マッパー１２３は、各ブロックの複数のクロミナンス部分のうち選択された１つのクロミナンス部分の平均値のビット位置の１つへの電子透かしデータの挿入を制御する。データはそこに刻印され、したがって、そのビット位置のビットと効果的に置き換えられる。

例えば、電子透かしデータがブロックの選択されたクロミナンス部分の平均の整数部分の最下位ビットで伝えられるべき場合、平均値に加算される必要のある値は０または１である。平均値の整数部分の最下位ビットが、伝えられるべき電子透かしデータ・ビットと既に同じである場合は０が加算され、平均値の整数部分の最下位ビットが、伝えられるべき電子透かしデータ・ビットの補数である場合は１が加算される。電子透かしデータが、ブロックの選択されたクロミナンス部分の平均の整数位置の２番目の最下位ビットで伝えられるべき場合、当該ピクセルに加算されるべきデータの値は−１、０、または１である。平均値の整数部分の２番目の最下位ビットが、伝えられるべき電子透かしデータ・ビットと既に同じである場合は０が加算され、平均値の整数部分の２番目の最下位ビットが、伝えられるべき電子透かしデータ・ビットの補数である場合は１または−１が加算される。１が加算されるか−１が加算されるかは、平均値の整数部分の２番目の最下位ビットをその補数に変更しながら、平均値に対して最小の変更の原因となるのはどちらかによって異なる。２番目の最下位ビットを使用すると、埋め込まれるべきデータが、ＭＰＥＧまたは類似の処理による符号化に耐える可能性が高まる。ブロックの選択されたクロミナンス部分の平均の整数部分の３番目の最下位ビットにデータが入れられるべき場合、当該ピクセルに加算されるべきデータの値は−２、−１、０、１、または２である。平均値の整数部分の３番目の最下位ビットが、伝えられるべき電子透かしデータ・ビットと既に同じである場合は０が加算され、平均値の整数部分の３番目の最下位ビットが、伝えられるべき電子透かしデータ・ビットの補数である場合は、−２、−１、１、または２が加算される。−２、−１、１、または２のどれが加算されるかは、平均値の整数部分の３番目の最下位ビットをその補数に変更しながら、平均値に対して最小の変更の原因となるのはどれかによって異なる。３番目の最下位ビットを使用すると、埋め込まれるべきデータが、適切な結果を達成するために、ＭＰＥＧまたは類似の処理による符号化に耐える可能性が高まる。上記の説明から、当業者は、ユーザまたはシステムにより決定される、さらに上位のビット位置に対して加算されるべき値を容易に決定することができる。

この目的のために、ビット・マッパー１２３は、ブロックのピクセルの選択されたクロミナンス部分に分配して加算される値を展開する。このように行うことにより、当該ブロックに対する当該クロミナンス部分の値の平均は変更され、その結果、刻印中のブロック・インターリーバー１２１により供給されるビットは、選択されたクロミナンス部分の平均値の選択されたビット位置に入れられる。この値は、電子透かしデータ・ビットを、１ブロック内のピクセル数を乗じた適切なビット位置に入れるために、選択されたクロミナンス部分の平均値に加算されるべき値である。すなわち、当該クロミナンス部分の値の平均に加算されるべき、ビット・マッパー１２３により展開された値は、ブロックの個々のピクセルに加算される、さらに小さい値に分割される。したがって、当該ブロック内のピクセル数によって分割されたブロックに加算される、さらに小さい値の合計は、選択されたクロミナンス部分の平均値に加算されるべき値に等しい。

当該ブロックに対するクロミナンス部分の値の特定ビット平均、例えば、ビット・マッパー１２３により供給されたデータが刻印される、当該クロミナンス部分に対するＤＣ係数は、ビット・マッパー１２３によって決定される。本発明の実施形態例では、ブロックに対するＤＣ係数の２番目の最下位ビットは、当該ブロックに刻印されることが望まれる特定値で置き換えられる。本発明の別の実施形態では、ＤＣ係数のどのビットが置き換えられるかは、当該ブロックのテクスチャ変動により異なる。テクスチャ変動が増えるに従い、置き換えられるビットをより上位にすると有利である。何故ならば、ＭＰＥＧ符号化標準は、より高いテクスチャ変動に対してより大きな量子化ステップ・サイズを利用するが、そのようなより大きな量子化ステップ・サイズを使用することにより、十分に上位でないビット位置に入れられた場合、その電子透かしデータ・ビットを濾過できるからである。より上位のビットを使用する場合、その補数値に代入中のビットを変更するために、ＤＣ係数に対して加算または減算すべき値は、１よりも大きくてよい。この目的のために、本発明の一態様により、ビット・マッパー１２３は、テクスチャ・マスキング１１１から、当該ブロックに対する輝度成分の平均変動を受け取り、その平均変動に基づいて、置き換えられるべきビット位置を決定する。変動が大きいほど、電子透かしデータを入れるビット位置はより上位になる。

ビット・マッパー１２３は、ピクセルが電子透かしを入れた出力ビデオ信号に組み込まれる場合、元のビデオ信号のブロックのピクセルごとに、適宜、元のビデオ信号のブロックごとに伝達されるべき、インターリーブされたチャンネル符号化されたビット・ストリームからデータ・ビットを供給する。したがって、ビット・マッパー１２３は、ビデオ信号の処理がラインに基づいていること、すなわち処理はラインの左から右であり、次いで次のラインに下がり、再び左から右であり、この結果、１つのブロックの隣接するピクセルが必ずしもビデオ・ストリームで連続しておらず、したがって、すべてが一度に連続して次々と処理されるわけではないということを考慮する。何時でもビット・マッパー１２３の出力として供給される特定のデータ・ビットは、乗算器１１３に入力として供給される。

図１に示すようなエンコーダーを使用すると、ビデオのフレーム・サイズが７２０×４８０ピクセルの場合、ほとんど誤りのない、秒速約６，７５０ビットのビットレートが、チャンネル・エンコーダー１１９に供給される際の追加情報について達成される。

当業者は、上記の説明から、図１の複数ユニットの様々なユニットが、ブロック全体からの情報を使用して演算する必要のある値、例えばブロックの元の平均値とブロックの平均テクスチャ変動をまず決定し、次いで個々のピクセルを処理する際にそれらの値を利用するために、記憶域を必要とすることを容易に理解するだろう。その結果、通常、１つのスライス遅延がある。ここで、１スライスは、１つのフレーム全体を横に横断する連なった複数のブロックである。

図２は、そのクロミナンス信号に対するデジタル電子透かしを含む、ビデオ信号の追加データを回復するための、本発明の原理による受信器例２０１を示す。図２には、ａ）ＹＵＶデマルチプレクサ（ｄｅｍｕｘ）およびデジメーター２０３、ｂ）色選択ユニット２０７、ｃ）二極形の双投形スイッチ２０９、ｄ）ブロック変動計算２１１、ｅ）ブロック・インテグレーターＶ ２１３、ｆ）ブロック・インテグレーターＵ ２１５、ｇ）ビット選択２１７、ｈ）デインターリーバー２１９、およびｉ）チャンネル・デコーダー２２１を示す。

ＹＵＶデマルチプレクサおよびデシメーター２０３は、本発明の原理によって、送信器１０１（図１）のＹＵＶデマルチプレクサおよびデシメーター１０３に粗等しくてよく、信号のクロミナンス成分に対して、追加情報が既に加えられた、デジタルに電子透かしの入ったビデオ信号を受け取る。ＹＵＶデマルチプレクサおよびデシメーター２０３は、シリアル・デジタル・インターフェース（ＳＤＩ）に従ってフォーマットされたデジタル・ビデオなどの、デジタル・ビデオを扱う。当業者には理解されるだろうが、最初は適切なデジタル形式でないビデオ信号はどれも、従来技術を使用して適切なデジタル形式に変換することができる。

ＹＵＶデマルチプレクサおよびデシメーター２０３は、ビデオの輝度（Ｙ）成分およびそのクロミナンス成分を逆多重化し、それを好ましい処理形式にデシメートする。その形式では、元のブロックが４−４−４表現である場合、ビデオの元のそれぞれ２×２の輝度ブロックに対して、１つのＹ値、１つのＵ値、および１つのＶ値しか残さない。受け取ったビデオの形式を知るために、ａ）オペレータが、ＹＵＶデマルチプレクサおよびデシメーター２０３に、入力されたビデオの特定の形式を示すことを必要とするか、ｂ）ビデオの形式を、従来技術を使用してビデオから直接検出することができるか、またはｃ）情報を、入力されたビデオ信号を供給するさらに上層のプロセッサから供給することができる。逆多重化した輝度成分とクロミナンス成分が、色選択２０７に供給される。さらに、輝度成分がブロック変動計算２１１に供給され、Ｖクロミナンス部分がブロック・インテグレーターＶ２１３に供給され、Ｕクロミナンス部分がブロック・インテグレーターＵ ２１５に供給される。ＹＵＶデマルチプレクサおよびデシメーター１０３と異なり、ＹＵＶデマルチプレクサおよびデシメーター２０３は、元の入力されたビデオ信号のフル・フォーマットのＹＵＶ出力の第２の組も供給することは必要としない。

色選択ユニット２０７は、ブロックごとに、クロミナンス成分のどの部分に対して、すなわちＵ部分またはＶ部分に対して、追加情報が埋め込まれた可能性があるかを特定する。二極形の双投形スイッチ２０９の位置を制御するために、色選択ユニット２０７の出力が使用される。より具体的には、色選択ユニット２０９は、以下でより詳細に説明するように、Ｙ、Ｕ、およびＶに応じて、このブロックに対して追加情報が埋め込まれた可能性のある、クロミナンス位置ＵまたはＶを選択する。本発明の一実施形態では、色選択ユニット２０７は、参照テーブルに基づいている。これを行うことにより、通常ならば必須である可能性のある、ＹＵＶ／ＲＧＢ変換を必要としないことによって、この処理を簡略化する。

色選択ユニット２０７に対する入力は個別のピクセルであることに留意されたい。色選択ユニット２０７は、各ブロックのピクセルを追跡し、当該ブロックのピクセルごとに個々のＵまたはＶ選択を組み合わせる。最高値を有する特定の構成要素、すなわち１つのブロック内のピクセルに対して最も頻繁に選択された構成要素が、色選択２０７の出力であると決定される。次いで、スイッチ２０９が、追加データが追加済みであると判定されたクロミナンス成分の部分の統合されたバージョンをビット選択２１７に供給するよう、色選択ユニット２０７の出力がセットされる。

ブロック変動計算２１１は、当該ブロックに対する選択されたクロミナンス部分の値の平均の特定ビット、例えば、刻印されたデータを含んでいる可能性のある選択されたクロミナンス部分に対するＤＣ係数を決定する。指摘したように、本発明の実施形態例では、ビット・マッパー１２３（図１）は、どのビット位置が、刻印されるべき電子透かしデータ・ビットに置き換えられるべきかを特定するために、当該ブロックのピクセルの輝度成分の変動の平均を受信し、利用した。変動が大きいほど、置き換えられるべきビット位置はより上位になる。ブロック変動計算２１１（図２）は、その計算を、その決定を置き換えるためにマッパー１２３により使用される同じ情報に基づかせるべきである。ブロック変動計算２１１の出力が、ビット選択２１７に供給される。

ブロック・インテグレーターＶ ２１３は、ブロック全体にわたるＶの値を統合する。すなわち、１つのブロック内の各ピクセルに対する値を結合、つまり合計する。ブロック・インテグレーターＵ ２１５は、１ブロック全体にわたるＵの値を統合する。すなわち、１つのブロック内の各ピクセルに対する値を結合、つまり合計する。

ビット選択２１７は、当該ブロックに関するデータとしてスイッチ２０９によってそれに供給された、統合されたクロミナンス部分の値からブロック変動計算２１１が指定したビット位置のビットを抽出する。

デインターリーバー２１９は、送信器１０１のブロック・インターリーバー１２１（図１）の作用を解除するために、データを並べ替える。並べ替えられた値は、次いで、チャンネル・デコーダー２２１（図２）に供給され、チャンネル・デコーダー２２１は、送信器１０１（図１）のチャンネル・エンコーダー１１９が利用するタイプの符号化を使用して符号化された信号に対して、適切な復号化を実行する。結果として得られた復号化された値が、チャンネル・デコーダー２２１（図２）により追加データ信号の再構築バージョンとして供給される。さらに堅牢にするために、チャンネル・デコーダー２２１は、ターボ・デコーダーなどの、所謂「シーケンス・デコーダー」であってよい。

図３に示すように組み合わせた場合、図３Ａおよび３Ｂは、本発明の原理によって、追加データで複数のクロミナンス部分の１つに電子透かしを入れる際に使用するための、処理例を示す。特定されたビット位置が刻印されるべき値と既に同じブロックの場合、当該ブロックは未修正のまま送信することができる。図３の処理は、本発明の実施形態例では図１に示すようなシステムで実行することができる。

１ブロックのすべてのピクセルが使用可能な場合、処理は、工程３０１から開始することができる。図３の処理の部分は、ブロックごとを基礎として、また一部にはピクセルごとを基礎として行われる。１つのフレームにある複数のブロックは、２次元ポインターｐ、ｑを使用して索引付けされる。ここで、ｐは、処理中のフレームの特定の横スライスを指し示し、ｑは、当該フレームの特定の列、すなわち縦スライスを指し示す。例えば、７２０×４８０の解像度の場合、ｐは１から３０の範囲にあり、ｑは１から４５の範囲にある。同様に、各ブロックのピクセルは、２次元ポインターｉ、ｊを使用して索引付けされる。ここで、ｉは、処理中のブロック内の特定行を指し示し、ｊは、処理中のブロック内の特定列を指し示す。例えば、元のビデオの各マクロブロックにはＹ、Ｕ、およびＶの対応する８×８ブロックしかない場合、データを刻印するために利用される特別の処理モードでは、ｉとｊはどちらも０から７の範囲にある。

工程３０１で処理が開始された後、同処理に使用されるいくつかの変数は、例えばｃｏｕｎｔＵ（ｐ、ｑ）＝０、ｃｏｕｎｔＶ（ｐ、ｑ）＝０、ｓｕｍＵ（ｐ、ｑ）＝０、ｓｕｍＶ（ｐ、ｑ）＝０、およびｖａｒ（ｐ，ｑ）＝０のように、工程３０３で初期設定される。ｃｏｕｎｔＵは、Ｕクロミナンス部分に対して電子透かしを入れるのに適した、色選択処理により選択されたブロック内のピクセルの現在の合計数であり、ｃｏｕｎｔＶは、Ｖクロミナンス部分に対して電子透かしを入れるのに適した、色選択処理により選択されたブロック内のピクセルの現在の合計数である。ｓｕｍＵおよびｓｕｍＶは、当該ブロックのすべてのピクセルに対する、それぞれＵとＶの現在の合計数である。本発明の実施形態では、当該ブロックに対して選択されたクロミナンス部分のピクセルに対してのみ電子透かしが実行される場合、選択されないクロミナンス部分に対して展開されたｓｕｍＵとｓｕｍＶのうちの１つは不要である。

工程３０５で、ｖａｒ（ｐ，ｑ）、すなわち当該ブロック内の個々のピクセルに対する輝度の変動の合計は、当然ながら、当該ブロックに対する輝度の平均変動に比例するが、これが演算される。この目的のために、まずｉとｊの両方が、例えばｉ＝０、ｊ＝０のように、処理されるべきブロックの第１のピクセルを指し示すようにセットされる。ｖａｒ（ｐ，ｑ）の値は、当該ブロックの各ピクセルを循環し、ｉとｊの値を適宜変更し、ピクセルごとの輝度の変動をｖａｒ（ｐ，ｑ）の現在の合計に加算することにより演算される。

本発明の一実施形態では、任意の特定のピクセルに対する輝度の変動は、当該ピクセルとそのピクセルに最も近いすべてのピクセルの間の輝度の差の絶対値を取ることにより、演算することができる。数学上、最も近いピクセルのすべてが同じブロック内にある場合、これは次のように表記される。

当業者は、最も近いピクセルが別のブロックにあるようなピクセルに対しても、上記の説明を容易に適用することができよう。さらに、フレームの境界線に近いブロック、すなわち最も近いピクセルのないブロック、または最も近いピクセルが、表示されていないブロックの一部であるブロックに関しては、そのような近いピクセルの値を０と見なすことができる。

本発明の別の態様により、最も近いピクセルのすべてを変動演算で考慮する必要はなく、それでも十分に高品質の結果を達成することができることに留意されたい。より具体的には、ピクセルごとのその演算時間は、当該ピクセルを囲む長方形の隅の４つのピクセルと、当該ピクセルと縦または横のラインを形成する、他の２つのピクセル、例えば、当該ピクセルの横のライン上の２つのピクセルとの差だけを取ることにより低減すると有利である。

その後、条件分岐点３０７は、当該ブロックに対する電子透かし情報を、どの特定のクロミナンス部分、すなわちＵまたはＶが含むことになるかを特定するためにテストする。これは、当該ブロックのピクセルごとに色選択を評価し、クロミナンス部分ごとに選択されたブロック内のピクセル数を計数することにより行われる。当該ブロックに対して最も多く選択されたクロミナンス部分が、電子透かしのために選ばれる。本発明のいくつかの実施形態では、特定のピクセルが電子透かしにはまったく不適合であると判定される場合があることに留意されたい。このような場合、ＵまたはＶに対してピクセルの合計数は計数されない。

ピクセルごとに電子透かしを入れられるよう選択される色を決定する特定の方法は、実施者の裁量により異なる。本発明の一実施形態では、最初値のピクセルのクロミナンス部分が選択される。本発明の別の実施形態では、以下で説明する色選択構成が利用される。

次に、電子透かしされたビットを含むことになる、選択されたクロミナンス部分の平均値のビット部分が決定される。このビット位置は、電子透かしの入ったビットが、ＭＰＥＧ様符号化で行われるような、いかなる後続の量子化にも耐えるように選択される。

この目的のために、工程３０７でのテスト結果が、Ｖクロミナンス部分に電子透かしが入れられるように選択される場合、制御は工程３０９に渡り、そこで変数「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」がＶに等しくセットされる。その後、条件分岐点３２３は、当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、最大Ｖ閾値である、最初に規定されたＶ閾値ｔｌｖより大きいか否かを判定するようテストする。ｔｌｖの値の例は６００である。

ＵとＶの両方に関して、図３および４と共に使用される特定の閾値は、平均のＹ変動が提案された閾値と比較される場合、各Ｙ値を表すために使用されるビット数に少なくとも一部には依存することに留意されたい。例えば、本明細書で提案された閾値は、８ビット値のＹのためのものである。当業者は、８ビット用に利用される値が、例えば４を乗じ、その値を左に２回シフトすることによって、１０ビットにスケール変更できることを容易に理解するだろう。同様に、Ｙ、Ｕ、およびＶのために使用される他のビット数を、同様に適合することができる。

本発明の他の実施形態では、様々な比較のために当該ブロック全体にわたる平均Ｙ変動を使用する代わりに、当該ブロック全体にわたる平均Ｖ変動など、別の平均変動を計算して利用することができる。

工程３２３のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＶ値の平均の５番目の最下位ビットに対して追加データを符号化しなければならないほど、変動が大きいことが示された場合、例えば、ｉｎｔ［ｓｕｍＶ（ｐ，ｑ）／６４］など、ｉｎｔ［ｓｕｍＵ（ｐ，ｑ）／ブロックあたりピクセル数］の値がｔｌｕより大きいことが示された場合、制御は工程３２５に進み、そこで変数ｍは５に等しくセットされる。

本明細書で使用するように、丸め用の整数関数ｉｎｔを使用する代わりに、例えば、常に最も近い整数値に切り上げるか、丸めるなど、整数値を達成するために丸めのいかなる他の形式でも利用することができることに留意されたい。

工程３２３のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＶ値の平均値の５番目の最下位ビットに対して追加データを符号化しなければならないほどには変動が大きくないことが示された場合、制御は条件分岐点３２９に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、２番目に大きいＶ閾値である、第２の規定のＶ閾値ｔ２ｖより大きいか否かを判定するためにテストする。ｔ２ｖの値の例は１５である。

工程３２９のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＶ値の平均の４番目の最下位ビットに対して追加データを符号化すべきであることが示された場合、制御は工程３３１に進み、そこで変数ｍが４に等しくセットされる。

工程３２９のテスト結果がＮＯの場合、すなわち、当該ブロックのＶ値の平均の４番目の最下位ビットに対して追加データを符号化しなければならないほどには変動は大きくないことが示された場合、制御は条件分岐点３３３に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、３番目に大きいＶ閾値である、最小のＶ閾値ｔ３ｖより大きいか否かを判定するためにテストする。ｔ３ｖの値の例は７である。

工程３３３のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＶ値の平均の３番目の最下位ビットに対してデータを符号化しなければならないほど、変動が大きいことが示された場合、制御は工程３３５に進み、そこで変数ｍは３に等しくセットされる。

工程３３３のテスト結果がＮＯの場合、すなわち、当該ブロックのＶ値の平均値の２番目の最下位ビットに対してデータを符号化しなければならないだけ、変動が大きいことが示された場合、制御は工程３３７に進み、そこで変数ｍは２に等しくセットされる。

工程３０７のテスト結果が、Ｕクロミナンス部分が電子透かしを入れるように選択された場合、制御は工程３１１に進み、そこで変数「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」はＵに等しくセットされる。その後、条件分岐点３４３は、当該ブロック全体にわたる平均Ｙ変数であるｖａｒ（ｐ，ｑ）が、最大閾値である、第１の規定された閾値ｔｌｕより大きいか否かを判定するためにテストする。ｔｌｕの値の例は６００である。

本発明の他の実施形態では、様々な比較のために当該ブロック全体にわたる平均Ｙ変動を使用する代わりに、当該ブロック全体にわたる平均Ｕ変動を計算して利用することができる。

工程３４３のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＵ値の平均の５番目の最下位ビットに対してデータを符号化する必要があるほど、変動が大きいことが示された場合、例えば、ｉｎｔ［ｓｕｍＵ（ｐ，ｑ）／６４］など、ｉｎｔ［ｓｕｍＶ（ｐ，ｑ）／ブロックあたりピクセル数］がｔｌｖより大きいことが示された場合、制御は工程３４５に進み、そこで変数ｍは５に等しくセットされる。

本明細書で丸め用の整数関数ｉｎｔを使用する代わりに、例えば常に最も近い整数値に切り上げるか、丸めるなど、整数値を達成するために丸めのいかなる他の形式でも利用することができることに留意されたい。

工程３４３のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＵ値の平均の５番目の最下位ビットに対してデータを符号化する必要があるほどには変動が大きくないことが示された場合、制御は条件分岐点３４９に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、２番目に最大のＵ閾値である、第２の規定された閾値ｔ２ｕより大きいか否かを判定するためにテストする。ｔ２ｕの値の例は１５である。

工程３４９のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＵ値の平均の４番目の最下位ビットに対してデータを符号化しなければならないことが示された場合、制御は工程３５１に進み、そこで変数ｍは４に等しくセットされる。

工程３４９のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＵ値の平均の４番目の最下位ビットに対してデータを符号化しなければならないほどには変動が大きくないことが示された場合、制御は条件分岐点３５３に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、最小のＵ閾値である、第３の規定された閾値ｔ３ｕより大きいか否かを判定するためにテストする。ｔ３ｕの値の例は７である。

工程３５３のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＵ値の平均の３番目の最下位ビットに対してデータを符号化しなければならないほど、変動が大きいことが示された場合、制御は工程３５５に進み、そこで変数ｍは３に等しくセットされる。

工程３５３のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＵ値の平均の２番目の最下位ビットに対してデータを符号化しなければならないのに十分なだけ、変動が大きいことが示された場合、制御は工程３５７に進み、そこで変数ｍは２に等しくセットされる。

電子透かしが入ったデータを含めるために利用されるべき、選択されたクロミナンス部分のブロック全体にわたる平均値の特定ビットが決定されると、そのビット位置に確実に所望のビットを含めさせる処理が行われる。この処理の目的は、所望のビット位置が、送信されるべき電子透かしビットの値を確実に有するように、選択されたクロミナンス部分の現在の平均値に対して最小の可能な値を加算または減算することである。本発明の一実施形態では、所望のビット位置は、平均値の整数部分内のビット位置であることに留意されたい。この目的のために、理想的には、所望のビット位置が、送信されるべき電子透かしビットの値を既に含んでいる場合、選択されたクロミナンス部分の現在の平均値には何も加算することはできない。一方、所望のビット位置が、送信されるべき電子透かしビットの値の補数を含んでいる場合、理想的には、所望のビット位置に対して加算または減算し、したがってその現在の電子透かしされていない値から、その最終的に電子透かしされた値に、選択されたクロミナンス部分の平均値の値に最小の変更を行わせることにより、所望ビット位置をその補数にフリップすることになる最小の可能な値だけが、適宜、所望のビット位置に対して加算または減算される。

実際には、量子化ノイズにより、本発明の処理の一部、および所望のビットの最終値に影響を与える可能性のあるＭＰＥＧ様符号化処理の他の要因として丸めることで、本明細書でさらに説明するように、わずかに異なる値を加算または減算することができる。より具体的には、本発明の一態様では、所望のビット位置に所望のビット値を有する値の「安全な」範囲が選択され、最小値が、選択されたクロミナンス部分の平均値に対して加算または減算される。この結果、最終値は、所望のビット位置に所望のビット値を有し、それは安全な範囲内に含まれることになる。したがって、通常、平均値のビットが、電子透かしデータを伝えるためにその補数に変更される必要のある場合は何時でも、結果的に得られる値は、常に安全な範囲の境界線上にある。既に所望のビット位置の値が、送信されるべき電子透かしデータ・ビットの値である場合、選択されたクロミナンス部分の平均値が既に安全な範囲に含まれるならば、当該選択されたクロミナンス部分の平均値には何も加算する必要はない。しかし、当該選択されたクロミナンス部分の平均値がまだ安全な範囲に含まれていない場合、所望のビット位置の値を、送信されるべき電子透かしビットの値に維持しながら、当該選択されたクロミナンス部分の平均値を安全な範囲内の値になるよう変更する必要のある最小値が、当該選択されたクロミナンス部分の平均値に加算／から減算される。

概念上、上記の説明は、所望のビット位置で所望の電子透かし値を達成するために、まず最小値を加算または減算し、次いで、最終値が安全な範囲内に含まれることを保証するために、例えばマージン値など、さらなる量を加算または減算することを意図することができる。

図５は、所望のビット位置が３番目の最下位ビットである、複数の安全な範囲の一例を示す。軸に沿って、選択されたクロミナンス部分の平均値を示す。

表１は、（コード）（値の表）を示す。

工程３２５、３３１、３３５、３３７、３４５、３５１、３５５、および３５７が完了する際、制御は条件分岐点３６１に進み、そこで、当該ブロックに刻印されるべき電子透かしデータのビットが、変数「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定されるクロミナンス部分の平均値に対して現在特定されているビット位置と同じか否かを判定するためにテストする。工程３６１のテスト結果がＹＥＳの場合、すなわち、当該ブロックに刻印されるべき電子透かしデータのビットが、変数「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定されるクロミナンス部分の平均値に対して現在特定されているビット位置と同じであり、したがって、当該ビットをその補数値に変更する必要がないと示された場合、制御は工程３６３に進み、そこでその値が現在のビット位置に対する安全な範囲内に含まれるか否かを判定するためにテストする。テスト結果がＮＯの場合、すなわち、後続処理中に誤りが生じる可能性があることが示された場合、制御は工程３６５に進み、そこで所望のビット位置の値を変更せずに、変数「ｃｈａｎｇｅｖａｌｕｅ」を、「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定される色に対する現在の平均値を最も近い安全な範囲内に移動するために必要な値に等しくセットする。その値は整数値である必要はなく、負の値であってもよいことに留意されたい。工程３６３のテスト結果がＮＯの場合、すなわち、「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定される色に対する現在の平均値が既に安全な範囲内に含まれることが示された場合、制御は工程３６７に進み、そこで「ｃｈａｎｇｅｖａｌｕｅ」の値が０に等しくセットされる。

工程３６１のテスト結果がＮＯの場合、すなわち、当該ブロックに刻印されるべき電子透かしデータのビットが、変数「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定されるクロミナンス部分の平均値に対して現在特定されているビット位置と同じでないことが示され、したがって、電子透かしデータを適切に伝えるために当該ビットの値がその補数値に変更されなければならないことが示された場合、制御は工程３６９に進み、そこで現在のビット位置に対する最も近い安全な範囲が、「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定される色の現在の平均値より大きいか小さいかを判定するためにテストする。工程３６９のテスト結果が「大きい」の場合、すなわち、現在のビット位置に対する最も近い安全な範囲の値が、「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定される色の現在の平均値より大きいことが示された場合、制御は工程３７１に進み、そこで変数「ｃｈａｎｇｅｖａｌｕｅ」の値が、結果的に得られる値が、より大きな値を有する隣接の安全な範囲内に含まれるように、平均値に加算される最小値に等しくセットされる。この値は整数値である必要はないことに留意されたい。工程３６９のテスト結果が「小さい」の場合、すなわち、現在のビット位置に対する最も近い安全な範囲の値が、「ｗａｔｅｒｍａｒｋｃｏｌｏｒ」によって特定される色の現在の平均値より小さいことが示された場合、制御は工程３７３に進み、そこで変数「ｃｈａｎｇｅｖａｌｕｅ」の値が、平均値に加算された場合に、より小さな値を有する隣接の安全な範囲内に含まれる値になる、最小の負の値に等しくセットされる。ここでもまた、この値は整数値である必要はなく、負の値であってもよいことに留意されたい。

工程３６５、３６７、３７１、または３７３が終結する際、制御は工程３７５に進み、そこでピクセルに加算される合計は、ブロックあたりのピクセル数と「ｃｈａｎｇｅｖａｌｕｅ」の値の積に等しくセットされる。結果的に得られる積の値が整数でない場合、その値は切り捨てにより丸められる。この丸めは、工程３６５、３７１、および３７３と合わせて実行することができる。ここで、負の値が加算された場合、当該値の整数部分をとることによって丸めは切り捨てとなり、正の値が加算された場合、次の整数値に向けて丸めは切り上げとなる。

処理は、次に、ブロック・レベル単位からブロック内のピクセル・レベル単位に変更される。工程３７７で、ブロックの第１のピクセルが指し示される。その後、条件分岐点３７９は、現在のピクセルに電子透かしを入れるべきか否かを、その色に基づいて判定するためにテストする。これは、電子透かしを入れるのに適した当該ピクセルのクロミナンス成分が、ブロック全体に対して工程３０７で選択された色と同じか否かを判定するためにテストすることにより行われる。工程３７９のテスト結果がＹＥＳの場合、すなわち、当該ピクセルが電子透かしされるべきであることが示された場合、制御は工程３８１に進み、そこでピクセルに対する輝度変動と、現時点で当該ブロックのピクセルに加算される合計値に基づいて、ある値が現在のピクセルに加算される。

より具体的には、可視的な人為的誤りをもたらさずにピクセルに加算することのできる最大値が、輝度の変動に従って決定される。輝度の変動が大きいほど、加算できる値は、規定の最大値まで増加する。この値は正でも負でもよいことに留意されたい。次いで、ピクセルに加算されるべき合計が正の値である場合は、この値がピクセルに加算され、ピクセルに加算されるべき合計が負の値である場合は、この値がピクセルから減算される。しかし、ピクセル単位の処理が進むと、加算または減算される値の現在の合計が、ピクセルに加算されるべき合計から減算される。現在のピクセルに加算されるべき値により、ピクセル群に加算されるべき合計と現在の合計の間に０を挟んで違いが生じる場合、その値は、現在の合計が丁度０に等しくなるように調整される。

工程３７９のテスト結果がＮＯの場合、または工程３８１の完了後、制御は条件分岐点３８３に進み、そこで現在のピクセルが当該ブロックの最後のピクセルか否かを判定するためにテストする。工程３８３のテスト結果がＮＯの場合、制御は工程３８５に進み、そこで、当該ブロックのピクセルに加算されるべき合計は加算済みか否か、すなわち、当該ブロックのピクセルに加算されるべき合計に等しい現在の合計か否かを判定するためにテストする。工程３８５のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルにさらに加算される必要があることが示された場合、制御は工程３８７に進み、そこで当該ブロックの次のピクセルを指し示す。次いで制御は工程３７９に戻り、処理は上記で説明したように継続する。

工程３８３または３８５のテスト結果がＹＥＳの場合、すなわち、当該ブロックのすべてのピクセルが処理済みか、または加算される必要のある合計すべてが加算済みであることが示された場合、制御は工程３８９に進み、処理は終了する。

図４Ａおよび４Ｂは、図４に示すように組み合わせた場合、本発明の原理によって、ビデオ信号の電子透かし信号を構成する追加情報がクロミナンス成分に刻印された、デジタルに電子透かしの入ったビデオ信号から追加情報を抽出するための処理例を示す。このような処理は、色選択２０７、二極形の双投形スイッチ２０９、ブロック変動計算２１１、ブロック・インテグレーターＶ ２１３、ブロック・インテグレーターＵ ２１５、およびビット選択２１７（図２）の全体にわたり、図２に示す実施形態のような本発明の実施形態例によって実施することができる。

この処理は、受け取ったデシメート済みフレームの新しいブロックが処理される工程４０１（図４）から開始する。教育的目的のために、本明細書では、１ブロックのすべてのピクセルが、次のブロックのピクセルが処理される前に処理されるように、ブロックでグループ化した図４の処理による処理のためにピクセルが供給されることに留意されたい。しかし、実際のシステムを設計する際、当業者は、ブロックを効果的に個別処理するために、ピクセルを、それらピクセルがスキャンされるのと同じ順序で処理することができ、適切なメモリ位置および制御構造を使用できることを容易に理解するだろう。

図４の処理の部分は、ブロック単位を基礎として行われ、一部はピクセル単位を基礎として行われる。１つのフレームの複数のブロックは、２次元ポインターｐ、ｑを使用して索引付けされる。ここで、ｐは、処理中のフレームの特定の横スライスを指し示し、ｑは、当該フレームの特定の列、すなわち縦スライスを指し示す。例えば、７２０×４８０の解像度の場合、ｐは１と３０の範囲にあり、ｑは１から４５の範囲にある。同様に、各ブロックのピクセルは、２次元ポインターｉ、ｊを使用して索引付けされる。ここで、ｉは、処理中のブロック内の特定行を指し示し、ｊは、処理中のブロック内の特定列を指し示す。例えば、元のビデオの各マクロブロックにＹ、Ｕ、およびＶの対応する８×８ブロックしかない場合、データを刻印するために利用される特定処理モードでは、ｉとｊはどちらも０と７の範囲にある。

工程４０１で処理が開始された後、同処理に使用されるいくつかの変数は、例えばｃｏｕｎｔＵ（ｐ、ｑ）＝０、ｃｏｕｎｔＶ（ｐ、ｑ）＝０、ｓｕｍＵ（ｐ、ｑ）＝０、ｓｕｍＶ（ｐ、ｑ）＝０、およびｖａｒ（ｐ，ｑ）＝０のように、工程４０３で初期設定される。ｃｏｕｎｔＵおよびｃｏｕｎｔＶは、色選択処理によりそれぞれＵおよびＶとして選択されたブロック内のピクセルの現在の合計数であり、ｓｕｍＵおよびｓｕｍＶは、当該ブロックのすべてのピクセルに対する、それぞれＵおよびＶの現在の合計数である。当該ブロックに対して、ｉとｊはどちらも、例えばｉ＝０、ｊ＝０のように、処理されるべきブロックの第１のピクセルを指し示すようセットされる。ブロックごとに、ｖａｒ（ｐ，ｑ）は当該ブロック内の各ピクセルに対する輝度の変動の合計を表すが、これは当然ながら、当該ブロックに対する輝度の平均変動に比例する。

その後、工程４０５で、現在処理中のブロックのピクセルを現在指し示している、Ｙ値、Ｕ値、およびＶ値が得られる。例えば、

の値が得られる。ＵおよびＶの現在の値は、工程４０７のｓｕｍＵおよびｓｕｍＶのそれぞれの現在の値に加算される。工程４０７でも、現在のピクセルに対する輝度の変動をｖａｒ（ｐ，ｑ）の現在の合計に加算することによって、輝度の変動ｖａｒ（ｐ，ｑ）は更新される。本発明の一実施形態では、現在のピクセルに対する輝度の変動は、現在のピクセルとそれに最も近いピクセルのすべての間の輝度の差の絶対値をとることにより、演算することができる。数学上、最も近いピクセルのすべてが同じブロック内にある場合、これは次のように表記される。

当業者は、最も近いピクセルが別のブロックにあるようなピクセルに対しても、上記の説明を容易に適用することができよう。さらに、フレームの境界線に近いブロック、すなわち最も近いピクセルのないブロック、または最も近いピクセルが、表示されていないブロックの一部であるブロックに関しては、そのようなピクセルの値を０と見なすことができる。

本発明の別の態様により、最も近いピクセルのすべてを考慮する必要はなく、それでも十分に高品質の結果を達成することができる。より具体的には、演算時間は、現在のピクセルを囲む長方形の隅の４つのピクセルと、現在のピクセルと縦または横のラインを形成する、２つの他のピクセル、例えば、現在のピクセルの横のライン上にある２つのピクセルと差を取ることように低減すると有利である。しかし、デコーダーは、エンコーダーで利用された同じ処理と一致すべきである。

制御は、条件分岐点４０９に進み、そこで、ＵとＶのどちらに追加データが刻印された可能性があるかを判定するためにテストする。この判定の詳細は、以下でさらに説明する。工程４０９のテスト結果がＵの場合、すなわち、追加データが、現在のピクセルに対してＵに刻印された可能性が最も高いことが示された場合、制御は工程４１１に進み、そこでｃｏｕｎｔＵが増分される。次いで制御は工程４１３に進む。工程４０９のテスト結果がＶの場合、すなわち、追加データが、現在のピクセルに対してＶに刻印された可能性が最も高いことが示された場合、制御は工程４１５に進み、そこでｃｏｕｎｔＶが増分される。次いで制御は工程４１３に進む。

本発明のいくつかの実施形態では、条件分岐点４０９は、ピクセルにデータがまったく刻印されなかった、すなわち、ＵにもＶにも刻印されなかった可能性があることを示す、さらに別の結果のある、スリーウェイ・テストであってもよい。このような結果の場合、制御は単に工程４１３に直接進む。

条件分岐点４１３は、現在のピクセルが現在のブロックの最後のピクセルか否かを判定するためにテストする。工程４１３のテスト結果がＮＯの場合、すなわち、未処理の現在のブロックにさらにピクセルが残っていることが示された場合、制御は工程４１７に進み、そこで、次の「今のところ未処理の」ピクセルを指し示すようｉとｊの値が調整される。次いで制御は工程４０５に進み、そこで処理は上記のように継続する。工程４１３のテスト結果がＹＥＳの場合、すなわち、現在のブロックのすべてのピクセルが処理済みであることが示された場合、制御は工程４１９に進み、そこで、当該ブロックに対してデシメートされた輝度の変動が計算される。すなわち、８×８のＹブロックの変動が計算される。

次いで制御は条件分岐点４２１に進み、そこで、現在のブロックに対してｃｏｕｎｔＶ＞ｃｏｕｎｔＵか否かを判定するためにテストする。工程４２１のテスト結果が、ｃｏｕｎｔＶがｃｏｕｎｔＵよりも大きい場合、制御は条件分岐点４２３に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、最大Ｖ閾値である、第１の規定された閾値ｔｌｖよりも大きいか否かを判定するためにテストする。ｔｌｖの値の例は６００である。

本発明の他の実施形態では、様々な比較のために当該ブロック全体にわたる平均Ｙ変動を使用する代わりに、当該ブロック全体にわたる平均Ｕ変動または平均Ｖ変動を計算して、例えば数値の大きい方を利用することができる。

工程４２３のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＶ値の平均の整数部分の５番目の最下位ビット、例えば、ｉｎｔ［ｓｕｍＶ（ｐ，ｑ）／ブロックあたりピクセル数］の値、例えばｉｎｔ［ｓｕｍＶ（ｐ，ｑ）／６４］、に対してデータが符号化された可能性があるほど、変動が大きいことが示された場合、制御は工程４２５に進み、そこで変数ｍは５に等しくセットされる。次いで制御は工程４２７に進み、そこで当該ブロックのピクセルのＶ値の平均のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。次いで処理は、工程４５９で終了する。

本明細書の丸め用の整数関数ｉｎｔを使用する代わりに、例えば、常に最も近い整数値に切り上げるか、丸めるなど、整数値を達成するために丸めのいかなる他の形式でも利用することができることに留意されたい。

工程４２３のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＶ値の平均の整数部分の５番目の最下位ビットに対してデータが符号化された可能性があるほどには変動が大きくないことが示された場合、制御は条件分岐点４２９に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、２番目の最大Ｖ閾値である、第２の規定された閾値ｔ２ｖより大きいか否かを判定するようテストする。ｔ２ｖの値の例は１５である。

工程４２９のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＶ値の平均の整数部分の４番目の最下位ビットに対してデータが符号化された可能性があるほど変動が大きいことが示された場合、制御は工程４３１に進み、そこで変数ｍが４に等しくセットされる。次いで制御は工程４２７に進み、そこで当該ブロックのピクセルのＶ値の平均のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。次いで処理は、工程４５９で終了する。

工程４２９のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＶ値の平均の整数部分の４番目の最下位ビットに対してデータが符号化された可能性があるほどには、変動が大きくないことが示された場合、制御は条件分岐点４３３に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、最小Ｖ閾値である、第３の規定された閾値ｔ３ｖより大きいか否かを判定するようテストする。ｔ３ｖの値の例は７である。

工程４３３のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＶ値の平均の整数部分の３番目の最下位ビットに対してデータが符号化された可能性があるほど、変動が大きいことが示された場合、制御は工程４３５に進み、そこで変数ｍは３に等しくセットされる。次いで制御は工程４２７に進み、そこで当該ブロックのピクセル全体にわたるＶ値の平均のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。次いで処理は、工程４５９で終了する。

工程４３３のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＶ値の平均の整数部分の２番目の最下位ビットに対してデータが符号化された可能性を示すに十分なだけ、変動が大きいことが示された場合、制御は工程４３７に進み、そこで変数ｍは２に等しくセットされる。次いで制御は工程４２７に進み、そこで当該ブロックのピクセルのＶ値の平均のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。次いで処理は、工程４５９で終了する。

工程４２１のテスト結果が、ｃｏｕｎｔＵがｃｏｕｎｔＶより大きい場合、制御は条件分岐点４４５に進み、そこで、当該ブロック全体にわたる平均Ｙ変動ｖａｒ（ｐ，ｑ）が、最大Ｕ閾値である、第１の規定された閾値ｔｌｕより大きいか否かを判定するためにテストする。ｔｌｕの値の例は６００である。

工程４４５のテスト結果がＹＥＳの場合、すなわち、当該ブロックのＵ値の平均の整数部分の５番目の最下位ビット、例えば、ｉｎｔ［ｓｕｍＵ（ｐ，ｑ）／ブロックあたりピクセル数］の値、例えばｉｎｔ［ｓｕｍＵ（ｐ，ｑ）／６４］、に対してデータが符号化された可能性があるほど、変動が大きいことが示された場合、制御は工程４４５に進み、そこで変数ｍは５に等しくセットされる。次いで制御は工程４４７に進み、そこで当該ブロックのピクセル全体にわたるＵ値の平均のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。次いで処理は、工程４５９で終了する。

工程４４５のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＵ値の平均の整数部分の５番目の最下位ビットに対してデータが符号化された可能性があるほどには変動が大きくないことが示された場合、制御は条件分岐点４４９に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、２番目の最大Ｕ閾値である、第２の規定された閾値ｔ２ｕより大きいか否かを判定するためにテストする。ｔ２ｕの値の例は１５である。

工程４４９のテスト結果がＹＥＳの場合、すなわち、当該ブロックのＵ値の平均の整数部分の４番目の最下位ビットに対してデータが符号化された可能性があるほど変動が大きいことが示された場合、制御は工程４５１に進み、そこで変数ｍは４に等しくセットされる。次いで制御は工程４４７に進み、そこで当該ブロックのピクセルのＵ値の平均のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。処理は工程４５９で終了する。

工程４４９のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＵ値の平均の整数部分の４番目の最下位ビットに対してデータが符号化された可能性があるほどには変動が大きくないことが示された場合、制御は条件分岐点４５３に進み、そこで当該ブロック全体にわたる平均Ｙ変動であるｖａｒ（ｐ，ｑ）が、最小Ｕ閾値である、第３の規定された閾値ｔ３ｕより大きいか否かを判定するためにテストする。ｔ３ｕの値の例は７である。

工程４５３のテスト結果がＹＥＳの場合、すなわち、当該ブロックのピクセルのＵ値の平均の整数部分の３番目の最下位ビットに対してデータが符号化された可能性があるほど、変動が大きいことが示された場合、制御は工程４５５に進み、そこで変数ｍは３に等しくセットされる。次いで制御は工程４４７に進み、そこで当該ブロックのピクセルのＵ値の平均のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。次いで処理は、工程４５９で終了する。

工程４５３のテスト結果がＮＯの場合、すなわち、当該ブロックのピクセルのＵ値の平均の整数部分の２番目の最下位ビットに対してデータが符号化された可能性があることを示すのに十分なだけ、変動が大きいことが示された場合、制御は工程４５７に進み、そこで変数ｍは２に等しくセットされる。次いで制御は工程４４７に進み、そこで当該ブロックのピクセルのＵ値の平均値のｍ番目の最下位ビットの値が、当該ブロックに刻印された値として抽出される。次いで処理は、工程４５９で終了する。

図３および４には、３つの閾値と４つのビット位置が示されているが、当業者ならば、閾値および符号化された値の他の数に、上記の方法を容易に適用することができることを容易に理解するだろうことに留意されたい。

同様に、ビデオ信号の各フレームまたはフィールドのすべてのブロックに、追加情報を刻印する必要はない。

図６は、あるピクセルに対する電子透かし情報を含めるにはどの特定のクロミナンス部分がより適しており、選択されるべきかを特定するための処理例を示す。この処理は、電子透かし情報を含めるためにクロミナンス部分を選択することが必須の場合に、工程６０１で開始する。図６を説明するために、ピクセルはＹＵＶ形式で表されるものと想定する。さらに、好適には、元のビデオが４−４−４表現である場合、元のビデオのそれぞれの元の２×２の輝度ブロックに対して、クロミナンス成分ごとに、すなわちそれぞれの対応するＵ値とＶ値の各対に対して、Ｙ値は１つであるべきことに留意されたい。この目的のために、元のブロックのＹ値は、ＵおよびＶと同じ解像度を有するようにダウンサンプルすることができる。あるいは、特定のＵ値とＶ値に関連付けられた、Ｙ値の平均、または何らかの他の組合せを、図６の処理について演算し、Ｙ値として使用することができる。

概念上、可能なピクセル位置に対応する３次元ＹＵＶ色空間の各位置は、ピクセルのＹ値、Ｕ値、およびＶ値が取ることのできるフルレンジが与えられた場合、例えば、より適しており、選択されるべき経験的観察に基づいて、そのようなＹ値、Ｕ値、およびＶ値を有するピクセルに関してクロミナンス部分に割り当てられる。Ｙ、Ｕ、およびＶのそれぞれが８ビットのフルレンジを有し、Ｙ値、Ｕ値、およびＶ値の可能な組ごとにテーブル全体のバージョンが利用されるべき場合、選択されたクロミナンス部分を示す各位置に対して１ビットしか記憶されなかったとするならば、少なくとも１６Ｍビットの情報を記憶する必要がある。単一ビットを使用すると、ＵとＶのどちらも利用されるべきでないという指定ではなく、ＵまたはＶの選択しか許可されないことに留意されたい。ＵとＶのどちらも選択できないことが望まれる場合、３２Ｍｂｉｔの情報は必須であろう。

３次元ＹＵＶ色空間内の可能なピクセルごとに選択されるべき、クロミナンス部分の割り当て例の一部の断面図を、図７に示す。図７は、教育目的でのみ、概念上の視覚的な一助として提供されるものであり、実際のデータを表すものでないことに留意されたい。

記憶要件を低減するために、ＹＵＶ色空間を一群の領域と見なすことができ、この場合、各領域は、Ｙ値、Ｕ値、およびＶ値の少なくとも１組、通常は複数組に対応する位置、すなわち、少なくとも１つのピクセル、可能ならば多くのピクセルに対応する色空間の位置を含むものと定義される。ここで、各領域、したがって当該領域にマップする各ピクセルは、例えばＹ値、Ｕ値、およびＶ値の組が当該領域に含まれる、任意のピクセルに対して選択されるべき経験的観察に基づいて、クロミナンス部分に割り当てられる。複数の領域へのそのようなグループ化を参照する１つの方法は、線形であっても非線形であってよい量子化である。

表１は、色空間選択表の一例に関するリストである。ここで、各領域は、４つのＹ値、４つのＵ値、４つのＶ値に対応しており、したがっていかなるピクセルに対しても８ビット値の６４の可能な組合せに対応する。このような表を使用することにより、各位置につき１ビットしか記憶されないとするならば、記憶されるべき要求される情報は２５６Ｋｂｉｔに低減され、Ｙ、Ｖは選択することができるが、ＵとＶはどちらも選択することができないことが望まれるならば、５１２Ｋｂｉｔに低減される。表１は、ＲＯＭ、ＲＡＭ、ハードディスクまたはテープドライブのような磁気記憶装置、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭのような光記憶装置など、いかなるコンピュータ可読媒体にも記憶することができる。

当業者は、８ビットのフルレンジを有するＹ、Ｕ、およびＶのそれぞれに関する、表１で利用される値は、各１０ビット値を右に２回シフトするなど、４で割ることにより１０ビットのＹ値、Ｕ値、およびＶ値で使用するためにスケール変更することができることを、容易に理解するだろう。同様に、Ｙ、Ｕ、およびＶに使用される他のビット数も、同様に適合することができる。

表１のデータを効果的に構成し、アクセスするために、同じＵ量子化値とＶ量子化値を有するが、異なる連続の量子化されたＹ値を有する８の隣接領域に対して、１はＵを選択することを示し０はＶを選択することを示す、指定されたＵまたはＶ選択をグループ化して１バイトを形成するように構成される。したがって、Ｕ値およびＶ値のそれぞれにつき８バイトがあり、それぞれは、同じＵ量子化値とＶ量子化値と、異なる量子化Ｙ値を有する領域に対応する。

表１は、Ｕ値に対応する最上位ビット、Ｖ値に対応する次の最下位ビット、およびＹ値に対応する最下位ビットを有するアドレスを使用してアドレス指定されるよう構成される。すなわち、バイトのアドレスは、次のように形成することができる。

Ｕ７｜Ｕ６｜Ｕ５｜Ｕ４｜Ｕ３｜Ｕ２｜Ｖ７｜Ｖ６｜Ｖ５｜Ｖ４｜Ｖ３｜Ｖ２｜Ｙ７｜Ｙ６｜Ｙ５
ここで、Ｕ７、Ｕ６、Ｕ５、Ｕ４、Ｕ３、およびＵ２は、ピクセルＵ値の８番目から３番目の最下位ビットの値であり、Ｖ７、Ｖ６、Ｖ５、Ｖ４、Ｖ３、およびＶ２は、ピクセルＶ値の８番目から３番目の最下位ビットの値であり、Ｙ７、Ｙ６、およびＹ５は、ピクセルＹ値の８番目から６番目の最下位ビットの値である。この場合、バイト内の特定ビットが、Ｙ４、Ｙ３、およびＹ２など、Ｙ成分の５番目から２番目の最下位ビットを使用して指定される。

表１のような表は、人間の視覚システムが、ａ）青には感度が低く、ｂ）低輝度値には感度が高いことを反映している。このような表は、一般的には以下のように試行錯誤により展開することができる。

色空間はセクションで検査される。各セクションは、輝度値で定義され、最大値と最小値の間で変化する第１のクロミナンス部分に対応する１次元と、最大値と最小値の間で変化する第２のクロミナンス部分に対応する２次元の範囲にある。輝度部分とクロミナンス部分のどれでも、またはすべては、例えば８ビット値の６つの最上位ビットを使用して、量子化することができる。これを行うことにより、クロミナンス部分値のチェッカーボードを有する一組の平面が作成される。これは、異なる色のブロックとして表示される場合、輝度値ごとに１つの平面が表示される。例えば、輝度および両方のクロミナンス部分に対する８ビットの６つの最上位ビットを使用するために量子化することにより、それぞれの可能な量子化された輝度値に対応する６４の平面が生じる。各平面は、平面あたり合計４０９６ボックスのための縦６４ボックスと横６４ボックスの、色付きボックスのチェックボード・パターンを有する。

各平面は別々に検査される。無作為データは、時間と共にフレームの同様に配置されたブロックに異なる値を有することになり、ちらつきがある場合に、観察者がそのちらつきを検出することを確実にするために十分なフレーム数に対して展開される。３０秒以上は価値があることが証明されている。無作為データが、平面を含むフレームに刻印される。この場合、これは、例えば、電子透かしを達成するために図１のシステムと図３の処理を使用するが、色選択が第１のクロミナンス部分になることを強制して、複数のクロミナンス部分の最初のクロミナンス部分にのみ刻印される。結果的に得られるフレームの電子透かしの入ったバージョンが表示され、観察される。

ちらつきが観察されないブロックはどれでも、表で、その輝度部分とクロミナンス部分の組合せが、その組合せに対する選択されたクロミナンス部分として、電子透かしデータを現在伝えているクロミナンス部分を利用すべきであることが示される。ちらつきが観察されるブロックはどれでも、表で、その輝度部分とクロミナンス部分の組合せが、その組合せに対する選択されたクロミナンス部分として、電子透かしデータを現在伝えていないクロミナンス部分を利用すべきであることが示される。この処理は、その平面に対して反復されるが、電子透かしの入ったクロミナンス部分を変更する。

起こりうるように、両方のクロミナンス部分に対してちらつきが発生する平面のどのブロックに対しても、実施者は、どのクロミナンス部分を選択すべきかを選ぶことができる。例えば、人間の視覚システムは、一般に、青に対して感度が低いので、Ｕが選ばれる可能性がある。あるいは、結果的に得られた表のよりよいデータ圧縮を提供するクロミナンス部分を利用することができる。同様に、どのブロックにもちらつきがない場合、利用すべきクロミナンス部分の選択は、実施者の裁量に任される。
この処理は、表全体に値が代入されるまで、平面ごとに反復される。

工程６０３は、そのように構成される場合、情報にアクセスする処理を開始する。より具体的には、工程６０３で、

および

が計算される。

上式では、上記で説明したように、
ｐは、処理中のフレームの特定の横スライスを指し示し、ｑは、当該フレームの特定の列、すなわち縦スライスを指し示し、ｉは、処理中のブロック内の特定の行を指し示し、ｊは、処理中のブロック内の特定の列を指し示し、「＞＞」は右シフト動作である。これを行うことにより、所望の、ピクセルＵ値の８番目から３番目の最下位ビットと、ピクセルＶ値の８番目から３番目の最下位ビットと、ピクセルＹ値の８番目から６番目の最下位ビットだけが残る。その後、工程６０５で、現在のピクセルに対する参照テーブルのアドレスは、次のように計算される。

ここで、「＜＜」は左シフト動作である。

これを行うことにより、抽出したビットは、組み合わされたアドレスに組み合わされ、当該ピクセルに対応する１つのバイトが指し示される。その後、工程６０７で、ピクセルに対応するバイト内の特定ビットが、Ｙ成分の２番目から５番目の最下位ビットから構成された値をバイトへの索引として使用して特定される。この目的のために、工程６０７は、次の計算をする。

上式で、ｍｏｄはモジュロ関数である。

工程６０９で、計算された参照テーブル・アドレスのバイトのｂ番目の位置の値が抽出され、出力として供給される変数ｍの値として割り当てられる。ここでもまた、この実施形態では、抽出したビットが１の場合、Ｕは選択されたクロミナンス部分であり、抽出したビットが０の場合、Ｖは選択されたクロミナンス部分である。
次いで処理は工程６１１で終了する。

当業者には、上記の説明を、ＲＧＢまたはＹＩＱなど、他の形式のピクセルに適用する方法を容易に理解するだろう。

テーブルのハフマン符号化が望まれる場合、経験上分かるように、Ｕがピクセルの組合せの大部分に選択されるとするならば、選択Ｕが１であり、選択Ｖが０であるという上記の対応関係を逆転させると有利な場合があることに留意されたい。

図８は、あるピクセルに対する電子透かし情報を含めるために、特定のクロミナンス部分を選択する、別の処理例を示す。この処理は、電子透かし情報を含めるのに適したクロミナンス部分を選択することが必須の場合、工程８０１で開始される。図６と同様、図８を説明するために、ピクセルはＹＵＶ形式で表されるものと想定する。さらに、元のビデオが４−４−４表現である場合、好適には、元のビデオの元のそれぞれ２×２輝度ブロックに対して、各クロミナンス成分、すなわち、それぞれの対応するＵ値とＶ値の各対に対してＹ値は１つであるべきことに留意されたい。この目的のために、元のブロックのＹ値を、ＵおよびＶと同じ解像度を有するようにダウンサンプルすることができる。あるいは、特定のＵ値およびＶ値に関連付けられた、Ｙ値の平均または何らかの他の組合せを演算して、図８の処理用のＹ値として使用することができる。

本発明の一態様によって、図６の実施形態と比較して図８の実施形態の記憶要件をさらに低減するために、図６に関して説明したように、それぞれがＹ値、Ｕ値、およびＶ値の少なくとも１つの組に対応する位置を含み、例えば経験的観察に基づいて、Ｙ値、Ｕ値、およびＶ値が当該領域に含まれるいかなるピクセルに対しても選択されるべき、クロミナンス部分にそれぞれが割り当てられた、複数の領域にＹＵＶ色空間が分割されるだけでなく、最大値の２分の１など、規定値より低いＵ値を有するピクセルはどれでも、電子透かし用に選択されたＵクロミナンス部分を有する。したがって、８ビットのＹ値、Ｕ値、およびＶ値の場合、Ｕの値が１２８より低い場合、Ｕクロミナンス部分は常に、ＶまたはＹの値にかかわらず電子透かし用に選択される。これは、人間の視覚システムが、Ｖ成分よりも、青の成分Ｕに対する感度が低いからである。

有利には、クロミナンス部分選択表の最上位ビットをアドレスのＵ値導出ビットに対応させることにより、表のサイズを２分の１まで縮小することができる。これは、表アドレスを形成する前に、最大値の２分の１よりもＵ値が低いか否かを判定するためのテストを追加し、そのテスト結果がＹＥＳの場合、すなわち単にＵクロミナンス部分を選択し、表にアクセスする残りの処理を省略し、アドレスのＵ値導出ビットを計算する前に、実際のＵ値から最大Ｕ値の２分の１を減算することにより達成される。したがって、０の最上位Ｕビットに対応する図６に利用される表のセクションは除去され、最上位Ｕビットが１の表の部分だけが保持される。しかし、表の残りの部分への索引付けは、Ｕ値導出ビットを形成する前に、最大Ｕ値の２分の１をＵ値から減算することによりシフトされる。

したがって、この表は、Ｕ値に対応する最上位ビット、Ｖ値に対応する次の最下位値、Ｙ値に対応する最下位値を有するアドレスを使用してアドレス指定されるように構成される。すなわち、バイトのアドレスは、次のように形成することができる。

Ｕ６｜Ｕ５｜Ｕ４｜Ｕ３｜Ｕ２｜Ｖ７｜Ｖ６｜Ｖ５｜Ｖ４｜Ｖ３｜Ｖ２｜Ｙ７｜Ｙ６｜Ｙ５
ここで、Ｕ６、Ｕ５、Ｕ４、Ｕ３、およびＵ２は、ピクセルＵ値の７番目から３番目の最下位ビットの値であり、Ｖ７、Ｖ６、Ｖ５、Ｖ４、Ｖ３、およびＶ２は、ピクセルＶ値の８番目から３番目の最下位ビットの値であり、Ｙ７、Ｙ６、およびＹ５は、ピクセルＹ値の８番目から６番目の最下位ビットの値である。この場合、バイト内の特定ビットが、Ｙ４、Ｙ３、およびＹ２など、Ｙ成分の５番目から２番目の最下位ビットを使用して指定される。

この目的のために、条件分岐点８０２は、

＜ｐｒｅｄｅｆｉｎｅｄ＿ｖａｌｕｅか否かを判定するためにテストする。ここで、ｐｒｅｄｅｆｉｎｅｄ＿ｖａｌｕｅは、例えば、最大Ｕ値の２分の１である。１ビットを節約するために、また表のサイズを半減させるために、ｐｒｅｄｅｆｉｎｅｄ＿ｖａｌｕｅは２の累乗であることが好ましいことに留意されたい。工程８０２のテスト結果がＮＯの場合、すなわち、Ｕの値が、例えば１２８など、Ｕの最大値の２分の１などの、規定値より低く、したがって、選択されるべきクロミナンス部分がＹ、Ｕ、およびＶの関数であることが示される場合、表にアクセスする必要がある場合、制御は工程８０３に進み、そこで表にアクセスする処理を開始する。工程８０３では、

および

が計算される。

上式では、上記で説明したように、
ｐは、処理中のフレームの特定の横スライスを指し示し、ｑは、当該フレームの特定の列、すなわち縦スライスを指し示し、ｉは、処理中のブロック内の特定の行を指し示し、ｊは、処理中のブロック内の特定の列を指し示し、「＞＞」は右シフト動作である。これを行うことにより、所望の、ピクセルＵ値の７番目から３番目の最下位ビットと、ピクセルＶ値の８番目から３番目の最下位ビットと、ピクセルＹ値の８番目から６番目の最下位ビットだけが残る。その後、工程８０５で、現在のピクセルに対する参照テーブルのアドレスは、次のように計算される。

ここで、「＜＜」は左シフト動作である。

これを行うことにより、抽出したビットは、組み合わされたアドレスが組み合わされ、当該ピクセルに対応する１つのバイトが指し示される。その後、工程８０７で、ピクセルに対応するバイト内の特定ビットが、Ｙ成分の５番目から２番目の最下位ビットから構成された値をバイトへの索引として使用して特定される。この目的のために、工程８０７は、次の計算をする。

上式で、ｍｏｄはモジュロ関数である。

工程８０９で、計算された参照テーブル・アドレスのバイトのｂ番目のビット位置の値が抽出され、変数ｍに記憶される。変数ｍの値は、工程８１１で出力として供給される。ここでもまた、出力したビットが１の場合、Ｕは選択されたクロミナンス部分であり、抽出したビットが０の場合、Ｖは選択されたクロミナンス部分である。次いでこの処理は工程８１３で終了する。

工程８０２のテスト結果がＹＥＳの場合、すなわち、ピクセルの色が本来は青でなく、したがって、ピクセルの青色を変更しても人間の視覚システムには検出されないという理由から、Ｕクロミナンス部を選択すべきであることが示された場合、制御は工程８１５に進み、そこで変数ｍは１に等しくセットされる。これを行うことにより、確実にＵが選択される。次いで制御は工程８１１に進み、そこで処理は上記で説明したように継続する。

ピクセルに対する特定のＹ値、Ｕ値、およびＶ値を使用する、色選択における上記の改善にもかかわらず、わずかに検出可能なちらつきが明らかになる可能性が依然としてあることは不利である。これは、ＭＰＥＧ様符号化に耐えるために、選択されたクロミナンス部分の平均値に大きな値を加算する必要がある場合があるからである。

図９は、ブロックのクロミナンス部分の平均値にデータが刻印される前に、刻印されるべきデータを、少なくとも１回、好適には数回、複製することによってちらつきを低減することのできる、本発明の原理によって構成された送信器例を示す。元のデータと、それぞれの複製されたデータは、別個の連続したフレームの同じブロック位置で送信される。好適には、同じデータを伝える、ブロックを同様に配置させたフレームは、表示順で連続する。さらに、フレームの特定ブロックは、ユーザのデータを符号化するのではなく、特定の周知のデータ・シーケンス、例えばＢａｒｋｅｒシーケンスで埋め込むことができる。

図９に示す本発明の実施形態は、図１の実施形態に類似している。図９のすべての同様に付番した要素は、図１と大体同じように動作する。図９には、図１の要素以外に、リピーター９２５と任意選択のシーケンス加算器９２７がある。さらに、図１のビット・マッパー１２３は、図９では、任意選択でビット・マッパー９２３に置き換えられる。ビット・マッパー１２３をビット・マッパー９２３に置き換えることは、ビット・マッパー９２３に関して以下で説明する追加機能が望まれる場合にのみ、必須である。

リピーター９２５は、ブロック・インターリーバー１２１または任意選択のシーケンス加算器９２７からビットを受け取る。リピーター９２５は、受け取ったビットを記憶し、それらを少なくとも２つのフレームの同様に配置されたブロックに出力する。本発明の一実施形態では、リピーター９２５が、受け取ったビットを記憶し、それらを３つのフレームの同様に配置されたブロックに対して出力する場合、良い結果が達成されることが判明している。当業者は、データが反復されるフレーム番号を選択することにより、電子透かしデータの所望のスループットで、認知されたちらつきをどれでもトレードオフすることができよう。

任意選択のシーケンス加算器９２７は、特定の周知のデータ・シーケンス、例えばＢａｒｋｅｒシーケンスを、フレームの特定のブロックに埋め込むが、そのデータ・シーケンスは、符号化されたユーザ・データの代わりである。本発明の一態様により、データ・シーケンスが符号化される特定のブロックを、フレームのブロック全体に分散することができる。初期の、また反復されたデータ・フレームの各グループは、別の周知のシーケンスを利用することができる。これを行うことにより、受信器はフレームのグループ化を検出することができる。あるいは、グループごとに同じシーケンスを利用することができるが、当該シーケンスのために使用される特定フレームは、連続するグループに対して異なる場合がある。

図１０は、図９の送信器により作成されるような、電子透かしの入ったビデオ信号を受信する際に使用するための、本発明の原理によって構成された受信器の一実施形態を示す。図１０の本発明のこの実施形態は、図２の実施形態に類似している。図１０の同様に符番されたすべての要素は、図２と大体同様に動作する。図１０には、図２の要素以外に、シーケンス・プロセッサ１０２５およびフレーム重み付けユニット１０２７が示されている。さらに、図２のチャンネル・デコーダー２２１は、図１０では、任意選択でチャンネル・デコーダー１０２１に置き換えられる。

図１０に示すような受信器は、シーケンス・プロセッサ１０２５を使用してグループ同期化を検出することができる。これは、同期パターンとして利用される、連続するフレームのグループ長数の各フレームからグループ識別シーケンスの値を合計し、その結果が規定の閾値を超えるか否かを判定することにより実行することができる。閾値を超えている場合、予想される同期化パターン値が加算された第１のフレームを、当該グループの第１のフレームと想定する。閾値を超えていない場合、値が加算された第１のフレームは、グループの第１のフレームでないと想定する。これは、同期化パターンの自動自己相関を実行することに類似している。当業者には、誤ったマッチを回避し、また、誤りによる第１のフレームの消失に対処するための他の従来技術、例えばグループ同期化を宣言する前に最大値を検索するなどの技術が利用できることが理解されよう。

有利には、受信器が正規のグループ・パターンを一度でも検出すると、何時でも、その受信器が、元のビデオ・シーケンスのフレームが除去済みであることを認識できる、パターンからの逸脱がある。このような情報を、シーケンス・プロセッサ１０２５により出力として供給することができる。

例えば、ビデオ信号内の販売業者の様々なコマーシャルを監視することができる。販売業者には、その業者のコマーシャルの各フレームに埋め込まれた一意のコードを割り当てることができる。受信器には、特定の一意のコードと、電子透かしを入れたフレーム内のどのブロックがそのコードを含むかが知らされる。電子透かしを入れたフレーム内のそのコードの表示を検出することにより、受信器は、そのフレームが、販売業者の複数のコマーシャルのうちの１つに属するものであると特定することができる。そのコードを有するフレームが一度検出されると、そのコードを組み込んだ連続するフレーム数を計数して、そのコマーシャルの長さを特定することができる。計数されたフレーム数が、元々電子透かしを入れた時のコマーシャルの周知の長さに基づいて予想されるフレーム数より少ない場合、予想されるフレーム数と計数されたフレーム数の間の差に対応するフレーム数を除去することにより、そのコマーシャルは不適切に短縮されたと仮定することができる。当業者には、誤ったマッチを回避し、また、誤りによる第１のフレームの消失に対処するための他の従来技術を利用することができることが理解されよう。

コマーシャル、またはコマーシャル内の数グループのフレームのそれぞれは、一意の識別子、例えば、フレームに関する識別可能なシーケンスの一部である、フレームまたはグループ番号で電子透かしを入れることができる。予想されたシーケンスに、１つまたは複数の消失したフレームによるギャップが検出された場合、各フレームが一意の識別子を有するならば、消失したフレームを具体的に特定することができる。識別子がグループにだけ割り当てられており、各グループのフレーム数が知られている場合、消失したフレームが属する特定のグループだけを、消失したフレームの計数に従って特定することができる。

上記で指摘したように、ちらつきを減らすためにデータの複製を利用することができるが、これを行うことにより、特定のフレームを識別できるのではなく、フレームが消失したグループを単に識別するよう、消失したフレームを検出する能力を制限することができる。したがって、電子透かしデータが一般に複製されるが、少なくとも１つの個別フレーム識別子を複製することはできない。そのような複製されていないフレームを含むブロックは、それらがちらつきの原因となったとしても、注目される可能性が最も低い場所、例えばフレームの隅などに置かれる。これを行うことにより、検出可能なちらつきを減らす利点の大部分が提供され、同時に、消失した特定の個別フレームの検出が可能となる。

販売業者が様々なコマーシャルを有する場合、そのコマーシャルのそれぞれは、受信中の当該販売業者の特定のコマーシャルを識別するために、さらなるシーケンスをその複数のフレームの少なくとも１つに埋め込むことができる。

複数の販売業者が電子透かしを入れたコマーシャルを有する場合、各販売業者に一意のコードが割り当てられる限り、第１の一意のコードを有する第１の販売業者のコマーシャルの出現を監視するシステムは、第２の一意のコードを有する第２の販売業者のコマーシャルを無視する。あるいは、単一システムは、それぞれに一意のコードを有する様々な販売業者からのコマーシャルの出現に関するビデオ信号を監視することができ、その結果は、それらコードに基づいて販売業者ごとに分離することができる。

複数の販売業者が電子透かしを入れたコマーシャルを有する場合、各販売業者は同じコードを利用するが、そのコードを、販売業者ごとにフレーム内の同じブロック位置に置くことさえできる。しかし、フレームに含まれるすべての後続データは、販売業者ごとに一意のキーを使用して暗号化され、各販売業者は自社用のキーしか知らない受信器を有する。したがって、各販売業者は、自社固有のコマーシャルからデータを解読し、受け取ることしかできない。あるいは、各販売業者に対するデータは、フレームの複数のブロック全体にわたりデータをスクランブルすることにより暗号化することができる。各受信器は、それに関連付けられた販売業者に対するスクランブル・パターンだけを知っている。

コマーシャルの開始を示すコードの最初の出現を監視することは、連続して、またはコマーシャルの放送が予想される時間窓内で実行することができる。

一グループの複数のフレーム全体にわたり単にデータを反復し、次いでビット・マッパー１２３（図１）を使用するのではなく、ブロックのクロミナンス部分の平均値に加算される量は、当該ブロックの複雑さとそのブロックの予想される量子化レベルに依存するが、これを、ブロックの複雑さがフレームごとに対応する位置で同じ場合でさえ、一グループに対してフレームごとにわずかに変更することができる。本発明の一態様により、行われた変更は、平均値内に電子透かしビットを置くために、平均に加算された値に関しては小さい。このような変更は、ビット・マッパー９２３（図９）により実行することができる。これにより、受信器でのデータの信頼性を向上させるために有利に利用することのできる、追加符号化利得が提供される。しかし、これを行うことにより、低テクスチャ領域の視覚品質のわずかな低下が生じる場合がある。何故ならば、ブロック内の数ピクセルが、同じ位置のそれらピクセルの先行ピクセルと異なる値を有する場合があるからである。しかし、このような低下はピクセル・レベルなので、この低下は、通常は目立たない。

本発明の一実施形態例では、数グループの３つの時間的に連続したフレームが、同じ電子透かしデータを刻印して送信される。そのグループの中間フレームは、図３に関して上記で説明したように電子透かしが入れられる。この際、当該ブロックの選択されたクロミナンス部分の平均値に加算される量は、図３で決定された値から変更されることはない。

このグループの時間的に最初のフレームも、図３に関して説明したように展開される、当該ブロックの選択されたクロミナンス部分の平均値に、ビット・マッパー９２３（図９）によって、加算されるべき演算された値、すなわち、オフセット・バイアスを有する。しかし、バイアス、例えば、平均値内に電子透かしビットを入れるために平均に加算される値の絶対値の、４分の１、または好適には２分の１が、電子透かしデータを伝えるために選択されたクロミナンス部分の演算された平均値にさらに加算される。したがって、例えば、平均値内に電子透かしビットを入れるために平均値に１つが加算される場合、平均値には２分の１が加算される。これは、１ブロックに６４ピクセルある場合、当該ブロックのすべてのピクセルの選択されたクロミナンス部分の値の合計に３２を加算することと言い換えられる。したがって、加算器１３３は、バイアスを加算していない場合よりも、高い値を受け取ることになる。同様に、別の実施例として、平均値内に電子透かしビットを入れるために平均値に−４が加算される場合、平均値に加算される値の絶対値の２分の１が利用されるならば、これは、１ブロックに６４ピクセルある場合、当該ブロックのすべてのピクセルの選択されたクロミナンス部分の値の合計に１２８を加算することと言い換えられる。

加算されるバイアス量、例えば３２は、それらの輝度変動に基づいて、様々なピクセル全体に分散されることに留意されたい。また、このようなバイアスの加算は、それを安全な範囲に移動するために、平均に加算されるいかなる値とも無関係である。したがって、平均値は、安全な範囲から外れる可能性がある。しかし、安全な範囲外に移動することによって誤りが発生する可能性の増加は、バイアスを利用することによって生じる結果的に得られた符号化利得によるオフセットよりも大きい。

このグループの時間的に最後のフレームは、図３に関して説明したように開発される、当該ブロックの選択されたクロミナンス部分の平均値から、ビット・マッパー９２３（図９）によって、演算された値、すなわち、オフセット・バイアスを減算させる。しかし、本発明の一態様により、バイアス、例えば、平均値内に電子透かしビットを入れるために平均に加算される値の絶対値の、４分の１、または好適には２分の１が、電子透かしデータを伝えるために選択されたクロミナンス部分の演算された平均値からさらに減算される。したがって、例えば、平均値内に電子透かしビットを入れるために平均値に−３が加算される場合、平均値からは、−３の絶対値の２分の１、すなわち１．５が減算される。これは、１ブロックに６４ピクセルある場合、当該ブロックのすべてのピクセルの選択されたクロミナンス部分の値の合計から９６を減算することと言い換えられる。したがって、加算器１３３は、バイアスを減算していない場合よりも、低い値を受け取ることになる。同様に、別の実施例として、平均値内に電子透かしビットを入れるために平均値に２が加算される場合、平均値から２の絶対値の２分の１、すなわち１が減算される。これは、１ブロックに６４ピクセルある場合、当該ブロックのすべてのピクセルの選択されたクロミナンス部分の値の合計から６４を減算することと言い換えられる。

減算されるバイアス量、例えば３２の損失は、それらの輝度変動に基づいて、様々なピクセル全体に分散されることに留意されたい。さらに、このようなバイアスの減算は、それを安全な範囲に移動するために、平均に加算されるいかなる値とも無関係である。したがって、平均値は、安全な範囲から外れる可能性がある。しかし、安全な範囲外に移動することによって誤りが発生する可能性の増加は、結果的に得られる符号化利得によるオフセットよりも大きい。

これがどのように機能するかを考える１つの方法は、図５を参照することである。上記で説明したように、安全な範囲の複数ある外側の境界線のうちの１つに達するために、バイアス量を考慮せずに、ブロックの選択されたクロミナンス部分の平均値に対して、しばしば丁度十分な量が加算または減算される。したがって、いかなるバイアスの前にでも、安全な範囲の境界線の上または付近に多くのフレームがある。何も加算または減算されない中間フレームは、境界線の真上に残る。わずかなバイアスが加算されるフレームは、安全な範囲内でより良い位置に配置されるようにわずかに移動しても、安全な範囲外にわずかに移動してもよい。わずかなバイアスが減算されるフレームは、同バイアスが加算されるフレームと反対方向に移動する。したがって、最悪の場合、３つのフレームのグループの場合、１つは安全な範囲内にあり、１つは安全な範囲の境界線上にあり、１つは安全な範囲のわずか外にあることになる。この結果、複数の値が独立して分散することになる。

バイアスの効果は、ＭＰＥＧ様符号化によって実行される量子化と、ＭＰＥＧ量子化解除（逆量子化、ｄｅｑｕａｎｔｉｚａｔｉｏｎ）中に加算される別個のＭＰＥＧバイアスにより、さらに増幅させることができる。これは、連続するフレームを介して同じビットが送信される場合でさえ、連続するフレーム内に同様に配置されたブロックに対して受け取ったデータ値に大きな差を生じさせる場合がある。

例えば図１０に示すような受信器で、各フレームから抽出したデータには、フレームごとにあると信じられる品質レベルに基づいて組み合わせる最大レートを適切に使用して、例えばフレーム重み付けユニット１０２７で重み付けされる。この目的のために、シーケンス・プロセッサ１０２５は、フレーム重み付けユニット１０２７に、ａ）どのフレームが同じグループに属するかをフレーム重み付け１０２７が知ることができるための、フレーム同期化情報と、ｂ）各フレームの同期化パターンの誤り数を供給することができる。受け取ったフレームにどれだけ多くの誤りがあると信じられるかに基づいて品質レベルが決定される。これは、シーケンス・プロセッサ１０２５によって抽出される際に、そのフレームに関して予想される同期化パターンにある誤り数に基づいて決定することができる。表１は、同期化パターンごとの誤り数と、その同期化パターンの誤り数などにより、フレームに対して適切なものとして経験的に導かれた、それぞれの重みを示す。すなわち、各各フレームから抽出したデータの値は、組合せ処理の一部としてそれに関連付けられた重みにより重み付けされるソフト・データとして扱うことができる。

重みに基づいて、連続するフレームの対応するブロック位置に対する同じデータ・ビットの複数のインスタンスが抽出され、組み合わされて単一の受信ビットを形成する。これは、次の演算によって達成することができる。

上式で、
ｂｉｔ＿ｏｕｔは、３つのフレームのグループに対する最終出力ビットであり、
ｗ_１、ｗ_２、およびｗ_３は、時間フレームの第１、第２、および第３のそれぞれに対する重みであり、
ｂｉｔ_１、ｂｉｔ_２、およびｂｉｔ_３は、時間フレームの第１、第２、および第３の同様に配置されたブロックからのビットであり、
ｎは、ソフト・デコーダー入力精度のビット数である。

ソフト情報を最大限に活用するために、チャンネル・デコーダー１０２１は、ソフト・データ・ビット、すなわち、ソフト・デコーダー入力精度によりその範囲が異なる、非バイナリ数としてそれぞれが表されるデータ・ビットを利用する、所謂ソフト・デコーダーである。例えば、８ビット入力精度ソフト・デコーダーは、０と２５５の間の値で動作する。この目的のために、受け取ったハード・ビットの重み付けされた平均、

には、２^ｎ−１が乗じられ、それによって、重み付けされた平均は、ソフト・デコーダーによって処理可能な適切な精度のソフト値に変換される。

特定フレームの特定された品質が規定の閾値より低い場合、その特定フレームは、電子透かしデータを含まず、そのフレームに対してデータが抽出されないと想定することができる。

当業者は、どのフレームが値を加算するか、どれがそれを減算させるか、どれが変化なしか、加算と減算の両方とも必須か否か、１グループ内のフレーム数、および加算または減算されるべき値に対して実行されるべき丸め、または結果的に得られた値が実施者の裁量に任されることを容易に理解するだろう。

Claims (4)

1. ビデオ信号に電子透かしを入れてそこに追加情報を含める方法であって、追加情報を含
   むビデオ信号において、前記ビデオ信号のブロック全体にわたるクロミナンス部分の平均
   から導き出した値の少なくとも１つの選択されたビット位置に、前記追加情報の少なくと
   も一部を入れることにより、前記ビデオ信号のクロミナンス部分に前記追加情報の少なく
   とも一部を刻印する工程を備える方法。
2. 追加の電子透かしデータをビデオ信号に埋め込むための装置において、
   前記追加の電子透かしデータの一部を伝えるために、前記ビデオ信号のブロックのクロ
   ミナンス部分を選択するための手段と、
   変更された平均値に前記追加の電子透かしデータの少なくとも一部を組み込むために、
   選択されたビット位置に前記追加情報の少なくとも一部を入れることによって、前記選択
   されたクロミナンス部分の平均値に変更を行わせるための手段と
   を備えた装置。
3. 電子透かしを入れたビデオ信号から電子透かしデータを抽出する際に使用するための方
   法において、前記電子透かしデータが、少なくとも１つのフレームの少なくとも１つのブ
   ロックのピクセルのクロミナンス部分の値の平均の少なくとも１つのビット位置で伝えら
   れ、前記方法が、
   前記ブロックに対して、前記クロミナンス部分の前記値の前記平均で前記電子透かしデ
   ータを伝える可能性のあるクロミナンス部分を選択する工程と、
   前記選択されたクロミナンス部分の前記値の前記平均から前記電子透かしデータを抽出
   する工程と
   を含む方法。
4. 電子透かしの入ったビデオ信号から電子透かしデータを抽出する際に使用するための受
   信器において、
   前記電子透かしデータが、少なくとも１つのフレームの少なくとも１つのブロックのピ
   クセルのクロミナンス部分の値の平均の少なくとも１つのビット位置で伝えられ、
   どのクロミナンス部分が、前記ブロックに対して前記クロミナンス部分の前記値の前記
   平均の前記電子透かしデータを伝える可能性があるかを示すための色セレクタと、
   前記ブロックに対する前記クロミナンス部分の前記値の前記平均を演算するためのブロ
   ック・インテグレーターと、
   前記選択されたクロミナンス部分の前記値の前記平均から、前記電子透かしデータを、
   出力として供給するビット・セレクタと
   を含む受信機。

Images