JP7778253B2 - コーディング方法、デコーディング方法、装置及び機器 - Google Patents

コーディング方法、デコーディング方法、装置及び機器

Info

Publication number
JP7778253B2
JP7778253B2 JP2024570781A JP2024570781A JP7778253B2 JP 7778253 B2 JP7778253 B2 JP 7778253B2 JP 2024570781 A JP2024570781 A JP 2024570781A JP 2024570781 A JP2024570781 A JP 2024570781A JP 7778253 B2 JP7778253 B2 JP 7778253B2
Authority
JP
Japan
Prior art keywords
codestream
mesh
information
target
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024570781A
Other languages
English (en)
Other versions
JP2025517560A (ja
Inventor
文杰 鄒
偉 張
付正 楊
卓逸 呂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Publication of JP2025517560A publication Critical patent/JP2025517560A/ja
Application granted granted Critical
Publication of JP7778253B2 publication Critical patent/JP7778253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

（関連出願の相互参照）
本出願は、２０２２年５月３１日に中国で提出された中国特許出願Ｎｏ．２０２２１０６１３９８４．５の優先権を主張しており、同出願の内容のすべては、ここに参照として取り込まれる。
本出願は、コーデックの技術分野に属し、具体的にはコーディング方法、デコーディング方法、装置及び機器に関する。
三次元メッシュ（Ｍｅｓｈ）は、過去数年間で最もポピュラーな三次元モデルの表現方法と考えることができ、多くのアプリケーションプログラムで重要な役割を果たしてきた。その表現は、簡単であるため、ハードウェアアルゴリズムによってコンピュータ、タブレットパソコンとスマート携帯電話のグラフィックスプロセッシングユニットに大量集積され、三次元メッシュのレンダリングに専用される。
テクスチャ座標は、ＵＶ座標とも呼ばれ、三次元メッシュ頂点テクスチャを記述する情報である。ＵＶ座標データ量は、三次元メッシュにおける割合が比較的大きいため、関連技術案では、ＵＶ座標をコーディングすると大量のコードレートが消費されるため、三次元メッシュコーディング効率が低い。
本出願の実施例は、コーディング方法、デコーディング方法、装置及び機器を提供し、関連技術案で三次元メッシュコーディング効率が低い問題を解決することができる。
第一の態様によれば、コーディング方法を提供し、このコーディング方法は、
コーディング側が第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得することであって、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、前記第一の識別子情報が、前記再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるために用いられることと、
前記コーディング側がメッシュ差異情報に基づいて、第二のコードストリームを取得することであって、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られることと、
前記コーディング側が、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得することであって、前記再構築されたテクスチャマップ情報が前記第一のコードストリームと第二のコードストリームに基づいて得られることと、
前記コーディング側が前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成することとを含む。
第二の態様によれば、デコーディング方法を提供し、このデコーディング方法は、
デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得ることであって、前記第一のコードストリームがターゲット三次元メッシュに対応するベースメッシュに基づいて得られ、前記第二のコードストリームがメッシュ差異情報に基づいて得られ、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られ、前記第三のコードストリームが再構築されたテクスチャマップ情報に基づいて得られることと、
前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むと決定する場合に、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することと、
前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含んでいないと決定する場合に、再構築されたテクスチャ座標情報を生成し、且つ生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することとを含む。
第三の態様によれば、コーディング側に用いられるコーディング装置を提供し、このコーディング装置は、
第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得するための第一のコーディングモジュールであって、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、前記第一の識別子情報が、前記再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるために用いられる第一のコーディングモジュールと、
メッシュ差異情報に基づいて、第二のコードストリームを取得するための第一の取得モジュールであって、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られる第一の取得モジュールと、
再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得するための第二の取得モジュールであって、前記再構築されたテクスチャマップ情報が前記第一のコードストリームと第二のコードストリームに基づいて得られる第二の取得モジュールと、
前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成するための第一の生成モジュールとを含む。
第四の態様によれば、デコーディング側に用いられるデコーディング装置を提供し、このデコーディング装置は、
取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得るための第六の取得モジュールであって、前記第一のコードストリームがターゲット三次元メッシュに対応するベースメッシュに基づいて得られ、前記第二のコードストリームがメッシュ差異情報に基づいて得られ、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られ、前記第三のコードストリームが再構築されたテクスチャマップ情報に基づいて得られる第六の取得モジュールと、
前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むと決定する場合に、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築し、及び／又は、前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含んでいないと決定する場合に、再構築されたテクスチャ座標情報を生成し、且つ生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築するための再構築モジュールとを含む。
第五の態様によれば、コーディング機器を提供し、このコーディング機器は、プロセッサとメモリとを含み、前記メモリは、前記プロセッサ上で運行できるプログラム又は命令を記憶しており、前記プログラム又は命令が前記プロセッサにより実行される時、第一の態様に記載の方法のステップを実現する。
第六の態様によれば、プロセッサと通信インターフェースとを含むコーディング機器を提供し、ここで、前記プロセッサは、第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得することであって、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、前記第一の識別子情報が、前記再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるために用いられることと、メッシュ差異情報に基づいて、第二のコードストリームを取得することであって、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られることと、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得することであって、前記再構築されたテクスチャマップ情報が前記第一のコードストリームと第二のコードストリームに基づいて得られることと、前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成することとに用いられる。
第七の態様によれば、デコーディング機器を提供し、このデコーディング機器は、プロセッサとメモリとを含み、前記メモリは、前記プロセッサ上で運行できるプログラム又は命令を記憶しており、前記プログラム又は命令が前記プロセッサにより実行される時、第二の態様に記載の方法のステップを実現する。
第八の態様によれば、プロセッサと通信インターフェースとを含むデコーディング機器を提供し、ここで、前記プロセッサは、取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得ることであって、前記第一のコードストリームがターゲット三次元メッシュに対応するベースメッシュに基づいて得られ、前記第二のコードストリームがメッシュ差異情報に基づいて得られ、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られ、前記第三のコードストリームが再構築されたテクスチャマップ情報に基づいて得られることと、
前記第一のコードストリームが再構築されたテクスチャ座標情報を含むと決定する場合に、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することと、
前記第一のコードストリームが再構築されたテクスチャ座標情報を含んでいないと決定する場合に、再構築されたテクスチャ座標情報を生成し、且つ生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することとに用いられる。
第九の態様によれば、コーディング機器とデコーディング機器とを含むコーデックシステムを提供し、前記コーディング機器は、第一の態様に記載のコーディング方法のステップを実行するために用いられてもよく、前記デコーディング機器は、第二の態様に記載のデコーディング方法のステップを実行するために用いられてもよい。
第十の態様によれば、可読記憶媒体を提供し、前記可読記憶媒体にはプログラム又は命令が記憶されており、前記プログラム又は命令がプロセッサにより実行される時、第一の態様に記載の方法のステップを実現し、又は第二の態様に記載の方法のステップを実現する。
第十一の態様によれば、チップを提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、第一の態様に記載の方法を実現し、又は第二の態様に記載の方法を実現するために用いられる。
第十二の態様によれば、コンピュータプログラム／プログラム製品を提供し、前記コンピュータプログラム／プログラム製品が記憶媒体に記憶されており、前記コンピュータプログラム／プログラム製品が少なくとも一つのプロセッサにより実行されて、第一の態様に記載の方法のステップを実現し、又は第二の態様に記載の方法のステップを実現する。
本出願の実施例では、コーディング側は、第一の識別子情報に基づいてターゲット三次元メッシュに対応するベースメッシュをコーディングし、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、第一のコードストリームを取得し、メッシュ差異情報に基づいて、第二のコードストリームを取得し、且つ再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得し、前記第一のコードストリーム、前記第二のコードストリームと第三のコードストリームに基づいて、ターゲットコードストリームを生成する。再構築されたテクスチャ座標データ量は、三次元メッシュにおける割合が比較的大きいため、本出願の実施例では、第一の識別子情報に基づいてベースメッシュにおける再構築されたテクスチャ座標情報をコーディングしないように選択することができ、コードレートを大幅に節約し、コーディング効率を向上させることができる。
本出願の実施例のコーディング方法のフローチャートである。 本出願の実施例における三次元メッシュのコーディングフレームワーク図である。 本出願の実施例における前処理モジュールの概略図である。 本出願の実施例におけるメッシュ簡略化プロセスにおける頂点統合プロセスの概略図である。 本出願の実施例における点細分化法の概略図である。 本出願の実施例における変位計算方法の概略図である。 ＥＢで定義される五つの操作モードの概略図である。 幾何学的座標平行四辺形の予測概略図である。 本出願の実施例のデコーディング方法のフローチャートである。 本出願の実施例における三次元メッシュデコーディングフレームワークの概略図である。 本出願の実施例のコーディング装置のモジュール概略図である。 本出願の実施例のコーディング機器の構造概略図である。 本出願の実施例のデコーディング装置のモジュール概略図である。 本出願の実施例のデコーディング機器の構造概略図である。 本出願の実施例の通信機器の構造概略図である。
以下は、本出願の実施例における図面を結び付けながら、本出願の実施例における技術案を明瞭に記述し、明らかに、記述された実施例は、本出願の一部の実施例であり、すべての実施例ではない。本出願における実施例に基づき、当業者により得られたすべての他の実施例は、いずれも本出願の保護範囲に属する。
本出願の明細書と特許請求の範囲における用語である「第一」、「第二」などは、類似している対象を区別するものであり、特定の順序又は前後手順を記述するためのものではない。理解すべきこととして、このように使用される用語は、適切な場合に交換可能であり、それにより本出願の実施例は、ここで図示又は記述されたもの以外の順序で実施されることが可能であり、且つ「第一」、「第二」によって区別される対象は、一般的には同一種類であり、対象の個数を限定せず、例えば第一の対象は、一つであってもよく、複数であってもよい。なお、明細書及び請求項における「及び／又は」は、接続される対象のうちの少なくとも一つを表し、文字である「／」は、一般的には前後関連対象が「又は」の関係であることを表す。
指摘すべきこととして、本出願の実施例に記述された技術は、ロングタームエボリューション型（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）／ＬＴＥの進化（ＬＴＥ－Ａｄｖａｎｃｅｄ、ＬＴＥ－Ａ）システムに限らず、他の無線通信システム、例えば符号分割多重接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、時分割多重接続（Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＴＤＭＡ）、周波数分割多重接続（Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＦＤＭＡ）、直交周波数分割多重接続（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＯＦＤＭＡ）、単一キャリア周波数分割多重接続（Ｓｉｎｇｌｅ－ｃａｒｒｉｅｒ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＳＣ－ＦＤＭＡ）と他のシステムにも適用できる。本出願の実施例における用語である「システム」と「ネットワーク」は、常に交換可能に使用され、記述された技術は、以上に言及されたシステムとラジオ技術に用いられてもよく、他のシステムとラジオ技術に用いられてもよい。以下の記述は、例示の目的でニューラジオ（Ｎｅｗ Ｒａｄｉｏ、ＮＲ）システムを記述しているとともに、以下の大部分の記述においてＮＲ用語を使用しているが、これらの技術は、ＮＲシステム応用以外の応用、例えば第六世代（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ、６Ｇ）通信システムに適用されてもよい。
以下では、図面を結び付けながら、いくつかの実施例及びその応用シナリオにより本出願の実施例によるコーディング方法、デコーディング方法を詳細に説明する。
図１に示すように、本出願の実施例は、コーディング方法を提供し、このコーディング方法は、以下のステップを含む。
ステップ１０１：コーディング側は、第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得し、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、前記第一の識別子情報が、前記再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるために用いられる。
本出願の実施例では、第一の識別子情報によって、ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報をコーディングするかどうかを決定し、例えばこの第一の識別子情報が１である場合に、再構築されたテクスチャ座標情報をコーディングする必要があることを表し、この第一の識別子情報が０である場合に、再構築されたテクスチャ座標情報をコーディングする必要がないことを表す。
上記再構築されたテクスチャ座標情報は、各頂点に対応する再構築されたテクスチャ座標、即ちＵＶ座標を含み、上記ＵＶ座標は、対応する頂点のテクスチャ色値を特徴づけるために用いられる。
説明すべきこととして、本出願でいうターゲット三次元メッシュは、いずれかのビデオフレームに対応する三次元メッシュと理解することができる。
選択的に、前記ベースメッシュは、前記ターゲット三次元メッシュに対応する幾何学的情報と接続関係情報をさらに含む。
選択的に、本出願の実施例では、いずれかのメッシュコーディング方法を使用して上記ベースメッシュにおける幾何学的情報、接続関係情報、再構築されたテクスチャ座標情報（第一の識別子情報に基づいてコーディングする必要があると決定する場合に）をコーディングし、統合後にベースメッシュコードストリーム、即ち上記第一のコードストリームを得てもよい。
ステップ１０２：前記コーディング側は、メッシュ差異情報に基づいて、第二のコードストリームを取得し、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られる。
選択的に、前記メッシュ差異情報は、間引き処理後のベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられる。
選択的に、ベースメッシュの幾何学的情報とＵＶ座標に対して間引き補間（ｒｅｆｉｎｅｍｅｎｔ）処理を行い、そして補間点と元のメッシュ（コーディングすべき三次元メッシュ）の最隣接点の変位ベクトルを計算し、この変位ベクトルによって上記ネットワーク差異情報を得る。
ステップ１０３：前記コーディング側は、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得し、前記再構築されたテクスチャマップ情報は、前記第一のコードストリームと第二のコードストリームに基づいて得られる。
ここで、再構築されたテクスチャマップ情報をコーディングし、第三のコードストリームを得る。選択的に、ビデオエンコーダによって上記再構築されたテクスチャマップ情報をコーディングする。
ステップ１０４：前記コーディング側は、前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成する。
本ステップでは、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得た後に、上記第一のコードストリーム、第二のコードストリームと第三のコードストリームを混合し、ターゲットコードストリームを生成する。
説明すべきこととして、本出願の実施例のコーディング方法は、非可逆モードコーディングに適用される。
本出願の実施例では、コーディング側は、第一の識別子情報に基づいてターゲット三次元メッシュに対応するベースメッシュをコーディングし、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、第一のコードストリームを取得し、メッシュ差異情報に基づいて、第二のコードストリームを取得し、且つ再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得し、前記第一のコードストリーム、前記第二のコードストリームと第三のコードストリームに基づいて、ターゲットコードストリームを生成する。再構築されたテクスチャ座標データ量は、三次元メッシュにおける割合が比較的大きいため、本出願の実施例では、第一の識別子情報に基づいてベースメッシュにおける再構築されたテクスチャ座標情報をコーディングしないように選択することができ、コードレートを大幅に節約し、コーディング効率を向上させることができる。
選択的に、前記コーディング側が第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得する前に、
非可逆コーディングモードにある場合に、コーディングすべき三次元メッシュを簡略化処理し、ターゲット三次元メッシュを得ることと、
可逆コーディングモードにある場合に、コーディングすべき三次元メッシュをターゲット三次元メッシュとして決定することとをさらに含む。
本出願の実施例では、非可逆コーディングモードにおいて、コーディングすべき三次元メッシュを前処理し、この前処理は、簡略化処理であってもよく、例えば幾何学的関係と接続関係を簡略化操作し、即ちメッシュ構造をできるだけ持つ場合にメッシュ頂点と辺の数を減少させ、さらに三次元メッシュのデータ量を減少させることができる。
選択的に、前記コーディング側が前記第一のコードストリームと前記第二のコードストリームに基づいて、ターゲットコードストリームを生成することは、
前記第一の識別子情報をコーディングし、コーディング後の第一の識別子情報を得ることと、
前記コーディング後の第一の識別子情報、前記第一のコードストリームと前記第二のコードストリームに基づいて、ターゲットコードストリームを生成することとを含む。
本出願の実施例では、ターゲットコードストリームに上記第一の識別子情報を運ぶことができ、このように、デコーディング側は、この第一の識別子情報に基づいて、再構築されたテクスチャ座標情報を生成する必要があるかどうかを決定することができる。
選択的に、前記コーディング側が第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得することは、
前記第一の識別子情報が、前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報をコーディングすることを特徴づける場合に、前記幾何学的情報、接続関係情報と再構築されたテクスチャ座標情報をコーディングし、第一のコードストリームを得ること、
及び／又は、前記第一の識別子情報が、前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報をコーディングしないことを特徴づける場合に、前記幾何学的情報と接続関係情報をコーディングし、第一のコードストリームを得ることを含む。
本出願の実施例では、ユーザは、実際の需要に応じて上記第一の識別子情報を設定してもよく、即ちユーザは、上記再構築されたテクスチャ座標情報をコーディングするかどうかを選択してもよい。
選択的に、前記コーディング側が、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得する前に、
前記第一のコードストリームに対してデコーディングと逆量子化処理を行い、再構築されたベースメッシュを得ることと、
前記第二のコードストリームに対してデコーディングと逆量子化処理を行い、ターゲットメッシュ差異情報を得ることと、
前記再構築されたベースメッシュと前記ターゲットメッシュ差異情報に基づいて、テクスチャマップ生成アルゴリズムに従って、再構築されたテクスチャマップ情報を生成することとをさらに含む。選択的に、本出願の実施例では、ターゲット三次元メッシュに対応するベースメッシュの前記幾何学的情報と接続関係情報に基づいて、テクスチャ座標再サンプリングアルゴリズムに従って、前記再構築されたテクスチャ座標情報を生成する。
この再構築されたテクスチャ座標情報の生成方式は、関連技術における生成方式と同じであり、ここでこれ以上説明しない。
選択的に、前記コーディング側がメッシュ差異情報に基づいて、第二のコードストリームを取得することは、
前記第一のコードストリームをデコーディングし、前記第一のコードストリームに対応する再構築されたメッシュを取得することと、
前記再構築されたメッシュに基づいて、前記メッシュ差異情報を更新し、更新後のメッシュ差異情報を得ることと、
更新後のメッシュ差異情報をコーディングし、前記第二のコードストリームを得ることとを含む。
本出願の実施例では、コーディング側は、ベースメッシュを非可逆圧縮するため、メッシュ差異情報の正確性を向上させるために、ベースメッシュコードストリームをデコーディングした後の再構築されたメッシュに基づいて、メッシュ差異情報を更新する必要があり、メッシュ差異情報がベースメッシュと元のメッシュ（コーディングすべきメッシュ）との差異をより正確に表すことができる。
また、メッシュ差異情報を更新した後に変換し、例えばウェーブレット変換する。変換後の変位情報を量子化し且つ一定のルール、例えばｚ走査順序に従って変換後のメッシュ差異情報を画像の画素点値に並べる。画像に対してビデオコーディングを行う。
選択的に、前記コーディング側が前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成することは、
前記ターゲット三次元メッシュのスライス情報に基づいて、第四のコードストリームを取得することと、
前記第一のコードストリーム、第二のコードストリーム、第三のコードストリーム、及び、第四のコードストリームに基づいて、前記ターゲットコードストリームを得ることとを含む。
本出願の実施例では、コーディング側では、それぞれ前処理して得られたメッシュ（ベースメッシュと呼ばれる）、ベースメッシュと元のメッシュとの差異を表すための変位情報と再構築されたテクスチャマップ属性情報をコーディングする：１）非可逆モードにおいて、三次元メッシュを前処理する。例えば、幾何学的関係と接続関係を簡略化操作し、即ちメッシュ構造をできるだけ持つ場合にメッシュ頂点と辺の数を減少させ、さらに三次元メッシュのデータ量を減少させることができる。２）簡略化後に得られたメッシュに対して、ＵＶ座標再サンプリングアルゴリズムを使用してＵＶ座標を再生成する。本出願では簡略化後の幾何学的情報、接続関係と簡略化後のメッシュに基づいて新しく生成されたＵＶ座標は、ベースメッシュと呼ばれ、３）いずれかの静的メッシュコーディング方法を使用してベースメッシュの幾何学的情報、接続関係、新しく生成されたＵＶ座標をコーディングし、コードストリームを統合した後にベースメッシュコードストリームを得る。注意すべきこととして、ベースメッシュのＵＶ座標をコーディングするかどうかは、識別子により決められ、４）前処理モジュールにおいてベースメッシュの幾何学的情報とＵＶ座標に対して間引き補間（ｒｅｆｉｎｅｍｅｎｔ）を行い、補間点と元のメッシュ最隣接点の変位ベクトルを計算する。変位情報コーディングモジュールにおいて間引き補間アルゴリズムパラメータと変位ベクトルをコーディングして変位情報コードストリームを得る。５）コーディング後のベースメッシュをデコーディング及び再構築し、再構築されたベースメッシュを得る。６）コーディング後の変位情報をデコーディング及び逆量子化し、デコーディングと逆量子化後の変位情報を得る。７）再構築されたベースメッシュとデコーディング逆量子化後の変位情報を使用してメッシュを再構築する。８）再構築されたメッシュを使用してテクスチャマップ生成アルゴリズムを採用して新しいテクスチャマップを生成し、ビデオエンコーダを使用して、新しく生成されたテクスチャマップをコーディングする。９）得られた各サブコードストリームをエンコーダの出力コードストリームに混合する。
本出願の実施例の三次元メッシュコーディングフレームワークは、メッシュ前処理モジュール、ベースメッシュコーディングモジュールやビデオに基づく変位情報コーディングモジュールなどを主に含む。三次元メッシュコーディングフレームワーク図は、図２に示すように、まず、入力された、テクスチャマップを含む三次元メッシュ（即ちコーディングすべき三次元メッシュ）を前処理する。前処理モジュールは、図３に示す。前処理モジュールでは、三次元メッシュをスライスするかどうかを選択することができる。スライスされた情報は、パッチ（ｐａｔｃｈ）情報を形成する。そして三次元メッシュに対してサンプリング簡略化を行う。そして簡略化後のメッシュに対して表面パラメータ化処理を行い、即ち新しいＵＶ座標（再構築されたテクスチャ座標情報）を生成する。このプロセスでは、一部の幾何学的情報も変化する。表面パラメータ化後にベースメッシュ（幾何学的情報、接続関係とＵＶ座標を含み）を得且つ一経路の出力とする。なお、ベースメッシュ幾何学的情報とＵＶ座標に対して間引き補間操作を行い、且つ補間点とその元のメッシュ上でのパッチ法線ベクトルに沿う投影点との間のオフセットベクトルを変位情報として計算して出力する。ここまで、前処理モジュールは、ベースメッシュと変位情報を出力する。図２に示すように、続いて前処理出力されたベースメッシュに対して量子化操作を行い、続いて幾何学的情報、接続関係とＵＶ座標のそれぞれをコーディングする。注意すべきこととして、ここでベースメッシュに対するコーディングは、いずれかの三次元メッシュコーディング方法に置き換えられてもよい。このモジュールでは、選択的にＵＶ座標をコーディングすることができる。接続関係をコーディングしないように選択する場合に、デコーディング側は、コーディング側と同じＵＶ座標生成方法を使用してＵＶ座標を再構築する必要がある。ベースメッシュの各部分のコードストリームを共同でベースメッシュコーディングモジュールの出力、即ちベースメッシュサブコードストリームとする。画像に対してビデオコーディングを行って変位情報サブコードストリームを得る。また、コーディング後のベースメッシュをデコーディング及び再構築し、再構築されたベースメッシュを得る必要がある。コーディング後の変位情報をデコーディング及び逆量子化し、デコーディングと逆量子化後の変位情報を得る。そして再構築されたベースメッシュとデコーディング逆量子化後の変位情報を使用してメッシュを再構築する。再構築されたメッシュを使用してテクスチャマップ生成アルゴリズムを採用して新しいテクスチャマップを生成し且つビデオエンコーダを使用して新しく生成されたテクスチャマップをコーディングする。最後に、ｐａｔｃｈ情報サブコードストリーム、ベースメッシュサブコードストリームと変位情報サブコードストリームを混合し、コーディングの出力コードストリームを得る。
以下、簡略化処理すべき具体的な実現方式について以下に説明する。
入力された元のメッシュ、即ちコーディングすべき三次元メッシュに対して、まずメッシュ簡略化された操作を行う。メッシュ簡略化の重点は、簡略化された操作及び対応する誤差度量である。ここでのメッシュ簡略化操作は、辺に基づく簡略化であってもよい。図４に示すように、一本の辺の二つの頂点を統合することで、フェイス数と頂点数を減少させる目的を達成することができる。なお、点などに基づくメッシュ簡略化方式によってメッシュを簡略化することができる。
メッシュ簡略化プロセスにおいて、簡略化の誤差度量を定義する必要がある。例えば、頂点のすべての隣接面の方程式係数の和をこの頂点の誤差度量として選んでもよく、該当する辺の誤差度量は、辺上の二つの頂点の誤差度量の和である。簡略化操作の方式及び誤差度量を決定した後に、メッシュの簡略化を開始することができる。例えば、メッシュを一枚又は複数枚のローカルメッシュに分け、パッチにおける初期メッシュの頂点誤差を計算して各辺の誤差を得てもよい。そしてパッチ内のすべての辺を誤差に従ってあるルール、例えば大きくなるルールに基づいて並べる。毎回の簡略化は、あるルールに従って辺を統合し、例えば誤差が最小の辺を選んで統合するとともに、統合後の頂点位置を計算し且つ統合後の頂点に関連するすべての辺の誤差を更新し、辺並べの順序を更新してもよい。反復することで、メッシュの面をある予期数に簡略化する。
具体的なプロセスは、以下を含む。
１、頂点誤差の計算
頂点誤差は、頂点のすべての隣接面の方程式の係数の和として定義されてもよい。例えば、各隣接面は、いずれも一つの平面を定義し、式１で表されてもよい。
ここで、Ｄは、いずれかの頂点から平面までの距離であり、ｎは、平面の単位法線ベクトルであり、ｖは、頂点の位置ベクトルであり、ｄは、定数である。二次曲面の形式で表すと、
になり、
ここで、Ｑは、頂点誤差であり、Ａ、ｂ、ｃは、式１における対応する符号を表す係数である。
式２からさらに
を得、
頂点誤差がこの頂点のすべての隣接面の方程式係数の和であるため、
Ｑ１（ｖ）＋Ｑ２（ｖ）＝（Ｑ１＋Ｑ２）（ｖ）＝（Ａ１＋Ａ２，ｂ１＋ｂ２，ｃ１＋ｃ２）（ｖ）
とすることができ、
から得られるように、統合して発生した誤差は、
である。ここで、Ｑ（ｖ）は、頂点誤差であり、ｖは、対応する頂点であり、Ｑ１（ｖ）は、ｖに隣接する平面１の方程式であり、Ｑ２（ｖ）は、ｖに隣接する平面２の方程式であり、Ａ１、Ａ２、ｂ１、ｂ２、ｃ１、ｃ２は、それぞれに対応する係数である。無論、複数の隣接面が存在する場合に、式４に該当する平面誤差方程式を追加し続けることができる。
２、頂点統合
頂点統合プロセスの一つの主なステップは、統合後の頂点の位置を決定することである。誤差式３に基づいて、誤差をできるだけ小さくできる頂点位置を選択することができる。例えば、式３に偏導関数を求めることによって、
を得ることができる。
上式から分かるように、行列Ａが可逆な場合にのみ、誤差を最小にする点を求めることができる。そのため、ここで統合後の頂点位置に対して様々な取り方があってもよい。メッシュ簡略化の品質を考慮すると、行列Ａが可逆な場合に、誤差を最小にする頂点位置を選び、行列Ａが不可逆な場合に、辺上の両端点を含む、誤差を最小にするそのうち一つの点を選択してもよい。メッシュ簡略化の複雑さを考慮すると辺の中点又は両端点のうちの一つを統合後の頂点の位置として、直接に選んでもよい。メッシュ簡略化後の量子化の効率を考慮すると、統合後の頂点位置も調整する必要がある。量子化後に高精度情報を単独でコーディングする必要があるため、一部の統合後の頂点位置を対応する量子化パラメータの倍数に調整し、逆量子化時に追加の情報を必要とせずに元の位置を復元できることを確保し、高精度な幾何学的情報に消費されるデータ量を減少させる。
どのように統合後の頂点位置を選ぶかを決定した後に、頂点統合プロセスを開始することができる。例えば、初期メッシュにおけるすべての辺の誤差を計算し、それを誤差に従ってある規格、例えば大きくなる順序に応じて並べる。反復するごとに、誤差があるルールを満たす辺、例えば誤差が最小の辺を選ぶ。メッシュ頂点から辺の二つの端点を除去し且つ統合後の頂点をメッシュ頂点の集合に追加する。統合前の二つの頂点の全部又は一部の隣接頂点を統合後の頂点の隣接頂点とし、そしてこの頂点統合に接続されるすべての点の誤差度量を更新し、それによって新しく生成された辺の誤差を得る。そしてパッチのグローバルから辺の並べ順序を更新する。非可逆コーディングを満たすために必要なフェイス数に達するまで、上記プロセスを循環する。
３、接続関係更新
頂点統合後、頂点セットから一部の頂点を削除するとともに、多くの新しい頂点を追加するため、頂点の間の接続関係を更新する必要がある。例えば、頂点統合プロセスにおいて、統合後の頂点に対応する統合前の二つの頂点を決定してもよい。統合後の頂点のインデックスで面に現れるすべての統合前の二つの頂点のインデックスを置き換え、そして繰り返しインデックスを有する面を削除すれば、接続関係更新の目的を達成することができる。
以上は、メッシュ簡略化の主なプロセスである。同時に、三次元メッシュは、属性情報をさらに運ぶ可能性がり、属性情報を簡略化する必要がある可能性もある。属性情報を持つメッシュ、例えばテクスチャ座標、色、法線ベクトルなどに対して、頂点座標をより高い次元に拡張し、それによって属性情報を持つ頂点誤差を計算することができる。テクスチャ座標を例とし、頂点座標を（ｘ，ｙ，ｚ）とし、テクスチャ座標を（ｕ，ｖ）とすると、拡張後の頂点は、（ｘ，ｙ，ｚ,ｕ，ｖ）である。拡張後の三角形をＴ＝(ｐ，ｑ，ｒ)とし、高次元空間上の誤差度量を決定するために、まず二つの標準直交ベクトルを計算し、即ち：
ここで、ｅ１、ｅ２は、Ｔが位置する平面上の二つのベクトルであり、ここで、「・」は、ベクトルのドット積を代表し、それは、この高次元平面上の一つの座標軸を定義しており、ｐを原点とする。いずれか一つの点ｖを考慮し、また、ｕ＝ｐ－ｖであり、
即ち
ｅ１，ｅ２は、Ｔが位置する平面上の二つのベクトルであるため、式９の左側の項目は、頂点からＴが位置する平面までの距離の二乗であり、即ち
それを展開して統合すると、式３に類似している方程式を得ることができ、ここで、
上記誤差度量を得た後に、この前の三次元情報と同様な後続ステップを行うことができ、それによって属性情報を持つメッシュの簡略化を実現する。
一般的には、画像のエッジ部分は、人々の注意を引くことができ、それによって人々によるこの画像に対する品質評価に影響を与える。三次元メッシュも同様であり、人々は、境界部分に気づきやすい傾向がある。そのため、境界を保持するかどうかも、メッシュ簡略化における品質に影響を与える一つの要因でもある。メッシュの境界は、一般的には、幾何学的形状の境界及びテクスチャの境界である。一本の辺が一つの面だけに属している場合、この辺は、一つの幾何学的境界である。同一の頂点が二つ又は複数のテクスチャ座標を有する場合、この頂点は、テクスチャ座標の境界である。メッシュ簡略化時、以上の境界は、いずれも統合されるべきではない。そのため、簡略化するごとに、この辺上の頂点が境界点であるかどうかを判断し、境界点である場合にスキップし、次の反復を直接に行うことができる。
以下、選択的なメッシュパラメータ化方法について具体的に説明する。
このメッシュパラメータ化方法は、以下を含む。
（１）ＵＶ座標の再生成
入力：処理すべき元の三次元メッシュ（ＵＶ座標を含んでもよいしＵＶ座標を含まなくてもよい）
出力：再生成されたＵＶ座標。
この方法では、ＩＳＯ－チャート（ｃｈａｒｔｓ）アルゴリズムを使用して再構築されたテクスチャ座標情報を得ることができ、このアルゴリズムは、スペクトル分析を使用してストレッチ駆動の三次元メッシュパラメータ化を実現し、三次元メッシュに対してＵＶ展開、スライスを行って二次元テクスチャ領域にパッケージ化する。一つのストレッチ閾値を設定する。このアルゴリズムの具体的な実現プロセスは、以下の通りである。
ａ）表面スペクトル分析を計算し、一つの初期パラメータ化を提供し、
ｂ）ストレッチ最適化の反復を実行し、
ｃ）この派生パラメータ化のストレッチが閾値より小さい場合に、停止し、
ｄ）表面スペクトルクラスターを実行して表面をｃｈａｒｔｓに分け、
ｅ）グラフカット（ｇｒａｐｈ ｃｕｔ）アルゴリズムを使用してｃｈａｒｔ境界を最適化し、
ｆ）ストレッチ基準を満たすまでｃｈａｒｔｓを反復分割し、
以下、上記表面スペクトル分析、ストレッチ最適化、表面スペクトルクラスター、境界最適化の四つの主要部分についてそれぞれ紹介する。
１、表面スペクトル分析
表面スペクトル分析は、アイソメフィーチャーマッピング（ｉｓｏｍｅｔｒｉｃ ｆｅａｔｕｒｅ ｍａｐｐｉｎｇ、ＩｓｏＭａｐ）次元低減方法に基づいてターゲット三次元メッシュをパラメータ化する。一組の高次元点を与え、ＩｓｏＭａｐで多様体に沿う測地距離（ｇｅｏｄｅｓｉｃ ｄｉｓｔａｎｃｅ）を隣接点間のジャンプシーケンスとして計算する。そして多次元スケール（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ、ＭＤＳ）アルゴリズムをこれらの測地線距離に応用して、低次元空間に組み込まれ且つ類似したペア距離を有する一組の点を見つける。与えられるポイント数がＮの表面の計算プロセスは、以下の通りである。
ａ）表面点の間の測地距離二乗の対称行列ＤＮを計算し、
ｂ）ＤＮに対して二重中心化と正規化を行ってＢＮを得、その計算プロセスは、以下のように示す。
ここで、
であり、Ｉは、Ｎ次元単位行列であり、１は、長さがＮの単位ベクトルである。
ｃ）ＢＮの特徴値λｉ及び該当する特徴ベクトル
ｉ＝１、２、．．．、Ｎを計算し、
ｄ）元の表面の各点ｉに対して、その新しい空間における組み込みは、Ｎ次元ベクトル
であり、そのｊ番目の要素の計算プロセスは、以下のように示す。
ＢＮの特徴値λｉと該当する特徴ベクトル
は、表面形状のスペクトル分解を構成する。大きい特徴値に対応する特徴ベクトルは、表面上のグローバル低周波特徴を表し、小さい特徴値に対応する特徴ベクトルは、高周波詳細を表す。高エネルギー、低周波数成分をｃｈａｒｔｉｆｉｃａｔｉｏｎとパラメータ化のベースとする。
Ｎ個の頂点を有する一つの表面を完全に表すためにＮ個の特徴値が必要であるが、それらのエネルギーのほんの一部は、一般的にはエネルギーの大部分を占めている。そのため、ｎ＜＜Ｎ個の最大特徴値と該当する特徴ベクトルのみを計算して、すべての点のｎ次元組み込みを生成する。
なお、高次元空間から低次元空間へのマッピングは、等間隔ではないため、このパラメータ化は、歪みを引き起こす。各頂点ｉに対して、その組み込み下の測地距離歪み（ＧＤＤ）の定義は、以下のように示す。
ここで、
は、頂点ｉのｎ次元組み込み座標であり、ｄｇｅｏ（ｉ，ｊ）は、点ｉと点ｊとの間の測地距離である。
ｎ＝２の場合に、表面スペクトル分析によりすべての頂点の一つのＧＤＤ二乗と最小の表面パラメータ化を生成する。
注意すべきこととして、Ｉｓｏｍａｐアルゴリズムは、多様体に沿って計算される測地距離であるが、入力された三次元メッシュにいくつかの非多様体が存在する場合に、この方案は、該当する前処理を行ってこれらの非多様体の存在を消去する。
２、ストレッチ最適化
三次元空間から二次元空間へは、等間隔ではないため、パラメータ化は、歪みを引き起こし、クリッピング現象を消去するために、ストレッチ最適化処理を行う必要がある。歪みは、角度又は領域の保存状況、又は表面上でストレッチ又は収縮するパラメータ距離を含む多くの方法で測定することができる。このアルゴリズムで注目されているのは、距離歪みであり、特に幾何学的ストレッチの定義であり、表面ローカル距離の平均ストレッチＬ２と最悪の場合のストレッチＬ∞との二つの推量を定義する。
二次元テクスチャ座標ｐ１、ｐ２、ｐ３を持つ一つの三角形Ｔを仮定し、ここで、ｐｉ＝（ｓｉ，ｔｉ）であり、該当する三次元座標は、ｑ１、ｑ２、ｑ３と表され、アフィンマッピングＳ（ｐ）＝Ｓ（ｓ，ｔ）＝ｑの計算プロセスは、以下のように示す。
ここで、
は、三角形ａｂｃの面積を表す。このマッピングは、アフィンであるため、その偏導関数は、（ｓ，ｔ）において定数であり、その計算プロセスは、以下のように示す。
ここで、
そして計算してヤコビアン（Ｊａｃｏｂｉａｎ）行列
の比較的大きいと比較的小さい特異値を得、計算プロセスは、以下のように示す。
ここで、ａ＝Ｓｓ・Ｓｓであり、ｂ＝Ｓｓ・Ｓｔであり、ｃ＝Ｓｔ・Ｓｔである。特異値Ｙｍａｘ、Ｙｍｉｎは、単位長さベクトルを二次元テクスチャ領域から三次元表面にマッピングする時に得られた最大長さと最小長さ、即ち最大と最小のローカル「ストレッチ」を表す。三角形Ｔ上の二つのストレッチ推量の定義は、以下のように示す。
三次元メッシュＭ＝｛Ｔｉ｝全体上のストレッチ推量の定義は、以下のように示す。
ここで、Ａ′（Ｔｉ）は、三角形Ｔｉの三次元空間における表面面積である。
Ｌ∞は、領域における一つの最悪の状況点にのみ依存するため、Ｌ∞ストレッチは、どの方法にとっても制御することは難しいが、Ｌ２ストレッチを最小化するいくつかの反復を経ることで結果を顕著に改善することができる。
３、表面スペクトルクラスター
スペクトル分析によって生成されるパラメータ化がストレッチ閾値を満たすことができない場合に、それは、より小さいｃｈａｒｔｓに分けられる。モデルのグローバル特徴が比較的大きい特徴値に対応するため、それらを使用して分ける。スペクトル分析の結果を利用していくつかの代表的な頂点を計算し、そしてこれらの代表点を取り囲んでチャート（ｇｒｏｗ ｃｈａｒｔｓ）を同時に成長させ、この方法は、表面スペクトルクラスターと呼ばれる。具体的なアルゴリズムプロセスは、以下の通りである。
ａ）スペクトル分析からの特徴値と該当する特徴ベクトルを大きいものからソートし、即ちλ１≧λ２≧．．．≧λＮである。
ｂ）λｎ／λｎ＋１を最大化する前のｎ個の特徴値と特徴ベクトル（ｎ≦１０）を得る。
ｃ）ターゲット三次元メッシュにおける各頂点ｉに対して、そのｎ次元組み込み座標
を計算する。
ｄ）ｎ個の組み込み座標のそれぞれに対して、座標が最大と最小の二つの点を見つけ、且つそれらを２ｎ個の代表点に設定する。
ｅ）それらの距離が距離閾値よりも小さい代表点を移動し、ｍ≦２ｎ個の代表点を生成し、選択的に、距離閾値は、ターゲット三次元メッシュ平均エッジ長さの１０倍である。
ｆ）表面スペクトル分析において計算された測地距離を利用し、代表点を取り囲んでｃｈａｒｔｓを同時にｇｒｏｗすることで、三次元メッシュをｍ個の部分に分ける。各三角形は、この三角形と最も近い代表点を有するｃｈａｒｔに割り当てられる（三角形から代表点までの測地距離計算は、三角形の三つの頂点から代表頂点までの測地距離の平均値である）。
４、境界最適化
複数のｃｈａｒｔｓを得た後に、ｇｒａｐｈ ｃｕｔアルゴリズムを使用して各ｃｈａｒｔｓの間の境界を最適化する。Ｃｈａｒｔｓ境界は、二つのターゲットを満たす必要がある：１）それらは、あまりばらばらではなくない場合に高曲率領域を通過すべきであり、２）それらは、その境界ｃｈａｒｔｓの組み込みクリッピングを最小にすべきである。このアルゴリズムは、最適境界問題を一つのｇｒａｐ ｃｕｔｔｉｎｇ問題として表現する。簡単にするために、以下、表面を二つに分割する二元の場合について説明する。二つ以上のｃｈａｒｔｓに細分化する場合に、各ペアの隣接するｃｈａｒｔｓを順に考慮する。
ｃｈａｒｔ Ａとｃｈａｒｔ Ｂとの間に一つの最適な境界を探すと仮定し、初期分けは、表面スペクトルクラスターを使用して生成される。そして一つの領域を初期分割境界の両側に拡張することで一つの中間領域Ｃを生成する。中間領域の大きさは、未剥離ｐａｔｃｈの総面積に正比例する。現在ｇｒａｐｈ ｃｕｔアルゴリズムにおける方法の拡張を利用してＣから無方向フローネットワーク図を構築する。ここでｇｒａｐｈ ｃｕｔアルゴリズムにおける二つの隣接する三角形ｆｉとｆｊとの間の「容量（ｃａｐａｃｉｔｙ）」の定義を以下の式２６に示すように修正する。
式２６における第一の項は、高い二面コーナーを有する辺に沿ってばらばらではない切割を行う一番目のターゲットに対応し、計算プロセスは、式２７に示す。
ここで、ｄａｎｇ（ｆｉ，ｆｊ）＝ｃｏｓαｉｊであり、αｉｊは、三角形ｆｉとｆｊ法線との間の角度であり、ａｖｇ（ｄａｎｇ）は、隣接する三角形の間の平均角距離である。
式２６における第二の項は、組み込みクリッピングを測定し、計算プロセスは、式２８と式２９に示す。
ここで、ＧＤＤＡ（ｆｉ）とＧＤＤＢ（ｆｉ）のそれぞれは、三角形ｆｉがｃｈａｒｔ Ａ又はｃｈａｒｔ Ｂの誘導で組み込みられるＧＤＤであり、ａｖｇ（ｄｄｉｓｔｏｒｔ）は、すべての隣接する三角形ペア上のｄｄｉｓｔｏｒｔ（ｆｉ，ｆｊ）の平均である。ｃｄｉｓｔｏｒｔ（ｆｉ，ｆｊ）のこのような定義は、その隣接する三角形がｃｈａｒｔ Ａとｃｈａｒｔ Ｂによって決定された組み込みの間のＧＤＤの境界辺をバランスさせる傾向がある。言い換えれば、カットは、三角形を誤った側に置いて不必要な変形を発生させることを回避すべきである。
式２６における重みパラメータαは、上記二つのターゲットに対するトレードオフである。
このストレッチ駆動のｃｈａｒｔｉｆｉｃａｔｉｏｎとパラメータ化アルゴリズムの簡単な実現には、特にモデル頂点数が増加する場合に大きな費用がかかる。そのため、計算速度を速めるために、実際の応用において、Ｉｓｏ－ｃｈａｒｔｓアルゴリズムは、Ｉｓｏｍａｐの拡張アルゴリズムｌａｎｄｍａｒｋ Ｉｓｏｍａｐを採用する。同時に、ｌａｎｄｍａｒｋ Ｉｓｏｍａｐアルゴリズムは、さらに組み込みクリッピングを減少させるために、境界最適化時に中間領域頂点の組み込み座標の計算にも用いられる。
最後に、ＭＣＧＩＭアルゴリズムに使用されるｃｈａｒｔ ｐａｃｋｉｎｇのアルゴリズムを利用して、上記プロセスにおいて生成されたｃｈａｒｔｓを二次元テクスチャ領域にパッケージ化する。最終的に再生成されたＵＶ座標の三次元メッシュを得ることができる。
（２）メッシュ間引き。
入力：ベースメッシュ（属性情報を含む）、
出力：間引き後のメッシュ。
本出願の実施例では、いずれかのメッシュ間引き方案を使用してベースメッシュを間引きすることができる。一つの実行可能な間引き方案は、中点細分化方案であり、それは、細分化反復するごとに各三角形を４つのサブ三角形に細分化し、図５に示す。各辺の中間に新しい頂点を導入する。細分化プロセスは、幾何学的とテクスチャ座標の連通性が一般的には異なるため、幾何学的とテクスチャ座標に独立して応用される。細分化方案は、新しく導入された頂点ｖ１２の辺（ｖ１，ｖ２）中心における位置Ｐｏｓ（ｖ１２）を計算し、以下に示す。
式３０では、Ｐｏｓ（ｖ１）とＰｏｓ（ｖ２）は、頂点ｖ１とｖ２の位置である。
同じプロセスは、新しく作成された頂点のテクスチャ座標を計算するために用いられる。法線ベクトルに対して、追加の正規化ステップは、以下の通りである。
式では、Ｎ（ｖ１２）、Ｎ（ｖ１）とＮ（ｖ２）は、それぞれ頂点ｖ１２、ｖ１とｖ２の法線ベクトルに対応する。
は、ベクトルｘのモド２演算である。
（３）変位情報計算。
入力：間引き後のメッシュと元のメッシュ（属性情報を含む）、
出力：変位情報。
図６は、２Ｄ曲線を使用して前処理方案の基本的な思想を示す。同じ概念は、入力された３Ｄメッシュに応用されてベースメッシュと変位場を生成する。図６において、入力された２Ｄ曲線（２Ｄ折れ線で表される）は、「元の曲線」と呼ばれ、まずダウンサンプリングして「簡略化曲線」と呼ばれる基本的な曲線／折れ線を生成する。そして細分化方案を簡略化して得られたポリラインに応用して「間引き曲線又は細分化曲線」を生成する。その後、細分化されたポリラインを変形して、より良い元の曲線近似値を得る。即ち、メッシュの各頂点の細分化のために変位ベクトル（図６における矢印に示す）を計算し、変位曲線の形状をできるだけ元の曲線の形状に近づけるようにする。これらの変位ベクトルは、このモジュールにより出力される変位情報である。
本出願の実施例では、ベースメッシュのコーディングは、関連技術におけるメッシュエンコーダＤｒａｃｏを使用することができ、主に、量子化、接続関係コーディング、幾何学的情報コーディング、ＵＶ座標コーディング及びテクスチャマップコーディングの五つの部分を含み、以下、それぞれ説明する。
（１）量子化
入力：ベースメッシュの幾何学的情報とＵＶ座標、
出力：量子化後の幾何学的情報とＵＶ座標、
まず、入力されたメッシュの頂点三次元座標を量子化し、量子化後の幾何学的情報を得る。
ある頂点の三次元座標を（ｘ、ｙ、ｚ）とし、量子化係数を（ＱＰｘ，ＱＰｙ，ＱＰｚ）とすると、量子化後の幾何学的情報（ｘｑ，ｙｑ，ｚｑ）の計算プロセスは、以下の通りである。
式３２：ｘｑ＝ｆ１（ｘ，ＱＰｘ）
式３３：ｙｑ＝ｆ１（ｘ，ＱＰｙ）
式３４：ｚｑ＝ｆ１（ｚ，ＱＰｚ）
ここで、式３２～式３４におけるｆ１関数は、量子化関数であり、量子化関数の入力は、ある次元の座標とこの次元の量子化係数であり、出力は、量子化後の座標値である。
ｆ１関数は、様々な計算方式があってもよく、比較的汎用的な一つの計算方式は、式３５～式３７に示すように、各次元の元の座標をこの次元の量子化係数で割って計算することである。ここで、「／」は、除算演算子であり、除算演算の結果に対して異なる方式を採用して丸め、例えば四捨五入、切り下げ、切り上げなどを行うことができる。
式３５：ｘｑ＝ｘ／ＱＰｘ
式３６：ｙｑ＝ｙ／ＱＰｙ
式３７：ｚｑ＝ｚ／ＱＰｚ
量子化係数が２の整数べき乗の場合に、ｆ１関数は、ビット演算を使用して実現することができ、例えば式３８～式４０である。
式３８：Ｘｑ＝ｘ≫ｌｏｇ２ＱＰｘ
式３９：Ｙｑ＝ｙ≫ｌｏｇ２ＱＰｙ
式４０：Ｚｑ＝ｚ≫ｌｏｇ２ＱＰｚ
注意すべきこととして、無論、ｆ１関数がどの計算方式を採用しても、量子化係数ＱＰｘ、ＱＰｙとＱＰｚは、柔軟に設定することができる。まず、異なる成分の量子化係数は、必ずしも等しくなく、異なる成分量子化パラメータの関連性を利用して、ＱＰｘ、ＱＰｙとＱＰｚの間の関係を確立し、異なる成分に対して異なる量子化係数を設定することができ、次に、異なる空間領域の量子化係数も必ずしも等しくなく、ローカル領域頂点分布の疎さの程度に応じて量子化パラメータを適応的にすることができる。
二次元ＵＶ座標の量子化と三次元座標量子化は、類似し、一つの次元の量子化を減少させればよい。
（２）接続関係コーディング。
入力：ベースメッシュ接続関係、
出力：コーディング後の接続関係サブコードストリームと頂点コーディング順序。
一つの使用可能な接続関係コーディング方法は、圧縮（Ｅｄｇｅｂｒｅａｋｅｒ、ＥＢ）アルゴリズムである。ＥＢアルゴリズムは、三角メッシュモデルの各三角形をトラバースした後に、Ｃ、Ｌ、Ｅ、Ｒ、Ｓの５つの文字からなる文字列シーケンスを得、そしてホフマンコーディング方法でこの文字列シーケンスをコーディングする。ＥＢにおいて定義される五つの操作モードは、図７に示す。ここで、Ｃは、コーディングすべき頂点ｖが境界上にないポロジ場合を表し、ＬとＲは、コーディングすべき頂点ｖが境界上にあり且つ現在三角形の現在辺のほかまた一本の辺ｅが境界上にあることを表し、ＬとＲは、それぞれｅの現在辺における異なる方向を表し、Ｓは、グラフィックスを二つの部分に分け、同時に追加のオフセット又は他の操作で分岐情報を記録する必要があり、Ｅは、三角形の３本の辺がすべて境界上にあることを表す。
このアルゴリズムは、らせん状の形式でメッシュをコーディングする。メッシュトラバースプロセスにおいて、辺からなる一つの有向境界を常に維持し、この境界は、メッシュをすでにトラバースした部分とトラバースしていない部分に分ける。そして一つの三角形をトラバースするごとに一つのこの三角形及び境界のポロジ関係オペレータを出力し、且つこの多角形をすでにコーディングされた部分に分ける。その具体的なトラバースプロセスは、以下の通りである。まずいずれか一つの三角形を選択して最初の境界を形成し、いずれか一本の辺を現在辺として選択する。Ｅｄｇｅｂｒｅａｋｅｒアルゴリズムは、５つのオペレータＣ、Ｌ、Ｅ、ＲとＳを採用して現在三角形と境界のポロジ関係を記録する。異なるオペレータにおける矢印の方向に基づいて、次の辺を現在辺の辺として選択し、コーディングすべき頂点に対応する操作モードの判断を継続する。すべての頂点をトラバースするまで、このステップに従って操作をサイクルする。この時、トラバースプロセスにおけるオペレータ列を得且つこの文字列をエントロピーコーディングすることができる。また、ＥＢアルゴリズムの使用には、トラバースの頂点順序を幾何学的情報とＵＶ座標コーディングモジュールに出力する必要がある。ＥＢのコーディングルールに基づいて、最終的にエントロピーコーディングのモードもコードは、ＣＣＲＲＳＬＣＲＳＥＲＲＥＬＣＲＲＲＣＲＲＲＥである。
（３）幾何学的情報コーディング
入力：量子化後の幾何学的情報、接続関係と接続関係コーディング頂点順序、
出力：コーディング後の接続関係サブコードストリーム。
本出願の実施例では、以下のような平行四辺形予測法を使用して幾何学的座標をコーディングすることができる。
図８に示すように、三角形Ｓ１は、現在すでに幾何学的座標がコーディングされた三角形であり、コーディングすべき頂点に対するトラバース方式は、接続関係をコーディングする時に接続関係をコーディングする頂点順序と同じである。接続関係をコーディングしない時、頂点トラバース順序とベースメッシュにおける頂点順序とは、同じである。コーディングトラバースを行う時、一辺を現在トラバース中の辺τ１として選び、接続がすでにコーディングされたまた一つの頂点で形成される三角形を半分の平行四辺形として使用して現在辺に対応するコーディングすべき頂点の三次元幾何学的座標を予測し、即ち図におけるＡ２点を予測頂点とする。この時、予測頂点と実際頂点（Ａ３）の座標差分値を計算し且つエントロピーコーディングを使用してそれをコーディングして幾何学的情報サブコードストリームを形成する。ここで、Ｓ２は、予測三角形であり、Ｓ３は、コーディングすべき三角形である。
また、ここで二つ又は三つの平行四辺形ペアを使用してコーディングすべき幾何学的座標を予測してもよく、ここで具体的なコーディング方法を強調しない。
（４）ＵＶ座標コーディング（識別子によってＵＶ座標をコーディングするかどうかを制御する）
入力：ベースメッシュのＵＶ座標、接続関係と接続関係コーディング頂点順序、
出力：コーディング後のＵＶ座標サブコードストリーム。
以下のような平行四辺形予測法を使用してＵＶ座標をコーディングしてもよい：
図８を参照すると、三角形Ｓ１は、現在すでにＵＶ座標がコーディングされた三角形であり、コーディングすべき頂点に対するトラバース方式は、接続関係をコーディングする時に接続関係をコーディングする頂点順序と同じである。接続関係をコーディングしない時、頂点トラバース順序とベースメッシュにおける頂点順序とは、同じである。コーディングトラバースを行う時、一辺を現在トラバース中の辺τ１として選び、接続がすでにコーディングされたまた一つの頂点で形成される三角形を半分の平行四辺形として使用して現在辺に対応するコーディングすべき頂点のＵＶ座標を予測し、即ち図におけるＡ２点を予測頂点とする。この時、予測頂点と実際頂点の座標差分値を計算し且つエントロピーコーディングを使用してそれをコーディングしてＵＶ座標サブコードストリームを形成する。
また、ここで二つ又は三つの平行四辺形ペアを使用してコーディングすべきＵＶ座標を予測してもよく、ここで具体的なコーディング方法を強調しない。
識別子マークにＵＶ座標をコーディングする必要がない場合に、このモジュールをスキップしてＵＶ座標をコーディングしない。
ベースメッシュのコーディングの完了後、ベースメッシュコードストリームをデコーディングしてクリッピング後の幾何学的情報とＵＶ座標を得る必要がある。識別子マークにＵＶ座標をコーディングしない場合に、ベースメッシュのＵＶ座標を使用して頂点オフセットを修正する。デコーディングされた幾何学的情報とＵＶ座標（識別子に基づいて、デコーディング後のＵＶ座標を使用するか、それともコーディング前のベースメッシュＵＶ座標を使用するかを判断する）に基づいて、変位情報における頂点オフセットベクトル値を修正する。その後、更新された変位情報をコーディングし、一つの実行可能な変位情報コーディング方式は、線形ウェーブレット変換である。
１）変位情報の変換と更新
入力：変位情報、
出力：変換後の変位情報。
更新プロセスは、以下の通りである。
式では、ｖ＊は、頂点ｖの隣接頂点の集合である。Ｓｉｇｎａｌ（ｖ）は、頂点ｖの幾何学的又は属性値である。
ウェーブレット変換のプロセスは、以下の通りである。
式では、ｖは、ｖ１とｖ２の辺の中点に挿入される頂点である。Ｓｉｇｎａｌ（ｖ）、Ｓｉｇｎａｌ（ｖ１）とＳｉｇｎａｌ（ｖ２）のそれぞれは、頂点ｖ、ｖ１とｖ２の幾何学的又は属性値である。
注意すべきこととして、方案における更新プロセスは、スキップしてもよく、即ち変位情報を更新せずに直接に変位情報をコーディングしてもよい。
２）変換後の変位情報コーディング
入力：変換後の変位情報
出力：変位情報サブコードストリーム
変換後の変位情報を量子化した後に、以下の方法を使用して変換後の変位情報を２Ｄ 画像に配列することができる。
方法１：低周波から高周波へのトラバース係数。
方法２：各係数に対して、ブロックのラスタ順序に記憶すべきＮｘＭの画素ブロックのインデックス（例えば、Ｎ＝Ｍ＝１６）を決定する。ＮｘＭの画素ブロック内の位置は、モートン順序を使用して計算される。
他の配列方案、例えばジグザグ状順序、ラスタ順序などを使用してもよい。エンコーダは、ビットフローにおいて使用される配列方案を明確に信号で通知すべきである。
情報を２Ｄ画像に配列した後に、いずれかのビデオエンコーダを使用して画像をコーディングして変位情報サブコードストリームを得ることができる。
テクスチャマップをコーディングする前に、変位情報サブコードストリームをデコーディング及び逆量子化してクリッピング後の変位情報を得る必要がある。この操作は、コーデック端が使用する情報の一致性を保証することができる。再構築されたベースメッシュとクリッピング後の変位情報の組み合わせを使用して再構築されたメッシュを生成する。再構築されたメッシュと元のテクスチャマップを使用して新しいテクスチャマップを生成する。
（５）テクスチャマップ再生成
入力：再構築されたメッシュ、元のテクスチャマップ
出力：新しく生成されたテクスチャマップ
再構築されたメッシュと元のテクスチャマップを使用して新しいテクスチャマップを生成するアルゴリズムステップは、以下の通りである。
ａ）まず元の三次元メッシュ境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を計算し、最大サーチ距離を得る。
ｂ）ターゲット三次元メッシュのテクスチャ空間における境界辺を計算する。
ｃ）元の三次元メッシュにおける面を均一なグリッド（ｇｒｉｄ）に分ける。
ｄ）ターゲット三次元メッシュにおけるすべての面をトラバースし、元のテクスチャマップに対応するＲＧＢＡ値を利用してターゲットテクスチャマップをラスタライズする。
ｅ）現在面のテクスチャ空間におけるｂｏｕｎｄｉｎｇ ｂｏｘを計算し、そしてこのｂｏｕｎｄｉｎｇ ｂｏｘ範囲内において各画素の中心点をサンプリングし、サンプリング点と現在面の内外関係及び現在面境界における外部サンプリング点がテクスチャ空間において現在面の内部に影響を与えるかどうかを判断することにより、現在面に対応する画素位置を決定する。
ｆ）最大サーチ距離内において、すでに均一なｇｒｉｄに分けられた元の三次元メッシュにおける、ターゲット三次元メッシュの現在面の三つの点のうちのそれぞれの最近点をサーチし、最も近い面を得、この面を現在面の元のメッシュにおける対応する面とし、それによって現在面の元の三次元メッシュにおける対応するテクスチャ座標を得る。
ｇ）対応するテクスチャ座標に基づいて、元のメッシュにおける対応する面における元のテクスチャマップの対応する位置での画素ＲＧＢＡ値を計算し且つ値をターゲット三次元メッシュにおける現在面のターゲットテクスチャマップにおける対応する画素位置に与える。
ｈ）すべての面をトラバースすると、ラスタライズは、終了する。
ｉ）境界辺上の画素のａｌｐｈａ値を２５５に転化して境界を平滑化し、最後にコーディングしやすく、コードストリームを節約するために、ｐｕｌｌ ｐｕｓｈ充填アルゴリズムを利用して生成されたターゲットテクスチャマップを充填する（充填するかどうかを選択することができる）。
新しいテクスチャマップに対して、一般的には直接にビデオエンコーダを使用して一フレームずつのテクスチャマップをコーディングし、例えば高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）、汎用ビデオコーディング（ＶＶＣ）などのエンコーダを使用し、属性サブコードストリームを形成してもよい。ここでのビデオエンコーダは、任意のビデオエンコーダを用いてもよい。
最後に、各サブコードストリームを混合した後に出力するメッシュコーディングコードストリームを形成する。
本出願の実施例では、コーディング側は、第一の識別子情報に基づいてターゲット三次元メッシュに対応するベースメッシュをコーディングし、前記ベースメッシュは、前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、第一のコードストリームを取得し、メッシュ差異情報に基づいて、第二のコードストリームを取得し、且つ再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得し、前記第一のコードストリーム、前記第二のコードストリームと第三のコードストリームに基づいて、ターゲットコードストリームを生成する。再構築されたテクスチャ座標データ量は、三次元メッシュにおける割合が比較的大きいため、出願実施例では、第一の識別子情報に基づいてベースメッシュにおける再構築されたテクスチャ座標情報をコーディングしないように選択することができ、コードレートを大幅に節約し、コーディング効率を向上させることができる。
図９に示すように、本出願の実施例は、以下のステップを含むデコーディング方法をさらに提供し、
ステップ９０１：デコーディング側は、取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得、前記第一のコードストリームがターゲット三次元メッシュに対応するベースメッシュに基づいて得られ、前記第二のコードストリームがメッシュ差異情報に基づいて得られ、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られ、前記第三のコードストリームが再構築されたテクスチャマップ情報に基づいて得られる。
ステップ９０２：前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むと決定する場合に、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築する。
ステップ９０３：前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含んでいないと決定する場合に、再構築されたテクスチャ座標情報を生成し、且つ生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築する。
本出願の実施例では、コーディング側は、第一の識別子情報に基づいてベースメッシュにおける再構築されたテクスチャ座標情報をコーディングしないように選択することができ、この場合にデコーディング側は、すでにデコーディングされた情報に基づいて、再構築されたテクスチャ座標情報を生成することができ、非可逆モードで、コードレートを大幅に節約し、コーディング効率を向上させることができる。
選択的に、本出願の実施例の方法は、
前記デコーディング側が取得したターゲットコードストリームを分解し、コーディング側が再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるための第一の識別子情報を得ることと、
前記第一の識別子情報に基づいて、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むかどうかを決定することとをさらに含む。
本出願の実施例では、コーディング側は、再構築されたテクスチャ座標情報をコーディングするかどうかを指示するための第一の識別子情報をコーディングし、このように、デコーディング側は、この第一の識別子情報に基づいて、再構築されたテクスチャ座標情報を生成する必要があるかどうかを決定することができる。
選択的に、デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得た後に、
前記第一のコードストリームをデコーディング処理し、第一のデコーディング結果を得ることと、
前記第一のデコーディング結果に基づいて、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むかどうかを決定することとをさらに含む。
本出願の実施例では、コーディング側は、上記第一の識別子情報をコーディングしなくてもよく、この場合にデコーディング側は、第一のデコーディング結果が再構築されたテクスチャ座標情報を含むかどうかを決定することができる。
選択的に、前記第一のデコーディング結果は、
前記ターゲット三次元メッシュに対応する幾何学的情報と接続関係情報をさらに含む。
選択的に、前記の、再構築されたテクスチャ座標情報を生成することは、
前記幾何学的情報と接続関係情報に基づいて、テクスチャ座標再サンプリングアルゴリズムに従って、前記再構築されたテクスチャ座標情報を生成することを含む。
ここで、デコーディング側は、コーディング側と同じＵＶ座標生成方法を採用してＵＶ座標を再構築し、再構築されたテクスチャ座標情報を得る。
選択的に、デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得ることは、
デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリーム、第三のコードストリーム、及び第四のコードストリームを得ることを含み、前記第四のコードストリームは、ターゲット三次元メッシュのスライス情報に基づいて決定され、
前記の、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することは、前記第一のデコーディング結果、第二のデコーディング結果、第三のデコーディング結果と前記第四のコードストリームに対応する第四のデコーディング結果に基づいて、前記ターゲット三次元メッシュを再構築することを含み、又は、前記の、生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することは、前記第一のデコーディング結果、第二のデコーディング結果、第三のデコーディング結果、前記第四のコードストリームに対応する第四のデコーディング結果と生成された再構築されたテクスチャ座標情報に基づいて、前記ターゲット三次元メッシュを再構築することを含む。
本出願の実施例では、三次元メッシュのデコーディングフレームワークは、図１０に示すように、まず、ターゲットコードストリームをｐａｔｃｈ情報サブコードストリーム、幾何学的情報サブコードストリーム、接続関係サブコードストリーム、ＵＶ座標サブコードストリーム（ある場合に）、テクスチャマップサブコードストリームと変位情報サブコードストリームに分解する。それぞれこれらのサブコードストリームをデコーディングし、例えばコードストリームにＵＶ座標サブコードストリームが含まれる場合に、ＵＶ座標を再生成する必要がなく、例えばコードストリームにＵＶ座標が含まない場合に、コーディング側と同じＵＶ座標生成アルゴリズムを使用してＵＶ座標を再生成する必要がある。最後に、各デコーディング情報を使用して三次元メッシュを再構築する。ここで、テクスチャマップサブコードストリームと変位情報サブコードストリームに対してビデオデエンコーダを使用してデコーディングする。幾何学的情報、接続関係とＵＶ座標サブコードストリームに対してコーディング側コーディング方法に対応するデエンコーダを使用してデコーディングする。以下に様々な情報のデコーディングを紹介する。
１）接続関係デコーディング
入力：デコーディングすべき接続関係サブコードストリーム、
出力：三次元メッシュの接続関係とデコーディングされた頂点順序。
まず接続関係サブコードストリームをデコーディングしてモード文字列を得る。文字列における対応するモードに基づいて、コーディングの順序に従って接続関係を再構築し、且つ頂点のトラバース属性を幾何学的情報とＵＶ座標デコーディングモジュールに出力する。
２）幾何学的情報デコーディング
入力：幾何学的情報サブコードストリーム、デコーディングされた変位情報と接続関係のデコーディング順序、
出力：三次元メッシュの幾何学的情報。
メッシュ幾何学的座標のデコーディングプロセスは、コーディングプロセスの逆プロセスである：まず座標予測残差をエントロピーデコーディングする。すでにデコーディングされた三角形に基づいて平行四辺法則に従ってデコーディングすべき点の予測座標を予測する。予測座標にエントロピーデコーディングした残差分値を加えると、デコーディングすべき幾何学的座標位置を得ることができる。ここでの頂点トラバース順序は、接続関係をコーディングする時に接続関係をコーディングする頂点順序と同じである。接続関係をコーディングしない時、頂点トラバース順序は、ベースメッシュにおける頂点順序と同じである。なお、初期三角形の幾何学的座標は、予測コーディングを使用せず、それらの幾何学的座標値を直接にコーディングする。デコーディング側は、この三角形の幾何学的座標をデコーディングした後に、初期三角形として他の三角形頂点の幾何学的座標のトラバースデコーディングを開始する。また、ここで二つ又は三つの平行四辺形ペアを使用してデコーディングすべきＵＶ座標を予測する可能性もあり、具体的な予測方法を強調しない。
幾何学的情報をデコーディングした後に、デコーディングされた変位情報を使用してデコーディングして得られた幾何学的情報を修正する必要がある。修正方式は、変位情報における変位値を使用して対応する頂点を法線ベクトル方向に沿って変位することである。最後に修正後の幾何学的情報を得る。
３）ＵＶ座標デコーディング及び再構築（ＵＶ座標をデコーディングするかどうかを、第一の識別子に基づいて決める）
入力：デコーディングすべきＵＶ座標コードストリーム、デコーディング且つ修正後の幾何学的情報と接続関係のデコーディング順序、
出力：三次元メッシュの再構築されたＵＶ座標情報。
コードストリームにＵＶ座標サブコードストリームが含まれる場合に、メッシュＵＶ座標のデコーディングプロセスは、コーディングプロセスの逆プロセスである：まず座標予測残差をエントロピーデコーディングする。そしてすでにデコーディングされた三角形に基づいて平行四辺法則に従ってデコーディングすべき点の予測座標を予測する。予測座標にエントロピーデコーディングした残差分値を加えると、デコーディングすべきＵＶ座標位置を得ることができる。なお、初期三角形のＵＶ座標は、予測コーディングを使用せず、それらのＵＶ座標値を直接にコーディングする。デコーディング側がこの三角形のＵＶ座標をデコーディングした後に、初期三角形として他の三角形頂点のＵＶ座標のトラバースデコーディングを開始する。また、ここで二つ又は三つの平行四辺形ペアを使用してデコーディングすべきＵＶ座標を予測してもよく、具体的な予測方法を強調しない。
コードストリームにＵＶ座標サブコードストリームが含まない場合に、コーディング側と同じＵＶ座標生成アルゴリズムを使用し、デコーディングして得られた幾何学的情報と接続関係を使用してＵＶ座標を生成する。
ＵＶ座標をデコーディング又は再構築した後に、デコーディングされた変位情報を使用して、デコーディングして得られたＵＶ座標を修正する必要がある。修正方式は、変位情報における変位値を使用して対応する頂点を法線ベクトル方向に沿って変位することである。最後に修正後のＵＶ座標を得る。
４）テクスチャマップデコーディング
入力：テクスチャマップサブコードストリーム、
出力：テクスチャマップ。
ビデオデエンコーダを直接に使用してテクスチャマップをデコーディングし、一フレームずつのテクスチャマップを得ることができ、ここでテクスチャマップのファイルフォーマットを強調せず、フォーマットは、ｊｐｇ、ｐｎｇなどであってもよい。
本出願の実施例では、コーディング側は、第一の識別子情報に基づいてベースメッシュにおける再構築されたテクスチャ座標情報をコーディングしないように選択することができ、この場合にデコーディング側は、すでにデコーディングされた情報に基づいて、再構築されたテクスチャ座標情報を生成することができ、非可逆モードで、コードレートを大幅に節約し、コーディング効率を向上させることができる。
本出願の実施例によるコーディング方法の実行本体は、コーディング装置であってもよい。本出願の実施例ではコーディング装置がコーディング方法を実行することを例とし、本出願の実施例によるコーディング装置を説明する。
図１１に示すように、本出願の実施例は、コーディング側に用いられるコーディング装置１１００をさらに提供し、このコーディング装置１１００は、
第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得するための第一のコーディングモジュール１１０１であって、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、前記第一の識別子情報が、前記再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるために用いられる第一のコーディングモジュール１１０１と、
メッシュ差異情報に基づいて、第二のコードストリームを取得するための第一の取得モジュール１１０２であって、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られる第一の取得モジュール１１０２と、
再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得するための第二の取得モジュール１１０３であって、前記再構築されたテクスチャマップ情報が前記第一のコードストリームと第二のコードストリームに基づいて得られる第二の取得モジュール１１０３と、
前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成するための第一の生成モジュール１１０４とを含む。
選択的に、前記第一の生成モジュールは、
前記第一の識別子情報をコーディングし、コーディング後の第一の識別子情報を得るための第一の取得サブモジュールと、
前記コーディング後の第一の識別子情報、前記第一のコードストリームと前記第二のコードストリームに基づいて、ターゲットコードストリームを生成するための第一の生成サブモジュールとを含む。
選択的に、前記ベースメッシュは、前記ターゲット三次元メッシュに対応する幾何学的情報と接続関係情報をさらに含む。
選択的に、前記第一のコーディングモジュールは、
前記第一の識別子情報が、前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報をコーディングすることを特徴づける場合に、前記幾何学的情報、接続関係情報と再構築されたテクスチャ座標情報をコーディングし、第一のコードストリームを得ること、
及び／又は、前記第一の識別子情報が、前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報をコーディングしないことを特徴づける場合に、前記幾何学的情報と接続関係情報をコーディングし、第一のコードストリームを得ることに用いられる。
選択的に、本出願の実施例の装置は、
第二の取得モジュールが、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得する前に、前記第一のコードストリームに対してデコーディングと逆量子化処理を行い、再構築されたベースメッシュを得るための第三の取得モジュールと、
前記第二のコードストリームに対してデコーディングと逆量子化処理を行い、ターゲットメッシュ差異情報を得るための第四の取得モジュールと、
前記再構築されたベースメッシュと前記ターゲットメッシュ差異情報に基づいて、テクスチャマップ生成アルゴリズムに従って、再構築されたテクスチャマップ情報を生成するための第二の生成モジュールとをさらに含む。
選択的に、前記第一の取得モジュールは、
前記第一のコードストリームをデコーディングし、前記第一のコードストリームに対応する再構築されたメッシュを取得するための第二の取得サブモジュールと、
前記再構築されたメッシュに基づいて、前記メッシュ差異情報を更新し、更新後のメッシュ差異情報を得るための更新サブモジュールと、
更新後のメッシュ差異情報をコーディングし、前記第二のコードストリームを得るための第一のコーディングサブモジュールとを含む。
選択的に、本出願の実施例の装置は、
第一のコーディングモジュールが第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得する前に、非可逆コーディングモードにある場合に、コーディングすべき三次元メッシュを簡略化処理し、ターゲット三次元メッシュを得、可逆コーディングモードにある場合に、コーディングすべき三次元メッシュをターゲット三次元メッシュとして決定するための第五の取得モジュールをさらに含む。
選択的に、前記第一の生成モジュールは、
前記ターゲット三次元メッシュのスライス情報に基づいて、第四のコードストリームを取得するための第三の取得サブモジュールと、
前記第一のコードストリーム、第二のコードストリーム、第三のコードストリーム、及び、第四のコードストリームに基づいて、前記ターゲットコードストリームを得るための第四の取得サブモジュールとを含む。
本出願の実施例では、コーディング側は、第一の識別子情報に基づいてターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得し、且つメッシュ差異情報に基づいて、第二のコードストリームを取得し、前記第一のコードストリームと前記第二のコードストリームに基づいて、ターゲットコードストリームを生成する。再構築されたテクスチャ座標データ量は、三次元メッシュにおける割合が比較的大きいため、本出願の実施例では、第一の識別子情報に基づいてベースメッシュにおける再構築されたテクスチャ座標情報をコーディングしないように選択することができ、コードレートを大幅に節約し、コーディング効率を向上させることができる。
この装置の実施例は、上記図１に示すコーディング方法の実施例に対応し、上記方法の実施例では、コーディング側に関する各実施プロセスと実現方式は、いずれもこの装置の実施例に適用することができ、且つ同じ技術的効果を達成することができる。
具体的には、本出願の実施例は、コーディング機器をさらに提供し、図１２に示すように、このコーディング機器１２００は、プロセッサ１２０１と、ネットワークインターフェース１２０２と、メモリ１２０３とを含む。ここで、ネットワークインターフェース１２０２は、例えば共通公衆無線インターフェース（ｃｏｍｍｏｎ ｐｕｂｌｉｃ ｒａｄｉｏ ｉｎｔｅｒｆａｃｅ、ＣＰＲＩ）である。
具体的には、本出願の実施例のコーディング機器１２００は、メモリ１２０３に記憶されており、且つプロセッサ１２０１上で運行できる命令又はプログラムをさらに含み、プロセッサ１２０１は、メモリ１２０３における命令又はプログラムを呼び出し、図１１に示す各モジュールにより実行される方法を実行し、且つ同じ技術的効果を達成し、説明の繰り返しを回避するために、ここでこれ以上説明しない。
本出願の実施例によるデコーディング方法の実行本体は、デコーディング装置であってもよい。本出願の実施例では、デコーディング装置がデコーディング方法を実行することを例とし、本出願の実施例によるデコーディング装置を説明する。
図１３に示すように、本出願の実施例は、デコーディング側に用いられるデコーディング装置１３００をさらに提供し、このデコーディング装置１３００は、
取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得るための第六の取得モジュール１３０１であって、前記第一のコードストリームがターゲット三次元メッシュに対応するベースメッシュに基づいて得られ、前記第二のコードストリームがメッシュ差異情報に基づいて得られ、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られ、前記第三のコードストリームが再構築されたテクスチャマップ情報に基づいて得られる第六の取得モジュール１３０１と、
前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むと決定する場合に、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築し、及び／又は、前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含んでいないと決定する場合に、再構築されたテクスチャ座標情報を生成し、且つ生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築するための再構築モジュール１３０２とを含む。
選択的に、本出願の実施例の装置は、
取得したターゲットコードストリームを分解し、コーディング側が再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるための第一の識別子情報を得るための第七の取得モジュールと、
前記第一の識別子情報に基づいて、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むかどうかを決定するための第一の決定モジュールとをさらに含む。
選択的に、本出願の実施例の装置は、
第六の取得モジュールが取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得た後に、前記第一のコードストリームをデコーディング処理し、第一のデコーディング結果を得るための第八の取得モジュールと、
前記第一のデコーディング結果に基づいて、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むかどうかを決定するための第二の決定モジュールとをさらに含む。
選択的に、前記第一のデコーディング結果は、
前記ターゲット三次元メッシュに対応する幾何学的情報と接続関係情報をさらに含む。
選択的に、前記再構築モジュールは、前記幾何学的情報と接続関係情報に基づいて、テクスチャ座標再サンプリングアルゴリズムに従って、前記再構築されたテクスチャ座標情報を生成するために用いられる。
選択的に、前記第六の取得モジュールは、取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリーム、第三のコードストリーム、及び第四のコードストリームを得るために用いられ、前記第四のコードストリームは、ターゲット三次元メッシュのスライス情報に基づいて決定され、
前記再構築モジュールは、前記第一のデコーディング結果、第二のデコーディング結果、第三のデコーディング結果と前記第四のコードストリームに対応する第四のデコーディング結果に基づいて、前記ターゲット三次元メッシュを再構築し、又は、前記第一のデコーディング結果、第二のデコーディング結果、第三のデコーディング結果、前記第四のコードストリームに対応する第四のデコーディング結果と生成された再構築されたテクスチャ座標情報に基づいて、前記ターゲット三次元メッシュを再構築するために用いられる。
本出願の実施例では、コーディング側は、第一の識別子情報に基づいてベースメッシュにおける再構築されたテクスチャ座標情報をコーディングしないように選択することができ、この場合にデコーディング側は、すでにデコーディングされた情報に基づいて、再構築されたテクスチャ座標情報を生成することができ、非可逆モードで、コードレートを大幅に節約し、コーディング効率を向上させることができる。
説明すべきこととして、この装置の実施例は、上記図９に示す方法の実施例に対応する装置であり、上記方法の実施例におけるデコーディング側に関するすべての実現方式は、いずれもこの装置の実施例に適用することができ、同じ技術的効果を達成することができ、ここでこれ以上説明しない。
本出願の実施例は、プロセッサと、メモリと、メモリ上に記憶されており且つ前記プロセッサ上で運行できるプログラム又は命令とを含むデコーディング機器をさらに提供し、このプログラム又は命令がプロセッサにより実行される時、上記デコーディング方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
本出願の実施例は、プロセッサと、メモリと、メモリ上に記憶されており且つ前記プロセッサ上で運行できるプログラム又は命令とを含むコーディング機器をさらに提供し、このプログラム又は命令がプロセッサにより実行される時、上記コーディング方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
本出願の実施例は、可読記憶媒体をさらに提供し、コンピュータ可読記憶媒体にはプログラム又は命令が記憶されており、このプログラム又は命令がプロセッサにより実行される時、上記コーディング方法又はデコーディング方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
ここで、前記プロセッサは、上記実施例に記載のデコーディング機器におけるプロセッサである。前記可読記憶媒体は、コンピュータ可読記憶媒体、例えばコンピュータリードオンリーメモリＲＯＭ、ランダムアクセスメモリＲＡＭ、磁気ディスク又は光ディスクなどを含む。
ここで、前記のコンピュータ可読記憶媒体は、例えばリードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどを含む。
本出願の実施例は、プロセッサと通信インターフェースとを含むコーディング機器をさらに提供し、ここで、プロセッサは、第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得することであって、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、前記第一の識別子情報が、前記再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるために用いられることと、メッシュ差異情報に基づいて、第二のコードストリームを取得することであって、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られることと、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得することであって、前記再構築されたテクスチャマップ情報が前記第一のコードストリームと第二のコードストリームに基づいて得られることと、前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成することとに用いられる。
このコーディング機器の実施例は、上記コーディング方法の実施例に対応し、上記方法の実施例の各実施プロセスと実現方式は、いずれもこのコーディング機器の実施例に適用することができ、且つ同じ技術的効果を達成することができる。
本出願の実施例は、プロセッサと通信インターフェースとを含むデコーディング機器をさらに提供し、ここで、前記プロセッサは、取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得ることであって、前記第一のコードストリームがターゲット三次元メッシュに対応するベースメッシュに基づいて得られ、前記第二のコードストリームがメッシュ差異情報に基づいて得られ、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュが前記コーディングすべき三次元メッシュに基づいて得られ、前記第三のコードストリームが再構築されたテクスチャマップ情報に基づいて得られることと、前記第一のコードストリームが再構築されたテクスチャ座標情報を含む場合に、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することと、前記第一のコードストリームが再構築されたテクスチャ座標情報を含んでいないと決定する場合に、再構築されたテクスチャ座標情報を生成し、且つ生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することとに用いられる。
このデコーディング機器の実施例は、上記デコーディング方法の実施例に対応し、上記方法の実施例の各実施プロセスと実現方式は、いずれもこのデコーディング機器の実施例に適用することができ、且つ同じ技術的効果を達成することができる。
具体的には、本出願の実施例は、デコーディング機器をさらに提供する。具体的には、このデコーディング機器の構造は、図１４に示すように、このデコーディング機器１４００は、プロセッサ１４０１、ネットワークインターフェース１４０２及びメモリ１４０３を含む。ここで、ネットワークインターフェース１４０２は、例えば共通公衆無線インターフェース（ｃｏｍｍｏｎ ｐｕｂｌｉｃ ｒａｄｉｏ ｉｎｔｅｒｆａｃｅ、ＣＰＲＩ）である。具体的には、本出願の実施例のデコーディング機器１４００は、メモリ１４０３に記憶されており、且つプロセッサ１４０１上で運行できる命令又はプログラムをさらに含み、プロセッサ１４０１は、メモリ１４０３における命令又はプログラムを呼び出し、図１３に示す各モジュールにより実行される方法を実行し、且つ同じ技術的効果を達成し、説明の繰り返しを回避するために、ここでこれ以上説明しない。
選択的に、図１５に示すように、本出願の実施例は、プロセッサ１５０１とメモリ１５０２とを含む通信機器１５００をさらに提供し、メモリ１５０２には前記プロセッサ１５０１上で運行できるプログラム又は命令が記憶されており、例えばこの通信機器１５００がコーディング機器である場合に、このプログラム又は命令がプロセッサ１５０１により実行される時、上記コーディング方法の実施例の各ステップを実現し、且つ同じ技術的効果を達成することができる。この通信機器１５００がデコーディング機器である場合に、このプログラム又は命令がプロセッサ１５０１により実行される時、上記デコーディング方法の実施例の各ステップを実現し、且つ同じ技術的効果を達成することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
本出願の実施例は、チップをさらに提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、上記コーディング方法又はデコーディング方法の実施例の各プロセスを実現するために用いられ、且つ同じ技術的効果を達成することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
理解すべきこととして、本出願の実施例に言及されたチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップなどと呼ばれてもよい。
本出願の実施例は、コンピュータプログラム／プログラム製品をさらに提供し、前記コンピュータプログラム／プログラム製品が記憶媒体に記憶されており、前記コンピュータプログラム／プログラム製品が少なくとも一つのプロセッサにより実行されて、上記コーディング方法又はデコーディング方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
本出願の実施例は、コーディング機器とデコーディング機器とを少なくとも含む通信システムをさらに提供する。前記コーディング機器は、図１２に示すコーディング機器であってもよく、図１に記載のコーディング方法のステップを実行するために用いられてもよい。前記デコーディング機器は、図１４に示すデコーディング機器であってもよく、図９に記載のデコーディング方法のステップを実行するために使用でき、且つ同じ技術的効果を達成することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
説明すべきこととして、本明細書では、用語である「含む」、「包含」又はその他の任意の変形は、非排他的な「含む」を意図的にカバーするものであり、それによって一連の要素を含むプロセス、方法、物品又は装置は、それらの要素を含むだけではなく、明確にリストアップされていない他の要素も含み、又はこのようなプロセス、方法、物品又は装置に固有の要素も含む。それ以上の制限がない場合に、「……を一つ含む」という文章で限定された要素について、この要素を含むプロセス、方法、物品又は装置には他の同じ要素も存在することが排除されるものではない。なお、指摘すべきこととして、本出願の実施の形態における方法と装置の範囲は、図示又は検討された順序で機能を実行することに限らず、関わる機能に基づいて基本的に同時である方式又は逆の順序で機能を実行することを含んでもよく、例えば記述されたものとは異なる手順で記述された方法を実行することができるとともに、様々なステップを追加、省略又は組み合わせることができる。また、いくつかの例を参照して記述された特徴は、他の例で組み合わせられることができる。
以上の実施の形態の記述によって、当業者であればはっきりと分かるように上記実施例の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームの形態によって実現されることができる。無論、ハードウェアによって実現されてもよいが、多くの場合、前者は、より好適な実施の形態である。このような理解を踏まえて、本出願の技術案は、実質には又は関連技術に寄とした部分は、コンピュータソフトウェア製品の形式で具現化されてもよく、このコンピュータソフトウェア製品は、一つの記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、一台の端末（携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク機器などであってもよい）に本出願の各実施例に記載の方法を実行させるための若干の命令を含む。
以上は、図面を結び付けながら、本出願の実施例を記述したが、本出願は、上記具体的な実施の形態に限らない。上記具体的な実施の形態は、例示的なものに過ぎず、制限性のあるものではない。当業者は、本出願の示唆で、本出願の趣旨と特許請求の範囲から逸脱しない限り、多くの形式を行うこともでき、いずれも本出願の保護範囲に属する。

Claims (15)

  1. コーディング方法であって、
    コーディング側が第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得することであって、前記ベースメッシュが前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報を含み、前記第一の識別子情報が、前記再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるために用いられることと、
    前記コーディング側がメッシュ差異情報に基づいて、第二のコードストリームを取得することであって、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られることと、
    前記コーディング側が、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得することであって、前記再構築されたテクスチャマップ情報が前記第一のコードストリームと第二のコードストリームに基づいて得られることと、
    前記コーディング側が前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成することとを含む、コーディング方法。
  2. 前記コーディング側が前記第一のコードストリームと前記第二のコードストリームに基づいて、ターゲットコードストリームを生成することは、
    前記第一の識別子情報をコーディングし、コーディング後の第一の識別子情報を得ることと、
    前記コーディング後の第一の識別子情報、前記第一のコードストリームと前記第二のコードストリームに基づいて、ターゲットコードストリームを生成することとを含む、請求項１に記載の方法。
  3. 前記ベースメッシュは、前記ターゲット三次元メッシュに対応する幾何学的情報と接続関係情報をさらに含む、請求項１に記載の方法。
  4. 前記コーディング側が第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得することは、
    前記第一の識別子情報が、前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報をコーディングすることを特徴づける場合に、前記幾何学的情報、接続関係情報と再構築されたテクスチャ座標情報をコーディングし、第一のコードストリームを得ること、
    及び／又は、前記第一の識別子情報が、前記ターゲット三次元メッシュに対応する再構築されたテクスチャ座標情報をコーディングしないことを特徴づける場合に、前記幾何学的情報と接続関係情報をコーディングし、第一のコードストリームを得ることを含む、請求項３に記載の方法。
  5. 前記コーディング側が、再構築されたテクスチャマップ情報に基づいて、第三のコードストリームを取得する前に、
    前記第一のコードストリームに対してデコーディングと逆量子化処理を行い、再構築されたベースメッシュを得ることと、
    前記第二のコードストリームに対してデコーディングと逆量子化処理を行い、ターゲットメッシュ差異情報を得ることと、
    前記再構築されたベースメッシュと前記ターゲットメッシュ差異情報に基づいて、テクスチャマップ生成アルゴリズムに従って、再構築されたテクスチャマップ情報を生成することとをさらに含む、請求項３に記載の方法。
  6. 前記コーディング側がメッシュ差異情報に基づいて、第二のコードストリームを取得することは、
    前記第一のコードストリームをデコーディングし、前記第一のコードストリームに対応する再構築されたメッシュを取得することと、
    前記再構築されたメッシュに基づいて、前記メッシュ差異情報を更新し、更新後のメッシュ差異情報を得ることと、
    更新後のメッシュ差異情報をコーディングし、前記第二のコードストリームを得ることとを含む、請求項１に記載の方法。
  7. 前記コーディング側が第一の識別子情報に基づいて、ターゲット三次元メッシュに対応するベースメッシュをコーディングし、第一のコードストリームを取得する前に、
    非可逆コーディングモードにある場合に、コーディングすべき三次元メッシュを簡略化処理し、ターゲット三次元メッシュを得ることと、
    可逆コーディングモードにある場合に、コーディングすべき三次元メッシュをターゲット三次元メッシュとして決定することとをさらに含む、請求項１に記載の方法。
  8. 前記コーディング側が前記第一のコードストリーム、前記第二のコードストリームと前記第三のコードストリームに基づいて、ターゲットコードストリームを生成することは、
    前記ターゲット三次元メッシュのスライス情報に基づいて、第四のコードストリームを取得することと、
    前記第一のコードストリーム、第二のコードストリーム、第三のコードストリーム、及び、第四のコードストリームに基づいて、前記ターゲットコードストリームを得ることとを含む、請求項１に記載の方法。
  9. デコーディング方法であって、
    デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得ることであって、前記第一のコードストリームがターゲット三次元メッシュに対応するベースメッシュに基づいて得られ、前記第二のコードストリームがメッシュ差異情報に基づいて得られ、前記メッシュ差異情報が前記ベースメッシュとコーディングすべき三次元メッシュとの間の差異情報を特徴づけるために用いられ、前記ターゲット三次元メッシュがコーディングすべき三次元メッシュに基づいて得られ、前記第三のコードストリームが再構築されたテクスチャマップ情報に基づいて得られることと、
    前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むと決定する場合に、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することと、
    前記デコーディング側が、前記第一のコードストリームが再構築されたテクスチャ座標情報を含んでいないと決定する場合に、再構築されたテクスチャ座標情報を生成し、且つ生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することとを含む、デコーディング方法。
  10. 前記デコーディング側が取得したターゲットコードストリームを分解し、コーディング側が再構築されたテクスチャ座標情報をコーディングするかどうかを特徴づけるための第一の識別子情報を得ることと、
    前記第一の識別子情報に基づいて、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むかどうかを決定することとをさらに含む、請求項９に記載の方法。
  11. デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得た後に、
    前記第一のコードストリームをデコーディング処理し、第一のデコーディング結果を得ることと、
    前記第一のデコーディング結果に基づいて、前記第一のコードストリームが再構築されたテクスチャ座標情報を含むかどうかを決定することとをさらに含む、請求項９に記載の方法。
  12. 前記第一のデコーディング結果は、
    前記ターゲット三次元メッシュに対応する幾何学的情報と接続関係情報をさらに含む、請求項９から１１のいずれか１項に記載の方法。
  13. デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリームと第三のコードストリームを得ることは、
    デコーディング側が取得したターゲットコードストリームを分解し、第一のコードストリーム、第二のコードストリーム、第三のコードストリーム、及び第四のコードストリームを得ることを含み、前記第四のコードストリームは、ターゲット三次元メッシュのスライス情報に基づいて決定され、
    前記の、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することは、前記第一のデコーディング結果、第二のデコーディング結果、第三のデコーディング結果と前記第四のコードストリームに対応する第四のデコーディング結果に基づいて、前記ターゲット三次元メッシュを再構築することを含み、又は、前記の、生成された再構築されたテクスチャ座標情報、前記第一のコードストリームに対応する第一のデコーディング結果、前記第二のコードストリームに対応する第二のデコーディング結果と前記第三のコードストリームに対応する第三のデコーディング結果に基づいて、ターゲット三次元メッシュを再構築することは、前記第一のデコーディング結果、第二のデコーディング結果、第三のデコーディング結果、前記第四のコードストリームに対応する第四のデコーディング結果と生成された再構築されたテクスチャ座標情報に基づいて、前記ターゲット三次元メッシュを再構築することを含む、請求項９に記載の方法。
  14. コーディング機器であって、プロセッサとメモリとを含み、前記メモリは、前記プロセッサ上で運行できるプログラム又は命令を記憶しており、前記プログラム又は命令が前記プロセッサにより実行される時、請求項１から８のいずれか１項に記載のコーディング方法のステップを実現する、コーディング機器。
  15. デコーディング機器であって、プロセッサとメモリとを含み、前記メモリは、前記プロセッサ上で運行できるプログラム又は命令を記憶しており、前記プログラム又は命令が前記プロセッサにより実行される時、請求項９に記載のデコーディング方法のステップを実現する、デコーディング機器。
JP2024570781A 2022-05-31 2023-05-24 コーディング方法、デコーディング方法、装置及び機器 Active JP7778253B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202210613984.5A CN117197263A (zh) 2022-05-31 2022-05-31 编码方法、解码方法、装置及设备
CN202210613984.5 2022-05-31
PCT/CN2023/096097 WO2023231872A1 (zh) 2022-05-31 2023-05-24 编码方法、解码方法、装置及设备

Publications (2)

Publication Number Publication Date
JP2025517560A JP2025517560A (ja) 2025-06-05
JP7778253B2 true JP7778253B2 (ja) 2025-12-01

Family

ID=88983732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024570781A Active JP7778253B2 (ja) 2022-05-31 2023-05-24 コーディング方法、デコーディング方法、装置及び機器

Country Status (7)

Country Link
US (1) US20250095213A1 (ja)
EP (1) EP4535287A4 (ja)
JP (1) JP7778253B2 (ja)
KR (1) KR20250016274A (ja)
CN (1) CN117197263A (ja)
MX (1) MX2024014243A (ja)
WO (1) WO2023231872A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12457369B2 (en) * 2022-06-21 2025-10-28 Tencent America LLC Mesh vertex displacements coding
US12586253B2 (en) 2022-10-26 2026-03-24 Apple Inc. Signaling displacement data for video-based mesh coding
WO2025152014A1 (zh) * 2024-01-15 2025-07-24 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2025152015A1 (zh) * 2024-01-15 2025-07-24 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
CN121603680A (zh) * 2024-08-21 2026-03-03 华为技术有限公司 动态网格编解码方法、装置、编码器、解码器和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253867A1 (en) 2017-03-06 2018-09-06 Canon Kabushiki Kaisha Encoding and decoding of texture mapping data in textured 3d mesh models
JP2021022122A (ja) 2019-07-26 2021-02-18 キヤノン株式会社 情報処理装置、情報処理方法、データ構造、及びプログラム
WO2022230941A1 (ja) 2021-04-28 2022-11-03 ソニーグループ株式会社 情報処理装置および方法
JP2023547173A (ja) 2021-07-19 2023-11-09 テンセント・アメリカ・エルエルシー 動的メッシュ圧縮のための方法および装置
JP2024516343A (ja) 2022-01-10 2024-04-15 テンセント・アメリカ・エルエルシー 推定されたテクスチャ座標を用いたメッシュ圧縮
JP2025505366A (ja) 2022-02-03 2025-02-26 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ ３ｄメッシュを符号化／復号するための方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668714B1 (ko) * 2005-01-14 2007-01-16 한국전자통신연구원 효과적인 텍스처 매핑을 위한 3차원 메쉬 정보의 텍스처좌표 부호화 및 복호화 방법
CN101626509B (zh) * 2009-08-10 2011-02-02 北京工业大学 三维网格编码、解码方法及编码、解码装置
CN104243958B (zh) * 2014-09-29 2016-10-05 联想(北京)有限公司 三维网格数据的编码、解码方法以及编码、解码装置
US11450030B2 (en) * 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253867A1 (en) 2017-03-06 2018-09-06 Canon Kabushiki Kaisha Encoding and decoding of texture mapping data in textured 3d mesh models
JP2021022122A (ja) 2019-07-26 2021-02-18 キヤノン株式会社 情報処理装置、情報処理方法、データ構造、及びプログラム
WO2022230941A1 (ja) 2021-04-28 2022-11-03 ソニーグループ株式会社 情報処理装置および方法
JP2023547173A (ja) 2021-07-19 2023-11-09 テンセント・アメリカ・エルエルシー 動的メッシュ圧縮のための方法および装置
JP2024516343A (ja) 2022-01-10 2024-04-15 テンセント・アメリカ・エルエルシー 推定されたテクスチャ座標を用いたメッシュ圧縮
JP2025505366A (ja) 2022-02-03 2025-02-26 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ ３ｄメッシュを符号化／復号するための方法及び装置

Also Published As

Publication number Publication date
EP4535287A1 (en) 2025-04-09
KR20250016274A (ko) 2025-02-03
MX2024014243A (es) 2024-12-06
WO2023231872A1 (zh) 2023-12-07
JP2025517560A (ja) 2025-06-05
CN117197263A (zh) 2023-12-08
EP4535287A4 (en) 2025-10-22
US20250095213A1 (en) 2025-03-20

Similar Documents

Publication Publication Date Title
JP7778253B2 (ja) コーディング方法、デコーディング方法、装置及び機器
US11412259B2 (en) Transform method, inverse transform method, coder, decoder and storage medium
JP6676193B2 (ja) シーンを表す点群を符号化する方法、符号化器システム、及びプログラムを記憶した非一時的コンピューター可読記録媒体
US9734595B2 (en) Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US11936909B2 (en) Prediction method, encoder, decoder, and computer storage medium
EP4481688A1 (en) Encoding method and apparatus, and device
US12511791B2 (en) Point cloud decoding and encoding method, and decoder, encoder and encoding and decoding system
WO2013029232A1 (en) Multi-resolution 3d textured mesh coding
WO2021062771A1 (zh) 颜色分量预测方法、编码器、解码器及计算机存储介质
WO2024212981A1 (zh) 一种三维网格序列编解码方法及装置
JP2024518154A (ja) 点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体
US20240404119A1 (en) Coding Method, Decoding Method, and Device
JP7809838B2 (ja) 符号化方法、復号方法及び端末
CN118694979A (zh) 三维网格位移信息编码方法、解码方法、装置及终端
EP4233006A2 (en) Devices and methods for spatial quantization for point cloud compression
WO2025081769A1 (en) Coding and decoding methods, bitstream, encoder, decoder and storage medium
CN118678092A (zh) 编码处理方法、解码处理方法及相关设备
CN119232952A (zh) 三维网格编码方法、解码方法、装置及电子设备
WO2024213067A1 (en) Decoding method, encoding method, bitstream, decoder, encoder and storage medium
WO2025129908A1 (en) Dynamic mesh base geometry coding position path signaling method
WO2025152014A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
WO2025152005A1 (zh) 编解码方法及装置、编解码器、码流、设备、存储介质
WO2025076749A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
WO2025213480A1 (zh) 编解码方法及装置、点云编解码器、码流、设备、存储介质
WO2025213306A1 (zh) 编解码方法、编解码器以及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250109

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20250826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20251020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251118

R150 Certificate of patent or registration of utility model

Ref document number: 7778253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150