JP2000307637A - マルチメディア端末装置及び網間接続装置 - Google Patents

Abstract

(57)【要約】 【課題】可変遅延網に接続されるマルチメディア端末装
置およびネットワークを相互接続する網間接続装置にお
いてパケットの同期管理、順序制御、廃棄制御などのア
ダプテーション処理の効率化、簡素化する装置の提供。 【解決手段】ネットワークからの音声及び／又は映像信
号と制御情報の符号化データには、タイムスタンプ及び
シーケンスナンバを含むアダプテーション情報が付加さ
れ、受信データの多重化ビットストリームを多重化分離
する多重化分離手段と、アダプテーション情報を処理
し、同期制御、廃棄制御を行うアダプテーション情報処
理手段と、アダプテーション情報処理手段から得られる
ネットワーク品質情報を保持する品質統計量保持手段
と、符号化データのうち音声や映像のメディア情報を復
号するメディア復号手段と、復号されたメディア情報を
出力する手段と、符号化データのうち制御情報を復号す
る制御情報復号手段と、復号された制御情報と品質統計
量保持手段に保持されたネットワーク品質情報に基づき
端末装置の制御を行う制御手段と、を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、インタネット（In
ternet）のような可変遅延網に接続されるマルチメディ
ア端末装置及び多種多様なネットワークを相互接続する
網間接続装置に関し、特に、パケットの同期管理、順序
制御、廃棄制御などのアダプテーション処理技術に関す
る。

【０００２】

【従来の技術】ネットワークを介して音声や映像を実時
間転送するための国際標準規格は、ITU−T (Internatio
nal Telecommunication Union Telecommunication
Standardization Sector)、ISO／IEC (International
Organization for Standardization, Internation
al Electro−technical Commission)、IETF (Interne
tEngineering Task Force)などの標準化団体によって
定められている。特にデータ多重化手段については、ネ
ットワーク毎に最適化が図られており、ATM (Asynchron
ous Transfer Mode)網やディジタル放送網で使われる
ISO／IEC MPEG−2 Systems規格／ITU−T H.222.0勧
告、電話網や移動体通信網で使われるITU−T H.223勧
告、ローカルエリアネットワークやインタネットで使わ
れるITU−TH.225.0勧告、IETF RFC1889 RTP (Real−t
ime Transport Protocol)などが知られている。な
お、MPEG−2 SystemsとH.222.0はISO／IECとITU−Tのジ
ョイント規格であり、またH.225.0は、RTPを公式に参照
・包含する勧告である。

【０００３】図３１は、これらに共通して使われるプロ
トコル階層を示している。図３１には、端末Ａから端末
Ｂに向けて音声や映像などのメディア情報が転送される
場合の例が示されている。まず端末Ａでは、入力された
メディア情報を符号化し、また制御情報を符号化し、そ
れぞれの品質要求に応じたアダプテーション情報を付加
してから多重化を行い、ネットワークに送出する。

【０００４】端末Ｂでは、ネットワークから多重化され
たビットストリームを受信し、多重化分離を行い、付加
されたアダプテーション情報に従って誤り処理、同期処
理などを行い、メディア情報は復号して出力し、制御情
報はその後の端末制御に使用する。

【０００５】次に図３２は、主な標準規格で規定されて
いるアダプテーション情報を表形式で例示したものであ
る。図３２において、再同期情報は、例えば映像情報の
圧縮データに誤りが発生した場合、受信端末が１フレー
ムの圧縮データをすべて廃棄するのではなく、後続する
再同期点から復号可能とし、誤りの影響を局所的に抑え
るための仕組みである。スライス構造などがその代表例
である。映像情報の圧縮アルゴリズムに応じて、圧縮ア
ルゴリズムによって提供される場合と、システム側で別
途アダプテーション情報として提供される場合とがあ
る。

【０００６】シーケンスナンバは、例えばパケット交換
網においてパケットの転送順序が入れ替わったり、網の
輻輳によってパケットが廃棄されたりした場合に、受信
端末で適切な順序制御や廃棄検出を可能にするための仕
組みである。

【０００７】タイムスタンプは、例えば固定転送遅延が
保証されていないネットワークにおいて、受信端末で適
切な同期再生を可能にするための付加情報である。

【０００８】誤り検出・訂正符号は、ネットワークを転
送中にランダムエラーやバーストエラーが発生した場
合、受信端末でエラー検出を行ったり、可能であれば訂
正を行うための付加情報である。これらは主に実時間性
の要求されるメディア情報に対して付加される。実時間
性よりも信頼性の要求される制御情報に対しては、別の
プロトコルによって誤り訂正符号が提供されたり、デー
タの再送メカニズムが適用されたりすることもある。

【０００９】図３３は、図３１に示したプロトコル階層
（すなわち、多重化、アダプテーション、メディア・制
御の階層）をより具体的に示したものである。ISO／IEC
MPEG−2 Systems規格のトランスポートストリーム(T
S:Transport Stream)を使用する場合、圧縮された音
響、あるいは映像データから、まず、PES(PacketizedEl
ementary Stream)と呼ばれるパケットが構成される。
このPESは、数十ミリ秒の音響データであったり、1フレ
ームの映像データであったりする。また、PESのヘッダ
部にはタイムスタンプが付与される。

【００１０】次にPESを分割し、188バイトのトランスポ
ートパケットと呼ばれる固定長パケットによって多重化
を行う。トランスポートパケットのヘッダ部には４ビッ
トのシーケンスナンバが付与される。

【００１１】制御情報や一般的なアプリケーションデー
タの転送に関して、MPEG−2 TSは、さまざまな形態を
許しており、誤り検出・訂正符号を付加したり、放送形
態の場合には、同じデータを繰り返し転送したりする。

【００１２】MPEG−2 TS方式は、ATM網やディジタル放
送網のような、一般的に転送遅延の変動の少ない高速ネ
ットワークでの使用を前提としている。

【００１３】ITU−T H.223勧告を使用する場合は、制
御情報とアプリケーションデータ、音声データ、映像デ
ータそれぞれがＡＬ１、ＡＬ２、ＡＬ３と呼ばれるアダ
プテーション層に渡され、適度なサイズに分割された後
にメディア毎に異なる種類のアダプテーション情報が付
加され、多重化される。

【００１４】また、H.223勧告にはいくつかのレベルが
あり、アダプテーション機能も高いレベルほど強くな
る。音声に関しては、誤り検出とシーケンスナンバが選
択可能である。映像に関しては、誤り検出、シーケンス
ナンバ、再送が選択可能である。

【００１５】制御情報に関しては、それ自身で誤り検
出、シーケンスナンバ、再送を行う場合、LAPM(Link A
ccess Procedure for Modems)などの上位プロトコル
を使用する場合、アプリケーション自体が誤り訂正を行
う場合等、多様な形態が想定されている。なお、使用す
るアダプテーション情報の選択は、上記制御情報を介し
て行われる。H.223方式は、電話網や移動体通信網のよ
うな、一般的に固定遅延の低速ネットワークでの使用を
前提としている。このため、タイムスタンプは使用され
ない。

【００１６】ITU−T H.225.0勧告を使用する場合、音
声と映像データは適度なサイズにパケット化され、RTP
ヘッダを付加した後にUDP(User Datagram Protocol)
層、IP(Internet Protocol)層を介して多重化される。
制御情報はTCP(Transport Control Protocol) 層、IP
層を介して多重化される。TCPは再送メカニズムなどに
よって遅延は増大するが、信頼性の高いデータ転送を保
証する。

【００１７】一方、UDPはTCPを簡略化したものである。
このＵＤＰにおいては、再送を行わないために遅延は減
少するが、パケットの廃棄が発生する。RTPは、アダプ
テーション情報としてシーケンスナンバを提供し、かつ
同期再生用のタイムスタンプを付与する。

【００１８】また、RTPの補助として、RTCP(Real−time
Transport Control Protocol)が規定されており、R
TCPを用いて端末間で転送遅延、ジッタ、パケット廃棄
率などの情報が交換される。H.225.0方式は、インタネ
ットのような、一般的に転送遅延が変動するパケット交
換網での使用を前提としている。

【００１９】異なるネットワーク間で音声や映像の多重
化されたストリームデータを相互交換するための国際標
準規格としては、ITU−T H.246勧告が知られている。I
TU−TではHシリーズと呼ばれるネットワーク毎のマルチ
メディア端末を勧告化しており、H.246は異なるHシリー
ズ端末間、あるいは既存の電話端末との通信を可能にす
るための網間接続装置の勧告化を目的としている。

【００２０】図３４は、網間接続装置で使われる一般的
なプロトコル階層を示している。ここでは、端末Ａから
網間接続装置を介して端末Ｂに音声や映像などのメディ
ア情報が転送される場合を示している。網間接続装置
は、端末Ａ側には第１のネットワークに対応するインタ
フェースを、端末Ｂ側には第２のネットワークに対応す
るインタフェースを備えている。まず端末Ａが、メディ
ア情報と制御情報を符号化し、第１のネットワークに適
合したアダプテーション情報を付加して多重化を行い、
第１のネットワークに送出する。網間接続装置は、第１
のネットワークから多重化されたビットストリームを受
信し、多重化分離を行い、付加されたアダプテーション
情報を処理し、必要に応じてメディア情報、制御情報の
いずれか、あるいは両方をトランスコードし、今度は第
２のネットワークに適合したアダプテーション情報を付
加して多重化を行い、第２のネットワークに送出する。
端末Ｂでは、第２のネットワークから多重化されたビッ
トストリームを受信し、多重化分離を行い、付加された
アダプテーション情報に従って誤り処理、同期処理など
を行い、メディア情報は復号して出力し、制御情報はそ
の後の端末制御に使用する。

【００２１】ただし、上に述べた国際標準規格は多重化
ストリームを作成するためのシンタクスと各フィールド
のセマンティクスを規定しているだけで、マルチメディ
ア端末装置の詳細な実装手段に関しては何ら言及してい
ない。特に、インタネット端末におけるシーケンスナン
バとタイムスタンプを用いたアダプテーション手段の実
装に関しては、さまざまな方式が乱立しているのが現状
である。

【００２２】また、網間接続装置に関しても、ITU−T
H.246勧告は現在制定作業中であり、現状では、ISDN(In
tegrated Digital Services Network) に接続される
H.320端末とインタネットに接続されるH.323端末の相互
接続手順が勧告化されているに過ぎず、残りのHシリー
ズ間の接続手順は空欄になっている。さらに、その接続
手順に関しても、制御情報の変換ルールが記載されてい
るに過ぎない。

【００２３】シーケンスナンバ、タイムスタンプを含む
アダプテーション情報処理の具体的な実装手段として
は、例えば特開平4−319832号公報（発明の名称：「セ
ル情報保障方式」）等の記載が参照される。この方式で
は、ATM網を介して送られてきたパケットに対し、パケ
ットに付加されたシーケンスナンバを参照してパケット
廃棄を検出し、廃棄を検出した場合には廃棄位置にダミ
ーデータを挿入する。これによってパケット送信者への
再送要求が不要になり、音声や映像に適した即時性が実
現できる旨が記載されている。

【００２４】また、例えば特開平10−84388号公報
（「パケットデータの時間間隔補正装置及び再生方
法」）には、受信端末はまずパケットからタイムスタン
プを分離してカウンタを初期化し、カウンタ値が分離し
たタイムスタンプ値に一致した時点でパケットデータを
メモリに書き込み、時刻再生を実現して次の処理にデー
タを渡す構成が開示されており、これは、メモリサイズ
を抑制することを目的にしている。

【００２５】また、特開平10−271482号公報（発明の名
称：「符号化映像の同期再生制御方法及びシステム」）
には、音声と映像が多重化されるマルチメディアデータ
において、音声、映像それぞれの転送パケットにタイム
スタンプを付与し、パケットの受信端末では音声に付加
されたタイムスタンプを基準として、映像に付加された
タイムスタンプが早い場合には映像データを逐次復号
し、遅い場合にはバッファリングして時間を揃えてから
映像データを復号する構成が開示されており、音声と映
像の同期再生の同期ずれのない再生が可能となる旨が記
載されている。

【００２６】次に、網間接続装置の構成として、例えば
特開平10−164143号公報（発明の名称：「ゲートウェイ
装置及びそれを用いた通信システム」）には、CATVのよ
うな固定遅延網とインタネットのような可変遅延網の間
に位置する網間接続装置において、インタネット側での
帯域保証プロトコルの使用を前提として、固定遅延網か
ら可変遅延網に向かう符号化された映像データにトラン
スコードを施し、帯域保証プロトコルで保証された転送
レートに変換する構成が開示されており、これは、安定
した映像信号の配信を行うことを目的とする。

【００２７】また、例えば特開平10−164129号公報（発
明の名称：「通話システム」）には、通常の電話網とイ
ンタネットを結ぶ網間接続装置の構成に関して、第一の
網間接続装置は通常の電話端末からの発呼を受け、イン
タネット、及び第二の網間接続装置を介して相手の電話
端末に着信し、音声通話を行うための手順が開示されて
いる。この方式は、二つの網間接続装置間のパケット転
送遅延を測定し、その遅延時間に応じて送信音声パケッ
ト、もしくは受信音声パケットを選択的に廃棄し、電話
端末間の全体の転送遅延を削減することを目的としてい
る。

【００２８】さらに、例えば特開平10−173696号公報
（発明の名称：「広域ネットワークを基礎とする音声ゲ
ートウェイ」）には、電話網、ATM、フレームリレー、
インタネットなどの異なる伝送標準を使用するネットワ
ーク間を結ぶ網間接続装置において、呼設定プロトコル
の変換と符号化フォーマットの変換を行う網間接続装置
が開示されており、これは、異なるネットワークを跨っ
て、音声、映像信号を運ぶ通信セッションを確立するこ
とを目的としている。

【００２９】

【発明が解決しようとする課題】しかしながら、上記各
刊行物等に記載された技術では、とりわけインタネット
のような可変遅延網において十分なアダプテーション処
理が実現されているとは言いがたい。

【００３０】より詳細には、上記特開平4−319832号公
報に記載される方式は、受信端末でエラーを含むパケッ
トを廃棄し、シーケンスナンバによって廃棄検出を行っ
ているが、ネットワークによってパケットの順序が入れ
替わる場合は想定していない。このため、タイムアウト
時間内に届いたパケットであっても、順序が反転してい
れば廃棄されることになり、インタネットのような可変
遅延網には適用しにくい。

【００３１】また上記特開平10−84388号公報に記載さ
れる方式は、タイムスタンプに従った安定した同期再生
を可能にするが、パケットの到着順番の入れ替わりを制
御する順序制御については何ら言及していない。このた
め、インタネットのような可変遅延網に直接的に適用す
ることはできない。

【００３２】上記特開平10−271482号公報に記載される
方式は、タイムスタンプに従った音声と映像の二つのメ
ディアの安定した同期再生を可能にするが、やはりパケ
ットの順序制御については言及していない。このため、
インタネットのような可変遅延網に直接的に適用するこ
とはできない。

【００３３】上記特開平10−164143号公報に記載される
方式は、インタネットにおける帯域保証プロトコルの信
頼性に依存している。しかしながら、高速から低速、高
信頼から低信頼と、地域に応じて多種多様な品質環境が
混在するインタネットでは、前記の帯域保証プロトコル
が常に安定して機能するとは限らない。逆に、現時点で
は適用できないケースのほうが多い。このため、適用範
囲がかなり限定されてしまうことになる。

【００３４】上記特開平10−164129号公報に記載される
方式は、受信端末は従来の電話機であり、アダプテーシ
ョン処理は網間接続装置だけで行うことを想定してい
る。また、網間接続装置が選択的にパケットを棄却する
が、インタネット上のパケット廃棄やパケットの順序制
御に関しては何ら言及していない。このため、映像を含
むマルチメディア通信に直接的に適用することはできな
い。

【００３５】上記特開平10−173696号公報に記載される
方式は、符号化フォーマットの変換について言及はして
いるものの、主な目的は多様なネットワークを跨る呼設
定プロトコルの変換であって、アダプテーション処理の
効率化手段を何ら提供するものではない。このため、マ
ルチメディア端末装置、及び網間接続装置における音
声、映像等のメディア情報の効率的な同期再生に寄与す
るものではない。

【００３６】このほかにも、すでに各所でインタネット
電話端末、インタネット映像端末、ならびにインタネッ
ト端末と既存の電話網やISDNに接続された電話機を相互
接続する網間接続装置は実現されているが、簡易過ぎる
廃棄制御のためにパケット廃棄率が増加してしまう、複
雑過ぎる順序制御のために回路が複雑になってしまう、
などの問題を抱えている。将来的な映像サービスの多様
化、大規模化、ならびに現存する多種多様なネットワー
ク上の映像サービスをインタネット上にも展開するため
には、端末装置、及び網間接続装置におけるアダプテー
ション処理の効率化と簡素化の並立が必須である。

【００３７】したがって本発明は、上記問題点に鑑みて
なされたものであって、その主たる目的は、マルチメデ
ィア端末装置、ならびに網間接続装置において、パケッ
トの同期管理、順序制御、廃棄処理などのアダプテーシ
ョン処理の効率化と簡素化を同時に実現する装置を提供
することにある。これ以外の本発明の目的、利点等は以
下の説明で容易に明らかとされるであろう。

【００３８】

【課題を解決するための手段】前記目的を達成する本発
明のマルチメディア端末装置は、ネットワークを介して
送られてくる音声信号、映像信号、制御情報等の符号化
データを受信・復号・再生するマルチメディア端末装置
であって、前記符号化データにはタイムスタンプやシー
ケンスナンバ等のアダプテーション情報が付加され、前
記マルチメディア端末装置は、前記符号化データの多重
化ビットストリームを多重化分離する多重化分離手段
と、前記アダプテーション情報を処理し、同期制御、廃
棄制御等を行うアダプテーション情報処理手段と、前記
アダプテーション情報処理手段から得られるネットワー
ク品質情報を保持する品質統計量保持手段と、前記符号
化データが音声や映像等のメディア情報である場合に復
号を行うメディア復号手段と、復号された前記メディア
情報を出力する手段と、前記符号化データが制御情報で
ある場合に復号を行う制御情報復号手段と、復号された
前記制御情報と前記品質統計量保持手段に保持されたネ
ットワーク品質情報に従って端末装置の制御を行う制御
手段とを備える。本発明において、前記アダプテーショ
ン情報処理手段は、パケット受信手段と、受信された前
記パケットをアダプテーション情報と符号化データに分
離するアダプテーション情報分離手段と、前記アダプテ
ーション情報を保持するアダプテーション情報保持手段
と、オフセット付き時刻を与えるオフセット遅延付加手
段と、前記アダプテーション情報と前記オフセット付き
時刻を用いてアダプテーション処理を実行するアダプテ
ーション処理手段と、前記アダプテーション情報と前記
オフセット付き時刻を用いて出力タイミングを提供する
出力タイミング発生手段と、前記アダプテーション処理
手段から与えられる符号化データを保持し、前記出力タ
イミングに従って前記符号化データを出力する蓄積手段
と、を備える。

【００３９】本発明においては、好ましくは、前記アダ
プテーション処理手段は、前記アダプテーション情報と
前記オフセット付き時刻を用いて選択的に符号化データ
を廃棄し、かつネットワーク品質の評価を行い前記品質
統計量保持手段に通知するタイムアウト判定手段と、前
記アダプテーション情報を用いてネットワーク品質の評
価を行い前記品質統計量保持手段に通知する順序番号比
較手段と、前記アダプテーション情報を用いて前記蓄積
手段に符号化データを書き込む書き込み手段とを備え
る。

【００４０】本発明においては、好ましくは、さらに前
記蓄積手段は、前記アダプテーション情報と符号化デー
タの有効・無効を示す情報と符号化データの長さを示す
情報を管理情報として保持し、符号化データを保持する
記憶手段と、前記出力タイミングと前記管理情報に従っ
て符号化データを出力する読み出し制御手段とを備え
る。

【００４１】本発明マルチメディア端末装置は、前記マ
ルチメディア端末装置におけるアダプテーション情報処
理手段において、前記オフセット遅延付加手段は、さら
に前記品質統計量保持手段に保持されたネットワーク品
質情報と前記メディア復号手段からの入力を用いてオフ
セット遅延を適応的に変化させる。

【００４２】本発明のマルチメディア端末装置は、前記
マルチメディア端末装置において、さらに、音声や映像
等のメディア情報を入力する手段と、前記メディア情報
を符号化するメディア符号化手段と、前記制御手段の出
力する制御情報を符号化する制御情報符号化手段と、前
記メディア符号化手段、及び前記制御情報符号化手段の
出力である符号化データに新たなアダプテーション情報
を付加するアダプテーション情報付加手段と、前記アダ
プテーション情報付加手段の出力を多重化してネットワ
ークに送出する多重化手段を備える。

【００４３】本発明の網間接続装置は、異なる伝送方式
を使用する第１のネットワークと第２のネットワークの
間に位置し、前記第１のネットワークに接続された端末
と前記第２のネットワークに接続された端末を相互接続
し、音声信号、映像信号、制御情報等の符号化データを
転送する網間接続装置であって、前記符号化データには
タイムスタンプやシーケンスナンバ等のアダプテーショ
ン情報が付加され、前記網間接続装置は、前記第１のネ
ットワークから前記第２のネットワークに向かう網間接
続手段を備え、前記網間接続手段は、前記符号化データ
の多重化ビットストリームを多重化分離する多重化分離
手段と、前記アダプテーション情報を処理し、同期制
御、廃棄制御等を行うアダプテーション情報処理手段
と、前記アダプテーション情報処理手段から与えられる
第１の制御情報の符号化データを変換し、もしくは新規
生成し、第２の制御情報の符号化データを出力する制御
情報トランスコード手段と、前記アダプテーション情報
処理手段から与えられる第１のメディア情報の符号化デ
ータを、前記制御情報トランスコード手段の制御出力に
応じて変換、もしくは通過し、第２のメディア情報の符
号化データを出力するメディア・トランスコード手段
と、新たなアダプテーション情報を付加するアダプテー
ション情報付加手段と、前記アダプテーション情報付加
手段の出力を多重化してネットワークに送出する多重化
手段とを備える。

【００４４】本発明において、前記制御情報トランスコ
ード手段は、前記第１の制御情報の符号化データを復号
する制御情報復号手段と、前記アダプテーション情報処
理手段から得られるネットワーク品質情報を保持する品
質統計量保持手段と、前記品質統計量保持手段に保持さ
れたネットワーク品質情報を用いて前記第１の制御情報
を変換し、必要に応じて新規生成を行い、前記第２の制
御情報を出力する制御情報変換・生成手段と、前記第１
の制御情報、及び前記第２の制御情報を解析・蓄積する
制御情報解析手段と、前記第２の制御情報を符号化する
制御情報符号化手段とから構成される。

【００４５】

【発明の実施の形態】次に、本発明の好ましい実施の形
態について説明する。本発明に係るマルチメディア端末
装置は、その好ましい実施の形態において、図１を参照
すると、ネットワークを介して送られてくる、音声及び
／又は映像信号と制御情報の符号化データに、タイムス
タンプ及びシーケンスナンバを少なくとも含むアダプテ
ーション情報が付加されているパケットデータを受信
し、復号、及び再生するものであって、ネットワークか
ら送られ受信したパケットデータの多重化ビットストリ
ームを多重化分離する多重化分離手段（１）と、前記ア
ダプテーション情報を処理し、同期制御、廃棄制御を行
うアダプテーション情報処理手段（２）と、前記アダプ
テーション情報処理手段（２）から得られるネットワー
ク品質情報を保持する品質統計量保持手段（６）と、前
記符号化データのうち音声や映像のメディア情報を復号
するメディア復号手段（３）と、復号された前記メディ
ア情報を出力する手段（４）と、前記符号化データのう
ち制御情報を復号する制御情報復号手段（５）と、復号
された前記制御情報と前記品質統計量保持手段に保持さ
れたネットワーク品質情報に基づき端末装置の制御を行
う制御手段（７）と、を備えている。

【００４６】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図２を参照すると、
アダプテーション情報処理手段（２）は、前記多重化分
離手段から出力されるパケットデータを受信する受信手
段（１１）と、受信された前記パケットデータをアダプ
テーション情報と符号化データとに分離するアダプテー
ション情報分離手段（１２）と、前記アダプテーション
情報を保持するアダプテーション情報保持手段（１３）
と、クロック生成手段（１４）からの出力に基づきオフ
セット付き時刻情報を与えるオフセット遅延付加手段
（１５）と、アダプテーション情報と前記オフセット付
き時刻情報とを用いてアダプテーション処理を実行する
アダプテーション処理手段（１６）と、前記アダプテー
ション情報と前記オフセット付き時刻を用いて出力タイ
ミングを生成する出力タイミング発生手段（１７）と、
前記アダプテーション処理手段から与えられる符号化デ
ータを保持し、前記出力タイミングに従って前記符号化
データを出力する蓄積手段（１８）と、を備えている。

【００４７】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図３を参照すると、
前記アダプテーション処理手段（１６）は、前記アダプ
テーション情報と前記オフセット付き時刻を用いて選択
的に符号化データを廃棄するとともに、ネットワーク品
質の評価を行いデータ廃棄数を含む品質評価結果を前記
品質統計量保持手段（６）に通知するタイムアウト判定
手段（２３）と、前記アダプテーション情報を用いてシ
ーケンスナンバーをチェックすることでネットワーク品
質の評価を行い評価結果を前記品質統計量保持手段
（６）に通知する順序番号比較手段（２４）と、前記ア
ダプテーション情報を用いて前記蓄積手段（１８）に符
号化データを書き込む書き込み手段（２５）と、備えて
いる。

【００４８】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図４を参照すると、
前記蓄積手段（１８）は、前記アダプテーション情報と
符号化データの有効・無効を示す情報と符号化データの
長さを示す情報を管理情報として保持し、符号化データ
を保持する記憶手段（２７）と、前記出力タイミングと
前記管理情報に従って符号化データを出力する読み出し
制御手段（２６）と、を備えている。

【００４９】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図１４を参照する
と、オフセット遅延付加手段（７５）を、前記品質統計
量保持手段（６）に保持されたネットワーク品質情報と
前記メディア復号手段（３）からの入力とを用いてオフ
セット遅延を適応的に変化させるように構成してもよ
い。

【００５０】次に本発明に係る網間接続装置は、その好
ましい実施の形態において、図１８を参照すると、異な
る伝送方式を使用する第１のネットワークと第２のネッ
トワークの間に配設され、前記第１のネットワークに接
続された端末と前記第２のネットワークに接続された端
末とを相互接続し、音声信号、映像信号、及び制御情報
等の符号化データを転送するものであって、前記符号化
データには、タイムスタンプやシーケンスナンバを少な
くとも含むアダプテーション情報が付加されており、網
間接続装置は、前記第１のネットワークから前記第２の
ネットワークに向かう網間接続手段を備え、前記網間接
続手段が、前記符号化データの多重化ビットストリーム
を多重化分離する多重化分離手段（２０１）と、前記ア
ダプテーション情報を処理し、同期制御、廃棄制御等を
行うアダプテーション情報処理手段（２０２）と、前記
アダプテーション情報処理手段から与えられる第１の制
御情報の符号化データを変換するか、もしくは新たに生
成し、第２の制御情報の符号化データを出力する制御情
報トランスコード手段（２０３）と、アダプテーション
情報処理手段（２０２）から与えられる第１のメディア
情報の符号化データを、制御情報トランスコード手段
（２０３）からの制御出力に応じて変換するか、もしく
は通過し、第２のメディア情報の符号化データを出力す
るメディア・トランスコード手段（２０４）と、制御情
報トランスコード手段（２０３）及びメディア・トラン
スコード手段（２０４）からの符号化データ出力を受
け、新たなアダプテーション情報を付加するアダプテー
ション情報付加手段（２０５）と、前記アダプテーショ
ン情報付加手段の出力を多重化してネットワークに送出
する多重化手段（２０６）と、を備える。

【００５１】このアダプテーション情報処理手段（２０
２）は、前記マルチメディア端末装置における、アダプ
テーション情報処理手段（２）と同一の構成とされる。

【００５２】本発明に係る網間接続装置は、その好まし
い実施の形態において、図１９を参照すると、制御情報
トランスコード手段は、前記第１の制御情報の符号化デ
ータを復号する制御情報復号手段（２１１）と、前記ア
ダプテーション情報処理手段（２０２）から得られるネ
ットワーク品質情報を保持する品質統計量保持手段（２
１２）と、前記品質統計量保持手段（２１２）に保持さ
れたネットワーク品質情報を用いて前記第１の制御情報
を変換し、必要に応じて新たに生成を行い、前記第２の
制御情報を出力する制御情報変換生成手段（２１３）
と、前記第１の制御情報及び前記第２の制御情報を解析
・蓄積する制御情報解析手段（２１５）と、前記第２の
制御情報を符号化する制御情報符号化手段（２１４）
と、備える。

【００５３】本発明に係る網間接続装置は、その好まし
い実施の形態において、図２０を参照すると、前記メデ
ィア・トランスコード手段が、前記第１のメディア情報
の符号化データを復号するメディア復号手段（２２２）
と、前記メディア復号手段の出力をトランスコードする
メディア符号化手段（２２３）と、制御情報トランスコ
ード手段（２０３）から与えられる制御情報に従ってメ
ディア情報のトランスコードの実行を制御する切り替え
手段（２２１、２２４）と、を備える。

【００５４】上記した本発明の実施の形態についてさら
に詳細に説明すべく、本発明の各種実施例について図面
を参照して以下に詳細に説明する。

【００５５】

【実施例】図１は、本発明の第１の実施例をなすマルチ
メディア端末装置の構成を示す図である。図１を参照す
ると、本発明の第１の実施例は、多重化分離回路１と、
アダプテーション情報処理回路2と、メディア復号回路3
と、メディア出力回路4と、制御情報復号回路5と、品質
統計量保持回路6と、制御回路7とを備えている。これら
の回路の概略は次のように機能動作するように構成され
ている。

【００５６】多重化分離回路1は、ネットワークから受
信した音声、映像信号、制御情報などの符号化データの
多重化されたビットストリームを多重化分離する。な
お、音声情報、映像情報、制御情報それぞれについて、
タイムスタンプ、シーケンスナンバ、誤り検出符号、誤
り訂正符号などのアダプテーション情報が付加されてい
るものとする。なお、以下では、符号化データは、パケ
ットとして転送されているものとして説明するが、ISDN
のような固定遅延網では、各データが時分割スロット上
にあらかじめ定められた多重化パターンに従って配置さ
れている場合もある。この場合でも、パケットを時分割
スロットに置きかえることで、本発明は、適用できるこ
とは勿論である。

【００５７】またアダプテーション情報処理回路2は、
多重化分離回路1によって分離された音声、映像、制御
情報などの符号化データそれぞれについて、付加された
アダプテーション情報に従い、誤り検出、誤り訂正、同
期管理、廃棄制御、などのアダプテーション処理を実行
する。このアダプテーション情報処理回路2の詳細な構
成、及び動作については後述する。

【００５８】そしてメディア復号回路3は、アダプテー
ション情報処理回路2によって適切な同期管理、誤り制
御などの施された音声、映像の符号化データを復号す
る。符号化アルゴリズムとしては、音声信号の場合はIT
U−T G勧告シリーズ、音響信号の場合はISO／IECのMPEG
オーディオ規格、映像信号の場合はITU−TのH.26x勧告
シリーズやISO／IECのMPEGビデオ規格などが知られてお
り、メディア復号回路3はこれらの規格に従って復号動
作を行う。

【００５９】メディア出力回路4は、メディア復号回路3
の出力として与えられる音声、映像などのメディア情報
を出力再生、表示する。

【００６０】制御情報復号回路5は、アダプテーション
情報処理回路2によって適切な誤り制御等が施された制
御情報の符号化データを復号する。符号化アルゴリズム
としては、ITU−TH.245勧告で使用されているASN.1 PER
方式や、ITU−T H.221勧告やMPEG−2 Systems で用いら
れているビット単位のシンタクスを用いる方式が知られ
ており、制御情報復号回路5はこれらに従った復号動作
を実行する。

【００６１】品質統計量保持回路6は、アダプテーショ
ン情報処理回路2によって与えられるビット誤り率、パ
ケット廃棄率、パケット転送遅延、パケット転送遅延の
揺らぎなどの情報からネットワークの品質統計量を計算
し、これらを保持する。

【００６２】制御回路7は、制御情報復号回路5から与え
られる制御情報と品質統計量保持回路6に蓄積されたネ
ットワークの品質統計量を用いて、端末の適切な制御動
作を実行する。

【００６３】図２は、図１に示した本発明の第１の実施
例におけるアダプテーション情報処理回路2の構成を示
す図である。図２を参照すると、アダプテーション情報
処理回路2は、パケット受信回路11と、アダプテーショ
ン情報分離回路12と、アダプテーション情報保持回路13
と、オフセット遅延付加回路15と、アダプテーション処
理回路16と、出力タイミング発生回路17と、蓄積回路18
とを備えている。図１では図示されていないが、アダプ
テーション情報処理回路2の外部には、図２に示すよう
に、クロック生成回路14が配設されている。

【００６４】また図２を参照すると、受信パケットはア
ダプテーション情報と符号化データよりなる。

【００６５】アダプテーション情報処理回路2を構成す
る上記各回路は概略以下のような機能を有する。

【００６６】パケット受信回路11は、多重化分離回路1
から与えられるパケットを受信する。

【００６７】アダプテーション情報分離回路12は、パケ
ット受信回路11から与えられるパケットをアダプテーシ
ョン情報と符号化データとに分離する。符号化データ
は、音声、映像、制御情報などの符号化データそのもの
である。また、アダプテーション情報を検査し、データ
誤りなどによってアダプテーション処理が不可能な場合
にはパケットを廃棄し、パケットの廃棄を品質統計量保
持回路6に通知する。

【００６８】アダプテーション情報保持回路13は、アダ
プテーション情報分離回路12によって分離されたアダプ
テーション情報を蓄積する。

【００６９】オフセット遅延付加回路15は、クロック生
成回路14から与えられる時刻情報にあらかじめ定められ
たオフセット遅延の値を加えて出力とする。オフセット
遅延の値の決定としては、あらかじめ定めたオフセット
値にセットするか、あるいは最初に到着したパケットの
タイムスタンプに従ってセットする、等の形態で行われ
る。

【００７０】アダプテーション処理回路16は、アダプテ
ーション情報保持回路13から与えられるアダプテーショ
ン情報、及びオフセット遅延付加回路15から与えられる
時刻情報に従い、アダプテーション情報分離回路12から
与えられる符号化データに対して、誤り検出、誤り訂
正、遅延制御、廃棄制御などのアダプテーション処理を
適宜実行し、蓄積回路18に符号化データを書き込む。ま
た、アダプテーション処理の結果として得られるネット
ワークの品質に関する統計量を、アダプテーション情報
処理回路2の外部に設けられている品質統計量保持回路6
に渡す。このアダプテーション処理回路16の詳細な構
成、及び動作については後述する。

【００７１】出力タイミング発生回路17は、アダプテー
ション情報保持回路13から与えられるアダプテーション
情報としてのタイムスタンプ、ならびにオフセット遅延
付加回路15から与えられる時刻情報に従い、適切なタイ
ミングで蓄積回路18から符号化データを出力するように
指示を与え、同時に、アダプテーション情報処理回路2
の外部に設けられているメディア復号回路３又は制御情
報復号回路５に復号動作の開始を指示する。

【００７２】ネットワークが固定遅延網で、アダプテー
ション情報としてタイムスタンプが提供されない場合に
は、ネットワークが固定遅延を保証しているため、オフ
セット遅延付加回路15から与えられる時刻情報のみを用
いてタイミング情報を発生してもよい。

【００７３】蓄積回路18は、アダプテーション処理回路
16から与えられる符号化データを所定の形式で保持し、
また出力タイミング発生回路17から与えられるタイミン
グで保持した符号化データを出力し、外部の復号回路に
符号化データを渡す。この蓄積回路18の詳細な構成、及
び動作については後述する。

【００７４】アダプテーション情報処理回路2の外部に
存在するクロック生成回路14は、オフセット遅延付加回
路15、ならびに、本実施例では説明を省略するが、端末
全体の各回路へのクロックを供給する。

【００７５】端末が存在するネットワーク環境によって
は、ISDNのようにネットワークから網クロックが供給さ
れる場合、MPEG−2Systemsのようにビットストリーム中
に参照クロックが埋め込まれて配送される場合などがあ
り、それぞれのクロック情報は、クロック生成回路14の
出力を制御するための入力として利用してもよい。

【００７６】また、アダプテーション情報処理回路2の
外部に存在する復号回路は、符号化データに応じて、メ
ディア復号回路3である場合と制御情報復号回路5である
場合とがある。

【００７７】図３は、図２に示した本発明の一実施例の
アダプテーション処理回路16の構成を示す図である。図
３を参照すると、アダプテーション処理回路16は、誤り
検出回路21と、誤り訂正回路22と、タイムアウト判定回
路23と、順序番号比較回路24と、書き込み回路25とを備
えている。これら各回路の機能・動作は以下の様なもの
となる。

【００７８】誤り検出回路21は、アダプテーション情報
保持回路13から与えられる誤り検出符号を用いて符号化
データ中の誤りを検出し、符号化データを誤り訂正回路
22に渡す。また、得られたビット誤り率を品質統計量保
持回路6に渡す。

【００７９】誤り訂正回路22は、アダプテーション情報
保持回路13から与えられる誤り訂正符号を用いて符号化
データ中の誤りを訂正し、誤りが訂正不可能な場合は符
号化データを廃棄する。また、得られたパケット廃棄数
を品質統計量保持回路6に渡す。なお、符号化データ中
に誤りがない場合には、誤り訂正回路22は何もしない。

【００８０】タイムアウト判定回路23は、アダプテーシ
ョン情報保持回路13から与えられるタイムスタンプ値と
オフセット遅延付加回路15から与えられる時刻情報とを
比較し、タイムスタンプ値が時刻情報よりも大きい場合
にはパケットの到着時刻が遅すぎると判断して符号化デ
ータを廃棄する。また、得られたパケット廃棄数、転送
遅延、転送遅延の揺らぎ情報(ジッタ)を品質統計量保持
回路6に渡す。

【００８１】順序番号比較回路24は、アダプテーション
情報保持回路13から与えられるシーケンスナンバと期待
されるシーケンスナンバとの比較を行い、シーケンスナ
ンバのスキップ、あるいは逆転が生じた場合には後述す
るメカニズムで、品質統計量保持回路6のパケット廃棄
数の情報を更新する。

【００８２】書き込み回路25は、アダプテーション情報
保持回路13から与えられるタイムスタンプ値とシーケン
スナンバに従い、一通りのアダプテーション処理の終了
した符号化データを蓄積回路18に書き込む。なお、伝送
方式によっては上記のアダプテーション情報がすべて提
供されるとは限らず、その場合には対応する回路を省略
してアダプテーション処理を実行する。

【００８３】図４は、図２に示した蓄積回路18の構成の
一例を示す図である。図４を参照すると、蓄積回路18
は、読み出し制御回路26と記憶回路27とを備えている。

【００８４】読み出し制御回路26は、出力タイミング発
生回路17から与えられる出力タイミングに従い、記憶回
路27に蓄積された符号化データの出力を制御する。

【００８５】記憶回路27は、アダプテーション処理回路
16から与えられる符号化データ、ならびにシーケンスナ
ンバ、タイムスタンプなどのアダプテーション情報を保
持し、読み出し制御回路26からの指示に従って符号化デ
ータを出力し、復号回路に渡す。

【００８６】図５は、蓄積回路18で蓄積管理される符号
化データ、及び付随する管理データの一例を示す図であ
る。図５を参照すると、蓄積回路18は、シーケンスナン
バ、もしくはそれを縮退させた番号毎に記憶領域を有し
ており、その記憶領域は、さらにタイムスタンプ、デー
タ領域の有効フラグ、区切りフラグ、有効データ長、な
らびに符号化データを保持するデータ領域から構成され
ている。なお、管理情報の保持については、読み出し制
御回路26が保持する場合、記憶回路27が保持する場合等
いずれの構成としてもよい。

【００８７】蓄積回路18において、シーケンスナンバの
最大値に一致する数の記憶領域を準備してもよいが、例
えばシーケンスナンバが16ビットで表現される場合、65
536(=2の16乗)個分の記憶領域を用意しなければなら
ず、不効率である。そこで、例えばシーケンスナンバの
下4ビット分に相当する縮退(degeneration)を行えば、
記憶領域の数は16(=2の4乗)個で済む。

【００８８】また、タイムスタンプは、例えば映像信号
のように1フレームの情報が複数のパケットに分割され
て送出される場合、同じフレームを構成する符号化デー
タを識別するのに有効である。データ領域の有効フラグ
は、例えば初期値は「0」とし、符号化データが正しく
到着した場合に「1」とする。これによって、符号化デ
ータが廃棄された場合には有効フラグは「0」のままで
あり、対応するシーケンスナンバの符号化データは復号
回路には渡されない。

【００８９】区切りフラグは、例えば映像信号のように
１フレームの情報が複数のパケットに分割されて送出さ
れる場合、対応するパケットがフレームの最後の情報で
あることを示すために使用される。この機能は、例えば
既にIETFRTPのMフィールドとして提供されているもの
で、本発明でもオプションとして使用する。また、音声
のような短いデータ長の場合には、一般的に１つのパケ
ット単位に区切りになる。複数の有効データ長は、受け
取った符号化データ、すなわちパケット単位の符号化デ
ータの長さを示す情報である。MPEG−2TSのように固定
長パケットを強いる伝送方式もあるが、一般的には符号
化データの長さはパケット毎に異なっており、それを示
すために使用される。

【００９０】データ領域は、符号化データを蓄積するた
めの領域である。

【００９１】図６は、本発明の第１の実施例におけるア
ダプテーション情報処理回路2の動作の一例を示すフロ
ーチャートである。図６、及び図２を参照して、アダプ
テーション情報処理回路2の動作を説明する。

【００９２】ステップ31で、アダプテーション情報処理
が開始される。

【００９３】ステップ32でパケットを受信した場合には
ステップ33に進み、受信していない場合は元に戻りパケ
ットの受信を待つ。以上が、パケット受信回路11の動作
である。

【００９４】ステップ33では、受信したパケットからア
ダプテーション情報と符号化データを分離し、ステップ
34に進む。

【００９５】ステップ34では、アダプテーション情報を
検査し、アダプテーション処理が不可能な場合はステッ
プ35に進み、アダプテーション処理が可能な場合はステ
ップ36に進む。

【００９６】ステップ35では、パケットの廃棄を実行
し、パケットの受信待ち状態に戻る。以上が、アダプテ
ーション情報分離回路12の動作である。

【００９７】ステップ36では、アダプテーション処理を
実行し、符号化データを蓄積し、パケットの受信待ち状
態に戻る。ステップ36は、アダプテーション処理回路16
の動作であり、その詳細については後述する。

【００９８】ステップ37では、出力時刻かどうかを検査
し、出力時刻であれば符号化データを送出してステップ
38に進み、出力時刻でなければ出力時刻の待ち状態に戻
る。

【００９９】ステップ38では、外部の復号回路に符号化
データを出力し、終了後、出力時刻の待ち状態に戻る。
以上が蓄積回路18の動作であり、ステップ38の詳細につ
いては後述する。

【０１００】図７は、図６のステップ36（アダプテーシ
ョン処理）の動作の詳細を示すフローチャートである。
図７及びアダプテーション処理回路１６の構成を示す図
３を参照して、アダプテーション処理について以下に説
明する。

【０１０１】ステップ41では、符号化データ中にデータ
誤りがないかどうか検査を行い、データ誤りがない場合
はステップ45に進み、データ誤りがある場合はステップ
42に進む。以上は、誤り検出回路21の動作である。

【０１０２】ステップ42では、ステップ41によってデー
タ誤りが検出された場合、そのデータ誤りが訂正かどう
か検査を行い、訂正可能である場合はステップ43に進
み、訂正不可能である場合はステップ44に進む。ステッ
プ43では、データ誤りの訂正を行い、ステップ45に進
む。ステップ44では符号化データを廃棄し、パケットの
受信待ち状態に戻る。以上は、誤り訂正回路22の動作で
ある。

【０１０３】ステップ45では、タイムスタンプ値とオフ
セット時刻の比較を行い、パケットの到着がタイムアウ
ト時刻を越えている場合にはステップ44に進み、超えて
いない場合にはステップ46に進む。以上は、タイムアウ
ト判定回路23の動作である。

【０１０４】ステップ46では、実際のシーケンスナンバ
と保存された期待されるシーケンスナンバ値との比較を
行い、実際のシーケンスナンバが期待されるシーケンス
ナンバの値に一致した場合はステップ50に進み、一致し
ない場合はステップ47に進む。

【０１０５】図８は、図６のステップ38（出力処理）の
動作の詳細を示すフローチャートでより、図３の書き込
み回路２５の制御動作を示している。

【０１０６】ステップ51では、蓄積回路１８において、
現在のポインタが示す記憶領域の有効フラグを取得し、
ステップ52に進む。

【０１０７】ステップ52では、有効フラグに従ってデー
タ領域が有効か否か、すなわち、符号化データが正しく
到着したか廃棄されたかを判定し、データ領域が無効な
場合はステップ53に進み、データ領域が有効な場合はス
テップ54に進む。

【０１０８】ステップ53では、記憶領域を示すポインタ
を一つ進め、ステップ52に戻る。

【０１０９】ステップ54では、現在のポインタが示す記
憶領域のタイムスタンプを取得し、ステップ55に進む。

【０１１０】ステップ55では、出力タイミング発生回路
17から与えられた出力時刻と前記タイムスタンプとの値
を比較し、一致しない場合はステップ56に進み、一致し
た場合はステップ57に進む。

【０１１１】ステップ56では、前記タイムスタンプの値
が出力時刻の値よりも小さい場合はステップ53に進み、
大きい場合はステップ60に進む。

【０１１２】ステップ57では、現在のポインタが示す記
憶領域の有効データ長に従ってデータ領域のデータを出
力し、すなわち符号化データを出力し、ステップ58に進
む。

【０１１３】ステップ58では、現在のポインタが示す記
憶領域の区切りフラグを取得し、ステップ59に進む。

【０１１４】ステップ59では、現在のポインタが示す記
憶領域の符号化データが復号の区切りかどうかを判定
し、区切りの場合はステップ60に進み、区切りではない
場合はステップ53に進む。あるいはまた、区切りフラグ
を使用しない場合にはステップ58とステップ59が存在せ
ず、ステップ57からステップ53に進むことになる。

【０１１５】ステップ60では、現在のポインタの値を一
つ進めて保存し、データの出力処理を終了する。

【０１１６】図９は、本発明の第１の実施例によって実
現される符号化、パケット送信、ネットワーク転送、パ
ケット受信、復号の一連の動作を、具体例を用いて時系
列で示したものである。

【０１１７】図９を参照すると、送信端末では、時刻10
000、10100、10200、10300、10400、10500において、そ
れぞれメディア情報を入力、符号化、パケット化して、
ネットワークに送信している。なお、図９に示す例で
は、時刻10200に送出されたパケットがネットワーク内
で廃棄されている。

【０１１８】受信端末では、パケットを受信し、オフセ
ット遅延を加えた時間軸上で、時刻10000、10100、1030
0、10500において、それぞれメディア情報を復号、再生
している。なお、図９に示す例では、時刻10400に復号
が行われるべきパケットが、転送遅延が大きすぎたため
に受信端末内で廃棄されている。

【０１１９】図１０、及び図１１は、本発明の第１の実
施例によって実現されるパケット受信から復号までの過
程を、具体例を用いて詳細に示したものである。

【０１２０】図１０に示す例では、シーケンスナンバ10
0、101、102を付加されたパケット、及びシーケンスナ
ンバ103、104を付加されたパケットに、それぞれ同じタ
イムスタンプ10000、及び10100が付加されている。ただ
し、シーケンスナンバ101を付加されたパケットは、何
らかの要因で廃棄され、シーケンスナンバのスキップが
生じている。

【０１２１】図２に示した蓄積回路18には、シーケンス
ナンバに従った記憶領域に、符号化データが保存されて
いる。オフセット遅延を加えた時間軸上で、時刻1000
0、及び10100に復号が実行される。しかし、シーケンス
ナンバ101に対応するパケットは廃棄されており、時刻1
0000には、復号回路にシーケンスナンバ100と102の符号
化データのみが提供される。ただし、後述するように、
符号化データへの再同期情報の付加によって、誤りの影
響は低く抑えられる。

【０１２２】図１１に示す例でもまた、シーケンスナン
バ100、101、102を付加されたパケット、及びシーケン
スナンバ103、104を付加されたパケットに、それぞれ同
じタイムスタンプ10000、及び10100が付加されている。
ただし、図１０に示す例とは異なり、図１１に示す例で
は、シーケンスナンバ101を付加されたパケットは、シ
ーケンスナンバの逆転は発生したが、正しく受信され、
蓄積回路に書き込まれている。このため、時刻10000の
復号実行時にはシーケンスナンバ100、101、102の符号
化データがすべて提供され、廃棄の影響無く復号が行わ
れている。

【０１２３】図１２は、特に映像信号の場合、符号化デ
ータの具体的な構成方法の一例を示している。図１２
(a)は、圧縮データの先頭に再同期情報が付加された形
態、また図１２(b)は、圧縮情報の間に再同期情報が挿
入された形態をそれぞれ示している。再同期情報に関し
ては、ISO／IECの映像信号の符号化アルゴリズムである
MPEG−1、MPEG−2、MPEG−4、もしくはITU−TのH.263の
新しいバージョンのように、スライス構造として符号化
アルゴリズム自体によって提供される場合と、ITU−Tの
H.261、もしくはH.263の古いバージョンのように、符号
化アルゴリズムの外側で提供される場合とがある。いず
れにしても、パケットの廃棄が発生した場合でも、この
再同期情報から再び復号を開始することが可能であり、
パケット廃棄の影響を低く抑えることが可能である。

【０１２４】図１３は、図７の流れ図においてステップ
46、47、48、49で示した順序番号比較回路24の動作を、
具体例を用いて示したものである。

【０１２５】図１３に示す例では、シーケンスナンバが
99、100、103、104、102、105のパケットが順に受信さ
れている。また、シーケンスナンバが99のパケットを受
信する前には、次パケットのシーケンスナンバの期待値
が99、パケット廃棄数を示す廃棄カウンタの値が5に設
定されていたとする。まず、受信したパケットのシーケ
ンスナンバの値が期待値の値に一致した場合には、次パ
ケットのシーケンスナンバの期待値を一つ加算し、廃棄
カウンタの値はそのままにする。

【０１２６】図１３に示す例で、シーケンスナンバ103
のパケットを受信した場合のように、シーケンスナンバ
のスキップが発生した場合には、次パケットのシーケン
スナンバの期待値を、受信したパケットのシーケンスナ
ンバの値に「1」を加えた値にセットし、廃棄カウンタ
には受信したパケットのシーケンスナンバの値からシー
ケンスナンバの期待値を引いた値を加算する。

【０１２７】また図１３に示す例で、シーケンスナンバ
102のパケットを受信した場合のように、シーケンスナ
ンバの逆転が発生した場合には、次パケットのシーケン
スナンバの期待値はそのままにし、廃棄カウンタは１つ
減算する。このような簡単な処理によって、パケット廃
棄率の評価を効率的に行うことができる。

【０１２８】以上示したように、本発明の第１の実施例
によって、特にインタネットのような可変遅延網を介し
てマルチメディア情報が多重化されて送信されてくる場
合に、パケットの同期管理、順序制御、廃棄処理などの
アダプテーション処理に関して効率化、簡素化が図ら
れ、特に、すべての処理が逐次的に行われるために、従
来の方式に比して、効果的なマルチメディア処理端末が
実現されている。

【０１２９】本発明の第１の実施例では、送信端末にお
けるメディア入力から受信端末におけるメディア出力ま
でに要する再生遅延時間やパケット廃棄に大きな影響を
与えるオフセット遅延を固定的に割り当てるものとして
いる。このため、例えばネットワークがすいていて廃
棄、遅延がほとんど生じない場合でも、再生遅延は固定
的に変わらないことになってしまう。

【０１３０】そこで、ネットワークの状態に応じて、オ
フセット遅延の値を適応的に制御すればよい。しかし、
全く自由にオフセット遅延の値を変更できるようにする
と、例えば音声のような時間的に連続して再生されるメ
ディア情報において、音声が途切れたり、あるいは突然
短縮されてしまい、主観的な音質が著しく損なわれてし
まうという問題が生じる。本発明の第２の実施例は、こ
の問題に対処するものである。

【０１３１】図１４は、本発明の第２の実施例のアダプ
テーション情報処理回路2の構成を示す図である。なお
端末の構成は図１に示したものと同様とされる。

【０１３２】図１４を参照すると、本発明の第２の実施
例は、アダプテーション情報処理回路2が、パケット受
信回路71と、アダプテーション情報分離回路72と、アダ
プテーション情報保持回路73と、オフセット遅延付加回
路75と、アダプテーション処理回路76と、出力タイミン
グ発生回路77と、蓄積回路78から構成されている。さら
に、図２に示した構成と同様に、アダプテーション情報
処理回路2の外部には、クロック生成回路74が存在して
いる。

【０１３３】パケット受信回路71、アダプテーション情
報分離回路72、アダプテーション情報保持回路73、アダ
プテーション処理回路76、出力タイミング発生回路77、
蓄積回路78、ならびにクロック生成回路74の動作は、前
記した本発明の第１の実施例に同じである。

【０１３４】本発明の第２の実施例においては、オフセ
ット遅延75に品質統計量回路6と復号回路3からの入力が
加わっていることが、前記第１の実施例と相違してい
る。

【０１３５】すなわち、オフセット遅延付加回路75は、
クロック生成回路74からのクロック入力に加えて、品質
統計量回路6から与えられるネットワークの品質統計量
と、復号回路3から与えられるメディアの復号状態を入
力とし、オフセット遅延の値を適応的に更新する。

【０１３６】図１５は、オフセット遅延付加回路75の動
作の一例を示すフローチャートである。

【０１３７】ステップ81から、オフセット遅延の更新動
作が開始される。

【０１３８】ステップ82では、例えば音声の復号回路か
らの入力によって無声区間を検出し、無声区間ではない
場合は次の入力の待ち状態に戻り、無声区間である場合
はステップ83に進む。

【０１３９】ステップ83では、ネットワークの品質統計
量を評価し、例えば遅延廃棄率が大きく変化した場合は
ステップ84に進み、一方変化していない場合には次の入
力の待ち状態に戻る。

【０１４０】ステップ84では、例えば遅延廃棄率が減少
した場合にはステップ85に進み、一方、増加した場合に
はステップ86に進む。

【０１４１】ステップ85ではオフセット遅延を減少し
て、次の入力の待ち状態に戻る。ステップ86ではオフセ
ット遅延を増加して、次の入力の待ち状態に戻る。

【０１４２】音声の符号化アルゴリズムによっては、例
えばITU−TのG.723.1のように無声区間をシンタクスと
して通知するアルゴリズムもある。また、符号化アルゴ
リズムの外側、すなわちアダプテーション情報の一部と
して、無声区間を通知する方式も存在する。この場合に
は、復号回路からの入力を待たずにオフセット遅延の変
更を実行できる。あるいはまた、映像信号の静止領域を
検出し、この区間を利用してオフセット遅延を変更する
ことも可能である。映像の場合は音声とは異なり、再生
遅延時間が変化してもそれほど気にならないという特徴
もある。一方、再生遅延時間の許容される最大値が決ま
っている場合には、オフセット遅延の最大値がその許容
値を越えないように制御する。この場合、一時的なパケ
ットの大量廃棄や、それによる品質劣化は避けられない
が、ネットワーク、もしくは送信端末に品質改善を要求
するメッセージを通知し、廃棄率が改善されるのを待
つ。

【０１４３】以上説明したように、本発明の第２の実施
例においては、ネットワークの状況に適応しながら効率
よく再生遅延時間を低く抑え、かつ廃棄率が増加した場
合には適応的に対応するマルチメディア端末装置の実現
が可能になる。

【０１４４】上記した本発明の第１の実施例、ならびに
第２の実施例では、マルチメディア端末装置は受信専用
であり、自らの送信手段を備えていない。本発明の第３
の実施例は送信手段を備えたものである。

【０１４５】図１６は、本発明の第３の実施例の構成を
示す図である。図１６を参照すると、本発明の第３の実
施例は、多重化分離回路91と、アダプテーション情報処
理回路92と、メディア復号回路93と、メディア出力回路
94と、制御情報復号回路95と、品質統計量保持回路96
と、制御回路97と、制御情報符号化回路98と、メディア
入力回路99と、メディア符号化回路100と、アダプテー
ション情報付加回路101と、多重化回路102とを備えてい
る。

【０１４６】ここで、多重化分離回路91、アダプテーシ
ョン情報処理回路92、メディア復号回路93、メディア出
力回路94、制御情報復号回路95、品質統計量保持回路96
の動作は、上記した本発明の第１の実施例、もしくは第
２の実施例に示した多重化分離回路1、アダプテーショ
ン情報処理回路2、メディア復号回路3、メディア出力回
路4、制御情報復号回路5、品質統計量保持回路6の動作
と同じである。

【０１４７】制御回路97は、上記した本発明の第１の実
施例、もしくは第２の実施例と同じく、制御情報復号回
路95から与えられる制御情報と品質統計量保持回路96に
蓄積されたネットワークの品質統計量を用いて端末の適
切な制御動作を実行するが、さらに制御情報を出力す
る。

【０１４８】制御情報符号化回路98は、制御回路97の出
力である制御情報を符号化する。メディア入力回路99
は、音声や映像のようなメディア情報を入力する。メデ
ィア符号化回路100は、メディア入力回路99から与えら
れるメディア情報を符号化する。アダプテーション情報
付加回路101は、制御情報符号化回路99、ならびにメデ
ィア符号化回路100から与えられる符号化データに対し
て適切なアダプテーション情報を付加する。多重化回路
102は、アダプテーション情報付加回路101の出力から、
音声、映像信号、制御情報などの符号化データの多重化
されたビットストリームを生成し、ネットワークへ出力
する。

【０１４９】図１７は、アダプテーション情報付加回路
101の構成の一例を示す図である。図１７を参照する
と、アダプテーション情報付加回路101は、パケット化
回路111と、順序番号付加回路112と、タイムスタンプ付
加回路113と、誤り検出符号・誤り訂正符号付加回路114
とを備える。

【０１５０】パケット化回路111は、符号化回路から与
えられる符号化データを多重化手段に合わせた適切なサ
イズに分割、または統合し、パケットを構成する。

【０１５１】順序番号付加回路112は、主にメディア情
報のパケットに適用され、パケット化回路111から与え
られるパケットに対してシーケンスナンバを付加する。

【０１５２】タイムスタンプ付加回路113は、主にメデ
ィア情報のパケットに対して適用され、一般的にはメデ
ィア情報の入力時刻を付加する。

【０１５３】誤り検出符号・誤り訂正符号付加回路114
は、構成されたパケットに対する誤り検出符号、誤り訂
正符号を付加して出力し、多重化回路102にパケットを
渡す。多重化回路102に与えたパケットがそのまま転送
される場合もあれば、多重化回路102によって再度パケ
ット化される場合もある。また、MPEG−2TSのように、
パケットに参照クロックの値を付与する場合には、図１
７の構成にさらに参照クロック付加回路を追加する。

【０１５４】以上説明したように、本発明の第3の実施
例においては、本発明の効率的なアダプテーション処理
の長所は保ちつつ、受信、送信双方を行うマルチメディ
ア端末装置の実現が可能となる。

【０１５５】ただし、以上の上記各実施例に述べた本発
明に係るマルチメディア端末装置におけるアダプテーシ
ョン処理の利点は、異なるネットワークを相互接続する
網間接続装置においても有効である。以下に、本発明に
係る網間接続装置の実施例について説明する。

【０１５６】図１８は、本発明の第４の実施例の構成を
示す図である。図１８を参照すると、本発明の第4の実
施例は、多重化分離回路201と、アダプテーション情報
処理回路202と、制御情報トランスコード回路203と、メ
ディア・トランスコード回路204と、アダプテーション
情報付加回路205と、多重化回路206とを備えている。ま
た、多重化分離回路201は第１のネットワークに、多重
化回路206は第２のネットワークに、それぞれ接続され
ている。

【０１５７】多重化分離回路201は、第１のネットワー
クから受信した音声、映像信号、制御情報などの符号化
データの多重化されたビットストリームを多重化分離す
る。

【０１５８】アダプテーション情報処理回路202は、多
重化分離回路201によって分離された音声、映像、制御
情報などの符号化データそれぞれについて、付加された
アダプテーション情報に従い、誤り検出、誤り訂正、同
期管理、廃棄制御、などのアダプテーション処理を実行
する。

【０１５９】制御情報トランスコード回路203は、アダ
プテーション情報処理回路から与えられる符号化された
第１の制御情報と第１のネットワークの品質情報を入力
とし、第１の制御情報を第２の制御情報に変換、符号化
して出力する。また、保持した制御情報に従って、メデ
ィア・トランスコード回路204のトランスコード動作を
制御する。この制御情報トランスコード回路の詳細な構
成、及び動作については後述する。

【０１６０】メディア・トランスコード回路204は、制
御情報トランスコード回路203から与えられる制御情報
に従って、アダプテーション情報処理回路から与えられ
る符号化された第１のメディア情報を第２のメディア情
報にトランスコードして出力する。端末間の事前のネゴ
シエーション、あるいは第１のネットワークと第２のネ
ットワークで伝送帯域の問題が起こらない場合には、ト
ランスコードを行わずに符号化データを通過される場合
もあり、どちらを行うかは制御情報トランスコード回路
203によって決定される。このメディア・トランスコー
ド回路204の詳細な構成、及び動作については後述す
る。

【０１６１】アダプテーション情報付加回路205は、制
御情報トランスコード回路203、ならびにメディア・ト
ランスコード回路204から与えられる符号化データに対
して、第２のネットワークに適合した適切なアダプテー
ション情報を付加する。

【０１６２】多重化回路206は、アダプテーション情報
付加回路205の出力から、音声、映像信号、制御情報な
どの符号化データの多重化されたビットストリームを生
成し、第２のネットワークへ出力する。

【０１６３】なお、アダプテーション情報処理回路202
は、上記本発明の第１の実施例、もしくは第２の実施例
で説明した、前述のアダプテーション情報処理回路2と
同じものを使用する。また、多重化分離回路201、アダ
プテーション情報付加回路205、多重化回路206は、それ
ぞれ前述の多重化分離回路1、アダプテーション情報付
加回路101、多重化回路102と同じ動作を行う。

【０１６４】図１９は、制御情報トランスコード回路20
3の構成の一例を示す図である。図１９を参照すると、
制御情報トランスコード回路203は、制御情報復号回路2
11と、品質統計量保持回路212と、制御情報変換・生成
回路213と、制御情報符号化回路214と、制御情報解析回
路215とを備えている。

【０１６５】制御情報復号回路211は、アダプテーショ
ン情報処理回路202から与えられる第１の制御情報の符
号化データを復号して出力する。

【０１６６】品質統計量保持回路212は、アダプテーシ
ョン情報処理回路202から与えられる第１のネットワー
クの品質情報を保持する。

【０１６７】制御情報変換・生成回路213は、入力され
た第１の制御情報を第２の制御情報に変換して出力す
る。あるいはまた、必要に応じて、新規の制御情報を作
成する。制御情報の変換については、すでにITU−TH.24
6勧告に記載されているものはそれに従い、記載されて
いないものは独自のルールを定めて変換するものとす
る。特に、ネットワーク品質に関する制御情報は注意が
必要であり、品質統計量保持回路212に保持されたネッ
トワーク品質情報を参照して動作を決定するが、その詳
細については後述する。

【０１６８】制御情報符号化回路214は、第２の制御情
報を符号化して出力する。

【０１６９】制御情報解析回路215は、制御情報変換・
生成回路213から与えられる第１の制御情報、及び第２
の制御情報を解析し、必要に応じて蓄積し、その後の制
御情報の変換動作で参照できるようにする。また、制御
情報によって判断される送信端末の符号化能力と受信端
末の復号能力の適合性、あるいは制御情報によって判断
される、もしくは推測される第１のネットワークと第２
のネットワークの伝送帯域の適合性などを判断要因とし
て保持し、メディア・トランスコード回路204の動作を
制御する。一般的に、メディア情報のトランスコードは
処理量の大幅な増加を引き起こすので、避けられる場合
には避けた方が良く、また避けられない場合にはその処
理を軽減することが望まれる。このために、網間接続装
置は、端末間、あるいは端末と網間接続装置の間で制御
情報として交換されるメディア情報の符号化・復号能力
を監視し、処理が最小となる組み合わせを選択する、も
しくは端末に選択させるようにしてもよい。

【０１７０】なお、制御情報復号回路211、品質統計量
保持回路212、制御情報符号化回路214は、それぞれ前述
の制御情報復号回路95、品質統計量保持回路96、制御情
報符号化回路98と同じ動作を行う。

【０１７１】図２０は、メディア・トランスコード回路
204の構成の一例を示す図である。図２０を参照する
と、メディア・トランスコード回路204は、第１の切り
替え回路221と、メディア復号回路222と、メディア符号
化回路223と、第２の切り替え回路224とを備えている。

【０１７２】第１の切り替え回路221と第２の切り替え
回路224は、いずれも制御情報トランスコード回路203か
らの指示に従い、第１のメディア情報の符号化データを
トランスコードするか、あるいはそのまま通過させるか
を決定する。

【０１７３】メディア復号回路222は、トランスコード
が選択された場合に、第１のメディア情報の符号化デー
タを復号する。

【０１７４】メディア符号化回路223は、トランスコー
ドが選択された場合に、メディア復号回路222の復号結
果に対して再符号化を施し、第２のメディア情報の符号
化データを生成する。トランスコードの目的に関して
は、同じ符号化アルゴリズムを使用し符号化レートだけ
変更させる場合、あるいは異なる符号化アルゴリズムを
使用しアルゴリズム変換を行う場合などがある。図２０
では省略しているが、これらの動作は制御情報トランス
コード203によって決定され、メディア復号回路222、及
びメディア符号化回路223に通知される。

【０１７５】なお、メディア復号回路222とメディア符
号化回路223は、それぞれ前述のメディア復号回路93、
メディア符号化回路100と同じ動作を行う。

【０１７６】以上説明したように、本発明の第4の実施
例においては、本発明の第１、及び第２の実施例で述べ
たアダプテーション処理の有効性を保持した網間接続装
置の構成が可能となる。

【０１７７】本発明の第4の実施例では、メディア情報
の符号化データが第１のネットワークから第２のネット
ワークに向かう片方向の網間接続しか想定していない。
双方向の網間接続の実施例を以下に説明する。

【０１７８】図２１は、本発明の第５の実施例の構成を
示す図である。図２１を参照すると、本発明の第5の実
施例は、多重化分離回路301と、アダプテーション情報
処理回路302と、制御情報トランスコード回路303と、メ
ディア・トランスコード回路304と、アダプテーション
情報付加回路305と、多重化回路306と、多重化分離回路
307と、アダプテーション情報処理回路308と、制御情報
トランスコード回路309と、メディア・トランスコード
回路310と、アダプテーション情報付加回路311と、多重
化回路312とを備えている。また、多重化分離回路301と
多重化回路312は第１のネットワークに、多重化回路306
と多重化分離回路307は第２のネットワークに、それぞ
れ接続されている。

【０１７９】第１のネットワークから第２のネットワー
クへの第１の網間接続を実現している多重化分離回路30
1と、アダプテーション情報処理回路302と、メディア・
トランスコード回路304と、アダプテーション情報付加
回路305と、多重化回路306、ならびに第２のネットワー
クから第１のネットワークへの第２の網間接続を実現し
ている多重化分離回路307と、アダプテーション情報処
理回路308と、メディア・トランスコード回路310と、ア
ダプテーション情報付加回路311と、多重化回路312は、
それぞれ、前記本発明の第4の実施例で説明した多重化
分離回路201と、アダプテーション情報処理回路202と、
メディア・トランスコード回路204と、アダプテーショ
ン情報付加回路205と、多重化回路206、それぞれと同じ
動作を行う。ただし、第１の網間接続で使用される制御
情報トランスコード回路303と、第２の網間接続で使用
される制御情報トランスコード回路309の間で、相互に
情報を交換できるようになっている。

【０１８０】図２２は、制御情報トランスコード回路30
3と制御情報トランスコード回路309の構成の一例を示し
た図である。図２２を参照すると、制御情報トランスコ
ード回路303は、制御情報復号回路321と、品質統計量保
持回路322と、制御情報変換・生成回路323と、制御情報
符号化回路324と、制御情報解析回路325とを備えてい
る。同様に、制御情報トランスコード回路309は、制御
情報復号回路331と、品質統計量保持回路332と、制御情
報変換・生成回路333と、制御情報符号化回路334と、制
御情報解析回路335とから構成される。

【０１８１】制御情報トランスコード回路303を構成す
る制御情報復号回路321と、品質統計量保持回路322と、
制御情報符号化回路324と、制御情報解析回路325の動
作、ならびに制御情報トランスコード回路309を構成す
る制御情報復号回路331と、品質統計量保持回路332と、
制御情報符号化回路334と、制御情報解析回路335の動作
は、それぞれ本発明の第4の実施例で示した制御情報復
号回路211と、品質統計量保持回路212と、制御情報符号
化回路214と、制御情報解析回路215の動作に同じであ
る。ただし、制御情報変換・生成回路323と制御情報変
換・生成回路333の間で、相互に情報を交換できるよう
になっている。

【０１８２】制御情報変換・生成回路323と制御情報変
換・生成回路333の間で相互に情報交換できるようにす
ることで、いくつかの利点が得られる。このうち最大の
利点として特筆すべき点は、網間接続装置が異なるネッ
トワークに接続された二つの端末になりすまし、第１の
ネットワークに接続された端末と第２のネットワークに
接続された端末との通信を、ネットワーク毎の異なる接
続として分離・終端できるということである。すなわ
ち、網間接続装置は、第１のネットワークに接続された
端末に対しては、第１のネットワークに接続された別の
端末として通信を終端し、第２のネットワークに接続さ
れた端末に対しては、第２のネットワークに接続された
別の端末として通信を終端する。メディア情報に関して
は、同期制御、遅延制御、廃棄制御などのアダプテーシ
ョン処理をいったん完了し、別のネットワークに適合し
たアダプテーション情報を付加して相手端末に送出す
る。

【０１８３】制御情報については、第１のネットワーク
に接続された端末に対しては第１のネットワーク上の通
信としての制御情報を応答し、第２のネットワークに接
続された端末に対しては第２のネットワーク上の通信と
しての制御情報を応答する。そして、端末間で交換され
る制御情報に関しては、あらかじめ定められた変換ルー
ルを適用し、それぞれのネットワークに適合した第２の
制御情報を作成して転送する。

【０１８４】ところで、端末から転送される制御情報が
ネットワークの品質改善を要求するメッセージである場
合、それを転送した端末は、その原因が第１のネットワ
ークに起因するものか第２のネットワークに起因するも
のかを知らない場合がある。例えば、第１の端末が移動
体通信網に接続にしており、第２の端末がインタネット
に接続しており、何らかの原因で第１のネットワークで
ある移動体通信網に障害が発生した場合を考える。この
場合、第１の端末にはメディア品質の劣化が発生し、第
２の端末に対して、移動体通信網に適合した品質改善要
求メッセージを送出する。

【０１８５】次に、網間接続装置は、受け取ったメッセ
ージをインタネットに適合した品質改善要求メッセージ
に変換し、第２の端末に転送する。第２の端末は要求メ
ッセージに応答し、符号化レートを下げる、あるいは移
動体通信網上のIP接続の場合には誤り訂正機能を強化す
るなど、インタネットに適合した形態で品質改善動作を
実行する。しかし、移動体通信網上の障害は一向に改善
されず、前記の動作はさらにメディア品質を劣化させる
だけとなる。こうして、品質改善メッセージの繰り返し
によって、逆に品質が劣化してしまう事態が生じる。

【０１８６】以上の問題を解決するには、網間接続装置
がネットワーク品質も考慮した適切なメッセージ変換を
行えばよい。

【０１８７】そこで、図２３は、制御情報変換・生成回
路323と制御情報変換・生成回路333の動作の一例を示す
フローチャートである。この例では、第１のネットワー
クに接続された端末と第２のネットワークに接続された
端末とが通信を行っており、第１のネットワークに接続
された端末からの制御情報メッセージが網間接続装置に
着信した場合を想定している。

【０１８８】まずステップ341では、第１のネットワー
クから制御情報メッセージが入力され、ステップ342に
進む。

【０１８９】ステップ342では、通常の変換ルールに従
って処理してよい制御情報かどうかを調べ、処理してよ
い場合はステップ343に、処理してはならない場合はス
テップ344に進む。

【０１９０】ステップ343では、例えばITU−TH.246に記
載されている変換ルールなどに従って通常の制御情報の
変換・生成処理を実行し、作成した制御情報を第１のネ
ットワークに返すか、あるいは第２のネットワークに転
送する。

【０１９１】ステップ344では、入力された制御情報が
ネットワーク品質の改善要求かどうかを調べ、改善要求
である場合はステップ345に、改善要求でない場合はス
テップ348に進む。

【０１９２】ステップ345では、品質統計量保持回路を
参照してネットワーク品質の劣化の原因を調査し、原因
が第１のネットワークにある場合はステップ346に、第
２のネットワークにある場合はステップ347に進む。

【０１９３】ステップ346では、応答用の制御情報を作
成して第１のネットワークに返す。

【０１９４】ステップ347では、第２のネットワーク用
の品質改善要求制御情報として第２のネットワークに転
送する。

【０１９５】ステップ348では、入力された制御情報が
ネットワーク品質の改善要求に対する応答かどうかを調
べ、応答である場合はステップ349に、応答でない場合
はステップ350に進む。

【０１９６】ステップ349では、拒絶メッセージとして
の制御情報を作成し、第２のネットワークに転送する。
なお、これは第２のネットワークに接続された端末から
事前に品質改善要求が行われた場合の対処の一例であ
る。

【０１９７】ステップ350では、入力された制御情報は
未知のメッセージであるとして、その旨を通知する制御
情報を作成し、第１のネットワークに返す。

【０１９８】図２４、及び図２５は、本発明の第5の実
施例によって実現される網間接続装置の動作を、具体例
を用いて模式的に示した図である。

【０１９９】図２４は、第１のネットワークに接続され
た端末Ａと、第２のネットワークに接続された端末Ｂ
が、第１のネットワークと第２のネットワークの間に位
置する網間接続装置を介して通信を行っており、特に端
末Ａから端末Ｂに符号化データが片方向で送信されてい
る場合を示している。

【０２００】端末Ａから符号化データを受け取った網間
接続装置は、アダプテーション情報処理を実行し、その
結果として得られる第１のネットワークの遅延、ビット
誤り率、パケット廃棄率などの品質情報を自身の持つ品
質統計量保持回路に蓄積する。

【０２０１】網間接続装置から符号化データを受け取っ
た端末Ｂは、同じくアダプテーション情報処理を実行
し、その結果として得られる第１のネットワークの遅
延、ビット誤り率、パケット廃棄率などの品質情報を自
身の持つ品質統計量保持回路に蓄積する。

【０２０２】図２４では、端末Ａと端末Ｂの通信は網間
多重化装置によって一旦終端され、端末Ｂは第１のネッ
トワークに関する情報を何も知らない場合を想定してい
る。このため、端末Ｂは第２のネットワークの品質情報
のみを把握・保持している。ただし、誤りを通知するた
めに端末Ｂにダミーデータを転送する方式も可能であ
り、本発明は図２４に例示したものに限定されるもので
はない。

【０２０３】図２５は、図２４に対応して、端末Ｂから
品質改善を要求する制御情報メッセージが送出された場
合の網間接続装置の動作の詳細を示している。

【０２０４】端末Ｂからの品質改善要求を受け取ると、
網間接続装置は自身の品質統計量保持回路を参照して、
第１のネットワークに問題がないかを調査する。第１の
ネットワークに問題があると判断した場合、網間接続装
置は端末Ａに対して、第１のネットワークに適合した形
態の品質改善要求メッセージを通知する。端末Ａはこれ
に応答し、網間接続装置に対して応答メッセージを返
す。

【０２０５】網間接続装置は端末Ａからの応答メッセー
ジを受け取ると、端末Ｂに対して、端末Ｂからの品質改
善動作は拒絶する旨を伝える拒絶メッセージを通知す
る。端末Ａが拒絶した場合には、網間接続装置はやはり
拒絶メッセージを作成し、端末Ｂに通知する。一方、第
１のネットワークに問題がないと判断した場合には、網
間接続装置は端末Ｂに対して応答メッセージを通知し、
かつ品質改善動作を実行する。以上の動作によって、そ
れぞれのネットワーク上の問題は緩和され、品質改善が
実現される。なお、以上の動作はすべての処理がアダプ
テーション情報の変更のみで実現される場合を想定して
いるが、伝送レートの変更など、符号化レベルの変更を
伴う場合には、その旨メッセージを追加して対応する。

【０２０６】なお、上記の例では片方向のメディア転送
のみを示したが、双方向の場合でもそのまま適用され
る。さらにはまたインタネット上でRTPを使用する場合
には、その対としてRTCPが使用されるために、これを用
いて遅延や廃棄率を評価することも可能である。

【０２０７】図２６は、具体的な例としてITU−T H.245
で使用される制御情報メッセージを示している。多重化
方式としてはH.222、H.223、及びH.225の場合を示して
いる。「共通」と記した項目は、ネットワークに依存せ
ず、すべての多重化手段共通に使用されるメッセージで
ある。「依存」、及び「使用する」と記した項目は、ネ
ットワークに依存して使用される項目である。この中
で、多重化モード、及び多重化再構成に関係するメッセ
ージがネットワーク品質に影響を与えるもので、本発明
が着目している制御情報である。

【０２０８】以上説明したように、本発明の第5の実施
例においては、双方向の網間接続が実現され、さらには
ネットワークの品質改善要求に矛盾をきたさない制御情
報の通知が可能になり、安定したマルチメディア通信が
実現される。

【０２０９】本発明の第5の実施例では、通信を行って
いる端末間に1つの網間接続装置が存在する場合しか想
定していない。以下では、端末間に複数の網間接続装置
が存在する例について説明する。

【０２１０】図２７は、本発明の第６の実施例の構成を
示す図である。図２７を参照すると、本発明の第6の実
施例は、第１のネットワークに接続された端末401と第3
のネットワークに接続された端末403が、第１のネット
ワークと第２のネットワークの間に位置する網間接続装
置402と、第２のネットワークと第3のネットワークの間
に位置する網間接続装置403を介して通信を行ってお
り、さらに網間接続装置402と網間接続装置403は相互に
ネットワークの品質統計量を情報交換する手段を備えて
いる。

【０２１１】次に、図２８は、網間接続装置402、及び
網間接続装置403の動作シーケンスの詳細を示す図であ
る。図２８では、第１のネットワークに接続された端末
Ａと、第3のネットワークに接続された端末Ｂが、第１
のネットワークと第２のネットワークの間に位置する第
１の網間接続装置、及び第２のネットワークと第3のネ
ットワークの間に位置する第２の網間接続装置を介して
通信を行っており、端末Ｂから品質改善を要求する制御
情報メッセージが送出された場合の、それぞれの網間接
続装置の動作シーケンスの一例を示している。なお、網
間接続装置の間では事前に品質統計量の情報交換が行わ
れており、それぞれの網間接続装置が第１、第２、第3
のネットワークの通信状況を把握している。

【０２１２】端末Ｂからの品質改善要求を受け取ると、
第２の網間接続装置は自身の品質統計量保持回路を参照
し、第２のネットワークに問題がないかを調査する。第
２のネットワークに問題があると判断した場合、第２の
網間接続装置は第１の網間接続装置に対して、第２のネ
ットワークに適合した形態の品質改善要求メッセージを
通知する。第２の網間接続装置からの品質改善要求を受
け取ると、第１の網間接続装置は自身の品質統計量保持
回路を参照し、第１のネットワークに問題がないかを調
査する。第１のネットワークに問題があると判断した場
合、第１の網間接続装置は端末Ａに対して、第１のネッ
トワークに適合した形態の品質改善要求メッセージを通
知する。端末Ａはこれに応答し、第１の網間接続装置に
対して応答メッセージを返す。端末Ａからの応答メッセ
ージを受け取ると、第１の網間接続装置は第２の網間接
続装置に対して、第２の網間接続装置からの品質改善動
作は拒絶する旨を伝える拒絶メッセージを通知する。端
末Ａが拒絶した場合にも、第１の網間接続装置はやはり
拒絶メッセージを作成し、第２の網間接続装置に通知す
る。第１の網間接続装置からの拒絶メッセージを受け取
ると、第２の網間接続装置は端末Ｂに対して、端末Ｂか
らの品質改善動作は拒絶する旨を伝える拒絶メッセージ
を通知する。次に、第１の網間接続装置が、第２のネッ
トワークに問題があると判断した場合、第１の網間接続
装置は第２の網間接続装置に対して応答メッセージを通
知し、かつ品質改善動作を実行する。第１の網間接続装
置からの応答メッセージを受け取ると、第２の網間接続
装置は端末Ｂに対して、端末Ｂからの品質改善動作は拒
絶する旨を伝える拒絶メッセージを通知する。

【０２１３】次に、第２の網間接続装置が、第3のネッ
トワークに問題があると判断した場合、第２の網間接続
装置は端末Ｂに対して応答メッセージを通知し、かつ品
質改善動作を実行する。以上の動作によって、それぞれ
のネットワーク上の問題は緩和され、品質改善が実現さ
れる。なお、以上の動作はすべての処理がアダプテーシ
ョン情報の変更のみで実現される場合を想定している
が、伝送レートの変更など、符号化レベルの変更を伴う
場合には、その旨メッセージを追加して対応する。

【０２１４】インタネットの場合には、品質統計量の交
換はRTCPによって提供されるために冗長となるが、その
ほかのネットワークでは提供されないのが通常である。
また、その機能をすべての端末に強いるのは不効率であ
る。そこで、網間接続装置のみに上記の機能を付加する
のが効率的である。なお、網間接続装置間での具体的な
情報交換の手段については、RTCPの場合のように、メデ
ィア情報と共有されるチャネル上でインバンドに行う場
合と、通常の電話交換機のように、メディア情報のチャ
ネルとは別にアウトバンドで行う場合が考えられるが、
本発明ではこれについては何ら言及しないものとする。

【０２１５】以上説明したように、本発明の第6の実施
例においては、複数個の網間接続装置が介在する場合で
も、ネットワークの品質改善要求に矛盾をきたさない制
御情報の通知が可能になり、安定したマルチメディア通
信が実現される。

【０２１６】図２９は、本発明に係るマルチメディア端
末装置及び本発明に係る網間接続装置を適用したシステ
ム構成の一例を示す図である。本発明に係るマルチメデ
ィア端末装置である端末Ａと端末Ｂが、移動体通信網、
インタネット、ATM網を介してマルチメディア通信を行
っている、また、移動体通信網とインタネットの間、及
びインタネットとATM網の間には、それぞれ本発明に係
る網間接続装置が配置されている。

【０２１７】本発明に係るマルチメディア端末装置は、
音声情報、映像情報、制御情報の符号化データにアダプ
テーション情報を付加して送信し、またそれを受信して
復号、再生、表示を行っている。本発明のアダプテーシ
ョン情報処理のために、安定した同期再生、誤り制御が
実現されている。

【０２１８】一方、本発明に係る網間接続装置は、ネッ
トワークから受信した符号化データに本発明のアダプテ
ーション情報処理を適用し、安定した同期再生、誤り制
御を実現した上で別のネットワークに適合したアダプテ
ーション情報を付加して転送している。本発明の制御情
報処理によって、安定した網間接続を実現している。

【０２１９】図３０は、本発明に係るマルチメディア端
末装置及び本発明に係る網間接続装置を適用したシステ
ム構成の一例を示す図である。本発明に係るマルチメデ
ィア端末装置である端末Ａと端末Ｂが、インタネット、
ISDN・電話網、移動体通信網を介してマルチメディア通
信を行っている、また、インタネットとISDN・電話網の
間、及びISDN・電話網と移動体通信網の間には、それぞ
れ本発明の網間接続装置が配置されている。

【０２２０】図２９に示した構成と同じく、本発明に係
るマルチメディア端末装置は、音声情報、映像情報、制
御情報の符号化データにアダプテーション情報を付加し
て送信し、またそれを受信して復号、再生、表示を行っ
ている。本発明に係るマルチメディア端末装置における
前記したアダプテーション情報処理を行なうために、安
定した同期再生、誤り制御が実現されている。

【０２２１】一方、本発明に係る網間接続装置は、ネッ
トワークから受信した符号化データに本発明に係る網間
接続装置における前記したアダプテーション情報処理を
適用し、安定した同期再生、誤り制御を実現した上で別
のネットワークに適合したアダプテーション情報を付加
して転送しており、安定した網間接続を実現している。

【０２２２】

【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。

【０２２３】本発明の第１の効果は、特にインタネット
のような可変遅延網を介してマルチメディア情報が送信
されてくる場合に、パケットの同期管理、順序制御、廃
棄処理などのアダプテーション処理に関して効率化を図
ることができ、効果的なマルチメディア処理端末が実現
可能としている、ということである。

【０２２４】その理由は、本発明においては、特に時刻
管理と廃棄制御の相互作用に対する工夫、及び順序制御
を簡略化する符号化データの保持手段に対する工夫によ
るものである。

【０２２５】本発明の第２の効果は、特にインタネット
のような可変遅延網においても、ネットワークの状況に
適応しながら再生遅延時間を低く抑え、かつ廃棄率が増
加した場合には順応に対処するマルチメディア端末装置
を実現可能としている、ということである。その理由
は、メディア情報の特性を活用した柔軟な遅延制御、な
らびに廃棄制御に対する工夫によるものである。

【０２２６】本発明の第３の効果は、従来に比して効果
的な受信、送信双方を行うマルチメディア端末装置が実
現可能としている、ということである。その理由は、第
１、及び第２の効果を保ちつつ、端末装置に送信手段を
組み込んだためである。

【０２２７】本発明の第４の効果は、従来に比して効果
的な網間接続装置を実現可能としている、ということで
ある。これは、第１、及び第２の効果を、網間接続装置
に対しても組み込んだためである。

【０２２８】本発明の第５の効果は、従来に比して安定
したマルチメディア転送を行う網間接続装置を実現可能
としている、ということである。これは、ネットワーク
の品質改善要求に矛盾をきたさないように、制御情報の
通知メカニズムに工夫を加えたからである。

【０２２９】本発明の第６の効果は、複数の網間接続装
置が介在する場合でも、従来に比して安定したマルチメ
ディア転送を行う網間接続装置を実現可能としている、
ということである。これは、網間接続装置間でネットワ
ークの品質情報を相互交換できるようにしたからであ
る。

【図面の簡単な説明】

【図１】本発明に係るマルチメディア端末装置の第１の
実施例の構成を示す図である。

【図２】本発明の第１の実施例におけるアダプテーショ
ン情報処理回路の構成を示す図である。

【図３】本発明の第１の実施例におけるアダプテーショ
ン処理回路の構成を示す図である。

【図４】本発明の第１の実施例における蓄積回路の構成
を示す図である。

【図５】本発明の第１の実施例における蓄積回路に記録
されるデータ構造を示す図である。

【図６】本発明の第１の実施例におけるアダプテーショ
ン情報処理回路の動作を示す図である。

【図７】本発明の第１の実施例におけるアダプテーショ
ン処理の動作を示す流れ図である。

【図８】本発明の第１の実施例におけるアダプテーショ
ン情報処理回路の出力処理の動作を示す流れ図である。

【図９】本発明に係るマルチメディア端末装置の第１の
実施例におけるパケット廃棄を示す図である。

【図１０】本発明に係るマルチメディア端末装置の第１
の実施例におけるデータ蓄積例を示す図である。

【図１１】本発明のマルチメディア端末装置の第１の実
施例におけるデータ蓄積例を示す図である。

【図１２】再同期情報を示す図である。

【図１３】本発明に係るマルチメディア端末装置の第１
の実施例におけるシーケンスナンバの扱いを説明するた
めの図である。

【図１４】本発明に係るマルチメディア端末装置の第２
の実施例におけるアダプテーション情報処理回路の構成
を示す図である。

【図１５】本発明に係るマルチメディア端末装置の第２
の実施例におけるオフセット遅延回路の動作を示す流れ
図である。

【図１６】本発明に係るマルチメディア端末装置の第３
の実施例の構成を示す図である。

【図１７】本発明の第３の実施例におけるアダプテーシ
ョン情報付加回路の構成を示す図である。

【図１８】本発明に係る網間接続装置の一実施例の構成
を示す図である。

【図１９】本発明に係る網間接続装置の一実施例におけ
る制御情報トランスコード回路の構成を示す図である。

【図２０】本発明に係る網間接続装置の一実施例におけ
るメディア・トランスコード回路の詳細な構成を示す図
である。

【図２１】本発明に係る網間接続装置の第２の実施例の
構成を示す図である。

【図２２】本発明に係る網間接続装置の第２の実施例に
おける制御情報トランスコード回路の構成を示す図であ
る。

【図２３】本発明に係る網間接続装置の第２の実施例に
おける制御情報変換・生成回路の動作を示す流れ図であ
る。

【図２４】本発明の網間接続装置の第２の実施例の具体
例を示す図である。

【図２５】本発明の網間接続装置第２の実施例の動作を
示す流れ図である。

【図２６】具体的な制御情報を示す図である。

【図２７】本発明の網間接続装置の第３の実施例の構成
を示す図である。

【図２８】本発明の網間接続装置の第３の実施例の動作
を示す流れ図である。

【図２９】本発明の適用例を示す図である。

【図３０】本発明の適用例を示す図である。

【図３１】ネットワークを介して通信を行う端末のプロ
トコル階層を示す図である。

【図３２】具体的なアダプテーション情報の例を示す図
である。

【図３３】具体的な多重化方式のプロトコル階層の例を
示す図である。

【図３４】網間接続装置のプロトコル階層を示す図であ
る。

【符号の説明】

１ 多重化分離回路 ２ アダプテーション情報処理回路 ３ メディア復号回路 ４ メディア出力回路 ５ 制御情報復号回路 ６ 品質統計量保持回路 ７ 制御回路 １１、７１ パケット受信回路 １２、７２ アダプテーション情報分離回路 １３、７３ アダプテーション情報保持回路 １４、７４ クロック生成回路 １５、７５ オフセット遅延付加回路 １６、７６ アダプテーション処理回路 １７、７７ 出力タイミング発生回路 １８、７８ 蓄積回路 ２１ 誤り検出回路 ２２ 誤り訂正回路 ２３ タイムアウト判定回路 ２４ 順序番号比較回路 ２５ 書き込み回路 ２６ 読み出し制御回路 ２７ 記憶回路 ３１ 開始ステップ ３２ パケット受信分岐 ３３ アダプテーション情報分離 ９１ 多重化分離回路 ９２ アダプテーション情報処理回路 ９３ メディア復号回路 ９４ メディア出力回路 ９５ 制御情報復号回路 ９６ 品質統計量保持回路 ９７ 制御回路 ９８ 制御情報符号化回路 ９９ メディア入力回路 １００ メディア符号化回路 １０１ アダプテーション情報付加回路 １０２ 多重化回路 １１１ パケット化回路 １１２ 順序番号付加回路 １１３ タイムスタンプ付加回路 １１４ 誤り検出符号訂正付加回路 ２０１ 多重化分離回路 ２０２ アダプテーション情報処理回路 ２０３ 制御情報トランスコード回路 ２０４ メディア・トランスコード回路 ２０５ アダプテーション情報付加回路 ２０６ 多重化回路 ２１１ 制御情報復号回路 ２１２ 品質統計量保持回路 ２１３ 制御情報変換・生成回路 ２１４ 制御情報符号化回路 ２１５ 制御情報解析回路 ２２１ 第１の切り替え回路 ２２２ メディア復号回路 ２２３ メディア符号化回路 ２２４ 第２の切り替え回路 ３０１ 多重化分離回路 ３０２ アダプテーション情報処理回路 ３０３ 制御情報トランスコード回路 ３０４ メディア・トランスコード回路 ３０５ アダプテーション情報付加回路 ３０６ 多重化回路 ３０７ 多重化分離回路 ３０８ アダプテーション情報処理回路 ３０９ 制御情報トランスコード回路 ３１０ メディア・トランスコード回路 ３１１ アダプテーション情報付加回路 ３１２ 多重化回路 ３２１ 制御情報復号回路 ３２２ 品質統計量保持回路 ３２３ 制御情報変換・生成回路 ３２４ 制御情報符号化回路 ３２５ 制御情報解析回路 ３３１ 制御情報復号回路 ３３２ 品質統計量保持回路 ３３３ 制御情報変換・生成回路 ３３４ 制御情報符号化回路 ３３５ 制御情報解析回路

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5K030 GA01 HA08 HB15 HB16 HB21 HD03 JA01 JT10 KA03 KA19 LA15 LB11 LB15 LC18 LE17 MB01 MB13 5K033 AA02 AA03 BA15 CB06 CB08 CB15 DA05 DB10 DB13 DB16 DB17 DB18 EA06 EA07 EC04 5K051 AA02 BB01 BB02 JJ13 5K101 RR05 SS08

Claims (14)

【特許請求の範囲】
1. 【請求項１】ネットワークを介して送られてくる、音声
   及び／又は映像信号と制御情報の符号化データに、タイ
   ムスタンプ及びシーケンスナンバを少なくとも含むアダ
   プテーション情報が付加されているデータを受信し、復
   号、及び再生するマルチメディア端末装置であって、 前記ネットワークから送られ受信したデータの多重化ビ
   ットストリームを多重化分離する多重化分離手段と、 前記多重化分離手段から出力されるデータを受けとり前
   記アダプテーション情報を処理し、同期制御、廃棄制御
   を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段で得られたネットワ
   ーク品質情報を保持する品質統計量保持手段と、 前記多重化分離手段から出力されるデータを受けとり前
   記符号化データのうち音声及び／又は映像のメディア情
   報を復号するメディア復号手段と、 復号された前記メディア情報を出力する手段と、 前記符号化データのうち制御情報を復号する制御情報復
   号手段と、 復号された前記制御情報と前記品質統計量保持手段に保
   持されるネットワーク品質情報とに基づき自端末装置の
   所要の制御を行う制御手段と、 を含むことを特徴とするマルチメディア端末装置。
2. 【請求項２】前記アダプテーション情報処理手段が、 前記多重化分離手段から出力されるパケットデータを受
   信する受信手段と、 前記受信手段で受信された前記パケットデータをアダプ
   テーション情報と符号化データとに分離するアダプテー
   ション情報分離手段と、 前記アダプテーション情報を保持するアダプテーション
   情報保持手段と、 オフセット付き時刻情報を与えるオフセット遅延付加手
   段と、 前記アダプテーション情報と前記オフセット付き時刻情
   報とを用いてアダプテーション処理を実行するアダプテ
   ーション処理手段と、 前記アダプテーション情報と前記オフセット付き時刻と
   を用いて出力タイミングを生成する出力タイミング発生
   手段と、 前記アダプテーション処理手段から出力される符号化デ
   ータを蓄積保持し、前記出力タイミングに従って前記符
   号化データを出力する蓄積手段と、 を含む、ことを特徴とする請求項１記載のマルチメディ
   ア端末装置。
3. 【請求項３】前記アダプテーション処理手段が、 前記アダプテーション情報と前記オフセット付き時刻と
   を用いて選択的に符号化データを廃棄するとともにネッ
   トワーク品質の評価を行い、符号化データの廃棄数を含
   むネットワーク品質評価結果を前記品質統計量保持手段
   に通知するタイムアウト判定手段と、 前記アダプテーション情報を用いてシーケンスナンバー
   をチェックすることでネットワーク品質の評価を行い、
   ネットワーク品質評価結果を前記品質統計量保持手段に
   通知する順序番号比較手段と、 前記アダプテーション情報を用いて前記蓄積手段にアダ
   プテーション処理の終了した符号化データを書き込む書
   き込み手段と、 を少なくとも含む、ことを特徴とする請求項２記載のマ
   ルチメディア端末装置。
4. 【請求項４】前記蓄積手段が、前記アダプテーション情
   報と前記符号化データの有効・無効を示す情報と符号化
   データの長さを示す情報を管理情報として保持し、符号
   化データを保持する記憶手段と、 前記出力タイミングと前記管理情報に従って符号化デー
   タを出力する読み出し制御手段と、 を含む、ことを特徴とする請求項２又は３記載のマルチ
   メディア端末装置。
5. 【請求項５】前記オフセット遅延付加手段が、前記品質
   統計量保持手段に保持されたネットワーク品質情報と前
   記メディア復号手段からの入力とを用いてオフセット遅
   延を適応的に変化させる、ことを特徴とする請求項２記
   載のマルチメディア端末装置。
6. 【請求項６】ネットワークを介して送られてくる音声信
   号及び／又は、映像信号と制御情報を含む符号化データ
   を受信、復号、及び再生するマルチメディア端末装置で
   あって、 前記符号化データにはタイムスタンプやシーケンスナン
   バ等のアダプテーション情報が付加されており、 前記マルチメディア端末装置は、前記符号化データの多
   重化ビットストリームを多重化分離する多重化分離手段
   と、 前記アダプテーション情報を処理し、同期制御、廃棄制
   御を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から得られるネット
   ワーク品質情報を保持する品質統計量保持手段と、 前記符号化データのうち音声や映像のメディア情報を復
   号するメディア復号手段と、 復号された前記メディア情報を出力する手段と、 前記符号化データのうち制御情報を復号する制御情報復
   号手段と、 復号された前記制御情報と前記品質統計量保持手段に保
   持されたネットワーク品質情報に基づき端末装置の制御
   を行う制御手段と、 を備え、 前記アダプテーション情報処理手段が、 パケット受信手段と、 受信された前記パケットをアダプテーション情報と符号
   化データに分離するアダプテーション情報分離手段と、 前記アダプテーション情報を保持するアダプテーション
   情報保持手段と、オフセット付き時刻を与えるオフセッ
   ト遅延付加手段と、 前記アダプテーション情報と前記オフセット付き時刻を
   用いてアダプテーション処理を実行するアダプテーショ
   ン処理手段と、 前記アダプテーション情報と前記オフセット付き時刻を
   用いて出力タイミングを提供する出力タイミング発生手
   段と、 前記アダプテーション処理手段から与えられる符号化デ
   ータを保持し、前記出力タイミングに従って前記符号化
   データを出力する蓄積手段と、 を備え、 前記アダプテーション処理手段が、前記アダプテーショ
   ン情報と前記オフセット付き時刻を用いて選択的に符号
   化データを廃棄し、かつネットワーク品質の評価を行い
   外部の品質統計量保持手段に通知するタイムアウト判定
   手段と、 前記アダプテーション情報を用いてネットワーク品質の
   評価を行い前記品質統計量保持手段に通知する順序番号
   比較手段と、 前記アダプテーション情報を用いて前記蓄積手段に符号
   化データを書き込む書き込み手段と、を備え、さらに、 前記蓄積手段が、前記アダプテーション情報と符号化デ
   ータの有効・無効を示す情報と符号化データの長さを示
   す情報を管理情報として保持し、符号化データを保持す
   る記憶手段と、前記出力タイミングと前記管理情報に従
   って符号化データを出力する読み出し制御手段と、 を備えたことを特徴とするマルチメディア端末装置。
7. 【請求項７】音声及び／又は映像のメディア情報を入力
   する手段と、 前記メディア情報を符号化するメディア符号化手段と、 前記制御手段の出力する制御情報を符号化する制御情報
   符号化手段と、 前記メディア符号化手段、及び前記制御情報符号化手段
   の出力である符号化データに新たなアダプテーション情
   報を付加するアダプテーション情報付加手段と、 前記アダプテーション情報付加手段の出力を多重化して
   ネットワークに送出する多重化手段とをさらに備えるこ
   とを特徴とする請求項１、２、６のいずれか一に記載の
   マルチメディア端末装置。
8. 【請求項８】異なる伝送方式を使用する第１のネットワ
   ークと第２のネットワークの間に配設され、前記第１の
   ネットワークに接続された端末と前記第２のネットワー
   クに接続された端末とを相互接続し、音声信号、映像信
   号、及び制御情報等の符号化データを転送する網間接続
   装置であって、 前記符号化データには、タイムスタンプ及びシーケンス
   ナンバを少なくとも含むアダプテーション情報が付加さ
   れており、 前記網間接続装置が、前記第１のネットワークから前記
   第２のネットワークに向かう網間接続手段を備え、 前記網間接続手段が、 前記符号化データの多重化ビットストリームを多重化分
   離する多重化分離手段と、 前記アダプテーション情報を処理し、同期制御、廃棄制
   御等を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から与えられる第１
   の制御情報の符号化データを変換するか、もしくは新た
   に生成し、第２の制御情報の符号化データを出力する制
   御情報トランスコード手段と、 前記アダプテーション情報処理手段から与えられる第１
   のメディア情報の符号化データを、前記制御情報トラン
   スコード手段の制御出力に応じて変換するか、もしくは
   通過し、第２のメディア情報の符号化データを出力する
   メディア・トランスコード手段と、 前記制御情報トランスコード手段及びメディア・トラン
   スコード手段からの符号化データ出力を受け、新たなア
   ダプテーション情報を付加するアダプテーション情報付
   加手段と、 前記アダプテーション情報付加手段の出力を多重化して
   ネットワークに送出する多重化手段と、 を備えたことを特徴とする網間接続装置。
9. 【請求項９】前記アダプテーション情報処理手段が、 前記多重化分離手段から出力されるパケットデータを受
   信する受信手段と、 受信された前記パケットデータをアダプテーション情報
   と符号化データとに分離するアダプテーション情報分離
   手段と、 前記アダプテーション情報を保持するアダプテーション
   情報保持手段と、 オフセット付き時刻情報を与えるオフセット遅延付加手
   段と、 前記アダプテーション情報と前記オフセット付き時刻情
   報とを用いてアダプテーション処理を実行するアダプテ
   ーション処理手段と、 前記アダプテーション情報と前記オフセット付き時刻を
   用いて出力タイミングを生成する出力タイミング発生手
   段と、 前記アダプテーション処理手段から与えられる符号化デ
   ータを保持し、前記出力タイミングに従って前記符号化
   データを出力する蓄積手段と、 を備えた、を備えたことを特徴とする請求項８記載の網
   間接続装置。
10. 【請求項１０】前記アダプテーション処理手段が、 前記アダプテーション情報と前記オフセット付き時刻を
    用いて選択的に符号化データを廃棄するとともにネット
    ワーク品質の評価を行い、符号化データの廃棄数を含む
    ネットワーク品質評価結果を前記品質統計量保持手段に
    通知するタイムアウト判定手段と、 前記アダプテーション情報を用いてシーケンスナンバー
    をチェックすることでネットワーク品質の評価を行い、
    ネットワーク品質評価結果を前記品質統計量保持手段に
    通知する順序番号比較手段と、 前記アダプテーション情報を用いて前記蓄積手段にアダ
    プテーション処理の終了した符号化データを書き込む書
    き込み手段と、 を少なくとも含む、ことを特徴とする請求項９記載の網
    間接続装置。
11. 【請求項１１】前記制御情報トランスコード手段が、 前記第１の制御情報の符号化データを復号する制御情報
    復号手段と、 前記アダプテーション情報処理手段から得られるネット
    ワーク品質情報を保持する品質統計量保持手段と、 前記品質統計量保持手段に保持されたネットワーク品質
    情報を用いて前記第１の制御情報を変換し、必要に応じ
    て新たに生成を行い、前記第２の制御情報を出力する制
    御情報変換生成手段と、 前記第１の制御情報及び前記第２の制御情報を解析・蓄
    積する制御情報解析手段と、 前記第２の制御情報を符号化する制御情報符号化手段
    と、 を備えたことを特徴とする請求項８記載の網間接続装
    置。
12. 【請求項１２】前記メディア・トランスコード手段が、
    前記第１のメディア情報の符号化データを復号するメデ
    ィア復号手段と、 前記メディア復号手段の出力をトランスコードするメデ
    ィア符号化手段と、 前記制御情報トランスコード手段から与えられる制御情
    報に従ってメディア情報のトランスコードの実行を制御
    する切り替え手段と、 を備えたことを特徴とする請求項８記載の網間接続装
    置。
13. 【請求項１３】異なる伝送方式を使用する第１のネット
    ワークと第２のネットワークの間に配設され、前記第１
    のネットワークに接続された端末と前記第２のネットワ
    ークに接続された端末を相互接続し、音声信号及び／又
    は映像信号と制御情報を含む符号化データを転送する網
    間接続装置であって、 前記符号化データには、タイムスタンプ及びシーケンス
    ナンバを少なくとも含むアダプテーション情報が付加さ
    れており、 前記網間接続装置は、前記第１のネットワークから前記
    第２のネットワークに向かう第１の網間接続手段と、 前記第２のネットワークから前記第１のネットワークに
    向かう第２の網間接続手段と、を備え、 前記第１の網間接続手段及び前記第２の網間接続手段の
    少なくとも一方は、 前記符号化データの多重化ビットストリームを多重化分
    離する多重化分離手段と、 前記アダプテーション情報を処理し、同期制御、廃棄制
    御等を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から与えられる第１
    の制御情報の符号化データを変換するか、もしくは新た
    に生成し、第２の制御情報の符号化データを出力する制
    御情報トランスコード手段と、 前記アダプテーション情報処理手段から与えられる第１
    のメディア情報の符号化データを、前記制御情報トラン
    スコード手段の制御出力に応じて変換するか、もしくは
    通過し、第２のメディア情報の符号化データを出力する
    メディア・トランスコード手段と、 前記制御情報トランスコード手段及びメディア・トラン
    スコード手段からの符号化データ出力を受け、新たなア
    ダプテーション情報を付加するアダプテーション情報付
    加手段と、 前記アダプテーション情報付加手段の出力を多重化して
    ネットワークに送出する多重化手段と、 を備え、 さらに、前記第１の網間接続手段、及び前記第２の網間
    接続手段に含まれる制御情報変換生成手段が、互いに情
    報交換を行う手段を備え、 端末から受信した制御情報がネットワーク品質に関係す
    る情報である場合には、前記第１のネットワーク、及び
    前記第２のネットワークのネットワーク品質情報を用い
    て前記制御情報を変換し、必要に応じて新規生成を行
    い、第２の制御情報を出力する、ことを特徴とする網間
    接続装置。
14. 【請求項１４】請求項８乃至１３のいずれか一に記載の
    網間接続装置において、 前記網間接続装置が、異なる伝送方式を使用するネット
    ワーク間に配設され、異なるネットワークに接続された
    端末を相互接続し、音声信号、映像信号、及び制御情報
    の符号化データを転送し、 前記端末間に複数個の前記網間接続装置が存在する場
    合、さらに、前記網間接続装置間で相互に情報交換を行
    う手段を備えたことを特徴とする網間接続装置。