JPH089372A - 受信ビデオ信号のフレーム伝送速度を高める装置 - Google Patents

受信ビデオ信号のフレーム伝送速度を高める装置

Info

Publication number
JPH089372A
JPH089372A JP7084490A JP8449095A JPH089372A JP H089372 A JPH089372 A JP H089372A JP 7084490 A JP7084490 A JP 7084490A JP 8449095 A JP8449095 A JP 8449095A JP H089372 A JPH089372 A JP H089372A
Authority
JP
Japan
Prior art keywords
frame
speaker
video signal
image
received video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7084490A
Other languages
English (en)
Inventor
Tsuhan Chen
チェン ツハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Publication of JPH089372A publication Critical patent/JPH089372A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0356—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for synchronising with other signals, e.g. video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 （修正有） 【構成】 話者の画像のフレーム伝送速度を高める方法
は話者による発声を示す音声信号と関連するビデオ信号
をモニタリングすることからなる。音声信号は再構成す
べき１個以上のフレーム又はフィールドに対応し、音声
信号の個々の部分は顔面特徴情報と結合される。顔面情
報は口腔フォーメーションと、音素又はその他の音声系
基準から誘導された位置情報を含み、この位置情報か
ら、話者の口腔位置を正確に予測することができる。画
像のフィールド又はフレームは現存フレームから抽出さ
れる画像特徴を使用し、かつ、検出音素に結合される顔
面特徴情報を用いることにより再構成される。 【効果】 話者の発音及び少なくとも一つの伝送あるい
は記憶フィールド又はフレームからの情報を用いて話者
の個人的シーケンスを示すビデオ信号の非伝送又は非記
憶フィールド又はフレームの改良された再構成を可能に
する装置及び方法が得られる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はビデオ信号の処理に関す
る。更に詳細には、本発明は音声分析技法を用いるビデ
オ信号の補間及び符号化システムに関する。
【０００２】
【従来の技術】マルチメディア、テレビ電話及びテレコ
ンファレンス用途では、帯域幅及び記憶空間の制限によ
り比較的低いフレーム伝送速度（一般的に、５〜１０フ
レーム／秒であるが、若干の用途については１〜２フレ
ーム／秒の低速度もある）しかできない。
【０００３】現行の画像符号化スタンダードはこのよう
な低ビット伝送速度でも動作できるが、時相及び空間解
像度間の二律背反は視覚的に不快な動画又は空間的偽画
像を生成する。従って、フリッカの無い、スムーズな動
画修飾のためにフレーム伝送速度を増大させる手段とし
て、伝送又は記憶フレーム間を補間するための様々な技
法が提案されている。
【０００４】例えば、テレビ画像のフレーム間符号化で
は、通常の速度の何分の１の速度で、ビデオ信号をサブ
サンプリングすることにより、数個のフレーム又はフィ
ールドから情報をドロップ又は廃棄することが知られて
いる。受信機において、非伝送フレーム又はフィールド
に包含される情報の再構成バージョンは、伝送フィール
ドから誘導される情報を用いて、補間することにより得
られる。
【０００５】処理されている画素の位置に最も密接に関
連する固定位置における先行及び後続伝送フィールド内
の画素を画成する強度情報を平均化することにより、単
純線形補間を実施できる。或る場合には、補間は適応的
に行うことができる。例えば、特定の再構成又は推定強
度値を生成するために使用される画素を異なる空間パタ
ーンを有する２個以上の群から選択するか、又は、先行
及び後続フレーム内の同一の相対的空間位置における画
素から得られた情報を２種類以上の異なる方法で結合す
る。
【０００６】画像内で動きが殆ど無ければ、前記の固定
及び適応技法は非伝送又は非記憶画像情報を十分に回復
するが、画像内の物体が画面内を急速に移動する場合、
これらの性能は不十分である。すなわち、これらの補間
技法による再構成はしばしば、不鮮明やその他の不快な
画像歪みを起こす。従って、一層優れたフレーム間符号
化技法が米国特許第４３８３２７２号明細書に提案され
ている。
【０００７】この特許明細書に開示された技法によれ
ば、画像の要素を画成する情報は、画像の先行及び後続
バージョンにおける関連位置からの情報を用いて補間す
ることにより推定される。関連位置は画像内の物体の変
位の推定値を生成することにより決定される。更新が画
像の移動区域内でのみ生成される場合、変位推定値は循
環的に都合良く生成される。この符号化技術は前記の他
の従来技術に伴う不快な歪みを除去できるが、いわゆる
トーキング・ヘッド（すなわち、「語り手」）シーケン
スにおける話者の口腔の動きを再構成することはできな
い。
【０００８】通常の会話は、１秒あたり約１３言語音を
有する。唇、顎、歯及び舌の位置はもっと速い速度で変
化する。このため、５〜１０フレーム／秒以下の速度で
は、口腔の動きの関する多量の情報が不必要に失われ
る。
【０００９】
【発明が解決しようとする課題】従って、本発明の目的
は、話者の発音及び少なくとも一つの伝送あるいは記憶
フィールド又はフレームからの情報を用いて話者の個人
的シーケンスを示すビデオ信号の非伝送又は非記憶フィ
ールド又はフレームの改良された再構成を可能にする装
置を提供することである。
【００１０】
【課題を解決するための手段】本発明の装置は、話者に
よる発音に付随する音声信号、再構成されるべきフレー
ム及び現存するフレーム又はフィールドを示すビデオ信
号に応答して、画像の再構成フレームを生成するフレー
ム生成手段を有する。本発明の装置は、音声信号の各部
分を顔面の特徴情報と結合する手段及び再構成フレーム
を連続的な現存（すなわち、記憶又は伝送）フレーム間
に挿入する手段を更に有する。
【００１１】本発明の装置は、音声信号部分を検出する
モニタリング手段も有する。各信号部分は話者の口腔フ
ォーメーションに対応する。信号部分は、音素、同音字
又は他の幾つかの言語系基準に対応する。口腔フォーメ
ーションデータはこの言語系基準から確実に予言でき
る。記憶された顔面情報は、バイスメ(viseme)の他に、
顎、歯、舌、頬に関連する特徴位置パラメータなどを含
む。
【００１２】従って、結合手段は、各検出信号部分に関
する特徴部分パラメータの、話者非依存性テーブルが記
憶されたメモリを有する。別の実施例では、本発明の装
置は、音素を示す対応する信号部分がモニタリング手段
により検出されるに応じて、モニタリング手段に応答し
て、口腔の各位置を示す話者依存性口腔位置パラメータ
を記憶する手段を有する。
【００１３】本発明による、話者の画像又はピクチャの
フレーム伝送速度を高める方法は、話者による発声を示
し、再構成されるべきフレームに関連される音声信号を
モニタリングするステップと、現存フレームを示すビデ
オ信号をモニタリングするステップと、音声信号の個々
の部分と顔面特徴情報を結合させるステップと、結合ス
テップで得られた顔面特徴情報を用いて現存フレームか
ら画像の少なくとも一つのフレームを再構成するステッ
プと、再構成ステップ中に得られた再構成フレームを画
像の連続的な現存フレーム間に挿入するステップとから
なる。
【００１４】モニタリングステップは、音声信号をモニ
タリングし、各信号部分を連続的に検出する。各信号部
分は話者の口腔の位置に対応する。従って、一連のフレ
ームは再構成され、この再構成フレームは話者の口腔の
各位置を示す。結合ステップは、モニタリングステップ
中に検出された各信号部分に関連する記憶値をアドレス
指定することからなる。
【００１５】記憶値は、例えば、口腔フォーメーション
のような、話者非依存性顔面特徴部分パラメータデータ
からなる。別の実施例では、本発明の方法は、現存フレ
ーム又はフィールド中に信号部分を検出するために会話
信号をモニタリングするステップと、各検出信号部分に
結合される話者依存性口腔位置パラメータデータを記憶
するステップを更に有する。
【００１６】本発明のビデオ信号符号化システムは、話
者による発声を示し、放棄されるべきフレームと結合さ
れる音声信号及び伝送又は記憶されるべきフレームを示
すビデオ信号をモニタリングし、音声信号の個々の部分
を顔面特徴情報と結合させ、モーション補償に使用され
る複数のモーションベクトルを算出することからなる。
放棄されるべきフレームと伝送されるべきフレームとの
相違は伝送又は記憶されるべきフレームの表示と共にデ
コーダに送信され、これにより、かなり低いビット消費
量が可能になる。
【００１７】本発明は様々な用途に使用できる。例え
ば、デジタル音声及びビデオ信号を送受信するビデオテ
レコンファレンス装置は、話者を示す極めて低いビット
伝送速度（例えば、４〜４０キロビット／秒）のビデオ
及び音声信号を受信する手段、再構成されるべきフレー
ムと結合される音声信号部分及び前記ピクチャのフレー
ムを再構成するための現存フレーム又はフィールドを示
すビデオ信号部分に応答するフレーム生成手段、音声信
号の各部分を顔面特徴情報と結合する手段、高フレーム
伝送速度シーケンスを生成するための、生成手段により
再構成されたフレームを連続的に受信されたフレームま
たはフィールド間に挿入する手段及び前記高フレーム伝
送速度シーケンスを表示する手段からなる。
【００１８】本発明のビデオ信号符号化方法は、話者を
描写する入力ビデオ画像シーケンスを受信するステップ
と、話者のそれぞれの口腔フォーメーションを示す発声
セグメントを検出するために、入力画像シーケンスと結
合された音声会話信号を分析するステップと、分析ステ
ップ中に検出された口腔フォーメーションに応じて、入
力ビデオ画像シーケンスを示すビットストリームを発生
するステップとからなる。
【００１９】
【実施例】以下、図面を参照しながら本発明を具体的に
説明する。
【００２０】前記のように、本発明によれば、伝送され
た先行信号から誘導された情報を用いてビデオ信号の非
伝送フィールド又はフレームの再構成が可能である。予
め記憶された信号の場合（すなわち、非リアルタイム補
間）、再構成処理の正確性を更に高めるために、ビデオ
信号の次のフレームも使用できる。いずれの場合も、当
業者に周知なように、帯域幅を維持するために、各連続
フィールド対中の走査線を飛び越させることもできる。
【００２１】従って、“フレーム”という用語が使用さ
れる場合、二者択一的に、フィールドも意味するものと
理解されなければならない。ビデオ信号の符号化又は復
号化を助力するための音声信号分析の使用は、広範囲な
応用可能性に関し、新たな境地を開く。
【００２２】図１において、ブロック１０は話者ピクチ
ャシーケンスの現存フレームの受信を示す。現存フレー
ムは例えば、テレビ電話装置からの超低速ビット伝送速
度（６４キロビット／秒以下）伝送として受信できる。
別法として、現存フレームは比較的低速（５〜１０フレ
ーム／秒以下）で採取された既記憶ピクチャシーケンス
にアクセスすることによっても得られる。いずれにし
ろ、ブロック１１に示されるように、話者の顔面の初期
モデルは適当な画像特徴抽出アルゴリズムに従って現存
フレームから得られる。
【００２３】このようなアルゴリズムは例えば、Shigeo
Morishima et al., 1989 ICASSP,"An Intelligent Fac
ial Image Coding Driven by Speech and Phoneme"に記
載された３−Ｄ顔面モデルなどである。２次元ワイヤフ
レームモデルが使用される。顔面の形状表面は多角形
（例えば、三角形）の収集物として記載される。特徴抽
出中、伝送又は記憶フレームは分析され、会話中に予測
的に変化する唇、目、顎などのような顔面特徴に対応す
る位置及び基準次元を決定する。
【００２４】本発明によれば、挿入されるべき少なくと
も一つのフレームは、ブロック１１で得られたパラメト
リック顔面モデルを用いて得られる。下記で詳細に説明
するように、これはフレーム中に描写された話者の発声
を示す音声信号を分析することにより行われる。複数の
話者が存在する場合、音声信号及びビデオシーケンスの
両方に関する正確な話者識別を行い、正しい補間結果を
生成しなければならない。説明の便宜上、単一の話者の
事例について説明する。
【００２５】何れにしろ、ブロック１２に示されるよう
に、フレームの非記憶又は非伝送シーケンスに結合され
る音声信号は常用の音声認識回路により分析される。実
行されるべき認識は、全コンテキストレベル認識である
必要はない。従って、音声信号は分析され、話者の発声
は一連の音素に分解される。下記で説明するように、こ
れらの音素は、バイスメ(viseme)として知られる明瞭な
視認可能な口腔形状にマップされる。
【００２６】また、音声信号を分析し、発声中に包含さ
れる一連の音素を識別することも行われる。同音字は、
唇、歯及び舌の位置が観察者に対して視覚的に類似して
いるように、話者により同様な方法で生成される一群の
音素である。一層高度な性能が求められる場合、コンテ
キストレベル音声認識を実行し、音素情報をそこから抽
出することもできる。
【００２７】最初のフレームの後に挿入されるべきフレ
ームは、音声認識により得られた音素データを用いて最
初のフレームから得られたパラメトリック顔面モデルを
修正することにより再構成される。これは、ブロック１
４に示されるように、各バイスメに対応するパラメトリ
ック位置データを含有するルックアップテーブルを検索
することにより行われる。
【００２８】ルックアップテーブル内に含有される情報
の詳細は、使用される特定の顔面モデル技術により変化
する。例えば、基本的な形態化技術を使用する場合、ル
ックアップテーブルは、各バイスメに関する唇、歯及び
目の位置のような特定の顔面特徴に関する情報だけを包
含すればよい。
【００２９】各音素を発音するために人々が使用する口
腔の位置は一般的に、話者に応じて変化する。従って、
ブロック１４で使用されるルックアップテーブルは正規
化された話者非依存性顔面特徴情報を包含する。この場
合、非記憶又は非伝送フレームの再構成は、ブロック１
６に示されるように、画像特徴抽出により最初のフレー
ム（伝送又は記憶）から得られたものに記憶顔面情報を
“再正規化”する必要がある。
【００３０】正規化は、話者の各関連顔面特徴の選択特
徴点の位置を決定し、それに従って対応するルックアッ
プテーブル位置パラメータデータをスケーリングするだ
けでよい。例えば、口腔に関するこのような特徴点の記
憶場所は前掲のMorishima etal.の文献に記載されてい
る。
【００３１】ブロック１８に示されるように、最初の音
素が音声信号から識別され、これに対応する記憶された
話者非依存性顔面特徴が正規化されると、最初のフレー
ムから取得された顔面反射率データのテクスチャ・マッ
ピングが行われ、音素を発する話者を示すフレームが再
構成される。テクスチャ・マッピング技法は当業者に周
知であり、アファイン変換を用いる補間テクスチャ座標
を有する。この技法に関する更に詳細な説明は、H.Choi
et al., "Analysis and Synthesis of FacialExpressi
ons in Knowledge-Based Cording of Facial Image Seq
uences", International Conference on Acoustic Spee
ch and Signal Processing, pp. 2737-2740(1991)に開
示されている。
【００３２】ブロック２０に示されるように、正規化顔
面特徴情報に応じて現存フレームに対応する画像を修正
することによりフレームが生成される。このようにして
生成されたフレームはその後、常用のビデオ信号発生手
段を用いて現存フレーム間に挿入される（ブロック２
２）。ビデオテレコンファレンス装置の場合、高フレー
ム伝送速度出力信号はリアルタイム表示用の画像表示装
置に供給される。
【００３３】一連の非伝送又は非記憶フレームは、音素
又は同音字を示す検出音声信号部分を一群以上の話者非
依存性顔面特徴位置パラメータ（例えば、バイスメ）と
再帰的に結合することにより、伝送又は記憶フレーム間
に挿入される。従って、ブロック２４に示されるよう
に、次の現存フレームが低ビット伝送速度音声信号内で
検出されるまで、フレーム生成は繰り返し行われる。
【００３４】バイスメは本発明を説明するために、話者
非依存性としてモデル化されているが、本発明のフレー
ム再構成方法の性能を高めることもできる。例えば、前
記のような話者非依存性バイスメデータを含有するデフ
ォルトルックアップテーブルを最初に使用することもで
きる。
【００３５】話者が会話している間、話者依存性ルック
アップテーブルが得られ、音素を示し、伝送又は記憶フ
レームに対応する音声信号部分の分析により構築され
る。伝送又は記憶フレームに対応する新たな音素が検出
される度に、フレーム画像について特徴抽出が行われ、
新たな特徴位置パラメータが記憶される。
【００３６】一層現実的な再構成の場合、話者の発声を
更に分析し、喜怒哀楽に関する特定の対応する顔面表情
を識別する。このような技法は現在研究中であるが、認
識可能な音声パラメータに結合されるパラメトリック顔
面表情情報の記憶は、高度に現実的なビデオ信号補間を
可能にしなければならない。
【００３７】図１に示された実施例では、顔面特徴パラ
メータは基本的な形態化技法に従ってモデル化された。
言うまでもなく、様々なコンピュータ・グラフィック技
法を使用して現存フレーム及び位置パラメータから被挿
入フレームを生成することもできる。例えば、より自然
な口腔移動を生成するために、３−Ｄ人間顔貌モデリン
グも使用できる。このような技法の説明は、前掲のMori
shima et al.の論文中に開示されている。
【００３８】図２は、本発明の音声補助補間技法を使用
するテレビ電話システム３０の一例のブロック図であ
る。図２に示された特定の構成はテレビ電話のものであ
るが、ビデオシーケンスのフレーム伝送速度を高めるこ
とが望まれる全ての状況において本発明の技法を使用で
きる。
【００３９】図２に示されるように、ビデオ及び音声信
号はデコーダモジュール３２を介してシステム３０によ
り受信される。デコーダモジュール３２はCCITT SG XV
H.261 ６４キロビット／秒 ビデオコーデック規格に従
って実現され、リモートソースから受信された音声及び
ビデオ信号を復号化し、分離することができる。
【００４０】特徴抽出モジュール３４はビデオ信号を受
信し、前記の方法により表示された伝送フレームについ
て画像特徴抽出を行う。常用の音声認識回路からなる音
声認識モジュール３６は音声信号を分析し、音素又は同
音字内容を識別する。この音素又は同音字内容から、伝
送フレーム間で生じる話者の適当なバイスメ及びその他
の顔面情報を正確に予測することができる。
【００４１】前記のように、特定の音素又は同音字がモ
ジュール３６により検出される場合、フレーム生成モジ
ュール３８は位置生成モジュール４０にアドレスし、検
出された音素又は同音字を発声する個人の特徴に対応す
る口腔フォーメーション（バイスメ(viseme)）、目、頬
及び顎位置などのような顔面特徴を示す顔面位置パラメ
ータデータを取得する。前記のように、顔面特徴情報は
話者非依存性顔面特徴位置パラメータに限定される必要
はない。実際、伝送フレームに付随する音声信号の音素
内容をモニタリングすることにより動的に取得又は発生
される情報も含有できる。
【００４２】常用のビデオ信号発生器として構成するこ
とができるフレーム挿入モジュール４２は、デコーダモ
ジュール３２からの現存低フレーム伝送速度ビデオ信号
及びフレーム生成モジュール３８により生成された１個
以上の再構成フレームを示すビデオ信号を受信する。各
ビデオ信号は常法により処理し、ビデオ表示装置４４に
送信される高フレーム伝送速度ビデオ出力信号を取得す
ることができる。
【００４３】本発明により調和されるビデオ補間の品質
を更に一層高めるために、様々な修正を使用できる。例
えば、音声助力ビデオ補間は、米国特許第４３８３２７
２号明細書に開示されているようなモーション補償補間
技法によりコンパイルすることができる。モーション補
償補間技法自体はビデオ信号の音声助力符号化を行うこ
とにより更に一層高めることができる。
【００４４】前記のように、会話の１秒間当たりの高い
数の会話音声及び付随する口腔運動は、不可能でないと
しても、話者の口腔運動を正確に予測することを困難に
する。従って、音声信号はコーダエンドにおいて分析
し、モーション補償補間だけにより得られうるよりも遥
かに高い精度のモーションベクトル予測を得るために利
用できる。
【００４５】例えば、話者が所定の音素を歯切れ良く発
音していると決定される場合、通常、モーション補償技
法により付与される非伝送フレームのモーションベクト
ル予測は検出された音素に結合される顔面特徴情報に応
じて修正される。このように、予測エラーを大幅に低下
させることができ、その結果、デコーダに伝送するため
に費やされるビット量を大幅に低下させることができ
る。
【００４６】本発明によるビデオ信号補間を更に一層高
めることは適当なスムージング技法により行うことがで
きる。スムージング技法は当業者に周知であり、或るフ
ィールドから次のフィールドまで一層自然な移動を達成
するために、２個以上のフィールド又はフレームについ
て平均化ステップ を含む。
【００４７】例えば、シーケンスの第２のフレームが伝
送フレームである３個のフレームを含むスムージング技
法では、重み付き平均が３個のフレームの各々に割当て
られ、第３のフレーム（前記の方法により再構成された
フレーム）はこの重み付き平均により修正される。その
他の適当なスムージングアルゴリズムも使用できる。
【００４８】
【発明の効果】以上説明したように、本発明によれば、
話者の発音及び少なくとも一つの伝送あるいは記憶フィ
ールド又はフレームからの情報を用いて話者の個人的シ
ーケンスを示すビデオ信号の非伝送又は非記憶フィール
ド又はフレームの改良された再構成を可能にする装置及
び方法が得られる。
【図面の簡単な説明】
【図１】本発明の音声助力ビデオフレームシーケンス補
間方法の一例の様々なステップを示す流れ図である。
【図２】本発明の音声助力ビデオフレームシーケンス補
間の一つの応用例を示すテレビ電話装置の様々な要素を
示すブロック図である。
【符号の説明】
３０ テレビ電話システム ３２ デコーダ ３４ 特徴抽出モジュール ３６ 音声認識モジュール ３８ フレーム生成モジュール ４０ 位置生成モジュール ４２ フレーム挿入モジュール ４４ ビデオ表示装置

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 話者の一連の画像を示し、第１のフレー
    ム伝送速度を有する受信ビデオ信号のフレーム伝送速度
    を高める装置であり、 話者により発声された音声セグメントを検出するため
    に、一連の画像に一時的に対応する音声信号をモニタリ
    ングするモニタリング手段と、ここで、少なくとも幾つ
    かの検出音声セグメントは受信ビデオ信号により表示さ
    れない画像シーケンスの画像に対応する，検出音声セグ
    メントを、記憶されたパラメトリック口腔フォーメーシ
    ョンデータと結合する手段と，前記モニタリング手段及
    び結合手段に応答して、話者の画像を示す少なくとも一
    つの合成フレームを生成し、前記少なくとも一つの合成
    フレームを受信ビデオ信号の隣接フレーム間に挿入し、
    これにより前記第１のフレーム伝送速度よりも高いフレ
    ーム伝送速度を有するビデオ信号を供給するフレーム生
    成手段とからなることを特徴とする受信ビデオ信号のフ
    レーム伝送速度を高める装置。
  2. 【請求項２】 前記各検出音声セグメントは、前記パラ
    メトリック口腔フォーメーションデータにより示される
    各口腔フォーメーションに対応する請求項１の装置。
  3. 【請求項３】 前記話者口腔フォーメーションは、バイ
    スメ(viseme)である請求項２の装置。
  4. 【請求項４】 前記結合手段は、口腔フォーメーション
    パラメータのテーブルが記憶されたメモリを有し、前記
    口腔フォーメーションパラメータは所定の音声セグメン
    トを発声する一般的な会話者の口腔形状を示す請求項２
    の装置。
  5. 【請求項５】 前記結合手段は、音声セグメントが前記
    モニタリング手段により検出されるに応じて、前記モニ
    タリング手段に応答して、前記受信ビデオ信号のフレー
    ムから口腔フォーメーションパラメータを抽出する特徴
    抽出手段を有し、各記憶口腔フォーメーションパラメー
    タは所定の音声セグメントを発声する話者の口腔形状を
    示す請求項１の装置。
  6. 【請求項６】 前記フレーム発声手段は、受信ビデオ信
    号の隣接フレーム間に挿入するための複数のフレームを
    合成するように機能する請求項１の装置。
  7. 【請求項７】 前記結合手段は、話者により発声された
    検出音声セグメントを話者の顎、舌及び歯のうちの少な
    くとも一つの記憶形状と結合させるように機能する請求
    項１の装置。
  8. 【請求項８】 話者の一連の画像を示し、第１のフレー
    ム伝送速度を有する受信ビデオ信号のフレーム伝送速度
    を高める方法であり、 (A)話者により発声された音声セグメントを検出するた
    めに一連の画像に一時的に対応する音声信号をモニタリ
    ングするステップと、ここで、少なくとも幾つかの検出
    音声セグメントは受信ビデオ信号により表示されない画
    像シーケンスの画像に対応する，(B)検出音声セグメン
    トを記憶されたパラメトリック口腔フォーメーションデ
    ータと結合するステップと，(C)受信ビデオ信号の少な
    くとも一つのフレームと、前記結合ステップ中に識別さ
    れるパラメトリック口腔フォーメーションデータとか
    ら、話者の画像を示すフレームを合成するステップと，
    (D)前記合成ステップ中に得られたフレームを受信ビデ
    オ信号の隣接フレーム間に挿入し、それにより、前記第
    １のフレーム伝送速度よりも高いフレーム伝送速度を有
    する第２のビデオ信号を得るステップとからなることを
    特徴とする受信ビデオ信号のフレーム伝送速度を高める
    方法。
  9. 【請求項９】 複数のフレームが前記合成ステップ中に
    連続的に合成され、前記合成フレームは前記発声中の話
    者の画像を示す請求項８の方法。
  10. 【請求項１０】 前記(B)結合ステップは、口腔フォー
    メーションパラメータを含有するパラメトリック顔面特
    徴データの記憶テーブルにアドレスすることからなり、
    前記口腔フォーメーションパラメータは所定の音声セグ
    メントを発声する一般的な会話者の口腔形状を示す請求
    項８の方法。
  11. 【請求項１１】 デジタル音声及びビデオデータ信号を
    送受信するためのビデオテレコンファレンス装置であ
    り、 話者の一連の画像を示す非常に低いフレーム伝送速度の
    ビデオ信号と、話者の発声との一時的対応を示す音声信
    号をそれぞれ受信する手段と，低フレーム伝送速度のビ
    デオ信号により示されない一連の画像に一時的に対応す
    る音声信号部分と、少なくとも一つのフレームを示すビ
    デオ信号部分とに応答して、話者の画像を示すフレーム
    を合成するフレーム生成手段と，前記音声信号の各部分
    を記憶顔面特徴情報と結合させる手段と，一層高いフレ
    ーム伝送速度のシーケンスを生成するために、前記生成
    手段により合成されたフレームを前記低フレーム伝送速
    度のビデオ信号の連続的に受信されるフレーム間に挿入
    する手段と，前記高フレーム伝送速度シーケンスを表示
    する手段とからなることを特徴とするビデオテレコンフ
    ァレンス装置。
  12. 【請求項１２】 受信ビデオ信号に応答して、複数のフ
    レームからパラメトリック口腔フォーメーションデータ
    を抽出する特徴抽出手段を更に有する請求項１の装置。
JP7084490A 1994-03-18 1995-03-17 受信ビデオ信号のフレーム伝送速度を高める装置 Pending JPH089372A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/210,529 US6330023B1 (en) 1994-03-18 1994-03-18 Video signal processing systems and methods utilizing automated speech analysis
US210529 1994-03-18

Publications (1)

Publication Number Publication Date
JPH089372A true JPH089372A (ja) 1996-01-12

Family

ID=22783263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7084490A Pending JPH089372A (ja) 1994-03-18 1995-03-17 受信ビデオ信号のフレーム伝送速度を高める装置

Country Status (5)

Country Link
US (1) US6330023B1 (ja)
EP (1) EP0673170A3 (ja)
JP (1) JPH089372A (ja)
KR (1) KR950035447A (ja)
CA (1) CA2143483A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009501476A (ja) * 2005-07-13 2009-01-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ時間アップコンバージョンを用いた処理方法及び装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707484B1 (en) * 1994-07-28 2004-03-16 Semiconductor Energy Laboratory Co., Ltd. Information processing system
US5880788A (en) * 1996-03-25 1999-03-09 Interval Research Corporation Automated synchronization of video image sequences to new soundtracks
EP0893923A1 (en) * 1997-07-23 1999-01-27 Texas Instruments France Video communication system
IT1314671B1 (it) * 1998-10-07 2002-12-31 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per l'animazione di un modellosintetizzato di volto umano pilotata da un segnale audio.
EP1108246A1 (en) * 1999-06-24 2001-06-20 Koninklijke Philips Electronics N.V. Post-synchronizing an information stream
US6594629B1 (en) * 1999-08-06 2003-07-15 International Business Machines Corporation Methods and apparatus for audio-visual speech detection and recognition
US6633844B1 (en) * 1999-12-02 2003-10-14 International Business Machines Corporation Late integration in audio-visual continuous speech recognition
US6766299B1 (en) 1999-12-20 2004-07-20 Thrillionaire Productions, Inc. Speech-controlled animation system
EP1143735A1 (en) * 2000-03-01 2001-10-10 Texas Instruments Incorporated Telescopic reconstruction of facial features from a speech pattern
EP1423978A2 (en) * 2000-12-22 2004-06-02 Anthropics Technology Limited Video warping system
US6614466B2 (en) 2001-02-22 2003-09-02 Texas Instruments Incorporated Telescopic reconstruction of facial features from a speech pattern
US20030058932A1 (en) * 2001-09-24 2003-03-27 Koninklijke Philips Electronics N.V. Viseme based video coding
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100880480B1 (ko) * 2002-02-21 2009-01-28 엘지전자 주식회사 디지털 오디오 신호의 실시간 음악/음성 식별 방법 및시스템
US7257538B2 (en) * 2002-10-07 2007-08-14 Intel Corporation Generating animation from visual and audio input
JP3848319B2 (ja) * 2003-11-11 2006-11-22 キヤノン株式会社 情報処理方法及び情報処理装置
RU2008104865A (ru) * 2005-07-11 2009-08-20 Конинклейке Филипс Электроникс Н.В. (Nl) Способ обмена информацией и устройство обмена информацией
CN101542593B (zh) * 2007-03-12 2013-04-17 富士通株式会社 语音波形内插装置及方法
US8224652B2 (en) * 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8600732B2 (en) * 2010-11-08 2013-12-03 Sling Media Pvt Ltd Translating programming content to match received voice command language
US20150039314A1 (en) * 2011-12-20 2015-02-05 Squarehead Technology As Speech recognition method and apparatus based on sound mapping
US9094576B1 (en) * 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
CN105282621A (zh) * 2014-07-22 2016-01-27 中兴通讯股份有限公司 一种语音消息可视化服务的实现方法及装置
CN109522799A (zh) * 2018-10-16 2019-03-26 深圳壹账通智能科技有限公司 信息提示方法、装置、计算机设备和存储介质
CN110856014B (zh) * 2019-11-05 2023-03-07 北京奇艺世纪科技有限公司 动态图像生成方法、装置、电子设备及存储介质
CN111553300B (zh) * 2020-05-08 2022-03-11 北京工商大学 一种面向三维点云视频的多时域分辨率唇语行为检测方法
CN113128399B (zh) * 2021-04-19 2022-05-17 重庆大学 用于情感识别的语音图像关键帧提取方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4260229A (en) * 1978-01-23 1981-04-07 Bloomstein Richard W Creating visual images of lip movements
US4975960A (en) 1985-06-03 1990-12-04 Petajan Eric D Electronic facial tracking and detection system and method and apparatus for automated speech recognition
GB8528143D0 (en) 1985-11-14 1985-12-18 British Telecomm Image encoding & synthesis
JPS62274962A (ja) * 1986-05-23 1987-11-28 Nec Corp 画像電話システム
US4884972A (en) 1986-11-26 1989-12-05 Bright Star Technology, Inc. Speech synchronized animation
IL86095A0 (ja) * 1987-09-30 1988-09-30 Lilly Co Eli
JPS6490188A (en) * 1987-10-01 1989-04-06 Nissan Chemical Ind Ltd Pyridinecarboxylic acid ester and selective herbicide
JP2644789B2 (ja) * 1987-12-18 1997-08-25 富士通株式会社 画像伝送方式
JP2667455B2 (ja) * 1988-07-27 1997-10-27 富士通株式会社 顔動画像合成システム
JPH02196585A (ja) * 1989-01-26 1990-08-03 Ricoh Co Ltd 音声信号通信装置
JP2518683B2 (ja) * 1989-03-08 1996-07-24 国際電信電話株式会社 画像合成方法及びその装置
JP3023961B2 (ja) * 1989-10-04 2000-03-21 三菱電機株式会社 符号化器及び復号化器
JPH03270390A (ja) * 1990-03-19 1991-12-02 Fujitsu Ltd 擬似動画ｔｖ電話
GB9019829D0 (en) * 1990-09-11 1990-10-24 British Telecomm Speech analysis and image synthesis
EP0595895B1 (en) * 1991-07-23 1997-12-29 BRITISH TELECOMMUNICATIONS public limited company Method and device for frame interpolation of a moving image
JPH05153851A (ja) * 1991-11-30 1993-06-22 Shimizu Shiyokubutsuen:Kk コケの栽培方法
AU4351793A (en) * 1992-06-29 1994-01-24 British Telecommunications Public Limited Company Coding and decoding video signals
US5426460A (en) * 1993-12-17 1995-06-20 At&T Corp. Virtual multimedia service for mass market connectivity
WO2000000951A1 (en) * 1998-06-29 2000-01-06 Honeywell Inc. Method of and system for detecting and rendering of graphic elements

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009501476A (ja) * 2005-07-13 2009-01-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ時間アップコンバージョンを用いた処理方法及び装置

Also Published As

Publication number Publication date
EP0673170A3 (en) 1996-06-26
KR950035447A (ko) 1995-12-30
EP0673170A2 (en) 1995-09-20
CA2143483A1 (en) 1995-09-19
US6330023B1 (en) 2001-12-11

Similar Documents

Publication Publication Date Title
US6330023B1 (en) Video signal processing systems and methods utilizing automated speech analysis
CA1263187A (en) Image encoding and synthesis
Yamamoto et al. Lip movement synthesis from speech based on Hidden Markov Models
Chen et al. Audio-visual integration in multimodal communication
US5608839A (en) Sound-synchronized video system
US7145606B2 (en) Post-synchronizing an information stream including lip objects replacement
JP2518683B2 (ja) 画像合成方法及びその装置
JP4087935B2 (ja) 唇動きパラメータ発生装置
JP2003529861A (ja) 音響信号により駆動される人間の顔の合成モデルのアニメ化方法
EP0674315A1 (en) Audio visual dubbing system and method
Chen et al. Lip synchronization using speech-assisted video processing
EP0710929A2 (en) Acoustic-assisted image processing
GB2250405A (en) Speech analysis and image synthesis
Chen et al. Speech-assisted video processing: Interpolation and low-bitrate coding
JP2795084B2 (ja) 口形状画像合成方法及び装置
KR100229538B1 (ko) 얼글 움직임을 인코딩하기 위한 방법 및 장치한 방법 및 장치
Chou et al. Speech recognition for image animation and coding
Chen et al. Lip synchronization in talking head video utilizing speech information
US20030058932A1 (en) Viseme based video coding
Chen et al. Speech-assisted lip synchronization in audio-visual communications
Chen et al. Audio visual interaction in multimedia
JPH01190187A (ja) 画像伝送方式
Curinga et al. Application of Synthetic Lip Motion to Hybrid Video Coding
Berthommier Direct synthesis of video from speech sounds for new telecommunication applications
Chen et al. Speech recognition for acoustic-assisted video coding and animation