JPH10200882A - 低ビットレート画像通信装置と通信方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、送り手側の感情が受け手側に伝わ
らないという点を解決し、面と向って話しているような
感覚をもたらす低ビットレート画像通信をリアルタイム
に提供することを目的としている。 【解決手段】 例えばピースマークを利用した顔データ
を、利用者に対応して、画像データベースに用意してお
き、通信に当って、送り手側および／または受け手側
が、相手方の顔データを表示しつつ通信し、かつ必要に
応じて顔の表情を変化させ得るようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、低ビットレートで
情報のやり取りを行う電子手帳やページャを含む携帯端
末サービスやインターネットを用いたサービスにおい
て、マルチメディア情報を提供する低ビットレート画像
通信装置とその方法に関するものである。

【０００２】

【従来の技術】従来では文字を送信するだけであり、そ
の時の送り手側の感情表現まで送信することは考慮され
ておらず、困難であった。また、静止画像や動画を送信
するには回線が細いため、映像の品質として満足の行く
ものを送ることができなかった。

【０００３】

【発明が解決しようとする課題】例えば、360 ×240 画
素の大きさを持つ画像を転送する場合を考える。１画素
にn bit を割り当てるとすると、データ量は86400 ×n
bit となる。ページャを例にとると、通信レートは2400
bpsとなる。これで上記の画像の転送時間を計算する
と、 非圧縮の場合 86400×n ／2400＝36×n 秒 となる。２値表示(n＝1)としても、36秒もかかってしま
う。また、JPEGのように圧縮できるものを用いる場合で
も、 1 ／20の圧縮率 86400×n ／20／2400＝1.8 ×n 秒 となる。256 色表示(n＝8)とすると、14.4秒かかるた
め、リアルタイムを要求されるサービスには用いること
ができない。

【０００４】モデムを例にとると、現在の通信レートの
最大量は38400 bps となる。これで非圧縮の場合におけ
る上記の画像の転送時間を計算すると、 86400 ×n ／38400 ＝2.25×n 秒 となる。画面表示はほとんどがカラーであることを考え
ると、16色表示(n＝4)としても、９秒もかかってしま
う。

【０００５】本発明は、送り手側の感情が受け手側に伝
わらないという点を解決し、面と向かって話しているよ
うな感覚をもたらす低ビットレート画像通信を、リアル
タイムに提供することを目的としている。

【０００６】

【課題を解決するための手段】文字と記号の組み合わせ
により作成されたピースマークであれば、７個を最大個
数とすれば、データ量は7 ×8 ＝56 bitとなり、ページ
ャで転送するには0.03秒もあれば十分である。また、似
顔絵といった線画を用いる場合には、顔を150点で表現
したと仮定すると、すべて座標値を持つため、初期のデ
ータ量は150 ×2 ×8 ＝2400 bitとなる。これに面の塗
りつぶしの情報などを付加したと仮定して、毎回線画の
データを送ったとしても、モデムであれば、１秒間に約
10回程度の顔の情報を送信することが可能となる。ま
た、目や口の移動などといった顔の部分のみの変更箇所
のデータを転送するのであれば、送信しなければならな
い座標値数は150 点よりもはるかに少なくなるため、リ
アルタイムを保証することが可能となる。

【０００７】また、感情表現を顔の部品の移動量で記述
することにより、データの圧縮をはかることも可能とな
る。例えば、受け手側で送り手側の画像データベースを
持っている場合には、送り手側からは感情のパターンを
送信する。受け手側では指示されたパターンから、顔部
品を移動させて該当する表情を作成する。すなわち、送
り手側から来るデータは指示データのみであり、このデ
ータ量としては数バイト程度を見ておけばよい。逆に、
送り手側で画像データベースを持っている場合には、作
成登録部で自分の感性にあった感情に対する表情を作成
することができる。各々の感情に対する顔部品の移動量
のデータを受け手側に送ることにより、送り手側が希望
する画像を受け手側端末に表示することが可能となる。

【０００８】本発明は、低ビットレート画像通信におい
て、文字列に加えて、ピースマークや似顔絵といった線
画も一緒になったサービスを提供することを最も主要な
特徴とする。また、音声や映像から感情を取り出して似
顔絵を感情に合わせて変形させる、という機能も提供す
る。従来の技術とは送り手側の感情表現を受け側に伝え
ることが可能となるという点が異なる。

【０００９】

【発明の実施の形態】図１は、低ビットレート画像通信
を実現する第１のシステム構成図を示す。図１は本発明
の請求項１に対応している。

【００１０】図中の符号１は送り手側端末、２は受け手
側端末、３は回線を表している。また、１１はデータ入
力部、１２は画像データ作成登録部、１３は画像データ
ベース、１４はデータ送信部を示し、２１はデータ受信
部、２２は画像駆動部、２３はデータ表示部を示す。

【００１１】例えば電子手帳やページャを含む携帯端末
サービスやインターネットを用いたサービスに対応し
て、送り手側端末１に、さまざまなデータを入力するデ
ータ入力部１１、相手端末に表示したい画像データを作
成して登録する画像データ作成登録部１２、作成した画
像データを格納しておく画像データベース１３、データ
を受け手側端末に送信するデータ送信部１４がもうけら
れる。また受け手側端末２には、送られてきたデータを
格納するデータ受信部２１、画像データを動かすための
画像駆動部２２、動かした画像データを出力するための
データ表示部２３がもうけられる。

【００１２】図１の場合には画像データベース１３が送
り手側端末１にもうけられている。図２は、低ビットレ
ート画像通信を実現する第２のシステム構成図を示す。
図２は本発明の請求項２に対応している。

【００１３】図中の符号１，２，３，１１，１４，２
１，２２，２３は図１に対応しており、２４は画像デー
タ作成登録部、２５は画像データベースを示す。例えば
電子手帳やページャを含む携帯端末サービスやインター
ネットを用いたサービスに対応して、送り手側端末１
に、さまざまなデータを入力するデータ入力部１１、デ
ータを受け手側端末に送信するデータ送信部１４がもう
けられる。また受け手側端末２には、送られてきたデー
タを格納するデータ受信部２１、画像データを動かすた
めの画像駆動部２２、動かした画像データを出力するデ
ータ表示部２３、自分の端末に表示したい画像データを
作成して登録する画像データ作成登録部２４、画像デー
タを格納しておく画像データベース２５がもうけられ
る。

【００１４】図２の場合には画像データベース２５が受
け手側端末２にもうけられている。図３は、低ビットレ
ート画像通信を実現する第３のシステム構成図を示す。
図３は本発明の請求項３に対応している。

【００１５】図中の符号は図１および図２に対応してい
る。例えば電子手帳やページャを含む携帯端末サービス
やインターネットを用いたサービスに対応して、送り手
側端末１に、さまざまなデータを入力するデータ入力部
１１、相手端末に表示したい画像データを作成して登録
する画像データ作成登録部１２、作成した画像データを
格納しておく画像データベース１３、データを受け手側
端末に送信するデータ送信部１４がもうけられる。また
受け手側端末２には、送られてきたデータを格納するデ
ータ受信部２１、画像データを動かすための画像駆動部
２２、動かした画像データを出力するデータ表示部２
３、自分の端末に表示したい画像データを作成して登録
する画像データ作成登録部２４、画像データを格納して
おく画像データベース２５がもうけられる。

【００１６】図３の場合には例えば基準の顔データを送
り手側から送り、受け手側でその基準の顔データに多少
の変化を加えて表示するようにする。図４は、低ビット
レート画像通信を実現する第４のシステム構成図を示
す。図４は本発明の請求項４に対応している。

【００１７】図中の符号１，２，３，１１，１４，２
１，２２，２３は図１や図２に対応しており、４はセン
タ、４１は利用者管理テーブル、４２は画像データ作成
登録部、４３は画像データベースを示す。

【００１８】例えば電子手帳やページャを含む携帯端末
サービスやインターネットを用いたサービスに対応し
て、センタ４に、サービスを利用する利用者のリストや
現在の接続の状態を管理する利用者管理テーブル４１、
受け手側端末に表示したい画像データを作成して登録す
る画像データ作成登録部４２、作成した画像データを格
納しておく画像データベース４３がもうけられる。また
送り手側端末１には、さまざまなデータを入力するデー
タ入力部１１、データを受け手側端末に送信するデータ
送信部１４がもうけられる。更に受け手側端末２には、
送られてきたデータを格納するデータ受信部２１、画像
データを動かすための画像駆動部２２、動かした画像デ
ータを出力するためのデータ表示部２３がもうけられ
る。

【００１９】図４の場合には、画像データベース４３が
センタ４にもうけられている。図５は、低ビットレート
画像通信を表現する第５のシステム構成図を示す。図中
の符号１，２，３，１１，１２，１３，１４，２１，２
２，２３，２４，２５は図１および図２に対応してお
り、１５は音声入力部、１６は音声特徴抽出部、２６は
音声出力部を表している。

【００２０】図５の全体構成は図３に対応している。た
だ図５においては、送り手側端末１に、音声入力部１５
と、入力された音声から当該音声を発した人の感情を抽
出する音声特徴抽出部１６をもち、受け手側端末２に音
声出力部２６をもつ。

【００２１】図５の場合には、送り手側端末１におい
て、音声を発した人の感情を当該音声から抽出して、受
け手側端末２に送り、受け手側端末２において当該感情
に対応した画像や音声を発するようにしている。

【００２２】図６は、低ビットレート画像通信を実現す
る第６のシステム構成図を示す。図中の符号１，２，
３，１１，１２，１３，１４，２１，２２，２３，２
４，２５は図１および図２に対応しており、１７は映像
入力部、１８は映像特徴抽出部を示す。

【００２３】図６の全体構成は図３に対応している。た
だ図６においては、送り手側端末１に、映像入力部１７
と、映像特徴抽出部１８をもつ。図６の場合には、図５
の場合に変えて、送り手の顔などを映像入力部１７で映
し取り、当該送り手の感情を映像特徴抽出部１８で抽出
する。受け手側端末２においては、当該感情を表す情報
を受信して当該情報に対応した形で画像データを表示す
る。

【００２４】図７は、低ビットレート画像通信を実現す
る第７のシステム構成図を示す。図中の符号は図５およ
び図６に対応しており、図７のシステム構成は図５と図
６とを結合した構成に相当している。

【００２５】図８は、処理シーケンスの第１の例を示
す。図８の場合には、図４に示すセンタ４内に顔データ
が登録されている場合に対応している。図中の「利用者
Ａ」は送り手側端末１における利用者であり、「セン
タ」は図４に示すセンタ４であり、「テーブル」は図４
に示す利用者管理テーブル４１であり、「利用者Ｂ」は
受け手側端末２における利用者である。

【００２６】(8-1):利用者Ａは利用者Ｂへの接続要求を
行う。 (8-2):センタは利用者管理テーブルに対して利用者Ａ，
Ｂについての顔データの有無の問い合わせを行う（後述
する第１表参照）。

【００２７】(8-3):センタは、利用者Ａからの接続要求
を利用者Ｂに対して行う。 (8-4):センタは、利用者Ｂから接続ＯＫを受け取る。 (8-5):テーブル上に利用者Ａや利用者Ｂの顔データが登
録されている場合には、画像データベース（４３）に登
録されている顔データを受け取る。登録されていない場
合には、任意の（デフォルトの）顔データを受け取る。

【００２８】(8-6):センタは、利用者Ａ側に対して利用
者Ｂの顔データを送信し、利用者Ｂ側に対して利用者Ａ
の顔データを送信する。 (8-7):利用者Ａから文字列データが送られてくると、セ
ンタは必要に応じて当該文字列データに対応した形の他
の（他人のではなく）顔データを選択する。

【００２９】(8-8):センタは、文字列データと顔データ
とを利用者Ｂに対して送信する。 (8-9):利用者Ｂから文字列データが送られてくると、セ
ンタは必要に応じて当該文字列データに対応した形の他
の（他人のではなく）顔データを選択する。

【００３０】(8-10): センタは、文字列データと顔デー
タとを利用者Ａに対して送信する。 (8-11): 以下同様の交信が行われ、利用者Ａが切断要求
を発したとき、センタは、利用者Ａからの切断要求を利
用者Ｂに対して発する。

【００３１】(8-12): 利用者Ｂから切断ＯＫがくると、
センタは、利用者Ａと利用者Ｂとに対して切断を行う。
図９は処理シーケンスの第２の例を示す。図９の場合に
は、各利用者端末内に顔データが登録されている場合に
対応している。

【００３２】(9-1):利用者Ａは利用者Ｂへの接続要求を
行う。利用者Ｂからは接続ＯＫをとる。 (9-2):利用者Ａは、利用者管理テーブルに対して、利用
者Ｂの顔データが登録されているか否かを問い合わせ
る。ＹＥＳの場合には登録されている顔データを用い、
ＮＯの場合にはデフォルトの顔データを用いる。即ち、
自端末の画面に表示する。

【００３３】(9-3):同様に、利用者Ｂは、利用者管理テ
ーブルに対して、利用者Ａの顔データが登録されている
か否かを問い合わせる。ＹＥＳの場合には登録されてい
る顔データを用い、ＮＯの場合にはデフォルトの顔デー
タを用いる。即ち、自端末の画面に表示する。

【００３４】(9-4):利用者Ａは、必要に応じて利用者Ａ
の顔データを交替させつつ、文字列データと顔データと
を利用者Ｂに送る。 (9-5):利用者Ｂは、必要に応じて利用者Ｂの顔データを
交替させつつ、文字列データと顔データとを利用者Ａに
送る。

【００３５】(9-6):同様の交信を行った上で、利用者Ａ
が切断要求を発し利用者Ｂが切断ＯＫを出すと、利用者
Ａが回線を切断する。図１０は処理シーケンスの第３の
例を示す。図１０の場合にはセンタの画像データベース
に表情パターン（顔データと、当該顔に表情を与えるも
の）を登録している場合に対応している。

【００３６】(10-1): 利用者Ａは利用者Ｂへの接続要求
を行う。 (10-2): センタは利用者管理テーブルに対して利用者
Ａ，Ｂについての顔データの有無の問い合わせを行う。

【００３７】(10-3): センタは、利用者Ａからの接続要
求を利用者Ｂに対して行う。 (10-4): センタは、利用者Ｂからの接続ＯＫを受け取
る。 (10-5): テーブル上に利用者Ａや利用者Ｂの顔データが
登録されている場合には、画像データベースに登録され
ている顔データを受け取る。登録されていない場合に
は、任意の（デフォルトの）顔データを受け取る。

【００３８】(10-6): センタは、利用者Ａ側に対して利
用者Ｂの顔データを送信する。またセンタは、利用者Ｂ
側に対して利用者Ａの顔データを送信する。 (10-7): 利用者Ａから文字列データと表情パターンとが
送られてくると、センタは、利用者Ａについての指定さ
れた表情をもつ顔データを選択する。

【００３９】(10-8): センタは、文字列データと顔デー
タとを利用者Ｂに対して送信する。 (10-9): 利用者Ｂから文字列データと表情パターンとが
送られてくると、センタは、利用者Ｂについての指定さ
れた表情をもつ顔データを選択する。

【００４０】(10-10):センタは、文字列データと顔デー
タとを利用者Ｂに対して送信する。 (10-11):以下同様の交信が行われ、利用者Ａが切断要求
を発したときセンタは、利用者Ａからの切断要求を利用
者Ｂに対して発する。

【００４１】(10-12):利用者Ｂからの切断ＯＫがくる
と、センタは、利用者Ａと利用者Ｂとに対して切断を行
う。図１１は処理シーケンスの第４の例を示す。図１１
の場合には、各利用者端末内に表情パターンが登録され
ている場合に対応している。

【００４２】(11-1): 利用者Ａは利用者Ｂへの接続要求
を行う。利用者Ｂからは接続ＯＫをとる。 (11-2): 利用者Ａは、利用者管理テーブルに対して、利
用者Ｂの顔データが登録されているか否かを問い合わせ
る。ＹＥＳの場合には登録されている顔データを用い、
ＮＯの場合にはデフォルトの顔データを用いる。即ち、
自端末の画面に表示する。

【００４３】(11-3): 同様に、利用者Ｂは、利用者管理
テーブルに対して、利用者Ａの顔データが登録されてい
るか否かを問い合わせる。ＹＥＳの場合には登録されて
いる顔データを用い、ＮＯの場合にはデフォルトの顔デ
ータを用いる。即ち、自端末の画面に表示する。

【００４４】(11-4): 利用者Ａは、必要に応じて利用者
Ａについての指定された表情パターンをもつ顔データを
選択し、文字列データと顔データとを利用者Ｂに送る。 (11-5): 利用者Ｂは、必要に応じて利用者Ｂについての
指定された表情パターンをもつ顔データを選択し、文字
列データと顔データとを利用者Ａに送る。

【００４５】(11-6): 同様の交信を行った上で、利用者
Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用
者Ａが回線を切断する。図１２は処理シーケンスの第５
の例を示す。図１２の場合にはセンタの画像データベー
スに表情パターン（顔を表現するに必要な目や鼻などの
顔部品）を登録している場合に対応している。

【００４６】(12-1): 利用者Ａは利用者Ｂへの接続要求
を行う。 (12-2): センタは利用者管理テーブルに対して利用者
Ａ，Ｂについての顔データの有無の問い合わせを行う。

【００４７】(12-3): センタは、利用者Ａからの接続要
求を利用者Ｂに対して行う。 (12-4): センタは、利用者Ｂからの接続ＯＫを受け取
る。 (12-5): テーブル上に利用者Ａや利用者Ｂの顔データが
登録されている場合には、登録されている顔データと、
顔部品の所定位置からの移動量とを受け取る。登録され
ていない場合には、デフォルトの顔データと顔部品の移
動量とを受け取る。

【００４８】(12-6): センタは、利用者Ａ側に対して利
用者Ｂの顔データを送信する。またセンタは、利用者Ｂ
側に対して利用者Ａの顔データを送信する。 (12-7): 利用者Ａから文字列データと表情パターンとが
送られてくると、センタは、利用者Ａについての指定さ
れた表情をもつための顔部品の移動量を選択する。

【００４９】(12-8): センタは、文字列データと顔部品
の移動量とを利用者Ｂに対して送信する。利用者Ｂにお
いては顔部品の移動量に対応して構築した利用者Ａの顔
を表示する。

【００５０】(12-9): 利用者Ｂから文字列データと表情
パターンとが送られてくると、センタは、利用者Ｂにつ
いての指定された表情をもつための顔部品の移動量を選
択する。

【００５１】(12-10):センタは、文字列データと顔部品
の移動量とを利用者Ａに対して送信する。利用者Ａにお
いては顔部品の移動量に対応して構築した利用者Ｂの顔
を表示する。

【００５２】(12-11):同様の交信を行った上で、利用者
Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、セン
タは、利用者Ａと利用者Ｂとに対して切断を行う。図１
３は処理シーケンスの第６の例を示す。図１３の場合に
は、各利用者端末内に表情パターン（顔部品）を登録し
ている場合に対応している。

【００５３】(13-1): 利用者Ａは利用者Ｂへの接続要求
を行う。利用者Ｂからは接続ＯＫをとる。 (13-2): 利用者Ａは、利用者管理テーブルに対して、利
用者Ｂの顔データが登録されているか否かを問い合わせ
る。ＹＥＳの場合には、登録されている顔データと顔部
品の所定位置からの移動量を受け取る。ＮＯの場合に
は、デフォルトの顔データと顔部品の移動量とを受け取
る。

【００５４】(13-3): 同様に、利用者Ｂは、利用者管理
テーブルに対して、利用者Ａの顔データが登録されてい
るか否かを問い合わせる。ＹＥＳの場合には、登録され
ている顔データと顔部品の所定位置からの移動量を受け
取る。ＮＯの場合には、デフォルトの顔データと顔部品
の移動量とを受け取る。

【００５５】(13-4): 利用者Ａは、必要に応じて利用者
Ａについての指定された表情をもつための顔部品の移動
量を決定する。 (13-5): 利用者Ａは、文字列データと顔部品の移動量と
を利用者Ｂに対して送信する。利用者Ｂにおいては顔部
品の移動量に対応して構築した利用者Ａの顔を表示す
る。

【００５６】(13-6): 利用者Ｂは、必要に応じて利用者
Ｂについての指定された表情をもつための顔部品の移動
量を決定する。 (13-7): 利用者Ｂは、文字列データと顔部品の移動量と
を利用者Ａに対して送信する。利用者Ａにおいては顔部
品の移動量に対応して構築した利用者Ｂの顔を表示す
る。

【００５７】(13-8): 同様の交信を行った上で、利用者
Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用
者Ａが回線を切断する。 以下、実施の形態について述べてゆく。 〔実施例１〕サービスを提供するセンタには、サービス
を利用する利用者情報などを利用者管理テーブルに登録
し、また画像データベースにはあらかじめ利用者が希望
する顔のデータ（ピースマークや似顔絵など）を登録し
ておく。第１表に利用者管理テーブルを示し、

【００５８】

【表１】

【００５９】第２表に画像データベースに格納されてい
る顔のデータを示す。

【００６０】

【表２】

【００６１】第１表においては、利用者ＩＤに対応し
て、利用者情報（氏名、住所、電話番号）と、データベ
ースに対する接続の状態を管理する接続先有無と、顔デ
ータ格納位置とが記述されている。また第２表において
は、利用者ＩＤに対応して、顔データと顔データをどの
順に表示するかを指示する表示順とが記述されている。

【００６２】利用するときに、送り手側からの利用者Ｉ
Ｄにより顔データを特定し、受け手側の端末に送信す
る。また、顔データを複数登録しておく場合には、図１
４に示すように、受け手側端末に顔データをどのような
順番で表示するかを記述することにより、サービスに幅
を持たせることが可能となる。 〔実施例２〕自端末内に自分の顔データを登録してお
く。すなわち、第２表に示す画像データベースを自端末
に保有するということである。利用するときに、顔デー
タを送る。この場合、実施例１の場合とは異なり、サー
ビスはセンタを介さない。 〔実施例３〕サービスを利用する利用者情報などを利用
者管理テーブルに登録し、サービスを提供するセンタに
ある画像データベースにはあらかじめ感情にあった文字
と記号で作成したピースマークを登録しておく。第３表
に示す画像データベースにデータを格納する。

【００６３】

【表３】

【００６４】第３表においては、喜びとか悲しみとかの
感情表現に対応して、表示すべきピースマークを記述し
ている。利用するときに、送り手側は送信する文字列と
ともに表情パターンを示す情報も送信する。センタ側は
送信文より、表情パターンの情報を取り出し、受け手側
の端末に文字列とともに指定された表情をもつピースマ
ークを送信する。この場合各々の感情表現に対して複数
のピースマークが登録されるため、受け手側の端末に
は、ランダムにピースマークを変えて表示することで、
サービスに幅を持たせることが可能となる。 〔実施例４〕自端末内に感情にあった文字と記号で作成
したピークマークを登録しておく。すなわち、第３表に
示す画像データベースを自端末に保有するということで
ある。利用するときに、送り手は自分の感情を表現する
ピースマークを送信する。この場合、実施例３の場合と
は異なり、サービスはセンタを介さない。同じ感情に登
録されているピースマークを、ある間隔において送信す
ることにより、受け手側の端末には、ランダムにピース
マークを変えて表示することで、サービスに幅を持たせ
ることが可能となる。 〔実施例５〕サービスを提供するセンタには、サービス
を利用する利用者情報などを利用者管理テーブルに登録
し、利用者の似顔絵を基にして、あらかじめ感情にあっ
た似顔絵のバリエーションを登録しておく。第４表に示
す画像データベースにデータを格納する。

【００６５】

【表４】

【００６６】第４表においては、利用者ＩＤに対応し
て、基準の顔データと、基準へ顔データを変化させた感
情１に該当する顔データならびに当該感情１の場合の表
示順と、感情２に該当する顔データならびに感情２の場
合の表示順と・・・・・が記述されている。

【００６７】複数登録されている場合は、実施例１に示
したのと同じ方法で、受け手側端末に表示させる。利用
するときに、送り手側は表情パターンの情報を送信す
る。センタ側は送られてきた表情パターンの情報から、
受け手側の端末に指定された表情をもつ似顔絵を送信す
る。 〔実施例６〕似顔絵を基にして、自端末内に感情にあっ
た似顔絵のバリエーションを登録しておく。すなわち、
第４表に示す画像データベースを自端末に保有するとい
うことである。利用するときに、送り手は自分の感情を
表現する顔の表情データを送信する。この場合、実施例
５の場合とは異なり、サービスはセンタを介さない。 〔実施例７〕サービスを提供するセンタにはサービスを
利用する利用者情報などを利用者管理テーブルに登録
し、あらかじめサービスを利用する利用者の似顔絵を登
録しておく。第５表に示す画像データベースにデータを
格納する。

【００６８】

【表５】

【００６９】第５表においては、利用者ＩＤに対応して
基準の顔データが記述されている。これを画像データベ
ースにより管理し、送り手側と受け手側の番号より、各
々の端末に表示する似顔絵を決定する。登録されていな
い場合は、デフォルトで表示する絵をあらかじめ決めて
おくことにより、対応する。その処理の流れを図１５に
示す。

【００７０】(1) ステップＳ１…利用者Ａから利用者Ｂ
へのアクセス要求を行う。 (2) ステップＳ２…利用者ＡのＩＤが、画像データベー
スにあるか否かを調べる。

【００７１】(3) ステップＳ３…ＹＥＳの場合、利用者
Ａの似顔絵を選択する。 (4) ステップＳ４…ＮＯの場合、任意の顔の似顔絵を選
択する。 (5) ステップＳ５…利用者ＢのＩＤが、画像データベー
スにあるか否かを調べる。

【００７２】(6) ステップＳ６…ＹＥＳの場合、利用者
Ｂの似顔絵を選択する。 (7) ステップＳ７…ＮＯの場合、任意の顔の似顔絵を選
択する。 人間の表情を分類し、顔部品の移動量など定量的なもの
を決めておく。これらの対応付けは、第６表に示すよう
な感情表現テーブルで管理される。

【００７３】

【表６】

【００７４】第６表においては、夫々の感情に対応し
て、「右目上部」「右目下部」「左目上部」「左目下
部」・・・・などの当該感情を表現する上で好ましい移
動量が記述されている。

【００７５】登録された絵を元にして前に決めた顔部品
を移動し、各々の表情を作成しておく。送り手側には表
情のパターンを通知しておく。利用するときに、送り手
側は送信する文字列とともに表情パターンも送信する。
センタ側は表情パターンを取り出し、受け手側の端末に
文字列とともに指定された表情をもつ似顔絵を送信す
る。 〔実施例８〕センタを介さないシステムの場合には、自
分の似顔絵は自端末内に登録する。第５表に示す画像デ
ータベースにより、各々の表情を自端末において作成す
る。送り手側には表情のパターンの一覧を見えるように
しておく。利用するときに、送り手側は送信する際に表
情パターンを指定し、受け手側の端末に登録された表情
を持つ似顔絵を送信する。 〔実施例９〕〔実施例７〕において、送り手側には感情
表現のパターンを通知しておく。サービスを利用すると
きに、送り手側は感情表現パターンを送信する。センタ
側は送られてきた感情表現パターンより、受け手側の端
末に指定された感情表現を送信する。受け手側の端末で
指定された感情表現に合うように、あらかじめ送信され
た送り手側の似顔絵から顔部品を移動させて表現を実現
する。 〔実施例１０〕サービスを提供するセンタにはサービス
を利用する利用者情報などを利用者管理テーブルに登録
し、あらかじめサービスを利用する利用者の似顔絵を登
録しておく。人間の表情を分類し、顔部品の移動量など
定量的なものを決めておく。登録された絵を元にして前
に決めた顔部品を移動し、各々の表情を作成しておく。
基準となる音声もあらかじめ利用者に入力してもらい、
そのデータを基に、音声の特徴の初期値を取り出してお
く。入力された音声の特徴から、感情を取り出し、受け
手側の端末に指定された表情をもつ似顔絵を送信する。 〔実施例１１〕〔実施例１０〕において、入力された音
声の特徴から、当該音声を発している人の感情を抽出
し、受け手側の端末に指定された感情表現を送信する。
受け手側の端末で指定された感情表現に合うように、あ
らかじめ送信された送り手側の似顔絵から顔部品を移動
させて表現を実現する。 〔実施例１２〕〔実施例８〕において、登録された絵を
元にして前に決めた顔部品を移動し、各々の表情を作成
しておく。基準となる音声をあらかじめ自端末に入力
し、そのデータを基に、音声の特徴の初期値を取り出し
ておく。入力された音声の特徴から、感情を取り出し、
受け手側の端末に指定された表情をもつ似顔絵を送信す
る。受け手側の端末で指定された感情表現に合うよう
に、あらかじめ送信された送り手側の似顔絵から顔部品
を移動させて表現を実現する。 〔実施例１３〕サービスを提供するセンタにはサービス
を利用する利用者情報などを利用者管理テーブルに登録
し、あらかじめサービスを利用する利用者の似顔絵を登
録しておく。人間の表情を分類し、顔部品の移動量など
定量的なものを決めておく。登録された絵を元にして前
に決めた顔部品を移動し、各々の表情を作成しておく。
基準となる映像をあらかじめ利用者に入力してもらい、
そのデータを基に、利用者の映像の特徴の初期値を取り
出しておく。入力された映像の顔の表情や動作から、感
情を取り出し、受け手側の端末に指定された表情をもつ
似顔絵を送信する。 〔実施例１４〕〔実施例１３〕において、入力された映
像の顔の表情や動作から、感情を抽出し、受け手側の端
末に指定された感情表現を送信する。受け手側の端末で
指定された感情表現に合うように、あらかじめ送信され
た送り手側の似顔絵から顔部品を移動させて表現を実現
する。 〔実施例１５〕〔実施例８〕において、登録された絵を
元にして前に決めた顔部品を移動し、各々の表情を作成
しておく。基準となる映像をあらかじめ自端末に入力
し、そのデータを基に、利用者の映像の特徴の初期値を
取り出しておく。入力された映像の顔の表情や動作か
ら、感情を取り出し、受け手側の端末に指定された表情
をもつ似顔絵を送信する。受け手側の端末で指定された
感情表現に合うように、あらかじめ送信された送り手側
の似顔絵から顔部品を移動させて表現を実現する。

【００７６】

【発明の効果】以上説明したように、本発明によれば、
低ビットレート画像通信において文字列に加えて感情表
現を送る、あるいは送られてくる音声情報から感情を取
り出して、それをリアルタイムに受け手の端末に表示す
ることにより、送り手側の意図をより明確に受け手側に
伝えることが可能であるという効果がある。

【図面の簡単な説明】

【図１】低ビットレート画像通信を実現する第１のシス
テム構成図である。

【図２】低ビットレート画像通信を実現する第２のシス
テム構成図である。

【図３】低ビットレート画像通信を実現する第３のシス
テム構成図である。

【図４】低ビットレート画像通信を実現する第４のシス
テム構成図である。

【図５】低ビットレート画像通信を実現する第５のシス
テム構成図である。

【図６】低ビットレート画像通信を実現する第６のシス
テム構成図である。

【図７】低ビットレート画像通信を実現する第７のシス
テム構成図である。

【図８】処理シーケンスの第１の例を示す。

【図９】処理シーケンスの第２の例を示す。

【図１０】処理シーケンスの第３の例を示す。

【図１１】処理シーケンスの第４の例を示す。

【図１２】処理シーケンスの第５の例を示す。

【図１３】処理シーケンスの第６の例を示す。

【図１４】表示候補が複数ある顔データの表示順の一例
を示す。

【図１５】似顔絵選択アルゴリズムの例を示す。

【符号の説明】

１ 送り手側端末 ２ 受け手側端末 ３ 回線 ４ センタ １１ データ入力部 １２ 画像データ作成登録部 １３ 画像データベース １４ データ送信部 １５ 音声入力部 １６ 音声特徴抽出部 １７ 映像入力部 １８ 映像特徴抽出部 ２１ データ受信部 ２２ 画像駆動部 ２３ データ表示部 ２４ 画像データ作成登録部 ２５ 画像データベース ２６ 音声出力部 ４１ 利用者管理テーブル ４２ 画像データ作成登録部 ４３ 画像データベース

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金山 英明 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 電子手帳やページャを含む携帯端末サー
   ビスあるいはインターネットを用いたサービスにおい
   て、 送り手側には、相手端末に表示したい画像データを作成
   ／登録する画像データ作成登録部と、データを格納して
   おく画像データベースと、さまざまなデータを入力する
   データ入力部と、データを受け手側端末に送信するデー
   タ送信部とを有し、 受け手側には、データ送信部から送られてきたデータを
   格納するデータ受信部と、画像データを動かすための画
   像駆動部と、動かした画像データを受け手側端末に出力
   するためのデータ表示部とを有することを特徴とする低
   ビットレート画像通信装置。
2. 【請求項２】 電子手帳やページャを含む携帯端末サー
   ビスあるいはインターネットを用いたサービスにおい
   て、 送り手側には、さまざまなデータを入力するデータ入力
   部と、データを受け手側端末に送信するデータ送信部と
   を有し、 受け手側には、自分の端末に表示したい画像データを作
   成／登録する画像データ作成登録部と、画像データを格
   納しておく画像データベースと、データ送信部から送ら
   れてきたデータを格納するデータ受信部と、画像データ
   を動かすための画像駆動部と、動かした画像データを受
   け手側端末に出力するためのデータ表示部とを有するこ
   とを特徴とする低ビットレート画像通信装置。
3. 【請求項３】 電子手帳やページャを含む携帯端末サー
   ビスあるいはインターネットを用いたサービスにおい
   て、 送り手側受け手側ともに、端末に表示したい画像データ
   を作成／登録する画像データ作成登録部と、画像データ
   を格納しておく画像データベースとを有し、これに加え
   て送り手側にはさまざまなデータを入力するデータ入力
   部と、データを受け手側端末に送信するデータ送信部と
   を有し、 受け手側は、送り手側のデータ送信部から送られてきた
   データを格納するデータ受信部と、画像データを動かす
   ための画像駆動部と、動かした画像データを受け手側端
   末に出力するためのデータ表示部とを有することを特徴
   とする低ビットレート画像通信装置。
4. 【請求項４】 電子手帳やページャを含む携帯端末サー
   ビスあるいはインターネットを用いたサービスにおい
   て、 サービスを利用する利用者のリストや現在の接続の状態
   を管理する利用者管理テーブルと、受け手側端末に表示
   したい画像データを作成／登録する画像データ作成登録
   部と、画像データを格納しておく画像データベースとを
   有するセンタを持ち、 送り手側には、さまざまなデータを入力するデータ入力
   部と、データを受け手側端末に送信するデータ送信部と
   を有し、 受け手側には、送り手側のデータ送信部から送られてき
   たデータを格納するデータ受信部と、画像データを動か
   すための画像駆動部と、動かした画像データを受け手側
   端末に出力するためのデータ表示部を有することを特徴
   とする低ビットレート画像通信装置。
5. 【請求項５】 電子手帳やページャを含む携帯端末サー
   ビスあるいはインターネットを用いたサービスにおい
   て、 サービスを利用する利用者がアクセス可能なセンタに、
   利用者に対応する顔データを含む画像データを格納した
   画像データベースをもうけておき、 送り手Ａ側と受け手Ｂ側とが夫々、上記センタの画像デ
   ータベースから互に相手方の顔データの送信を受けて、
   当該相手方の顔データを表示するようにしたことを特徴
   とする低ビットレート画像通信方法。
6. 【請求項６】 電子手帳やページャを含む携帯端末サー
   ビスあるいはインターネットを用いたサービスにおい
   て、 送り手Ａ側と受け手Ｂ側とに夫々、利用者に対応する顔
   データを含む画像データを格納した画像データベースを
   もうけておき、 当該送り手Ａ側と受け手Ｂ側とが夫々、互に相手方の顔
   データを当該画像データベースから抽出して表示するよ
   うにしたことを特徴とする低ビットレート画像通信方
   法。
7. 【請求項７】 上記画像データベース上に、利用者に対
   応して、異なる表情に対応する複数個の顔データを格納
   しておき、 上記送り手Ａ側および／または上記受け手Ｂ側におい
   て、自己のとるべき表情を指示し、 上記送り手Ａ側および／または上記受け手Ｂ側は、上記
   指示された表情に対応する相手方の顔データを表示する
   ようにしたことを特徴とする低ビットレート画像通信方
   法。
8. 【請求項８】 上記画像データベースに顔を構成する顔
   部品のデータをそなえておき、 上記送り手Ａ側および／または上記受け手Ｂ側は、自己
   のとるべき表情に対応した所の上記顔部品の移動量を指
   示し、 上記送り手Ａ側および／または上記受け手Ｂ側は、上記
   移動量に対応して顔部品を移動させた相手方の顔データ
   を表示するようにしたことを特徴とする低ビットレート
   画像通信方法。