JP2004282576A - 情報端末装置及びそれを用いた通信方法 - Google Patents

Abstract

【課題】画像情報を相手と送受信し、自局画像または対局画像を表示する情報端末装置において、自局画像または対局画像より得られる特徴情報を用いて情報端末装置で消費される電力の低減を図る。
【解決手段】画像入力手段１０において取得された自局画像、または、画像復号化手段８０において復号された対局画像を用いて、特徴検出手段２０は、画像に含まれる特徴情報を検出する。更に特徴検出手段２０は、検出された特徴情報をもとに、画像符号化手段３０、画像表示手段９０、画像復号化手段８０、または、画像入力手段１０を制御し、画像符号化に必要な処理を削減したり、画像表示を停止または削減したり、画像復号化手段から画像表示手段への画像転送を停止または削減したり、画像取り込みフレーム数を削減したりすることによって、情報端末装置で消費される電力を低減する。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、情報端末装置及びそれを用いた通信方法に関し、特に、画像情報を送受し、また表示する情報端末装置において、消費電力を低減するための改良技術に関するものである。
【０００２】
【従来の技術】
現在、モバイルマルチメディア通信端末（以下、モバイル端末と略称）が普及しつつあり、ＴＶ電話、通信ゲームなどのアプリケーションが利用されている。しかし、モバイル端末は、その電力源として蓄電池を利用することが一般的であって、蓄電池が供給できる電力には限界がある。それ故に、これまで以上にモバイル端末における消費電力の抑制が重要な問題となってきている。
【０００３】
なかでも、モバイル端末で画像通信を実現する、画像符号化および復号化アルゴリズムは、その演算量が多いため、画像符号化および復号化処理の過程で消費される電力の削減を図る試みがなされている（特許文献１参照）。
【０００４】
しかしながら、近年のモバイル端末では、画像を利用するアプリケーションが増加し、またモバイル端末自体の画像表示画面の大型化が進んでおり、この結果、モバイル端末で消費される電力は従前以上に著しく増大している。これに伴い、モバイル端末における省電力化は、従来技術で対策される画像符号化および復号化処理の過程での消費電力削減対策のみでは不十分で、モバイル端末のシステム全体で消費される電力を対象としなければならない。
【０００５】
【特許文献１】
特願平８−５２６７５３号公報
【０００６】
【発明が解決しようとする課題】そこで本発明は、利用者の利便性をできるだけ損なうことなく、省電力化を図れる、画像情報を送受信する情報端末装置及びその関連技術を提供することを目的とする。
【課題を解決するための手段】
請求項１記載の自局画像を対局に送信する情報端末装置は、自局画像を入力する画像入力手段と、画像入力手段によって取り込まれた自局画像の特徴を検出する特徴検出手段と、画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、画像符号化手段によって生成された符号化画像情報を対局に送信する符号化情報送信手段とを備え、特徴検出手段は、検出された特徴情報を用いて、画像符号化手段における画像符号化処理を制御する。
【０００７】
この構成によれば、自局画像から得られる特徴情報を用いて、画像符号化処理手段で行う処理を制御する省電力化情報端末装置を実現できる。例えば、入力した画像が、情報端末装置利用者にとって、通信情報として意味のないあるいは価値のない画像であると判定された場合には、その処理を中止することにより、情報端末装置で消費する電力を削減できる。
【０００８】
請求項２記載の自局画像を対局に送信する情報端末装置では、特徴検出手段は、検出された特徴情報に従って、画像符号化手段における画像符号化の処理回数を変更する。
【０００９】
この構成によれば、自局画像から得られる特徴情報に基づいて、画像符号化処理回数を変更することが可能な、省電力化情報端末装置を実現できる。すなわち、得られた特徴情報を解析し、入力した画像が、情報端末装置利用者にとって、通信情報として意味のないあるいは価値のない画像であると判定される場合には、画像符号化の処理回数を減らして、画像符号化処理に必要な消費電力を低減することができる。
【００１０】
請求項３記載の自局画像を対局に送信する情報端末装置では、特徴検出手段は、検出された特徴情報に従って、画像符号化手段における動きベクトル探索の探索条件を変更する。
【００１１】
この構成によれば、情報端末装置は、自局画像から得られる特徴情報を用いて、画像符号化手段における動きベクトル探索の探索範囲や探索回数を変更することができる。従って、得られた特徴情報を解析し、例えば、入力した画像が情報端末装置利用者にとって、通信情報として意味のないあるいは価値のない画像であると判定される場合には、符号化対象画像の画質は多少劣化するものの、動きベクトル探索の探索範囲を狭くしたり、あるいは、探索回数を減らすことにより、動きベクトル探索処理で消費される電力を低減することができる。
【００１２】
請求項４記載の自局画像を対局に送信する情報端末装置では、特徴検出手段は、検出された特徴情報に従って、画像符号化手段における生成符号量を変更する。
【００１３】
この構成によれば、情報端末装置は、自局画像から得られる特徴情報を用いて、画像符号化手段で生成する、生成符号量を変更することができる。例えば、画像の符号化過程においてＤＣＴ（離散コサイン変換）方式を採用する場合、得られた特徴情報を解析し、入力した画像が情報端末装置利用者にとって、通信情報として重要度が極めて低い画像であると判定される場合には、得られたＤＣＴ係数をゼロを多く含むように変更することで、ＤＣＴ演算処理以降の処理を軽減できる。その結果、ＤＣＴ演算処理以降の処理に必要な消費電力を低減した省電力化情報端末装置を実現できる。
【００１４】
請求項５記載の自局画像を対局に送信する情報端末装置では、特徴検出手段は、検出された特徴情報に従って、画像符号化手段における、符号化対象画像の毎秒フレーム数を変更する。
【００１５】
この構成によれば、情報端末装置は、自局画像から得られる特徴情報を用いて、画像符号化手段で処理する符号化対象画像のフレーム数を変更することができる。従って、例えば、情報端末装置利用者にとって意味のある特徴が入力画像に存在しない場合には、符号化対象フレームを間引くことができ、画像符号化処理で消費される電力を低減することができる。
【００１６】
請求項６記載の自局画像を対局に送信する情報端末装置は、自局画像を入力する画像入力手段と、画像入力手段によって取り込まれた自局画像を表示する画像表示手段と、画像入力手段によって取り込まれた自局画像の特徴を検出する特徴検出手段と、画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、画像符号化手段によって生成された符号化画像情報を対局に送信する符号化情報送信手段とを備え、特徴検出手段は、検出された特徴情報に従って、画像表示手段における、画像表示数と画像表示輝度とを含む画像表示形態を変更する。
【００１７】
この構成によれば、情報端末装置は、自局画像から得られる特徴情報を用いて、画像表示手段における、画像表示数と画像表示輝度とを含む画像表示形態を変更することができる。従って、例えば、特徴検出手段によって検出された特徴情報から、入力した画像は、情報端末装置利用者にとって、通信情報として意味のないあるいは価値のない画像であると判定された場合には、画像表示手段によって表示する単位時間あたりの自局画像数を削減したり、画像表示画面の輝度を低下したりすることが可能となる。その結果、画像表示手段で消費される消費電力を低減する省電力化情報端末装置を実現できる。
【００１８】
請求項７記載の対局画像を対局より受信する情報端末装置は、対局の符号化画像を受信する符号化情報受信手段と、符号化情報受信手段から入力される符号化画像情報を復号し、対局画像を生成する画像復号化手段と、画像復号化手段によって生成された対局画像から、特徴を検出する特徴検出手段と、画像復号化手段によって生成された対局画像を表示する画像表示手段とを備え、特徴検出手段は、検出された特徴情報を用いて、画像復号化手段から画像表示手段に送る画像枚数を制御する。
【００１９】
この構成によれば、情報端末装置は、対局画像から得られる特徴情報を用いて、復号化した対局画像を画像復号化手段から画像表示手段に送る枚数を制御することが出来る。従って、受信した対局画像が、情報端末装置利用者にとって、例えば、受信情報として重要でない画像であると判定された場合には、画像復号化手段から画像表示手段に転送される対局画像数を削減することが可能となる。その結果、画像復号化手段と画像表示手段との間の画像転送に消費される電力を低減することができる。
【００２０】
請求項８記載の対局画像を対局より受信する情報端末装置では、特徴検出手段は、検出された特徴情報を用いて、画像表示手段における、画像表示数と画像表示輝度とを含む画像表示形態を変更する。
【００２１】
この構成によれば、情報端末装置は、対局画像から得られる特徴情報を用いて、画像表示手段における、種々の画像表示形態を変更することが出来る。例えば、対局より受信し復号化された対局画像に情報端末装置の利用者が希望する特徴が検出されない場合には、画像表示手段に表示する対局画像の画像数を削減したり、表示画面の輝度を低減したりすることが可能となる。その結果、画像表示手段で消費される消費電力を低減することができる。
【００２２】
請求項９記載の自局画像を対局に送信し、対局より対局画像を受信し表示する情報端末装置は、自局画像を入力する画像入力手段と、画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、画像符号化手段によって生成された符号化画像を対局に送信する符号化情報送信手段と、対局の符号化画像を受信する符号化情報受信手段と、符号化情報受信手段によって受信した符号化画像を復号し、対局画像を生成する画像復号化手段と、画像入力手段によって取り込まれた自局画像と、画像復号化手段によって生成された対局画像とを表示する画像表示手段と、画像入力手段によって取り込まれた自局画像の特徴と、画像復号化手段によって生成された対局画像の特徴とを検出する特徴検出手段とを備え、特徴検出手段は、検出された特徴情報を用いて、画像符号化手段における画像符号化処理、または、画像復号化手段における画像表示手段への画像情報転送処理、または、画像表示手段における画像表示処理の、少なくとも１つを制御する。
【００２３】
この構成によれば、情報端末装置は、自局画像と対局画像から得られる特徴情報を用いて、画像符号化手段で行われる画像符号化処理、または、画像復号化手段で行われる画像表示手段への画像情報転送処理、または、画像表示手段で行われる画像表示処理の、少なくとも１つを制御することが出来る。すなわち、この構成によれば、上記した請求項１〜８記載の発明と同様の効果を得ることが出来る。
【００２４】
請求項１０記載の情報端末装置では、特徴検出手段は、複数の特徴検出処理部と、複数の特徴検出処理部によって検出された、複数の特徴情報から任意の特徴情報を選択し、その選択した特徴情報に基づいて、制御信号を生成する制御信号生成部とをさらに備え、制御信号生成部は、生成した制御信号を用いて、画像符号化手段、画像表示手段、前期画像復号化手段、及び、前期画像入力手段における処理を制御する。
【００２５】
この構成によれば、特徴検出手段は、検出された複数の特徴情報から任意の特徴情報を選択し、その選択した特徴情報に用いて、特徴検出処理毎に、適用する電力削減方法を切り替えることによって、利用者の希望する電力削減方法を選択することができる。
【００２６】
請求項１１記載の自局画像を対局に送信する情報端末装置は、自局画像を入力する画像入力手段と、画像入力手段によって取り込まれた自局画像の特徴を検出する特徴検出手段と、画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、外部情報を入力する外部入力手段と、外部入力手段によって取り込まれた外部情報を用いて、特徴検出手段を制御する特徴検出処理切替手段と、画像符号化手段によって生成された符号化画像を対局に送信する符号化情報送信手段とを備える。
【００２７】
この構成によれば、例えば、ペン入力やキー入力などの外部情報を用いて特徴検出処理を切り替えることが可能であるため、情報端末装置利用者は、適用する電力削減方法を切り替えて、希望する電力削減方法を選択することができる。
【００２８】
さらには、情報端末装置利用者が、ペン入力やキー入力などの外部入力手段を制御している場合には、特徴検出手段は、自局画像及び他局画像の重要度が低下したものと判断し、画像表示手段にかかわる処理を削減するように制御する。その結果、情報端末装置の消費電力を低減出来る。
【００２９】
請求項１２記載の自局画像を対局に送信し、対局より対局画像を受信し表示する情報端末装置は、自局画像を入力する画像入力手段と、画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、画像符号化手段によって生成された符号化画像を対局に送信する符号化情報送信手段と、対局の符号化画像情報を受信する符号化情報受信手段と、符号化情報受信手段によって受信した符号化画像を復号し、対局画像を生成する画像復号化手段と、画像入力手段によって取り込まれた自局画像と、画像復号化手段によって生成された対局画像とを表示する画像表示手段と、画像入力手段によって取り込まれた自局画像の特徴と、画像復号化手段によって生成された対局画像の特徴とを検出する特徴検出手段と、外部情報を入力する外部入力手段と、外部入力手段によって取り込まれた外部情報を用いて、特徴検出手段を制御する特徴検出処理切替手段とを備え、特徴検出手段は、外部入力手段を用いた手動制御、あるいは、特徴検出手段で検出された特徴情報を用いた自動制御に従って、画像符号化手段における画像符号化処理、または、画像復号化手段における画像表示手段への画像情報転送処理、または、画像表示手段における画像表示処理の、少なくとも１つを制御する。
【００３０】
この構成によれば、情報端末装置は、外部入力手段を用いた手動制御、あるいは、特徴検出手段で検出された特徴情報を用いた自動制御に従って、複数の特徴検出手段を切り替え、異なった省電力化の制御が可能となる。すなわち、この構成によって、上記した請求項７〜９記載の発明と同様の効果を持つ省電力化情報端末装置を実現出来る。
【００３１】
請求項１３記載の情報端末装置では、特徴検出手段は、画像情報の特徴検出の開始、停止を制御する。
【００３２】
この構成によれば、情報端末装置利用者は、己の意思によって、特徴検出の作業を開始したり、停止したりすることが可能となる。その結果、例えば、情報端末装置利用者は、省電力制御機能を一時的に停止することもできるため、情報端末装置利用者の利便性が向上する。
【００３３】
請求項１４記載の情報端末装置では、特徴検出手段は、画像入力手段によって取り込まれた自局画像と、あらかじめ準備されたテンプレートとの比較によって特徴検出する。
【００３４】
この構成によれば、特徴検出手段は、例えば、入力された自局画像があらかじめ準備されたテンプレートと一致しなければ、その画像は重要でないと判断して、省電力となる処理を行うことが出来る。
【００３５】
請求項１５記載の情報端末装置では、特徴検出手段は、画像符号化手段によって得られた動きベクトル情報と、あらかじめ準備されたテンプレートとの比較によって特徴検出する。
【００３６】
この構成によれば、特徴検出手段は、例えば、入力された自局画像あるいは他局画像の動きが、あらかじめ準備されたテンプレートの動きと一致しなければ、その画像は重要でないと判断して、省電力となる処理を行うことが出来る。
【００３７】
請求項１６記載の情報端末装置では、特徴検出手段で検出される画像情報は、当該情報端末装置利用者の顔情報であることを特徴とする。
【００３８】
この構成によれば、特徴検出手段は、例えば、入力された自局画像が当該情報端末装置利用者の顔と一致した時のみ、その画像は重要であると判断して、省電力となる処理から通常の処理に切り替えることが出来る。
【００３９】
【発明の実施の形態】
次に、図面を参照しながら、本発明の実施の形態を説明する。以下の図において、各手段相互を結ぶ実線は、主として画像情報を伝達する経路を表し、各手段相互を結ぶ点線は、主として制御情報を伝達する経路を表す。
【００４０】
（第１の実施形態）
【００４１】
図１は、本発明の第１の実施形態における情報端末装置の概略構成図である。図１に示す本発明の第１の実施形態における情報端末装置は、画像入力手段１０、特徴検出手段２０、画像符号化手段３０、及び、符号化情報送信手段４０を備える。
【００４２】
画像入力手段１０は、ＣＣＤカメラなどから構成され、画像を取り込み、入力画像ｎ０１を特徴検出手段２０に、入力画像ｎ０２を画像符号化手段３０に出力する。
【００４３】
特徴検出手段２０は、入力画像ｎ０１の中に対象とする画像があるかどうかを検出し、その結果をパラメータ変更情報ｓ０１として、画像符号化手段３０に通知する。
【００４４】
画像符号化手段３０は、パラメータ変更情報ｓ０１を参照して、入力画像ｎ０２の符号化処理をする。符号化された入力画像は、符号化情報ｎ０３として、符号化情報送信手段４０に送られる。
【００４５】
符号化情報送信手段４０は、符号化情報ｎ０３を送信路５０に送出する。
【００４６】
特徴検出手段２０における画像から特徴を検出する手法自体は、本発明の骨子に関与しないので、詳細な説明を省略する。例えば、特願２００１−１２０４９６号及び特願２００１−１５２６１４号に記述されている手法を採用することが出来る。
【００４７】
本発明の第１の実施形態では、入力画像中の特徴情報の有無を検出している。これにより、入力画像の処理方法を変更することが出来、省電力モードの符号化処理を行うことが出来る。
【００４８】
画像符号化手段３０で行う符号化は、一般的に採用されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従っている。
【００４９】
ＭＰＥＧ方式は、フレーム内符号化と、動き補償を利用したフレーム間符号化を行い、高圧縮率の符号化データを得る方式である。この符号化過程での量子化処理、あるいは動き補償のための動きベクトルの探索処理を制御することで省電力化が可能となる。以下にその詳細を説明する。
【００５０】
図２は、本発明の第１の実施形態における画像符号化手段３０を詳細に表示した情報端末装置の構成図である。
【００５１】
図２において、画像符号化手段３０は、入力画像バッファ３０９、直交変換手段３０１、量子化手段３０２、可変長符号化手段３０３、逆量子化手段３０４、逆直交変換手段３０５、動き検出手段３０６、動き補償手段３０７、及び、フレームメモリ３０８を備える。
【００５２】
入力画像バッファ３０９は、メモリ等から構成され、画像入力手段１０が出力する入力画像ｎ０２を格納する。直交変換手段３０１は、入力画像バッファ３０９から取り出された符号化対象ブロックと、予測参照ブロックとの差分に対して、直交変換（例えば、ＤＣＴ）を行う。量子化手段３０２は、直交変換手段３０１で得られた変換係数を、別に定めた量子化幅で、量子化する。可変長符号化手段３０３は、量子化された変換係数と後述する動きベクトルに対して、可変長符号化を行い、符号化情報ｎ０３として符号化情報送信手段４０に送る。逆量子化手段３０４は、フレーム間予測のための参照画像を作成するために、量子化された信号を逆量子化する。逆直交変換手段３０５は、逆量子化された係数に対して逆直交変換を行い、差分ブロックを求める。動き検出手段３０６は、フレーム間予測のため、入力画像バッファ３０９から得た符号化対象ブロックと、後述するフレームメモリ３０８から得た参照画像とについて、その差分絶対値和が最小となる計算を行い、動きベクトルを求める。動き補償手段３０７は、動きベクトルを用いて、フレームメモリ３０８から得た参照画像から予測参照ブロックを求める。フレームメモリ３０８は、予測参照ブロックと差分ブロックの加算から得られる参照画像ブロックを格納する。
【００５３】
次に、特徴検出手段２０と画像符号化手段３０との間の省電力化のための制御について説明する。以下の説明では、上述したパラメータ変更情報ｓ０１は、具体的には、探索範囲パラメータ変更情報ｓ０１−１、入力画像取り込みパラメータ変更情報ｓ０１−２、及び、量子化パラメータ変更情報ｓ０１−３として、展開される。
【００５４】
まず、省電力化の第１の方法として、量子化手段３０２を制御する方法を説明する。
【００５５】
特徴検出手段２０は、入力画像中に検出対象が存在しない場合、量子化手段３０２に対して、量子化パラメータ変更情報ｓ０１−３を出力する。すると、量子化手段３０２は量子化パラメータ変更情報ｓ０１−３を受けて、直交変換手段３０１で得られた変換係数を量子化するときの量子化パラメータを変更する。
【００５６】
ここで、量子化パラメータは、ＭＰＥＧの各方式により、とり得る値の範囲が異なる。例えば、ＭＰＥＧ４では、量子化パラメータは、「１」から「３１」の値をとり得る。
【００５７】
入力画像中に検出対象物が存在しない場合、特徴検出手段２０は、量子化パラメータの値を増加させる。この結果、量子化手段３０２での、直交変換係数の量子化された値は、非ゼロ係数の数が減少する。すなわち、量子化パラメータの値を増加させて、より大きな量子化幅で量子化する結果、ゼロの係数が増える。これにより、可変長符号化手段３０３の処理回数が減少し、例えば、可変長符号化手段３０３を実現しているＬＳＩの回路の消費電力が低減される。
【００５８】
次に、省電力化の第２の方法として、動き検出手段３０６を制御する方法を説明する。
【００５９】
入力画像中に検出対象が存在しない場合、特徴検出手段２０は、動き検出手段３０６に対して、探索範囲パラメータ変更情報ｓ０１−１を出力する。すると、動き検出手段３０６は、探索範囲パラメータ変更情報ｓ０１−１を受けて、探索範囲を変更する。
【００６０】
ここで、探索範囲パラメータは、ＭＰＥＧ方式ではｆｃｏｄｅと呼ばれるパラメータで規定され、このパラメータを変更することにより、探索範囲の画素数を「±１６」から「±１０２４」まで変更することが出来る。動き検出手段３０６は、上記範囲の画素に対して探索を行い、最適な動きベクトルを検出する。
【００６１】
従って、入力画像中に検出対象が存在しない場合、特徴検出手段２０が、探査範囲を狭くするように探索範囲パラメータ変更情報ｓ０１−１を出力すれば、動き検出手段３０６での処理量は減少し、動き検出手段３０６を実現しているＬＳＩの回路の消費電力が低減される。
【００６２】
なお、探索範囲パラメータ変更情報は、ｆｃｏｄｅパラメータの代わりに、画素の間引きを規定するパラメータを変更して、探索回数を低減させることも可能である。
【００６３】
このように、検出した特長情報に基づいて、動きベクトル探索の探索条件を変更することにより、情報端末装置の省電力化を実現できる。
【００６４】
次に、省電力化の第３の方法として、画像入力手段１０を制御する方法を説明する。
【００６５】
入力画像中に検出対象が存在しない場合、特徴検出手段２０は、画像入力手段１０に対して、入力画像取り込みパラメータ変更情報ｓ０４を出力する。すると、画像入力手段１０は、入力画像取り込みパラメータ変更情報ｓ０４を受けて、入力画像の毎秒あたり取り込み枚数を変更する。
【００６６】
ここで、入力画像取り込みパラメータは、例えば、ＭＰＥＧ方式では、プロファイルとレベルで規定される毎秒のフレーム数であり、例えば、「１５」、「７．５」、「０」（フレーム／秒）という値を取ることが出来る。
【００６７】
従って、入力画像中に検出対象物が存在しない場合、特徴検出手段２０が、入力画像取り込みパラメータの値を減少させることにより、符号化すべき毎秒の入力画像フレーム数が減少する。その結果、特徴検出手段２０及び画像符号化手段３０の処理回数は減少し、特徴検出手段２０及び画像符号化手段３０を実現しているＬＳＩの回路の消費電力が低減される。
【００６８】
なお、入力画像取り込みパラメータ変更情報ｓ０１−２は、特徴抽出手段２０から、入力画像バッファ３０９に通知され、入力画像バッファ３０９から取り出す毎秒のフレーム数を変更する。したがって、取り出すフレーム数を低減することにより、入力画像バッファ３０９よりも後段に位置する直交変換手段３０１、動き検出手段３０６、及び、それ以降の回路の処理量が少なくなり、消費電力が低減される。
【００６９】
（第２の実施形態）
【００７０】
図３は、本発明の第２の実施形態における情報端末装置の概略構成図である。なお、図３において、図１と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【００７１】
図３に示す、本発明の第２の実施形態に係る情報端末装置は、画像情報を送信し、受信できる情報端末装置であり、図１に示した構成要素に加えて、符号化情報受信手段７０、画像復号化手段８０、及び、画像表示手段９０とをさらに備える。
【００７２】
送信路５０および受信路６０は、自局情報端末装置と対局情報端末装置間の、符号化画像情報を送受する物理的な伝送路である。
【００７３】
画像入力手段１０を用いて、自局情報端末装置利用者の画像情報を取り込み、符号化画像情報として送信路５０に送信する過程は、第１の実施形態と同様であり、説明を省略する。
【００７４】
符号化情報受信手段７０は、対局情報端末装置から送られた符号化画像情報ｎ０５を受信する。画像復号化手段８０は、受信した符号化画像情報ｎ０６を復号し、画像表示手段９０で表示可能な画像情報ｎ０８を生成する。
【００７５】
画像表示手段９０は、画像入力手段１０で取り込まれた自局の画像情報ｎ０９と、画像復号化手段８０で復号された対局の画像情報ｎ０８を表示する。
【００７６】
特徴検出手段２０は、画像入力手段１０で取り込まれた自局の画像情報ｎ０１に含まれる特徴情報と、画像復号化手段８０で復号された対局の画像情報ｎ０７とに含まれる特徴情報を検出する。
【００７７】
本形態における特徴検出手段２０は、自局画像と対局画像から検出される特徴情報を基に、画像符号化手段３０、画像表示手段９０、及び、画像復号化手段８０のそれぞれを制御して、省電力化を実現する。以下に、その詳細を説明する。
【００７８】
本形態において、特長検出手段２０が、パラメータ変更情報ｓ０１、及び、パラメータ変更情報ｓ０４を用いて、画像符号化手段３０と画像入力手段１０を制御して、情報端末装置１００で消費される電力を低減させる方法は、上述した第１の実施形態における方法と同じである。従って、ここでは、その説明を省略し、その他の方法について説明する。
【００７９】
図３に示すように、特徴検出手段２０は、自局画像または対局画像に含まれる特長情報を検出し、その結果に基づいて、パラメータ変更情報ｓ０２を画像表示手段９０に送り、画像表示手段９０で消費される電力を低減する。
【００８０】
図４は、本発明の第２の実施形態における画像表示手段９０の構成図である。画像表示手段９０は、本体９１０と画像合成手段９２０を備え、本体９１０は、ドライバ９０３、輝度調整部９０４、表示デバイス９０５、及び、光源９０６を有し、画像合成手段９２０は、画像表示制御部９０１と第２画像記憶部９０２を有す。
【００８１】
画像表示制御部９０１は、画像復号化手段８０より送られる対局画像ｎ０８と、画像入力手段１０より送られる自局画像ｎ０９から、表示デバイス９０５で表示する画像を合成する。画像表示制御部９０１で合成された画像情報は、ドライバ９０３を介し、表示デバイス９０５に送られて、表示される。
【００８２】
画像表示制御部９０１は、表示デバイス９０５における画像表示タイミングや画像表示輝度などを制御するため、ドライバ９０３及び輝度調整部９０４に制御信号を送る。（図４では点線で示している。）
【００８３】
第２画像記憶部９０２は、画像表示制御部９０１で合成された画像、対局画像ｎ０８、あるいは、自局画像ｎ０９を保存することができる。
【００８４】
図３に示す特徴検出手段２０は、画像入力手段１０からの自局画像の特徴情報、または、画像復号化手段８０からの対局画像の特徴情報を検出する。例えば、自局画像に、自局利用者の顔画像が含まれていない場合、特徴検出手段２０は、自局利用者が画像表示手段９０を目視できない状態であると判断する。そして、特徴検出手段２０は、パラメータ変更情報ｓ０２を用いて、画像表示手段９０を制御し、画像表示制御部９０１からドライバ９０３への画像転送を停止することによって、対局画像や自局画像の表示を停止する。
【００８５】
上述したように、第２の実施形態に係る情報端末装置は、自局画像または対局画像の中に、自局利用者が必要とする特徴情報が検出されない場合は、画像表示を停止することによって、画像表示手段９０で消費される電力を削減することができる。
【００８６】
なお、第２の実施形態に係る情報端末装置を用いることで、特徴検出手段２０は、パラメータ変更情報ｓ０２を用いて、画像表示制御部９０１を制御し、画像表示制御部９０１からドライバ９０３への画像転送枚数を低減させることによって、画像表示を停止することなく、消費電力の削減を図ることもできる。
【００８７】
更に、図４に示すように、本形態では、特徴検出手段２０は、パラメータ変更情報ｓ０２を用いて、画像表示制御部９０１を介して、輝度調整部９０４を制御し、光源９０６の輝度を低減することによって、消費電力の削減を図ることもできる。
【００８８】
次に、図５を参照して、画像復号化手段８０での消費電力を低減する方法について説明する。
【００８９】
図５は、本発明の第２の実施形態における画像復号化手段８０の構成図である。図５に示すように、画像復号化手段８０は、画像復号化処理部８０１、画像転送制御部８０２、及び、第１画像記憶部８０３を備える。
【００９０】
画像復号化処理部８０１は、符号化情報受信手段７０で受信された対局画像情報ｎ０６を受け取り、対局画像を復号する。復号された対局画像は、画像転送制御部８０２を経由して、特徴検出手段２０に対局画像ｎ０７として、画像表示手段９０に対局画像ｎ０８として転送される。同時に、画像復号化処理部８０１で復号された対局画像は、第１画像記憶部８０３に格納される。第１画像記憶部８０３に格納された画像情報は、例えば、対局からの受信が途絶えた時に、画像転送制御部８０２を経由して、画像表示手段９０または特徴検出手段２０に転送して、代用画像情報として利用することが出来る。
【００９１】
図３に示す特徴検出手段２０は、画像復号化手段８０にて復号された対局画像情報について、特徴情報を検出する。例えば、対局画像情報に対局利用者の顔画像が含まれていない場合、特徴検出手段２０は、対局利用者が対局情報端末装置を直視する位置にいないものと判断し、パラメーター変更情報ｓ０３を用いて、図５に示す画像転送制御部８０２を制御して、画像復号化手段８０から画像表示手段９０への画像転送を停止し、または、画像転送数を削減する。
【００９２】
以上のように、第２の実施形態に係る情報端末装置は、画像復号化手段８０において復号された対局の画像情報から特徴情報を検出し、それを基に、自局利用者が対局画像の表示の要・不要を判定し、不要と判定した場合には、画像復号化手段８０から画像表示手段９０に転送される対局画像の画像転送を停止、または、画像転送数を削減することが出来る。その結果、画像復号化手段８０において、画像を送出するために消費される電力、あるいは、画像表示手段９０において、画像を受け取るために消費される電力を削減することができる。
【００９３】
（第３の実施形態）
【００９４】
図６は、本発明の第３の実施形態における情報端末装置の概略構成図である。なお、図６において、図１及び図３と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【００９５】
図６に示す、本発明の第３の実施形態に係る情報端末装置は、画像情報を送信し、受信できる情報端末装置であり、図３に示した構成要素に加えて、外部入力手段１１と特徴検出処理切替手段２１とをさらに備える。
【００９６】
図７は、本発明の第３の実施形態における特徴検出手段２０の構成図である。特徴検出手段２０は、複数の特徴検出処理部２０ａ、２０ｂ、２０ｃと、制御信号生成部２０１を有す。
【００９７】
以下に、図７を参照して、本発明の第３の実施形態の動作について説明する。
【００９８】
図７に示す本形態の特徴検出手段２０においては、画像入力手段１０より転送された自局画像ｎ０１と、画像復号化手段８０より転送された対局画像ｎ０７は、複数の特徴検出処理部２０ａ、２０ｂ、２０ｃに入力される。
【００９９】
制御信号生成部２０１は、各特長検出処理部２０ａ、２０ｂ、２０ｃにおいて検出された、自局画像または対局画像の特徴情報ｓ２０ａ、ｓ２０ｂ、ｓ２０ｃを基に、画像符号化手段３０へ送るパラメータ変更情報ｓ０１、画像表示手段９０へ送るパラメータ変更情報ｓ０２、画像復号化手段８０へ送るパラメータ変更情報ｓ０３、及び、画像入力手段１０へ送るパラメータ変更情報ｓ０４を生成する。この時、制御信号生成部２０１は、後述する特徴検出処理切替手段２１から送られる特徴検出切替信号ｓ０５に従って、特徴情報ｓ２０ａ、ｓ２０ｂ、ｓ２０ｃのいずれかを選択し、パラメータ変更情報ｓ０１、ｓ０２、ｓ０３、ｓ０４のいずれか一つまたは複数を生成することができる。
【０１００】
例えば、自局画像または対局画像の特徴検出として、人物の顔検出を行う場合、特徴検出手段２０は、正面顔を検出する特徴検出処理部２０ａと、横顔を検出する特徴検出処理部２０ｂと、視線を検出する特徴検出処理部２０ｃとによって構成され、特徴情報として、正面顔か、横顔か、視視の状態かを検出する。この特徴情報を用いて、特徴情報が正面顔以外の時には、省電力のモードに制御を切り替えることができる。
【０１０１】
次に、図６を参照して、本形態の外部入力による制御について説明する。
【０１０２】
図６において、外部入力手段１１は、ペン入力やキー入力などから構成され、それらから外部入力情報ｎ１０を取り込み、特徴検出処理切替手段２１に送る。特徴検出処理切替手段２１は、外部入力情報ｎ１０を用いて、特徴検出手段２０を制御する特徴検出切替信号ｓ０５を生成する。この特徴検出切替信号ｓ０５は、上述したように、図７に示した特徴検出処理部２０ａ、２０ｂ、２０ｃを切り替える。本形態の外部入力による制御を利用すれば、省電力化制御をより細かく手動で制御することが可能となる。
【０１０３】
例えば、本発明の一形態として、情報端末装置をテレビ電話に応用する場合を説明する。テレビ電話の自局利用者が、テレビ電話中に、テレビ電話のキー操作を行った場合、外部入力手段１１によってキーの押下が検出され、特徴検出処理切替手段２１に伝えられる。特徴検出処理切替手段２１は、テレビ電話中にもかかわらずキー操作をしていることを検出したので、テレビ電話の自局利用者の注意は、画像表示手段９０ではなく、キー操作にあると判断し、特徴検出手段２０において行う特徴検出処理を、テレビ電話の表示画面を暗くしたり、表示画面数を減らしたりして、低消費電力化が図れる処理に切替る。
【０１０４】
図８は、利用者が情報端末装置１００（上記の例ではテレビ電話）を凝視している状態を示す図であり、図９は、利用者が情報端末装置１００（上記の例ではテレビ電話）を凝視していない状態を示すである。図８の正面顔で凝視している状態が検出された時は、パラメータ変更情報は、情報端末装置１００の各構成要素が通常の動作を行う制御情報となり、図９の斜視の状態が検出された時は、パラメータ変更情報は、不要な構成要素が省電力の動作を行う制御情報となる。
【０１０５】
以上述べたように、第３の実施形態に係る特徴検出手段２０を用いることで、複数の特徴検出処理によって検出される特徴情報を選択し、異なる省電力制御を実現することができる。さらに、外部入力手段１１にて得られる外部入力情報を用いて、自局利用者が画像表示や画像符号化処理への注意が低下していることを検出し、特徴検出処理を消費電力をより削減できる制御に切り替えることによって、情報端末装置１００で消費される電力を削減することができる。
【０１０６】
なお、第１〜３の実施形態では、特徴検出手段２０は、パラメータ変更情報ｓ０１、ｓ０２、ｓ０３、あるいは、ｓ０４を用いて、画像符号化手段３０、画像復号化手段８０、画像表示手段９０、または、画像入力手段１０を制御しているが、パラメータ変更情報による制御ではなく、画像符号化手段３０、画像復号化手段８０、画像表示手段９０、または、画像入力手段１０に、あらかじめ準備された設定用レジスタ等を利用して制御することもできる。
【０１０７】
第３の実施形態における、特徴検出処理部は、３個に限定されるものではなく、任意の個数を設定してよい。
【０１０８】
第３の実施形態では、外部入力手段１１は、ペン入力あるいはキー入力としたが、外部入力手段１１は、これらに限るものではなく、例えば、音声入力でもよく、その場合は、音声認識手段などを用いて、特定の言葉を認識し、それを特徴情報として利用し、省電力の動作にすることも可能である。さらには、周囲の明るさを検出する手段を用いて、利用環境の特徴情報を検出し、省電力の動作にすることも可能である。
【０１０９】
このように、本発明の主眼点は、情報端末装置が処理する情報、あるいは、情報端末装置が置かれた環境の中から特徴的な情報を検出し、それを利用して、情報端末装置利用者の利便性を考慮しつつ、情報端末装置利用時における省電力化をきめ細かく実現しようとするものであり、本発明の趣旨を逸脱しない限りにおいて、種々の適用が可能である。
【０１１０】
【発明の効果】
本発明によれば、情報端末装置が処理する自局画像、あるいは、対局画像の中から、特徴を検出し、その検出した特徴に関する情報を利用して、画像符号化手段、画像表示手段、画像復号化手段、または、画像入力手段を制御し、画像符号化に必要な処理を削減したり、画像表示を停止または削減したり、画像復号化手段から画像表示手段への画像転送を停止または削減したり、画像取り込みフレーム数を削減したりすることによって、より低い消費電力の情報端末装置を供給できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における情報端末装置の概略構成図
【図２】本発明の第１の実施形態における画像符号化手段を詳細に表示した情報端末装置の構成図
【図３】本発明の第２の実施形態における情報端末装置の概略構成図
【図４】本発明の第２の実施形態における画像表示手段の構成図
【図５】本発明の第２の実施形態における画像復号化手段の構成図
【図６】本発明の第３の実施形態における情報端末装置の概略構成図
【図７】本発明の第３の実施形態における特徴検出手段の構成図
【図８】利用者が情報端末装置を凝視している状態を示す図
【図９】利用者が情報端末装置を凝視していない状態を示す図
【符号の説明】
１０ 画像入力手段
１１ 外部入力手段
２０ 特徴検出手段
２１ 特徴検出処理切替手段
３０ 画像符号化手段
４０ 符号化情報送信手段
５０ 送信路
６０ 受信路
７０ 符号化情報受信手段
８０ 画像復号化手段
９０ 画像表示手段
１００ 情報端末装置
２０１ 制御信号生成部
２０ａ 特徴検出処理部Ａ
２０ｂ 特徴検出処理部Ｂ
２０ｃ 特徴検出処理部Ｃ
３０１ 直交変換手段
３０２ 量子化手段
３０３ 可変長符号化手段
３０４ 逆量子化手段
３０５ 逆直交変換手段
３０６ 動き検出手段
３０７ 動き補償手段
３０８ フレームメモリ
３０９ 入力画像バッファ
８０１ 画像復号化処理部
８０２ 画像転送制御部
８０３ 画像記憶部１
９０１ 画像表示制御部
９０２ 画像記憶部２
９０３ ドライバ
９０４ 輝度調整部
９０５ 表示デバイス
９０６ 光源
９１０ 本体
９２０ 画像合成手段

Claims (29)

1. 自局画像を対局に送信する情報端末装置であって、
   自局画像を入力する画像入力手段と、
   前記画像入力手段によって取り込まれた自局画像の特徴を検出する特徴検出手段と、
   前記画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、
   前記画像符号化手段によって生成された符号化画像情報を対局に送信する符号化情報送信手段とを備え、
   前記特徴検出手段は、検出された特徴情報を用いて、前記画像符号化手段における画像符号化処理を制御する情報端末装置。
2. 前記特徴検出手段は、検出された特徴情報に従って、前記画像符号化手段における画像符号化の処理回数を変更する請求項１記載の情報端末装置。
3. 前記特徴検出手段は、検出された特徴情報に従って、前記画像符号化手段における動きベクトル探索の探索条件を変更する請求項１記載の情報端末装置。
4. 前記特徴検出手段は、検出された特徴情報に従って、前記画像符号化手段における生成符号量を変更する請求項１記載の情報端末装置。
5. 前記特徴検出手段は、検出された特徴情報に従って、前記画像符号化手段における、符号化対象画像の毎秒フレーム数を変更する請求項１記載の情報端末装置。
6. 自局画像を対局に送信する情報端末装置であって、
   自局画像を入力する画像入力手段と、
   前記画像入力手段によって取り込まれた自局画像を表示する画像表示手段と、
   前記画像入力手段によって取り込まれた自局画像の特徴を検出する特徴検出手段と、
   前記画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、
   前記画像符号化手段によって生成された符号化画像情報を対局に送信する符号化情報送信手段とを備え、
   前記特徴検出手段は、検出された特徴情報に従って、前記画像表示手段における、画像表示数と画像表示輝度とを含む画像表示形態を変更する情報端末装置。
7. 符号化された対局画像を対局より受信する情報端末装置であって、
   対局の符号化画像を受信する符号化情報受信手段と、
   前記符号化情報受信手段から入力される符号化画像情報を復号し、対局画像を生成する画像復号化手段と、
   前記画像復号化手段によって生成された対局画像から、特徴を検出する特徴検出手段と、
   前記画像復号化手段によって生成された対局画像を表示する画像表示手段とを備え、
   前記特徴検出手段は、検出された特徴情報を用いて、前記画像復号化手段から前記画像表示手段に送る画像枚数を制御する情報端末装置。
8. 前記特徴検出手段は、検出された特徴情報を用いて、前記画像表示手段における、画像表示数と画像表示輝度とを含む画像表示形態を変更する請求項７記載の情報端末装置。
9. 自局画像を対局に送信し、対局より対局画像情報を受信し表示する、情報端末装置であって、
   自局画像を入力する画像入力手段と、
   前記画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、
   前記画像符号化手段によって生成された符号化画像を対局に送信する符号化情報送信手段と、
   対局の符号化画像を受信する符号化情報受信手段と、
   前記符号化情報受信手段によって受信した符号化画像を復号し、対局画像を生成する画像復号化手段と、
   前記画像入力手段によって取り込まれた自局画像と、前記画像復号化手段によって生成された対局画像とを表示する画像表示手段と、
   前記画像入力手段によって取り込まれた自局画像の特徴と、前記画像復号化手段によって生成された対局画像の特徴とを検出する特徴検出手段とを備え、
   前記特徴検出手段は、検出された特徴情報を用いて、前記画像符号化手段における画像符号化処理、または、前記画像復号化手段における前記画像表示手段への画像情報転送処理、または、前記画像表示手段における画像表示処理の、少なくとも１つを制御する情報端末装置。
10. 前記特徴検出手段は、
    複数の特徴検出処理部と、
    前記複数の特徴検出処理部によって検出された、複数の特徴情報から任意の特徴情報を選択し、その選択した特徴情報に基づいて、制御信号を生成する制御信号生成部とをさらに備え、
    前記制御信号生成部は、生成した制御信号を用いて、前記画像符号化手段、前記画像表示手段、前期画像復号化手段、及び、前期画像入力手段における処理を制御する、請求項１から９記載の情報端末装置。
11. 自局画像を対局に送信する情報端末装置であって、
    自局画像を入力する画像入力手段と、
    前記画像入力手段によって取り込まれた自局画像の特徴を検出する特徴検出手段と、
    前記画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、
    外部情報を入力する外部入力手段と、
    前記外部入力手段によって取り込まれた外部情報を用いて、前記特徴検出手段を制御する特徴検出処理切替手段と、
    前記画像符号化手段によって生成された符号化画像を対局に送信する符号化情報送信手段とを備えた情報端末装置。
12. 自局画像を対局に送信し、対局より対局画像を受信し表示する、情報端末装置であって、
    自局画像を入力する画像入力手段と、
    前記画像入力手段によって取り込まれた自局画像を符号化する画像符号化手段と、
    前記画像符号化手段によって生成された符号化画像を対局に送信する符号化情報送信手段と、
    対局の符号化画像情報を受信する符号化情報受信手段と、
    前記符号化情報受信手段によって受信した符号化画像を復号し、対局画像を生成する画像復号化手段と、
    前記画像入力手段によって取り込まれた自局画像と、前記画像復号化手段によって生成された対局画像とを表示する画像表示手段と、
    前記画像入力手段によって取り込まれた自局画像の特徴と、前記画像復号化手段によって生成された対局画像の特徴とを検出する特徴検出手段と、
    外部情報を入力する外部入力手段と、
    前記外部入力手段によって取り込まれた外部情報を用いて、前記特徴検出手段を制御する特徴検出処理切替手段とを備え、
    前記特徴検出手段は、前記外部入力手段を用いた手動制御、あるいは、前記特徴検出手段で検出された特徴情報を用いた自動制御に従って、前記画像符号化手段における画像符号化処理、または、前記画像復号化手段における前記画像表示手段への画像情報転送処理、または、前記画像表示手段における画像表示処理の、少なくとも１つを制御する情報端末装置。
13. 前記特徴検出手段は、画像情報の特徴検出の開始、停止を制御する、請求項１から１２記載の情報端末装置。
14. 前記特徴検出手段は、前記画像入力手段によって取り込まれた自局画像と、あらかじめ準備されたテンプレートとの比較によって特徴検出をする、請求項１から１２記載の情報端末装置。
15. 前記特徴検出手段は、前記画像符号化手段によって得られた動きベクトル情報と、あらかじめ準備されたテンプレートとの比較によって特徴検出をする、請求項１から１２記載の情報端末装置。
16. 前記特徴検出手段で検出される画像情報は、当該情報端末装置利用者の顔情報であることを特徴とする、１から１２記載の情報端末装置。
17. 自局画像を対局に送信する情報端末装置を用いた通信方法であって、
    自局画像を入力する画像入力ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像の特徴を検出する特徴検出ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像を符号化する画像符号化ステップと、
    前記画像符号化ステップにおいて生成された符号化画像情報を対局に送信する符号化情報送信ステップとを含み、
    前記特徴検出ステップは、検出された特徴情報を用いて、前記画像符号化ステップにおける画像符号化処理を制御するステップを含む、情報端末装置を用いた通信方法。
18. 前記特徴検出ステップにおいて処理する制御は、検出された特徴情報に従って、前記画像符号化ステップにおける画像符号化の処理回数、動きベクトルの探索条件、生成符号量、あるいは、符号化対象画像の毎秒フレーム数のうちのいずれかを変更するステップを含む、請求項１７記載の、情報端末装置を用いた通信方法。
19. 自局画像を対局に送信する情報端末装置を用いた通信方法であって、
    自局画像を入力する画像入力ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像を表示する画像表示ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像の特徴を検出する特徴検出ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像を符号化する画像符号化ステップと、
    前記画像符号化ステップにおいて生成された符号化画像情報を対局に送信する符号化情報送信ステップとを含み、
    前記特徴検出ステップは、検出された特徴情報に従って、前記画像表示ステップにおける画像表示数と画像表示輝度とを含む画像表示形態を変更するステップを含む、情報端末装置を用いた通信方法。
20. 符号化された対局画像を対局より受信する情報端末装置を用いた通信方法であって、
    受信路から対局の符号化画像を受信する符号化情報受信ステップと、
    前記符号化情報受信ステップから入力される符号化画像情報を復号し、対局画像を生成する画像復号化ステップと、
    前記画像復号化ステップにおいて生成された対局画像から、特徴を検出する特徴検出ステップと、
    前記画像復号化ステップにおいて生成された対局画像を表示する画像表示ステップとを含み、
    前記特徴検出ステップは、検出された特徴情報を用いて、画像復号化手段から画像表示手段に送る画像枚数を制御するステップを含む、情報端末装置を用いた通信方法。
21. 前記特徴検出ステップは、検出された特徴情報を用いて、前記画像表示ステップにおける、画像表示数と画像表示輝度とを含む画像表示形態を変更するステップを含む、請求項２０記載の、情報端末装置を用いた通信方法。
22. 自局画像を対局に送信し、対局より対局画像を受信し表示する、情報端末装置を用いた通信方法であって、
    自局画像を入力する画像入力ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像を符号化する画像符号化ステップと、
    前記画像符号化ステップにおいて生成された符号化画像を対局に送信する符号化情報送信ステップと、
    対局の符号化画像を受信する符号化情報受信ステップと、
    前記符号化情報受信ステップおいて受信した符号化画像を復号し、対局画像を生成する画像復号化ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像と、前記画像復号化ステップにおいて生成された対局画像とを表示する画像表示ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像の特徴と、前記画像復号化ステップにおいて生成された対局画像の特徴とを検出する特徴検出ステップとを含み、
    前記特徴検出ステップは、検出された特徴情報を用いて、前記画像符号化ステップにおける画像符号化処理、または、前記画像復号化ステップにおける画像情報転送処理、または、前記画像表示ステップにおける画像表示処理の、少なくとも１つを制御するステップを含む、情報端末装置を用いた通信方法。
23. 前記特徴検出ステップは、
    複数の特徴検出処理ステップと、
    前記複数の特徴検出処理ステップにおいて検出された、複数の特徴情報から任意の特徴情報を選択し、その特徴情報を基づいて、制御信号を生成する制御信号生成ステップとを含み、
    前記制御信号生成ステップは、生成した制御信号を用いて、前記画像符号化ステップ、前記画像表示ステップ、前期画像復号化ステップ、及び、前期画像入力ステップにおける処理を制御するステップをさらに含む、請求項１７から２２記載の、情報端末装置を用いた通信方法。
24. 自局画像を対局に送信する情報端末装置を用いた通信方法であって、
    自局画像を入力する画像入力ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像の特徴を検出する特徴検出ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像を符号化する画像符号化ステップと、
    外部情報を入力する外部入力ステップと、
    前記外部入力ステップにおいて取り込まれた外部情報を用いて、前記特徴検出ステップにおける制御を切り替える特徴検出処理切替ステップと、
    前記画像符号化ステップにおいて生成された、符号化画像を対局に送信する符号化情報送信ステップとを含む、情報端末装置を用いた通信方法。
25. 自局画像を対局に送信し、対局より対局画像を受信し表示する、情報端末装置を用いた通信方法であって、
    自局画像を入力する画像入力ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像を符号化する画像符号化ステップと、
    前記画像符号化ステップにおいて生成された符号化画像を対局に送信する符号化情報送信ステップと、
    対局の符号化画像情報を受信する符号化情報受信ステップと、
    前記符号化情報受信ステップおいて受信した、符号化画像を復号し、対局画像を生成する画像復号化ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像と、前記画像復号化ステップにおいて生成された対局画像とを表示する画像表示ステップと、
    前記画像入力ステップにおいて取り込まれた自局画像の特徴と、前記画像復号化ステップにおいて生成された対局画像の特徴とを検出する特徴検出ステップと、
    外部情報を入力する外部入力ステップと、
    前記外部入力ステップにおいて取り込まれた外部情報を用いて、前記特徴検出ステップにおける制御を切り替える特徴検出処理切替ステップとを含み、
    前記特徴検出ステップは、前記外部入力ステップを用いた手動制御、あるいは、前記特徴検出ステップで検出された特徴情報を用いた自動制御に従って、画像符号化ステップにおける画像符号化処理、または、画像復号化ステップにおける画像情報転送処理、または、前記画像表示ステップにおける画像表示処理の、少なくとも１つを制御するステップを含む、情報端末装置を用いた通信方法。
26. 前記特徴検出ステップは、画像情報の特徴検出の開始、停止を制御するステップを含む、請求項１７から２５記載の、情報端末装置を用いた通信方法。
27. 前記特徴検出ステップは、前記画像入力ステップにおいて取り込まれた自局画像と、あらかじめ準備されたテンプレートとの比較によって、特徴検出をするステップを含む、請求項１７から２５記載の、情報端末装置を用いた通信方法。
28. 前記特徴検出ステップは、前記画像符号化ステップにおいて得られた動きベクトル情報と、あらかじめ準備されたテンプレートとの比較によって、特徴検出するステップを含む、請求項１７から２５記載の、情報端末装置を用いた通信方法。
29. 前記特徴検出ステップで検出される画像情報は、当該システム利用者の顔情報であることを特徴とする、請求項１７から２５記載の、情報端末装置を用いた通信方法。

Images