JP2011129995A - 通信端末装置、通信端末装置の画像処理方法およびプログラム、画像通信システム - Google Patents

Abstract

【課題】通信画像の品質を保つことができる通信端末装置および通信端末装置の画像処理方法を提供する。
【解決手段】カメラ部１１０によって撮像された画像とこの画像の直前にカメラ部１１０によって撮像された画像との比較結果に基づいてカメラ部１１０から出力される画像データのフレームレートを制御部１４０によって決定することにより、カメラ部１１０で撮像した画像に変化部分が少ない場合では画像のフレームレートを遅くし、変化部分が多い場合では画像のフレームレートを早くするといった制御実行する機能を通信端末装置１０に備えた。
【選択図】 図１

Description

本発明は、通信端末装置、通信端末装置の画像処理方法およびプログラム、画像通信システムに関する。

近年、画像を撮影するカメラ機能を有する携帯型または固定型の通信装置の普及と通信ネットワークの高速大容量化に伴い、テレビ電話やテレビ会議といった画像と音声による双方向画像通信が広く利用されている。このような双方向画像通信を実行する際、通信ネットワーク上を伝送される通信データは、音声通信による通信データよりも必然的に多量のデータが必要となる。また、詳細な画面でかつ滑らかな動画像といった通信画像が高品質な双方向画像通信を実現するためには、さらに通信データ量は増大する。

したがって、双方向画像通信では、通信画像の品質に比例して通信データ量が増大することから、携帯電話機などの移動通信端末間での双方向画像通信においては、この通信データ量に応じて通信料が課金される場合が多く、すなわち、双方向画像通信実行時の通信料が双方向音声通信実行時より高くなってしまうといった問題があった。

このような問題に対し、送信する画像データのデータ量を低減させる技術として、画像データの連続する画像フレーム間を比較して画像変化の有無を検知し、この変化部分を含む変化領域のみを抽出して送信する技術（特許文献１）や、基本画像のブロックと変化画像のブロックとの画素値の差分を求め、この差分が所定の閾値より大きい差分を有するブロックを抽出し、抽出したブロックの画像情報を送信する画像伝送方法（特許文献２）が知られている。

特開２００１−３２０７０７号公報 特開平８−３２９７４号公報

しかしながら、特許文献１および特許文献２の技術は、ともに画像の変化部分を検知して、この画像の変化部分に応じた画像情報を送信する技術である。よって、動きが激しい画像や輝度の変化が激しい画像を送信する場合、検知される画像の変化部分も多くなり、画像を送信するための画像情報量が増大してしまうため、双方向画像通信を実行する際に送信される通信データ量も増大することになり、その結果、通信料が高くなってしまうといった問題があった。
さらに、検知される画像の変化部分が多くなるにしたがって画像を送信するための画像情報量が増大することにより、次のように、通信画像の品質を保つことが困難となるといった問題もあった。すなわち、画像の変化部分が多いと、送信装置側のハードウェア性能によっては送信する画像情報量に制限がかかることで、受信装置において受信した画像情報量を表示させる際に、コマ落ちなどによるぎくしゃく感やブロックノイズの発生といった通信画像の品質劣化を発生させる恐れがあった。

そこで本発明は、上述の問題を解決すべく、画像の変化部分が多い画像を送信する場合でも通信データ量を低減することで通信料を抑制し、かつ、通信画像の品質を確保することができる通信端末装置および通信端末装置の画像処理方法を提供することを目的とする。

上述の目的を達成するために、本発明は、画像を撮影するとともに撮影した画像を所定のフレームレートで出力するカメラ部と、前記カメラ部によって出力された画像を一時的に記憶するカメラ出力画像保管部と、データを送受信する通信インターフェース部と、前記カメラ部によって出力された画像である第１の画像と、この第１の画像の直前に前記カメラ部から出力され前記カメラ出力画像保管部に記憶されている第２の画像とを比較し、この比較による結果に基づいて前記フレームレートを決定するカメラ画像フレームレート制御部と、前記第２の画像に対する前記第１の画像の変化部分を示す差分情報を含んだデータを生成し前記通信インターフェース部に送信させる送信データ生成部とを備えることを特徴とする。

本発明によれば、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果に基づいてカメラ部から出力される画像データのフレームレートを決定することにより、撮影された画像の比較結果に応じたフレームレートの制御をすることができる。さらに、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果に基づいて画像の変化部分を含んだ差分情報を抽出してこの差分情報を含んだ送信データを生成することにより、送信データに含まれる画像データのデータ量を低減させることができる。
したがって、比較する画像のフレームレートをこの画像の変化部分に応じて制御すること、画像の変化部分から抽出した差分情報を含んだ送信データを生成すること、これらにより、ＴＶ電話などの画像通信において、通信データ量を低減することで通信料を抑制し、かつ、通信画像の品質を確保することが可能となる。

本発明の第１の実施の形態にかかる通信端末装置の構成を示すブロック図である。 第１の実施の形態にかかる通信端末装置の動作を示すフローチャートである。 本発明の第２の実施の形態にかかる通信端末装置の構成を示すブロック図である。 第１の画像と第２の画像との比較結果に基づく差分情報の一例を概念的に説明する図である。 差分情報に基づく画素または画素ブロック変化領域に応じたフレームレートの決定について概念的に説明する図である。 第２の実施の形態にかかる通信端末装置の動作を示すフローチャートである。 第２の実施の形態にかかる通信端末装置における送信データに含まれる画像情報（差分情報）の抽出について概念的に説明する図である。 本発明の第３の実施の形態にかかる通信端末装置を含む画像通信システムの構成を示すブロック図である。 第３の実施の形態における画像通信システムの動作シーケンスを示すシーケンス図である。 第３の実施の形態における画像通信システムで送受信される画像情報について概念的に説明する図である。

以下、本発明の実施の形態について、図面を参照し詳細に説明する。
［第１の実施の形態］
本発明における第１の実施の形態にかかる通信端末装置は、カメラによって撮影した画像を出力する際のフレームレートを連続する画像フレームの比較結果に基づいて決定するとともに、この差分情報に基づいて連続する画像フレームの差分情報を抽出し、抽出した差分情報を含んだ送信データを生成するものである。

本実施の形態にかかる通信端末装置１０は、図１に示すように、カメラ部１１０とカメラ出力画像保管部１２０と通信インターフェース部１３０とカメラ画像フレームレート制御部１４０と送信データ生成部１５０とから構成されている。
カメラ部１１０は、風景などの画像を光学的に撮影するとともに撮影した画像のデジタルデータ（以下、「画像のデジタルデータ」をまとめて「画像データ」という。）を所定のフレームレートで出力する。
カメラ出力画像保管部１２０は、画像データを一時的に記憶するメモリ装置であり、カメラ部１１０から出力される画像データを一時的に記憶する。

通信インターフェース部１３０は、カメラ部１１０によって撮影された画像に基づく画像データを含むデータ（送信データ）を通信相手に対して送信するとともに、通信相手から送信された画像データを含むデータ（受信データ）を受信する。

カメラ画像フレームレート制御部１４０は、カメラ部１１０から出力された画像データである第１の画像と、この第１の画像の直前にカメラ部１１０から出力された画像データであってカメラ出力画像保管部１２１に記憶されている第２の画像とを比較し、この比較結果に基づいてカメラ部１１０から出力される画像データのフレームレートを決定する。

送信データ生成部１５０は、第１の画像と第２の画像との比較結果から、第２の画像に対する第１の画像の変化部分を示す差分情報を含んだ送信データを生成する。
なお、本実施の形態にかかる通信端末装置１０の各構成要素は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラム（ソフトウエア）をインストールすることによって実現され、上述した通信端末装置１０の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラムとが協働することによって実現される。

次に、図２を参照して、本実施の形態にかかる通信端末装置の動作について説明する。
本実施の形態にかかる通信端末装置１０は、図２に示すように、カメラ部１１０によって撮影された画像の画像データをカメラ出力画像保管部１２０へ一時的に記憶する（Ｓ１０１）。

カメラ出力画像保管部１２０へカメラ部１１０から出力された画像データが記憶されると、カメラ画像フレームレート制御部１４０は、カメラ部１１０から次に出力される画像の画像データ（第１の画像）とカメラ出力画像保管部１２０に記憶されている画像データ（第２の画像）とを比較する（Ｓ１０２）。
カメラ画像フレームレート制御部１４０は、第１の画像と第２の画像との比較結果に基づいて、カメラ部１１０から出力される画像データのフレームレートを決定する（Ｓ１０３）。

カメラ画像フレームレート制御部１４０によってカメラ部１１０から出力される画像データのフレームレートが決定されると、送信データ生成部１５０は、カメラ画像フレームレート制御部１４０によって導出された第１の画像と第２の画像との比較結果から、第２の画像に対する第１の画像の変化部分を示す差分情報を含んだ送信データを生成する（Ｓ１０４）。

このように、本実施の形態にかかる通信端末装置によれば、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果に基づいてカメラ部から出力される画像データのフレームレートを決定することにより、変化部分が少ない場合では画像のフレームレートを遅くし、変化部分が多い場合では画像のフレームレートを早くするといった制御をすることができる。さらに、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果に基づいて画像の変化部分を含んだ差分情報を抽出してこの差分情報を含んだ送信データを生成することにより、送信データに含まれる画像データのデータ量を低減させることができる。
したがって、比較する画像のフレームレートをこの画像の変化部分に応じて制御すること、画像の変化部分から抽出した差分情報を含んだ送信データを生成すること、これらにより、ＴＶ電話などの画像通信において、通信画像の品質を確保し、かつ、通信データ量を低減することで通信料を抑制することが可能となる。

［第２の実施の形態］
図３は、本発明の第２の実施の形態にかかる通信端末装置２０の構成を示すブロック図である。
本実施の形態にかかる通信端末装置２０は、カメラによって撮影した画像を出力する際のフレームレートを、連続する画像フレームの画素または画素ブロックにおけるデータ量の比較結果や、連続する画像フレームの輝度分布の比較結果に基づいて決定するとともに、連続する画像フレームの差分情報を含んだデータを生成し送信するものである。
なお、本実施の形態にかかる通信端末装置２０の構成および機能について、第１の実施の形態において説明した通信端末装置１０と同一の構成および機能を有するものには同一の符号を付し、これらの詳細な説明を省略する。

本実施の形態にかかる通信端末装置２０は、図３に示すように、画像を撮影するとともに撮影した画像の画像データを所定のフレームレートで出力するカメラ部１１０と、画像データを一時的に記憶するカメラ出力画像保管部１２０と、画像データを含んだデータを送受信する通信インターフェース部１３０と、カメラ部１１０から出力される画像データのフレームレートを決定するカメラ画像フレームレート制御部２４０と、通信インターフェース部１３０から送信される送信データを生成する送信データ生成部１５０とから構成されている。
ここで、通信インターフェース部１３０は、ＬＡＮ（Local Area Network）やＩＳＤＮ(Integrated Services Digital Network)などの有線によるデータ通信の通信インターフェースであっても良く、Ｗ−ＬＡＮ(Wireless-Local Area Network)、Bluetooth（登録商標）、赤外線通信などの無線によるデータ通信の通信インターフェースであっても良い。

カメラ部１１０から出力された画像データである第１の画像と、第１の画像の直前に出力された画像データであってカメラ出力画像保管部１２０に記憶されている第２の画像との比較結果に基づいてカメラ部１１０から出力される画像データのフレームレートを決定するカメラ画像フレームレート制御部２４０は、さらに、データ変化部分量比較判定部２４１と輝度分布比較判定部２４２とから構成されている。

データ変化部分量比較判定部２４１は、第１の画像と第２の画像とを比較して、第２の画像に対する第１の画像の画素または画素ブロックの変化量に応じてカメラ部１１０から出力される画像データのフレームレートを決定する。
輝度分布比較判定部２４２は、第１の画像と第２の画像とを比較して、第２の画像に対する第１の画像の輝度分布の差異に応じてカメラ部１１０から出力される画像データのフレームレートを決定する。

なお、本実施の形態にかかる通信端末装置２０の各構成要素は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラム（ソフトウエア）をインストールすることによって実現され、上述した通信端末装置２０の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラムとが協働することによって実現される。

＜フレームレートの制御について＞
ここで、カメラ画像フレームレート制御部２４０による第１の画像と第２の画像との比較に基づくカメラ部１１０から出力される画像データのフレームレートの決定機能について詳しく説明する。
図４は、カメラ部１１０から出力された連続する画像データのうち、始めにカメラ部１１０から出力された画像データａと画像データａの直後にカメラ部１１０から出力された画像データｂとの比較に基づいて導出された画像データａ，ｂの画素または画素ブロックに対応した差分情報ｃを概念的に示す図である。

カメラ画像フレームレート制御部２４０のデータ変化部分量比較判定部２４１は、画像データａと画像データｂとで変化がある画素または画素ブロックを検知して画像データａに対する画像データｂの差分情報ｃを抽出する。図４に示す差分情報ｃは、黒塗りで示す画素または画素ブロックが画像データｂで新たに表示する画素または画素ブロックを示し、斜線で示す画素または画素ブロックが画像データｂで表示しない画素または画素ブロックを示している。

データ変化部分量比較判定部２４１は、抽出した差分情報ｃから、画像データａの総画素数または総画素ブロック量に対する画像データｂの画素または画素ブロックの変化量の割合を導出し、この画像データｂの画素または画素ブロックの変化量の割合に応じてカメラ部１１０から出力される画像データのフレームレートを決定する。
ここで図５に、比較対象の画像データの総画素数または総画素ブロック量に対する画素または画素ブロックの変化量の割合とフレームレートとの関係の一例を示す。
例えば、データ変化部分量比較部２４１に、図５に示すような画素または画素ブロックの変化量の割合とフレームレートとの関係を示す条件を予め記憶しておき、データ変化部分量比較部２４１は、抽出した差分情報ｃから画像データａの総画素数または総画素ブロック量に対する画像データｂの画素または画素ブロックの変化量の割合を導出することにより、予め記憶してある条件に導出した画像データｂの画素または画素ブロックの変化量の割合を対応させることによって、カメラ部１１０から出力される画像データのフレームレートを決定することができる。

また、カメラ画像フレームレート制御部２４０の輝度分布比較判定部２４２は、画像データａと画像データｂとを比較することにより、画像データの輝度分布の変化を検出し、この輝度分布の変化に応じてカメラ部１１０から出力される画像データのフレームレートを決定する。
具体的には、輝度分布比較判定部２４２に、２つの画像データ間の輝度分布変化量とフレームレートとの関係を示す条件を予め記憶しておき、輝度分布比較判定部２４２は、検出した画像データａに対する画像データｂの輝度分布変化量を、予め記憶してある条件に対応させることにより、カメラ部１１０から出力される画像データのフレームレートを決定することができる。
また、輝度分布比較判定部２４２は、フレームレートを決定する際に、最も影響が大きい（変化の大きい）輝度分布を示す画像データにおける信号成分の輝度分布変化量に基づいても良く、また、画像データの信号成分毎に重み付けをして導出された各信号成分の輝度分布変化量や全ての信号成分の輝度分布変化量の平均に基づいても良い。

カメラ画像フレームレート制御部２４０は、カメラ部１１０から出力される画像データのフレームレートを、画像データの特徴に応じて、データ変化部分量比較判定部２４１または輝度分布比較判定部２４２のいずれかの決定結果を用いて制御する。
例えば、動きが激しい画像にはデータ変化部分量比較判定部２４１の決定結果を、輝度変化の激しい画像には輝度分布比較判定部２４２の決定結果を用いることとしても良い。 また、カメラ画像フレームレート制御部２４０は、データ変化部分量比較判定部２４１、輝度分布比較判定部２４２の双方の決定結果を用いてカメラ部１１０から出力される画像データのフレームレートを制御しても良い。

次に、本実施の形態にかかる通信端末装置２０の動作について、図６に示すフローチャートおよび図７に示す画像データの差分情報を概念を説明する図を参照して説明する。
図６に示すように、カメラ部１１０によって画像データが出力されると（Ｓ２０１）、カメラ出力画像保管部１２０は、カメラ部１１０から出力された直前の画像データが記憶されているか否かを判定する（Ｓ２０２）。

直前に出力された画像データが記憶されていない場合（Ｓ２０２において「NO」）、カメラ出力画像保管部１２０は、カメラ部１１０から出力された画像データをカメラ出力画像保管部１２１へ一時的に記憶して（Ｓ２０３）、カメラ部１１０から次に出力される画像データを待機する。ここでは、図７に示すカメラ部１１０から出力された画像データのうち、画像データＡ１がカメラ出力画像保管部１２０へ記憶される。

カメラ出力画像保管部１２０に画像データが記憶されている場合（Ｓ２０２において「YES」）、すなわち、カメラ部１１０から出力された画像データの直前に出力された画像データがカメラ出力画像保管部１２０に記憶されていると、カメラ画像フレームレート制御部２４０は、カメラ部１１０によって出力された画像データ（第１の画像）とカメラ出力画像保管部１２０に記憶されている画像データ（第２の画像）とを比較する（Ｓ２０４）。ここでは、図７に示すカメラ部１１０から出力された画像データのうち、画像データＡ２が第１の画像に相当し、画像データＡ１が第２の画像に相当する。

カメラ画像フレームレート制御部２４０によって実行される第１の画像と第２の画像との比較には、データ変化部分量比較判定部２４１による第１の画像と第２の画像における画素または画素ブロックの変化部分を検知する画素または画素ブロックの変化領域の比較と、輝度分布比較判定部２４２による第１の画像と第２の画像における輝度分布の比較とがある。

上記した第１，第２の画像の各比較動作が実行されると、カメラ画像フレームレート制御部２４０は、この比較結果に基づいて、第２の画像に対する第１の画像の差分情報を抽出する（Ｓ２０５）。
ここでは、カメラ画像フレームレート制御部２４０が実行する比較動作のうち、データ変化部分量比較判定部２４１による画素または画素ブロックの変化領域の比較結果を例として説明する。
データ変化部分量比較判定部２４１は、図７に示す画像データのうち、画像データＡ２，Ａ１との比較により、画像データＡ１に対する画像データＡ２の画素または画素ブロックの変化部分を示す画像データＢ１を差分情報として抽出する。画像データＢ１における黒塗りで示す画素または画素ブロックは、新たに表示される画素または画素ブロックを示し、斜線で示す画素または画素ブロックは、表示しない画素または画素ブロックであることを示している。

第２の画像に対する第１の画像の差分情報が抽出されると、カメラ画像フレームレート制御部２４０は、この差分情報に基づいてカメラ部１１０から出力される画像データのフレームレートを決定する（Ｓ２０６）。
カメラ部１１０から出力される画像データのフレームレートは、２つの画像の差分情報に基づいて決定されることから、２つの画像間に変化部分が少ない場合ではフレームレートを遅くし、変化部分が多い場合ではフレームレートを早くするといった制御をすることができる。

フレームレートが決定すると、送信データ生成部１５０は、抽出された差分情報を含んだ送信データを生成する（Ｓ２０７）。ここでは、図７に示す画像データＡ２とＡ１の画素または画素ブロックの変化部分を示す画像データＢ１を含んだ送信データが生成され、通信インターフェース部１３０から生成された送信データが通信相手に対して送信される。

本実施の形態にかかる通信端末装置２０を利用して画像通信を実行する場合には、上記の各ステップを繰り返すことで、カメラ部１１０から出力される画像データのフレームレートを制御するとともに、連続した画像データの差分情報のみを含んだ送信データを送信する。
例えば、図７に示すカメラ部１１０から出力された画像データのうち、画像データＡ３を送信したい場合には、画像データＡ２に対する画像データＡ３の差分情報である画像データＢ２を含んだ送信データを送信し、画像データＡ４を送信したい場合には、画像データＡ３に対する画像データＡ４の差分情報である画像データＢ３を含んだ送信データを送信する。

このように、本実施の形態にかかる通信端末装置２０によれば、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果のうち、画素または画素ブロックの変化量または画像データの周波数成分における振幅分布変化量に基づいてカメラ部から出力される画像データのフレームレートを決定することにより、より詳細なフレームレートの制御をすることができ、通信画像の品質を保つことができる。さらに、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果に基づいて画像の変化部分を含んだ差分情報を抽出してこの差分情報を含んだ送信データを生成することにより、送信データに含まれる画像データのデータ量を低減させることができる。

［第３の実施の形態］
図８は、本発明の第３の実施の形態にかかる通信端末装置３０を含んだ画像通信システムの構成を示すブロック図である。
本実施の形態にかかる通信端末装置３０を含む画像通信システム３００は、ネットワークＸを介して通信端末装置３０，３１が画像データを含むデータを送受信することによって画像通信を実現するものである。
なお、本実施の形態にかかる通信端末装置３０の構成および機能について、第２の実施の形態において説明した通信端末装置２０と同一の構成および機能を有するものには同一の符号を付し、これらの詳細な説明を省略する。

画像通信システム３００における本実施の形態にかかる携帯端末装置３０は、図８に示すように、画像を撮影するとともに撮影した画像の画像データを所定のフレームレートで出力するカメラ部１１０と、カメラ部１１０から出力される画像データを一時的に記憶するカメラ出力画像保管部１２０と、画像データを含んだデータを送受信する通信インターフェース部１３０と、カメラ部１１０から出力される画像データのフレームレートを決定するカメラ画像フレームレート制御部２４０と、通信インターフェース部１３０から送信される送信データを生成する送信データ生成部１５０と、通信インターフェース部１３０によって受信された受信データに含まれる画像データを一時的に記憶する受信画像データ保管部３２０と、映像を表示する表示部３６０と、表示部３６０で表示させる映像の画像データを生成する表示映像生成部３７０とから構成されている。
また、本実施の形態において、通信端末装置３０の通信インターフェース部１３０は、無線帯域信号を用いて基地局Ｙとの間でデータの送受信を実行する無線通信インターフェース機能を有したものとして説明する。また、通信端末装置３０と通信端末装置３１は、同一の構成および機能を有するものとする。

受信画像データ保管部３２０は、画像データを一時的に記憶するメモリ装置であり、通信インターフェース部１３０によって受信された受信データに含まれる画像データを一時的に記憶する。ここで、受信画像データ保管部３２０は、受信データに含まれる差分情報に基づいて生成される表示部３６０で表示させる映像における画像フレームの画像データを記憶しても良い。

表示映像生成部３７０は、通信インターフェース部１３０によって受信された受信データに含まれる画像データから表示部３６０で表示させる映像の画像データを生成する。
具体的には、表示映像生成部３７０は、通信インターフェース部１３０によって受信された受信データに含まれる差分情報を抽出し、抽出した差分情報と、この差分情報を含んだ受信データの直前に受信した受信データに基づいて生成された画像データ（第３の画像）であって受信画像データ保管部３２２に記憶されている第３の画像とに基づいて、表示部３６０に表示させる映像の画像データである第４の画像を生成する。

ここで、表示映像生成部３７０による表示部３６０に表示させる映像の画像データ生成機能について、詳しく説明する。
図４に示す画像データａが最初に受信した受信データに含まれる画像データ（第３の画像）であり、画像データｂが次に受信した受信データに基づいて生成される画像データ（第４の画像）であった場合、画像データａは、受信画像データ保管部３２０に記憶されている。次に受信する受信データに含まれる画像データは、画像データｂと画像データａとの差分情報ｃであるので、表示映像生成部３７０は、受信データに含まれる差分情報ｃを抽出する。

差分情報ｃには、受信画像データ保管部３２０に記憶されている画像データａと表示部３６０に表示させる画像である画像データｂとの比較結果、すなわち画素または画素ブロックの変化部分を示す情報が含まれているため、表示映像生成部３７０は、抽出した差分情報ｃと受信画像データ保管部３２０に記憶されている画像データａとから画像データｂを生成し、表示部３６０に画像データｂに基づく映像を表示させる。

なお、本実施の形態にかかる通信端末装置３０の各構成要素は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラム（ソフトウエア）をインストールすることによって実現され、上述した通信端末装置３０の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラムとが協働することによって実現される。

次に、本実施の形態にかかる通信端末装置３０を含む画像通信システム３００の動作シーケンスについて、図９に示すシーケンス図および図１０に示す画像通信システム３００において送受信される画像情報について概念的に説明する図を参照して説明する。
図９に示すように、通信端末装置３０と通信端末装置３１との間で画像通信が開始されると（Ｓ３０１）、通信端末装置３０は、カメラ部１１０で撮影した画像データを含む送信データを生成し（Ｓ３０２）、送信データを通信端末装置３１に対して送信する（Ｓ３０３）。ここで、図１０に示す画像データにおいて、通信端末装置３０のカメラ部１１０で撮影され出力された画像データおよび送信データに含まれる画像データを画像データＡ１とする。

通信端末装置３０からの送信データを通信端末装置３１が受信すると（Ｓ３０４）、通信端末装置３１は、受信データに含まれる画像データを抽出し、この画像データを記憶部に記憶するとともに表示部に抽出した画像データに基づく映像を表示させる（Ｓ３０５）。ここで、図１０に示す画像データにおいて、通信端末装置３１の記憶部に記憶される画像データを画像データＣ１とする。

通信端末装置３０は、次に送信するカメラ部１１０で撮影した画像データを含む送信データを生成し（Ｓ３０６）、生成した送信データを通信端末装置３１に対して送信する（Ｓ３０７）。ここで、図１０に示す画像データにおいて、通信端末装置３０が生成する送信データに含まれる画像データは、カメラ部１１０で撮影した画像データＡ２と送信済の画像データＡ１との差分情報Ｂ１となる。

通信端末装置３０からの送信データを通信端末装置３１が受信すると（Ｓ３０８）、通信端末装置３１は、受信データに含まれる画像データである差分情報を抽出し、記憶部に記憶されている画像データと抽出した差分情報とから表示部で表示させる表示画像を生成する。通信端末装置３１は、生成した表示画像の画像データを記憶部に記憶するとともに、表示部に生成した表示画像に基づく映像を表示する（Ｓ３０９）。
ここで、図１０に示す画像データにおいて、通信端末装置３１の記憶部に記憶する表示画像の画像データは、抽出した差分情報Ｂ１と記憶部に記憶されていた画像データＣ１とから生成された画像データＣ２となる。

通信端末装置３０は、次に送信するカメラ部１１０で撮影した画像データを含む送信データを生成し（Ｓ３１０）、生成した送信データを通信端末装置３１に対して送信する（Ｓ３１１）。ここで、図１０に示す画像データにおいて、通信端末装置３０が生成する送信データに含まれる画像データは、カメラ部１１０で撮影した画像データＡ３と送信済の画像データＡ２との差分情報Ｂ２となる。

通信端末装置３０からの送信データを通信端末装置３１が受信すると（Ｓ３１２）、通信端末装置３１は、受信データに含まれる画像データである差分情報を抽出し、記憶部に記憶されている画像データと抽出した差分情報とから表示部で表示させる表示画像を生成する。通信端末装置３１は、生成した表示画像の画像データを記憶部に記憶するとともに、表示部に生成した表示画像に基づく映像を表示する（Ｓ３１３）。
ここで、図１０に示す画像データにおいて、通信端末装置３１の記憶部に記憶する表示画像の画像データは、抽出した差分情報Ｂ２と記憶部に記憶されていた画像データＣ２とから生成された画像データＣ３となる。

上記したステップを繰り返すことにより、カメラ等で撮影した連続した画像の画像データを含む送信データを送信し、受信した受信データに含まれる画像データを抽出して表示する映像通信が実行され、通信端末装置３０と通信端末装置３１との間の画像通信が終了されるまで継続される（Ｓ３１４）。
ここでは、通信端末装置３０を画像データを送信する送信装置として、通信端末装置３１を画像データを受信する受信装置として説明したが、双方向の映像通信を実現するには、通信端末装置３０と通信端末装置３１とが同時に画像データの送受信を行うことによってなされるものである。

このように、本実施の形態にかかる通信端末装置を含む映像通信システムによれば、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果のうち、画素または画素ブロックの変化量または画像データの周波数成分における振幅分布変化量に基づいてカメラ部から出力される画像データのフレームレートを決定することによって、より詳細なフレームレートの制御をすることができる。

さらに、カメラ部によって撮影された画像とこの画像の直前にカメラ部によって撮影された画像との比較結果に基づいて画像の変化部分を含んだ差分情報を抽出してこの差分情報を含んだ送信データを生成することにより、送信データに含まれる画像データのデータ量を低減させることができるとともに、受信データに含まれる画像データの差分情報から表示させる映像を生成することにより、画像表示における処理負荷を軽減させることができる。

したがって、撮影映像に応じたフレームレートの制御と画像表示における処理負荷の軽減によって通信画像の品質を確保し、かつ、通信データ量を低減することで通信料を抑制した画像通信を実現することが可能となる。

カメラを内蔵した携帯電話機や携帯通信端末装置、または、デジタルビデオカメラや録画保存装置といった画像処理を行う機器に利用可能である。さらに、遠隔地の風景などを連続撮影する防犯カメラシステムや遠隔操作システムといった画像通信システムにも利用可能である。

１０，２０，３０，３１…通信端末装置、１１０…カメラ部、１２０…カメラ出力画像保管部、３２０…受信画像データ保管部、１３０…通信インターフェース部、１４０，２４０…カメラ画像フレームレート制御部、２４１…データ変化部分量比較判定部、２４２…周波数分布比較判定部、１５０…送信データ生成部、３６０…表示部、３７０…表示映像生成部、Ｘ…ネットワーク、Ｙ…基地局。

Claims (7)

1. 画像を撮影するとともに撮影した画像を所定のフレームレートで出力するカメラ部と、
   前記カメラ部によって出力された画像を一時的に記憶するカメラ出力画像保管部と、
   データを送受信する通信インターフェース部と、
   前記カメラ部によって出力された画像である第１の画像と、この第１の画像の直前に前記カメラ部から出力され前記カメラ出力画像保管部に記憶されている第２の画像とを比較し、この比較による結果に基づいて前記フレームレートを決定するカメラ画像フレームレート制御部と、
   前記第２の画像に対する前記第１の画像の変化部分を示す差分情報を含んだデータを生成し前記通信インターフェース部に送信させる送信データ生成部と
   を備えることを特徴とする通信端末装置。
2. 請求項１に記載された通信端末装置において、
   前記カメラ画像フレームレート制御部は、前記第２の画像に対する前記第１の画像の画素ブロックの変化量に応じて前記フレームレートを決定することを特徴とする通信端末装置。
3. 請求項１又は２に記載された通信端末装置において、
   前記カメラ画像フレームレート制御部は、前記第２の画像に対する前記第１の画像の輝度分布の差異に応じて前記フレームレートを決定することを特徴とする通信端末装置。
4. 請求項１乃至３のいずれかに記載の通信端末装置において、
   映像を表示させる表示部と、
   前記通信インターフェース部によって受信された受信データに含まれる画像データを一時的に記憶する受信画像データ保管部と、
   前記受信データに含まれる差分情報と、この差分情報を含んだ受信データの直前に受信された受信データに基づいて生成された画像データであり前記受信画像データ保管部に記憶されている第３の画像データとに基づいて前記表示部に表示させる映像の画像データである第４の画像データを生成する表示映像生成部と
   を更に備えることを特徴とする通信端末装置。
5. 撮影した画像を所定のフレームレートで出力するカメラ部と、前記カメラ部によって出力された画像を記憶するカメラ出力画像保管部と、データを送受信する通信インターフェース部と、前記フレームレートを決定するカメラ画像フレームレート制御部と、前記通信インターフェース部から送信されるデータを生成する送信データ生成部とを備える通信端末装置の画像処理方法において、
   前記カメラ部から出力された画像を一時的に前記カメラ出力画像保管部に記憶するカメラ出力画像保管ステップと、
   前記カメラ部から出力された画像である第１の画像と、この第１の画像の直前に前記カメラ部から出力され前記カメラ出力画像保管部に記憶されている第２の画像とを前記カメラ画像フレームレート制御部が比較する画像情報比較ステップと、
   この画像情報比較ステップによる比較結果に基づいて前記カメラ画像フレームレート制御部が前記フレームレートを決定するフレームレート制御ステップと、
   前記第２の画像に対する前記第１の画像の変化部分を示す差分情報を含んだデータを前記送信データ生成部が生成する送信データ生成ステップと
   を有することを特徴とする通信端末装置の画像処理方法。
6. 請求項５に記載の通信端末装置の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
7. 少なくとも画像を撮影するカメラ部と画像を表示させる表示部とを備える複数の通信端末装置が、互いにネットワークを経由して前記カメラ部によって撮影された画像を含むデータを送信するとともに受信したデータに含まれる画像を前記表示部によって表示することで画像通信を実現する画像通信システムにおいて、
   前記通信端末装置は、請求項４に記載の通信端末装置によって構成されることを特徴とする画像通信システム。

Images