JP2012204991A - 通信システム、携帯端末、およびプログラム - Google Patents

Abstract

【課題】撮像者に煩雑な操作を行わせることなく、撮像した動画を当該撮像者の意図した映像品質で遠隔地の動画表示装置のユーザに視聴させることを可能にする。
【解決手段】動画を撮像し当該動画を表す動画データを出力するカメラを内蔵する携帯端末に、ユーザの体動に伴って生じる当該端末の動きの大きさを検出する動き検出手段を設ける。そして、前記カメラにより撮像した動画を表す動画データを通信網を介して動画表示装置に表示する際には、当該動画データの１フレーム当たりのデータ量と通信網を介して当該動画データを送信する際のフレームレートの少なくとも一方を、動き検出手段により検出された動きの大きさに応じて調整しつつ送信する処理を実行させる。
【選択図】図１

Description

この発明は、通信網を介して動画データを伝送し、当該動画データの表す動画を遠隔地の視聴者に視聴させる技術に関する。

例えば、ビデオカメラなどによって撮像した動画を遠隔地の動画表示装置に表示させ、当該動画表示装置のユーザに視聴させることが一般に行われている。特許文献１には、警備員が所持するビデオカメラから撮像動画を表す動画データを通信網を介して遠隔地のモニタに送信し、当該モニタに当該動画を表示させる遠隔監視システムの開示がある（段落００３５）。また、特許文献１には、ビデオカメラに衝撃が与えられたことを契機として、ビデオカメラから動画データを送信する際のフレームレート（単位時間当たりの送信フレーム数）または動画の圧縮符号化の圧縮率を高い映像品質が得られるように調整することが記載されている。これは、ビデオカメラに何らかの衝撃が加わるような不測の事態が発生した場合には、撮像者たる警備員に特段の操作を行わせなくとも、その発生状況を鮮明に捉えた動画が証拠資料として残されるようにしたものである。

特開２００３−２７４３６０号公報 特開２００９−４９６９１号公報 特開２０１０−３１１０号公報 特許４１７５３５４

動画表示装置において再生される動画の映像品質は、動画を構成する各静止画（以下、フレーム）の解像度およびフレームレートと動画データの圧縮符号化の圧縮率により定まる。一般に動画データの圧縮符号化においては、高い圧縮率が得られるものの圧縮前の動画を完全には復号できない非可逆圧縮符号化が採用されており、圧縮率が高いほど復号動画の映像品質は低下するからである。したがって、動画の撮像者が自身の意図した映像品質で動画を遠隔地の者に視聴させることを所望する場合には、その映像品質が得られるように解像度、圧縮符号化の圧縮率およびフレームレートを調整するといった煩わしい作業を行わねばならない。このような問題は、特許文献１に開示された技術を用いたとしても解決することはできない。特許文献１に開示された技術は、撮像者に特段の操作を行わせることなく、フレームレートや圧縮符号化の圧縮率の調整を実現するものであるが、特許文献１におけるこれらパラメータの調整は撮像者の意図を反映したものではないからある。

本発明は上記課題に鑑みて為されたものであり、撮像者に煩雑な操作を行わせることなく、撮像した動画を意図した映像品質で遠隔地の他の者に視聴させることを可能にする技術を提供することを目的とする。

上記課題を解決するために本発明は、通信網を介して受信した動画データの表す動画を表示する動画表示装置と、動画を撮像し当該動画を表す動画データを出力するカメラを内蔵または接続する携帯端末であって、当該動画データを前記通信網を介して前記動画表示装置へ送信する携帯端末と、を含み、前記携帯端末は、ユーザの体動に伴って生じる前記カメラの動きを検出し、前記動画データの１フレーム当たりのデータ量と当該動画データを前記通信網を介して前記動画表示装置へ送信する際のフレームレートの少なくとも一方を、前記カメラの動きの大きさに応じて調整しつつ前記動画表示装置へ送信することを特徴とする通信システム、を提供する。

上記通信システムにおいて携帯端末から動画表示装置へ送信される動画データの１フレーム当りのデータ量は各フレームの解像度と圧縮符号化における圧縮率とによって定まり、解像度が高いほど、また、圧縮率が低いほど高精細な動画を動画表示装置に表示させることができる。また、上記フレームレートが高いほど、動きの滑らかな動画を動画表示装置に表示させることができる。本発明において、携帯端末から動画表示装置へ送信する動画データの1フレーム当りのデータ量とフレームレートの少なくとも一方を、カメラの動きの大きさ（換言すれば、当該カメラにより撮像を行うユーザの体動の大きさ）に応じて調整するようにしたのは、動画の撮像を行うユーザの体動には当該ユーザ（すなわち、撮像者）の意図が表れていると考えられるからである。

例えば、撮像者が被写体の細部まで正確に捉えようとしている場合には、当該撮像者は被写体を注視するかのようにカメラを静止させた状態で被写体に向けて撮像を行っていることが多く、被写体の動きを捉えようとしている場合には、被写体の動きを追うようにカメラを緩やかに動かしつつ撮像を行っていることが多い。カメラが静止していると判定される場合には、１フレーム当りのデータ量がなるべく大きくなるように、フレームレートよりも１フレーム当りのデータ量を優先させることで、撮像者の意図した映像品質の動画（すなわち、被写体の細部が正確に捉えられた動画）を遠隔地の動画表示装置に表示させることができる。後述するように、１フレーム当りのデータ量とフレームレートとはトレードオフの関係にあり、１フレーム当りのデータ量を優先させるとフレームレートは低く抑えられることになる。１フレーム当りのデータ量を優先させ、フレームレートが低く抑えられると、動きの滑らかさには欠けるものの、各フレームにおいて被写体の細部を正確に捉えた動画が動画表示装置に表示される。一方、携帯端末の動きが小さい場合には、フレームレートを優先させる（１フレーム当りのデータ量は低く抑えられる）ことで、各フレームの精細さには欠けるものの被写体の動きを良好に反映した動画を動画表示装置に表示させることができる。

このように本発明によれば、携帯端末のユーザに特段の操作を行わせることなく、当該携帯端末に内蔵または接続されるカメラを用いて撮像した動画を当該ユーザの意図した映像品質で遠隔地の動画表示装置のユーザに視聴させることが可能になる。なお、特許文献２には、撮像者が動きを止めたことを契機として撮像を行い、これにより手ブレを防止する撮像装置の発明が記載されており、特許文献３には所定の大きさを超える衝撃が加わったことを契機として撮像を行うドライブレコーダの発明が記載されている。しかし、これらは、撮像者の意図した映像品質の動画を遠隔地の動画表示装置に表示させるものではなく、本願発明とは全く異なるものである。

より好ましい態様においては、前記携帯端末は、前記通信網にて利用可能な帯域幅である可用帯域幅を計測し、前記動画データの１フレーム当たりのデータ量と当該動画データを前記通信網を介して前記動画表示装置へ送信する際のフレームレートの何れか一方を前記カメラの動きの大きさに応じて調整し、他方をビットレートが前記可用帯域幅に収まるように調整することを特徴とする。ビットレートは１フレーム当りのデータ量とフレームレートの積により定まり、ビットレートが可用帯域幅に収まっていないと、動画表示装置における動画の再生が途切れ途切れになるなどの不具合が生じ得るからである。

より好ましい態様においては、前記携帯端末は、前記動きの大きさが予め定めた閾値を上回っている場合には、前記フレームレートを予め定められた最小値まで低下させることを特徴とする。動きの大きい状態で撮像された動画では被写体が大きくブレて写っている可能性が極めて高く、そのような動画を表す動画データを高いフレームレートで動画表示装置へ送信しても無意味である。つまり、このような態様によれば、無意味な動画データの送信データ量を抑え、帯域の無駄遣いを回避することが可能になる。

また、上記課題を解決するために本発明は、動画を撮像し当該動画を表す動画データを出力するカメラを内蔵または接続する携帯端末において、ユーザの体動に伴って生じる前記カメラの動きの大きさを検出する動き検出手段と、前記動画データの１フレーム当たりのデータ量と通信網を介して当該動画データを他の装置へ送信する際のフレームレートの少なくとも一方を、前記動き検出手段により検出された前記カメラの動きの大きさに応じて調整しつつ当該動画データを当該他の装置へ送信する送信手段とを有することを特徴とする携帯端末、を提供する。このような携帯端末を一般的な動画表示装置と組み合わせることで上記通信システムを構築することができるからである。

また、上記課題を解決するために本発明は、コンピュータを、動画を撮像し当該動画データを出力するカメラを内蔵または接続するとともに当該コンピュータを内蔵する端末のユーザの体動に伴って生じる前記カメラの動きの大きさを検出する動き検出手段と、前記動画データの１フレーム当たりのデータ量と通信網を介して当該動画データを他の装置へ送信する際のフレームレートの少なくとも一方を、前記動き検出手段により検出された動きの大きさに応じて調整しつつ当該動画データを当該他の装置へ送信する送信手段として機能させることを特徴とするプログラムを提供する。このようなプログラムを、撮像機能を備えた一般的な携帯端末（例えば、カメラ付の携帯電話機）にインストールし、当該携帯端末に内蔵されているコンピュータを上記プログラムにしたがって作動させることで当該一般的なカメラ付携帯電話機を、本発明の携帯端末として機能させることが可能になるからである。

本発明の一実施形態の通信システム１の構成例を示す図である。 同携帯端末１０の構成例を示すブロック図である。 同携帯端末１０の制御部１１０が通信制御プログラム１６２ｂにしたがって実行する動画データ送信制御処理の流れを示すフローチャートである。

以下、図面を参照し、この発明の実施形態について説明する。
＜Ａ：構成＞
図１は、本発明の一実施形態の通信システム１の構成例を示す図である。
図１に示すように、この通信システム１は、カメラ１２が接続された携帯端末１０と、この携帯端末１０を収容する通信網２０に接続された動画表示装置３０とを含んでいる。カメラ１２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサであり、センサ面に写る映像を動画として撮像し、当該動画を構成する一連のフレーム（本実施形態では、６４０×４８０の解像度のフレーム）を表す動画データを携帯端末１０に出力する。このカメラ１２は、撮像方向が携帯端末１０のユーザの視線方向に向くようにヘアバンドなどによって当該ユーザの頭部に装着される。このため、当該カメラ１２には携帯端末１０のユーザの体動に応じた動きが生じる。なお、本実施形態では、へアバンドなどによってユーザの頭部に装着されるカメラについての本発明の適用例を説明するが、手に持って撮像を行うタイプのカメラに本発明を適用しても勿論良い。

通信網２０は、移動通信網（図１では、当該移動通信網に含まれる基地局（図１では、ＢＳと表記）のみが図示されている）とゲートウェイ装置（図示略）などを介して当該移動通信網に接続された一般公衆回線網（図１では図示略）とを含んでいる。図１では詳細な図示を省略したが、移動通信網には、移動電話網と移動パケット通信網とが含まれている。移動通信網は多数の基地局（図１では１つだけ例示）を含んでおり、各基地局のサービスエリアに在圏する携帯端末１０を収容する。一般公衆回線網とは、不特定多数のユーザにより共用される通信網である。一般公衆回線網の一例としてはインターネットが挙げられる。動画表示装置３０は、例えばパーソナルコンピュータであり、上記一般公衆回線網に接続されている。

図１の携帯端末１０には、カメラ１２から出力される動画データの送信先アドレス（以下、動画送信先アドレス）として動画表示装置３０の通信アドレス（例えば、ＩＰ（Internet Protocol）アドレス）が予め記憶されている。このため、図１に示す通信システムにおいては、カメラ１２によって撮像され動画を以下の要領で動画表示装置３０に表示させ、当該動画を動画表示装置３０のユーザに視聴させることができる。すなわち、携帯端末１０はカメラ１２から動画データを受け取ると、当該動画データに非可逆圧縮符号化を施し、上記動画送信先アドレス宛てに送信する。携帯端末１０から送信された動画データは通信網２０内の移動パケット通信網および一般公衆回線網を経由して動画表示装置３０に到達する。動画表示装置３０は通信網２０を介して受信した動画データを復号し、その復号結果にしたがって動画を表示する。

携帯端末１０から動画表示装置３０への動画データの伝送は、移動通信網に含まれる移動パケット通信網と一般公衆回線網を介して行われる。通信網２０を介したデータ通信の可用帯域幅は、携帯端末１０を収容する無線区間における電波状況や一般公衆回線網の混雑具合に応じて変動する。このため、カメラ１２によって撮像された動画を上記のようにして動画表示装置３０のユーザに視聴させる場合、通信網２０の無線区間における電波状況や一般公衆回線網の混雑具合によってはビットレートが可用帯域幅を上回り、動画表示装置３０における動画の再生が途切れ途切れになるなどして当該ユーザに大きなストレスを感じさせることがあるかに見える。

しかし、本実施形態では、携帯端末１０に本実施形態の特徴を顕著に示す処理を実行させることで、携帯端末１０により撮像した動画を大きなストレスを感じさせることなく動画表示装置３０のユーザに視聴させることが実現される。また、本実施形態では、携帯端末１０に本実施形態の特徴を顕著に示す処理を実行させることで、携帯端末１０のユーザに特段の操作を行わせなくとも、カメラ１２により撮像した動画を当該ユーザの意図した映像品質で動画表示装置３０のユーザに視聴させることも実現される。
以下、本実施形態の特徴を顕著に示す携帯端末１０を中心に説明する。

図２は、携帯端末１０の構成例を示すブロック図である。
図２に示すように、携帯端末１０は、制御部１１０、通信インタフェース（以下、「Ｉ／Ｆ」と略記する）部１２０、外部機器Ｉ／Ｆ部１３０、加速度センサ１４０、ユーザＩ／Ｆ部１５０、記憶部１６０、およびこれら構成要素間のデータ授受を仲介するバス１７０を有している。制御部１１０は、ＣＰＵ（Central Processing Unit）である。制御部１１０は、記憶部１６０に記憶されているプログラムを実行することにより、携帯端末１０の制御中枢として機能する。

通信Ｉ／Ｆ部１２０は、図示せぬアンテナとベースバンドＩＣ（Integrated Circuit）とを含んだ無線通信インタフェースである。この通信Ｉ／Ｆ部１２０は、制御部１１０による制御の下、例えば、送話音声に関するデータやパケット通信用のデータなどを制御部１１０から受け取り、これらデータを搬送波に重畳して送信信号を生成し、この信号を上記アンテナを介して移動通信網の基地局へ送信する。また、通信Ｉ／Ｆ部１２０は、上記基地局から送られてくる無線信号を上記アンテナを介して受信し、この信号を復調して自端末宛の受話音声に関するデータやパケット通信用のデータなどを取得し、これらデータを制御部１１０に引き渡す。

外部機器Ｉ／Ｆ部１３０は、シリアルインターフェースなど、他の外部機器を接続するためのものである。この外部機器Ｉ／Ｆ部１３０は、その接続先の外部機器から受け取ったデータを制御部１１０に引き渡す一方、制御部１１０から与えられたデータを当該外部機器へ出力する。本実施形態では、この外部機器Ｉ／Ｆ部１３０にカメラ１２が接続される。加速度センサ１４０は、当該加速度センサ１４０に加わった外力に応じて生じて加速度を互いに直交する３つの軸方向の成分に分解して検出し、各軸方向の成分の大きさを示す加速度データを制御部１１０に与える処理を所定の周期（例えば、１００ミリ秒周期）で実行する。例えば、携帯端末１０を携帯しているユーザが何らかの体動を行うと、この体動に応じた外力が携帯端末１０の筐体（図示略）を介して加速度センサ１４０に加わり、加速度センサ１４０は当該外力に応じて生じた加速度を表す加速度データを出力する。前述したように、本実施形態では、携帯端末１０のユーザの頭部にはカメラ１２が装着されているため、当該ユーザが何らかの体動を行うと、この体動に起因した動きがカメラ１２に生じる。本実施形態の加速度センサ１４０は、携帯端末１０のユーザの体動に伴って生じたカメラ１２の動きの大きさを検出する動き検出手段の役割を果たすのである。ユーザＩ／Ｆ部１５０は、例えば液晶ディスプレイとその駆動回路により構成された表示部と、テンキーなど複数の操作子からなる操作部とを含んでいる（図２では、何れも図示略）。

記憶部１６０は、図２に示すように、不揮発性記憶部１６２と、揮発性記憶部１６４を含んでいる。不揮発性記憶部１６２は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリによって構成されており、揮発性記憶部１６４はＲＡＭ（Random
Access Memory）などの揮発性メモリによって構成されている。不揮発性記憶部１６２には、動画送信先アドレス１６２ａと、通信制御プログラム１６２ｂとが格納されている。一方、揮発性記憶部１６４は、通信制御プログラム１６２ｂを実行する際のワークエリアとして制御部１１０によって利用される。

通信制御プログラム１６２ｂは、携帯端末１０の電源（図示略）が投入されたことを契機として制御部１１０によって不揮発性記憶部１６２から揮発性記憶部１６４に読み出され、その実行が開始される。通信制御プログラム１６２ｂにしたがって制御部１１０が実行する処理としては、図３に示す動画データ送信制御処理の他に、呼接続制御処理および通話制御処理が挙げられる。呼接続制御処理とは、通話発呼や通話着呼に応答する処理である。通話制御処理とは、携帯端末１０のユーザの音声の収音、通話相手の音声の放音、およびこれら音声を表す音声データの送受信を制御する処理である。これら呼接続制御処理と通話制御処理については、一般的な携帯電話機におけるものと変わるところはないため詳細な説明を省略し、以下では、動画データ送信制御処理を中心に説明する。

動画データ送信制御処理では、カメラ１２から出力された動画データを動画送信先アドレス１６２ａへ宛てて送信する際に、その送信時点における通信網２０の可用帯域幅を計測し、当該可用帯域幅に収まるようにビットレートを調整しつつ動画データを送信する処理である。動画データのビットレートは当該動画データを構成する一連のフレームの１フレーム当たりのデータ量とフレームレートとの積により算出される。そして、１フレーム当たりのデータ量は、動画を構成する各フレームの解像度と圧縮符号化の際の圧縮率とにより定まる。詳細については重複を避けるために動作例において明らかにするが、本実施形態では、制御部１１０は、まず、動画を構成する各フレームの解像度および圧縮符号化の際の圧縮率をカメラ１２の動きの大きさに応じて調整することで１フレーム当たりのデータ量を調整する。そして、制御部１１０は、ビットレートがその時点の可用帯域幅に収まるようにフレームレートを調整しつつ、１フレーム当たりのデータ量を調整済みの動画データを動画送信先アドレス１６２ａへ宛てて送信するのである。
以上が携帯端末１０の構成である。

＜Ｂ：動作＞
次いで、動画データ送信制御処理における動作を中心に携帯端末１０が実行する動作について説明する。カメラ１２を頭部に装着し携帯端末１０を携帯しているユーザが、ユーザＩ／Ｆ部１５０の操作部に対する操作によって動画データの送信指示を与えると、制御部１１０は、通信制御プログラム１６２ｂにしたがって動画データ送信制御処理を実行する。

図３は、動画データ送信制御処理の流れを示すフローチャートである。
図３に示すように、制御部１１０は、まず、可用帯域幅を計測するとともに、加速度センサ１４０から出力される加速度データを解析してカメラ１２の動きの大きさ（以下、運動状態）を判定する（ステップＳＡ１００）。

可用帯域幅の計測方法については種々の態様が考えられるが、本実施形態では、以下の要領で可用帯域幅の計測が行われる。まず、可用帯域幅の計測に先立って、携帯端末１０と動画表示装置３０の各々の内部時計の時間合わせを予め行っておく。携帯端末１０には、例えば５００キロバイト（以下、ＫＢと略記）などの所定のデータサイズの可用帯域幅計測用データにその送信時刻を示すタイムスタンプを付与して動画表示装置３０へ送信するとともに、当該送信時刻を記憶する処理を実行させる。一方、動画表示装置３０には、可用帯域幅計測用データの受信を契機としてその受信時刻を示すタイムスタンプを付与した応答メッセージ（所謂ＡＣＫ）を返信させる。そして、携帯端末１０には、当該応答メッセージの受信を契機として、当該応答メッセージに含まれているタイムスタンプの示す時刻と上記送信時刻との時間差を算出させ、可用帯域幅計測用データのデータサイズを当該時間差で除算して可用帯域幅を算出させるのである。このように、本実施形態では、可用帯域幅計測データの送受信によって可用帯域幅の計測を行うのであるが、このような態様では通信網２０に余分な負荷をかける場合がある。そこで、特許文献４に開示された計測方法のように通信網２０に余分な負荷をかけることなく可用帯域幅を計測する手法を採用しても勿論良い。

一方、運動状態の判定は、以下の要領で行われる。
制御部１１０は、一定の時間間隔（前述したように、本実施形態では１００ミリ秒間隔）で加速度センサ１４０から出力される加速度データを揮発性記憶部１６４内のリングバッファに書き込み、最新の加速度データとその一つ手前の加速度データとを参照して３つの軸方向の加速度成分の差分値を軸毎に算出する。そして、制御部１１０は、これら３つの差分値のうちの最大のものを所定の閾値（本実施形態では、０．２Ｇおよび１．０Ｇの２種類）と比較し、以下の表１に示す要領でカメラ１２の運動状態を判定する。すなわち、制御部１１０は、上記３つの差分値のうちの最大のものが０．２Ｇ未満であれば、カメラ１２は静止している状態（以下、静止状態）であると判定し、０．２Ｇ以上１．０Ｇ未満であれば、動きの小さい小運動状態であると判定し、１．０Ｇ以上であれば、動きの大きい大運動状態であると判定する。

表１において１．０Ｇとは、重力加速度（約９．８ｍ／ｓ^２）に相当する加速度の大きさを表す値である。本実施形態では、カメラ１２の運動状態を判定するための閾値として０．２Ｇおよび１．０Ｇを用いたが、当該閾値はこれらの値に限定されるものではなく、適宜実験を行って好適な値を用いるようにすれば良い。また、本実施形態では、３つの軸方向の加速度成分の差分値のうちの最大のものに基づいてカメラ１２の運動状態の判定を行うが、加速度センサ１４０から出力された最新の加速度データの表す加速度の大きさ（或いは、各軸方向の加速度成分の二乗和）と閾値との比較によりカメラ１２の運動状態の判定を行っても勿論良い。

次いで、制御部１１０は、ステップＳＡ１００にて判定された運動状態に応じて送信対象の動画データの１フレーム当たりのデータ量を、以下の表２に示す要領で解像度変換および圧縮符号化を行うことで調整する（ステップＳＡ１１０）。表２においてＶＧＡは６４０×４８０の解像度を表し、ＱＶＧＡはＶＧＡの１／４の解像度（すなわち、３２０×２４０）を表す。各運動状態における解像度および圧縮率を以下の表２に示すように定めた理由については後に明らかにする。

前述したように、カメラ１２の出力する動画データの各フレームの解像度はＶＧＡである。このため、ステップＳＡ１００にて静止状態であると判定された場合には、制御部１１０は、動画データに対して圧縮率の低い圧縮符号化のみを施して当該動画データの１フレーム当りのデータ量を調整する。これに対して、ステップＳＡ１００にて小運動状態（或いは大運動状態）と判定された場合には、制御部１１０は、動画データに対してその解像度をＶＧＡからＱＶＧＡに変換する解像度変換を施し、圧縮率の高い圧縮符号化（大運動状態の場合には、圧縮率が中程度の圧縮符号化）を施して当該動画データの１フレーム当りのデータ量を調整する。なお、解像度変換および圧縮符号化については周知のアルゴリズムを適宜採用するようにすれば良い。

ステップＳＡ１１０に後続するステップＳＡ１２０では、制御部１１０は、ステップＳＡ１１０にて１フレーム当りのデータ量の調整が行われた動画データを、フレームレートを調整しつつ動画送信先アドレス１６２ａ宛に送信する。より詳細に説明すると、制御部１１０は、ステップＳＡ１００にて判定されたカメラ１２の運動状態が静止状態または小運動状態であれば、１フレーム当りのデータ量とフレームレートとの積により求まるビットレートがステップＳＡ１００にて計測された可用帯域幅の８割となるようにフレームレートを調整する。これに対して、ステップＳＡ１００にて判定されたカメラ１２の運動状態が大運動状態であれば、制御部１１０は、フレームレートを予め定められた最小値（本実施形態では、０．５フレーム／秒）に引き下げて１フレーム当りのデータ量を調整済みの動画データを動画送信先アドレス１６２ａ宛に送信する。

表３には、ステップＳＡ１００にて計測された可用帯域幅が１秒当たり８００キロビット（８００ｋｂｐｓ）である場合の各運動状態における解像度、圧縮率、フレームレートおよびビットレートの各値が掲載されており、表４には、同可用帯域幅が４００ｋｂｐｓである場合の各運動状態における解像度、圧縮率、フレームレートおよびビットレートの各値が掲載されている。

表２、表３および表４を参照すれば明らかように、本実施形態では、静止状態においては、解像度、圧縮率およびフレームレートのうち解像度が高くかつ圧縮率が低くなるようにこれら２つが優先され、その分だけフレームレートが低く抑えられている。一方、小運動状態においてはフレームレートが高くなるように優先され、その分だけ解像度は低く、圧縮率は高くなるようにこれら２つが抑えられている。
これは以下の理由による。

カメラ１２が静止状態であるということは、当該カメラ１２によって被写体の撮像を行っているユーザは、当該被写体の細部を正確に捉えるために当該被写体を注視するかのように動きを止めている状態であると考えられる。本実施形態では、「被写体の細部を正確に捉える」という撮像者の意図を尊重するため、静止状態においては、解像度、圧縮率およびフレームレートのうちの解像度および圧縮率を優先し、その分だけフレームレートを抑えている。これにより、動きの滑らかさには欠けるものの、各フレームにおいて被写体の細部を正確に捉えた動画が動画表示装置３０に表示されるからである。

これに対して、カメラ１２が小運動状態であるということは、被写体の動きを正確に捉えるために、ユーザは当該被写体を目で追うかのような動きをしている状態であると考えられる。本実施形態では、「被写体の動きを正確に捉える」という撮像者の意図を尊重するため、小運動状態においては、フレームレートを優先し、その分だけ解像度および圧縮率を抑えている。これにより、各フレームの鮮明さには欠けるものの被写体の動きを良好に反映した滑らかな動画が動画表示装置３０に表示される。なお、携帯端末１０の運動状態が大運動状態である場合に、フレームレートを最小値まで引き下げたのは、このような状態で撮像された動画では被写体のブレが大きく、フレームレートを最小値まで引き下げることによって無駄な動画データの送信を最小限に抑え、帯域を無駄遣いしないようにするためである。また、大運動状態において圧縮率を静止状態と小運動状態の間の値としたのは、静止状態におけるものと同等に低圧縮率とするのは無駄であり、また、小運動状態におけるものほど圧縮率を高くしなくてもビットレートが充分に低く抑えられているからである。

ここで注目すべき点は、静止状態、小運動状態および大運動状態の何れにおいても、携帯端末１０から動画表示装置３０へ動画データを送信する際のビットレートが必ず可用帯域幅に収まっており、動画表示装置３０において動画が途切れ途切れに再生されることはない、という点である。このように、本実施形態によれば、携帯端末１０を用いて撮像した動画をその撮像者の意図した映像品質で動画表示装置３０に表示させ、かつ当該動画表示装置３０のユーザにストレスを感じさせることなく当該動画を視聴させることが可能になる、といった効果が奏される。なお、本実施形態では、静止状態および小運動状態においてはビットレートが可用帯域幅の８割となるようにフレームレートを調整したが、可用帯域幅に占めるビットレートの割合がより高く（例えば、８割５分や９割など）なるように、或いはより低く（例えば、７割や６割など）なるようにフレームレートを調整しても勿論良い。

＜Ｃ：変形＞
以上、本発明の一実施形態について説明したが、この実施形態に以下に述べる変形を加えても勿論良い。
（１）上述した実施形態では、カメラ１２の動きの大きさに応じて１フレーム当りのデータ量を調整し、ビットレートが可用帯域幅に収まるようにフレームレートを調整した。しかし、カメラ１２の動きの大きさに応じてフレームレートを定め、ビットレートが可用帯域幅に収まるように１フレーム当りのデータ量を調整するようにしても良い。例えば、静止状態であればフレームレートを１．０ｆｐｓと、小運動状態であれば８．０ｆｐｓと、大運動状態であれば、０．５ｆｐｓとするのである。この場合、可用帯域幅が８００ｂｐｓであれば、前掲表３のように解像度および圧縮率を定めるようにすれば良い。また、ビットレートが可用帯域に収まっているか否かを考慮する必要がない場合には、カメラ１２の動きの大きさに応じて１フレーム当りのデータ量とフレームレートの両方を定めるようにしても良い。要は、カメラ１２の運動状態が静止状態であると判定される場合には、１フレーム当たりのデータ量を優先させてフレームレートを低く抑え、カメラ１２の運動状態が小運動状態であると判定される場合には、フレームレートを優先させて１フレーム当たりのデータ量を低く抑えるように１フレーム当りのデータ量およびフレームレートを調整する態様であれば、携帯端末１０を用いて撮像した動画をその撮像者の意図した映像品質で動画表示装置３０に表示させることが可能になる。なお、ビットレートが可用帯域幅に収まっているか否かを考慮する必要がない場合には可用帯域幅計測処理を制御部１１０に実行させる必要がないことはいうまでもない。

（２）上述した実施形態では、動き検出手段として３軸加速度センサを用いたが、カメラ１２から出力される動画データを解析してユーザの体動に伴うカメラ１２の動きの大きさを検出しても勿論良い。具体的には、動画データの表す一連のフレームに写っている被写体のブレを隣接するフレーム同士を比較して特定し、当該ブレの大きさをカメラ１２の動きの大きさとして検出するのである。このような態様であれば、カメラ１２およびその撮像画像を解析する制御部１１０が動き検出手段の役割を果たすため、携帯端末１０に加速度センサ１４０を設ける必要はない。

（３）上述した実施形態では、携帯端末１０としてデータ通信機能を有する携帯電話機を用いたが、データ通信機能を有するＰＤＡ（Personal Digital Assistant）を携帯端末１０として用いても良い。また、カメラ１２と携帯端末１０との組み合わせに換えて、撮像機能を有する携帯電話機（例えば、図２において、外部機器Ｉ／Ｆ部１３０に換えて撮像手段としてのカメラ１２を内蔵する構成の携帯電話機）を用いても良い。また、上述した実施形態では、動画表示装置３０がパーソナルコンピュータである場合について説明したが、動画表示機能と通信機能とを備えた電子機器であれば動画表示装置３０として用いることが可能であり、例えばＰＤＡや携帯電話機を動画表示装置３０として用いても勿論良い。

（４）上述した実施形態では、携帯端末１０から動画表示装置３０へ送信する動画データに非可逆圧縮符号化を施したが、非可逆圧縮符号化に換えて可逆圧縮符号化を施しても良く、また、非可逆および可逆の何れの圧縮符号化も施さないようにしても良い。このように、携帯端末１０から動画表示装置３０へ送信する動画データに可逆圧縮符号化を施す場合、または圧縮符号化を施さない場合であっても、解像度の調整によって１フレーム当りのデータ量の調整は可能だからである。また、携帯端末１０から動画表示装置３０へ送信する動画データに非可逆圧縮符号化を施す場合であっても、解像度と圧縮率の何れか一方のみの調整によって１フレーム当りのデータ量の調整を行っても良い。

（５）上述した実施形態では、動画表示装置３０への動画データの送信開始に先立って通信網２０における可用帯域幅を制御部１１０に計測させ、１フレーム当りのデータ量を調整済みの動画データを送信する際のフレームレートをビットレートが当該可用帯域に収まるように調整する処理を制御部１１０に実行させた。しかし、１フレーム当りのデータ量を調整済みの動画データの送信途中において１または複数回可用帯域幅を計測し、その計測結果に応じてフレームレートを再調整する処理を制御部１１０に実行させても良い。このような態様によれば、通信網２０における可用帯域幅が短時間のうちに変動するような場合であっても、動画表示装置３０のユーザに、携帯端末１０にて撮像した動画を大きなストレスを感じさせることなく動画表示装置３０のユーザに視聴させることが可能になる。なお、本変形例のように、１フレーム当りのデータ量を調整済みの動画データの送信途中において可用帯域幅の計測を再度行う態様においては、前掲特許文献４に開示されたもののように通信網に余分な負荷をかけることなく可用帯域を計測する手法を採用することが好ましいことは言うまでもない。

（６）上述した実施形態における静止状態の場合や大運動状態のように低いフレームレートで動画データを送信する場合には、カメラ１２から出力される動画データの表す一連のフレームの内容を解析し、実際に動画表示装置３０へ送信するフレーム（以下、代表フレーム）をその解析結果に基づいて選択するようにしても良い。例えば、可用帯域幅が４００ｋｂｐｓである場合には、静止状態或いは大運動状態においては２秒間に１フレームの割合で送信すれば良いから、２秒間にカメラ１２から出力される動画データの表す一連のフレームのうち、被写体のブレが少ないフレームや特定の被写体が写っているフレームを代表フレームとして選択して動画表示装置３０へ送信するようにすれば良い。

（７）上述した実施形態では、本発明の特徴を顕著に示す動画データ送信制御処理を制御部１１０に実行させる通信制御プログラム１６２ｂが携帯端末１０の不揮発性記憶部１６２に予め格納されていた。しかし、通信制御プログラム１６２ｂを例えばＣＤ−ＲＯＭ（Compact Disk- Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。また、上述した実施形態では、本発明の特徴を顕著に示す動画データ送信制御処理をソフトウェアにより実現したが、ユーザの体動に伴って生じる動きの大きさを検出する動き検出手段と、動画データの１フレーム当たりのデータ量と通信網を介して当該動画データを他の装置へ送信する際のフレームレートの少なくとも一方を、動き検出手段により検出された動きの大きさに応じて調整しつつ当該動画データを当該他の装置へ送信する送信手段と、を各々電子回路で構成し、カメラを内蔵または接続する一般的な携帯端末にこれら電子回路を組み込んで本発明の携帯端末を構成しても勿論良い。

１０…携帯端末、１２…カメラ、２０…通信網、３０…動画表示装置、１１０…制御部、１２０…通信Ｉ／Ｆ部、１３０…外部機器Ｉ／Ｆ部、１４０…加速度センサ、１５０…ユーザＩ／Ｆ部、１６０…記憶部、１６２…不揮発性記憶部、１６２ａ…動画送信先アドレス、１６２ｂ…通信制御プログラム、１６４…揮発性記憶部、１７０…バス。

Claims (7)

1. 通信網を介して受信した動画データの表す動画を表示する動画表示装置と、
   動画を撮像し当該動画を表す動画データを出力するカメラを内蔵または接続し、当該動画データを前記通信網を介して前記動画表示装置へ送信する携帯端末と、
   を含み、
   前記携帯端末は、
   ユーザの体動に伴って生じる前記カメラの動きを検出し、前記動画データの１フレーム当たりのデータ量と当該動画データを前記通信網を介して前記動画表示装置へ送信する際のフレームレートの少なくとも一方を、前記カメラの動きの大きさに応じて調整しつつ前記動画表示装置へ送信する
   ことを特徴とする通信システム。
2. 前記携帯端末は、
   前記カメラが静止していると判定される場合には、１フレーム当たりのデータ量を優先させてフレームレートを低く抑え、前記カメラの動きが小さいと判定される場合には、フレームレートを優先させて１フレーム当たりのデータ量を低く抑える
   ことを特徴とする請求項１に記載の通信システム。
3. 前記携帯端末は、前記通信網にて利用可能な帯域幅である可用帯域幅を計測し、
   前記動画データの１フレーム当たりのデータ量と当該動画データを前記通信網を介して前記動画表示装置へ送信する際のフレームレートの何れか一方を前記カメラの動きの大きさに応じて調整し、他方をビットレートが前記可用帯域幅に収まるように調整する
   ことを特徴とする請求項１または２に記載の通信システム。
4. 前記携帯端末は、前記動画表示装置へ送信する動画データに圧縮符号化を施して送信するとともに、その圧縮符号化における圧縮率と動画を構成する各フレームの解像度の少なくとも一方の調整により１フレーム当りのデータ量を調整する
   ことを特徴とする請求項１〜３の何れか１項に記載の通信システム。
5. 前記携帯端末は、前記カメラの動きの大きさが予め定めた閾値を上回っている場合には、前記フレームレートを予め定められた最小値まで低下させることを特徴とする請求項１〜４の何れか１項に記載の通信システム。
6. 動画を撮像し当該動画を表す動画データを出力するカメラを内蔵または接続する携帯端末において、
   ユーザの体動に伴って生じる前記カメラの動きの大きさを検出する動き検出手段と、
   前記動画データの１フレーム当たりのデータ量と通信網を介して当該動画データを他の装置へ送信する際のフレームレートの少なくとも一方を、前記動き検出手段により検出された前記カメラの動きの大きさに応じて調整しつつ当該動画データを当該他の装置へ送信する送信手段と、
   を有することを特徴とする携帯端末。
7. コンピュータを、
   動画を撮像し当該動画データを出力するカメラを内蔵または接続するとともに当該コンピュータを内蔵する端末のユーザの体動に伴って生じる前記カメラの動きの大きさを検出する動き検出手段と、
   前記動画データの１フレーム当たりのデータ量と通信網を介して当該動画データを他の装置へ送信する際のフレームレートの少なくとも一方を、前記動き検出手段により検出された動きの大きさに応じて調整しつつ当該動画データを当該他の装置へ送信する送信手段と、
   して機能させることを特徴とするプログラム。

Images