以下、本発明の実施形態を、図面を参照して説明する。
[第1の実施形態]
第1の実施形態は、撮像部と着脱可能に構成された映像通信装置が、撮像部に備えられたモード切替スイッチの操作に応じて、リモート操作モードと自律モードとを移行する。そして、リモート操作モード時に領域制限されていたパン範囲やチルト範囲を、自律モード動作時に制限緩和させるものである。ここで、自律モードとは自立的な処理結果に従って動作するモードをいう。
撮像部は、広く普及しているデジタルカメラで構成され、映像通信装置は、そのデジタルカメラ用クレードルとして構成されている点に特徴がある。ここで、本実施形態におけるクレードルとは、デジタルカメラ用のスタンド型の拡張装置であり、デジタルカメラ本体を載せるだけで接続され、ネットワーク接続機能や充電機能やセンサー入出力機能ならびにパン・チルト機能などを提供するものである。これによって、映像通信機能を備えるクレードル装置が、デジタルカメラ操作によって得られる映像データを、リモート操作時の制約なく、適切に取得、保存、あるいは、配信することができる。
具体的に図面を参照して説明する。図1は、本発明を用いた実施形態の典型的な利用形態を示した図である。101はクレードルであり、102と103とはビューワ側の操作表示端末である。クレードル101には、デジタルカメラのカメラ110が着脱可能である。クレードル101と操作表示端末102、103はそれぞれネットワーク150に接続されている。
操作表示端末102 からネットワーク150を介してリクエストがクレードル101へ送られ、これが受け入れられるとクレードル101から操作表示端末102へ映像データが配送され、操作表示端末102で映像を見ることが可能となる。また、操作表示端末102からカメラ制御コマンドがクレードル101へ送られ、カメラ110又はクレードル101のズーム、パン、チルト動作などの操作が可能となる。操作表示端末103も同様にカメラ110又はクレードル101のズーム、パン、チルト動作などの操作が可能である。
また、120はネットワーク接続型の記憶装置(Network Attached Storage。以下、NASという)であって、ネットワークに接続した他の機器から、データの保存あるいはデータの参照の要求を受け付ける。NAS120は、家庭用NAS、業務用の大規模NAS、あるいはインターネット上のストレージサービスであってもよい。また。ネットワーク150は企業あるいは組織内で運用されるイントラネット、インターネット、家庭内で運用されているホームネットワークであってもよい。さらに、媒体が有線であっても、無線であっても構わない。
図2はクレードル101およびカメラ110の機能ブロックを示した図である。これらの機能ブロックには、クレードル101ないしカメラ110上のソフトウェアおよびハードウェアが実装されている。ソフトウェアで実装された機能は、図示しないが、クレードル101あるいはカメラ110に内蔵するプロセッサやメモリによって実行される。また、ハードウェアで実装された機能は、プロセッサやメモリと内部接続されている。
カメラ110は、画像撮影部211、画像圧縮部212、画像記憶部213、ファインダ表示部214、操作スイッチ部215、外部IF制御部216、カメラ制御部217、ストロボ制御部218からなっている。すなわち、カメラ110は、デジタルカメラとしての基本機能を備えている。
画像撮影部211は、レンズ、撮像デバイス、映像信号処理回路等からなる。画像圧縮部212は、撮像部211から得られたデジタル画像データを静止画であればJPEG等で、動画であればMotionJPEGやMPEG4等で圧縮する。圧縮した画像データは画像記憶部213にファイルとして記録される。ファインダ表示部214は、撮像部211の画像や撮影した画像、その他の操作GUIを表示し、そのためのレリーズや画質等の設定変更等は操作スイッチ215を用いて行うことができる。また、光学ファインダの代わりに映像を見ながら画角が設定できるようになっている。
外部IF制御部216はカメラ110が外部機器との制御信号あるいは電源のやり取りをする部分であり、USB(Universal Serial Bus)に準拠する。この外部IF制御部216を経由して、クレードル101からデジタルカメラ110の制御コマンドを受け取ったり、画像データをクレードル101に入出力する。なお、外部IF制御部216にカメラの駆動ならびに充電用の電源IFが含んでいてもよい。
また、ストロボ制御部218を有している。設定記憶部219 は、操作スイッチ部215あるいはクレードル101からのコマンドによって設定された設定値を記憶する。なお、カメラ110は、固体を識別するためのID(デジタルカメラ識別子)が含まれており、書き換え不可能な状態で設定記憶部219に記憶されている。
本実施形態における自律モードとリモート操作モードとのモード切替は、操作スイッチ部215の操作によって実現されている。具体的には、クレードル101内部のデータ一時記憶部227に保持する動作モード状態情報を、自律モード及びリモート操作モードのうち、いずれか一方に書き換える。
クレードル101は、パン・チルト駆動部231、ロック機構制御部232、雲台制御部221、クレードル制御部222、外部IF制御部223、ネットワーク制御部224、画像記憶部225、センサー入力部226、データ一時記憶部227からなる。
パン・チルト駆動部231はカメラ110のパン・チルト駆動を行う。雲台制御部221はパン・チルト駆動部231の制御を行う。クレードル制御部222 はクレードル全体の制御を行う。
外部IF制御部223は、カメラ110 への電源供給ならびにカメラ110を制御するためのインターフェース制御部である。この外部IF制御部223は、USBに準拠し、外部IF制御部216と接続して、カメラ110に制御コマンドを送ったり、カメラ110からの撮影画像データなどの入出力を行う。なお、カメラ110が装着された時に、クレードルは101は、カメラ110の外部IF制御部216とクレードル101の外部IF制御部223が電気的に接続されるような接続機構を有している。カメラ110が装着されているか否かは、この外部IF制御部223において電源あるいはUSBの電気的特性から判断できるようになっている。
ネットワーク制御部224は、操作表示端末102、103と接続して制御コマンド等をやり取りするネットワークインタフェースである。ネットワーク制御部224は、ネットワーク150経由での操作表示端末102や103からの制御コマンドを解釈しカメラ110および雲台制御部221を制御するとともに、撮影画像をネットワーク150経由で操作表示端末102、103などに送る。画像記憶部225はカメラ110で撮影した画像を記憶するハードディスク等の記憶デバイスである。
センサー入力部226は、 人感センサー等の外部センサーからの信号をトリガとして取り出す部分である。データ一時記憶部227は、カメラ110に設定すべきデータ等を一時的に記憶しておく。クレードル101がネットワーク150経由で操作表示端末102、103から受け取るコマンドは、以下のようにカテゴリ分けされる。
(1)セッションコマンド:クレードルと操作表示端末との間で、事前にセッションを確立する必要があるコマンドが存在する。そのためのセッション制御用コマンドが規定されている。
(2)カメラ制御コマンド:デジタルカメラへのアクセスに排他制御が必要な操作コマンドのために、カメラ制御権を受け渡しするためのコマンドが規定されている。カメラ制御権を保持している操作表示端末はカメラ制御操作が可能となる。なお、デジタルカメラの制御だけでなく、クレードル(雲台)に関する一部のコマンドについては、カメラ制御権が必要なため、このコマンドカテゴリに含まれる。
(3)カメラブラウズコマンド:デジタルカメラの内部状態(画像記憶部内容を含む)に関する操作である。
(4)カメラ設定コマンド:デジタルカメラの設定を変更する操作である。
(5)クレードルブラウズコマンド:クレードルの内部状態(画像記憶部内容を含む)に関する操作である。
(6)クレードル設定コマンド:クレードルの設定を変更する操作である。
次に、クレードル101の動作フローについて説明する。図3は、クレードル101の大まかな動作フローを説明する図である。クレードル101の動作モードにはクレードルモードと監視モードとの2通りがある。クレードルモードはクレードル101にカメラ110が装着されていない時の動作モード、監視モードはカメラ110が装着された時の動作モードである。監視モードコマンドとは、(2)カメラ制御コマンドならびに(3)カメラブラウズコマンドを指す。
クレードル101を起動(S301)すると、S302で初期化処理を行った後、クレードル101上にカメラ110が装着されているかどうかを確認して、クレードルモード動作(S304)ないし監視モード動作(S305)を開始する。クレードルモード動作(S311)を開始すると、クレードルモードの初期化処理(後述のS421)を行い、クレードル101で発生したイベント待ち、ないし操作表示端末102、103からのコマンド待ちとなる(S313)。なお、本実施形態においてイベントとは、クレードル101にカメラ110が装着された、外された、センサー226が検知した、センサー226が検知しなくなった、カメラ110の状態が変わった等である。また、コマンドは前述の通りである。
ここで、カメラが装着されたイベントであれば(S314)、監視モードの動作を開始する(S315)。すなわち、S331に移動する。次にセッションコマンドであれば(S316)、(1)セッションコマンドで述べたセッションの開始・終了処理を行う(S317)。次に監視モードコマンドであった場合には(S318)、カメラ110が装着されていないのでコマンドは受け付けず、エラーを操作表示端末102、103に返す(S319)。なお、監視モードコマンド以外のコマンド、すなわち(4)カメラ設定コマンド、(5)クレードルブラウズコマンド、(6)クレードル設定コマンドの時には(S320)、それぞれのコマンドに対応した動作を行う(S321)。また、センサーイベント(S322)なら、このモードでは無視する(S323)。電源OFFなら終了し(S325)、そうでなければそれ以外の処理を行う(S326)。
一方、監視モード動作(S331)を開始すると、監視モードの初期化処理(S332、後述のS401) を行う。次に、クレードルモード動作同様に、クレードル101で発生したイベント待ち、ないし操作表示端末102、103からのコマンド待ちとなる(S333)。ここで、カメラ110が取り外されたイベントであれば(S334)、セッションの確立しているすべての操作表示端末102、103に対してカメラ110が取り外された警告を通知する(S345)と共に、クレードルモードの動作を開始する(S336)。すなわち、S421に移る。次に、セッションコマンドであれば(S337)、(1)セッションコマンドで述べたセッションの開始・終了処理を行う(S338)。次に、監視モードコマンドであった場合(S339)、すなわち(2)カメラ制御コマンド、(3)カメラブラウズコマンドであった場合には、コマンドを受け付けて実行する(S340)。
なお、監視モードコマンド以外のコマンド、すなわち(4)カメラ設定コマンド、(5)クレードルブラウズコマンド、(6)クレードル設定コマンドの時には(S341)、それぞれのコマンドに対応した動作を行う(S342)。また、センサーイベントならば(S343)、後述のイベント処理を行う(S344、図14)。電源OFFなら終了し(S346)、そうでなければそれ以外の処理を行う(S347)。
図4は、クレードル101の初期化処理を説明する図である。初期化処理とは、監視モード初期化処理(S332)とクレードルモード初期化処理(S312)をさす。
監視モード初期化処理S401では、まずカメラ電源がON状態でなければON状態にし(S402)、カメラ110が保持しているカメラID(デジタルカメラ識別子)をクレードル101で受け付けるか否かのカメラ認証処理を行う(S403)。クレードル101側には受け付けるカメラIDがあらかじめ登録されているものとする。認証で問題なければ、カメラ110からクレードル設定データを読み込む(S404)。ここで、クレードル設定データとは、基本的にはクレードル設定コマンドのパラメータと同様であり、後述のGUIを用いてカメラ側で設定および変更される(図12)。項目としては、クレードル設定コマンドで設定できる項目と同じであり、IPアドレス設定、通知先メールアドレス、アクセス許可アドレス、パスワード、プリセット、検知領域、PT制限範囲、センサー設定である。内容はクレードル設定コマンドと同等なので説明を省略する。
次に、後述のクレードルのデータ一時記憶部227に監視モードパラメータデータがあれば、監視モードでカメラが動作するのに最適なカメラ設定値、各種撮影パラメータとして設定する(S405)。カメラ110に対して、監視モードのパラメータ(後述)を設定するフェーズ(S406)と、カメラ自体を監視モードに設定するフェーズ(S407)とからなる。次に、カメラボタンを勝手に操作できないように無効化し(S408)、S404でカメラ110から読み込んだクレードル設定データをクレードル101に設定して有効にする(S409)。さらにクレードル設定データにしたがって、雲台位置をホームポジションに初期化する(S410)。
次に、接続しているすべての操作表示装置に対して、監視モードに設定された旨通知し(S411)、カメラ110を休止モードに設定する(S412)。なお、休止モードとは、カメラ電源を入れてすぐに撮影できる状態のことである。例えば、カメラ110のレンズを繰り出した状態のまま、カメラ110の電源をオフにする。
クレードルモード初期化処理S421では、カメラ110が取り外されたので、雲台のパン・チルト位置を機構的にカメラが装着しやすい位置に移動し(S422)、さらに接続しているすべての操作表示端末に通知する(S423)。
なお、監視モードパラメータとは、デジタルカメラを手持ち状態ではなくクレードルに装着した状態で使う、あるいは画像を送信するということを念頭に、撮影条件を考慮したカメラのパラメータであり、次のようなパラメータからなる。
[画像サイズならびに画質設定] 監視モードでは、通信を考慮して通常撮影時は、画像サイズ(解像度)を小さく、画質を低く設定する。ただし、後述の連写モードでは複数サイズ・画質での連写の設定も可能とする。
[ドライブモード設定] 1度のレリーズトリガーにより、1枚ないし連続撮影が指定可能。
また、画像サイズ、画質の異なる画像連写も可能である。連写時は、操作表示部への送信するためのデータとローカルで保持する画像サイズ・画質を別にしてもよい。
[低速シャッタ設定] 露出決定時の手ブレ限界は手持ち撮影よりも低く設定することが可能である。
[焦点設定] 焦点設定方法。オートフォーカスの範囲を、例えば室内で使うことを前提に制限することで、オートフォーカスの速度を上げることができる。あるいは、設置環境によっては焦点位置固定でもかまわない場合には、そのような設定にしてもよい。
図5は、クレードル101のセッションコマンド処理を説明する図である。監視モード、クレードルモードとも同じフローで説明する。操作表示端末からの接続要求を受け取ると(S501)、まずアクセス権があるか否を認証する(S502)。アクセス権がなければ、アクセス権エラーを返すが(S512)、アクセス可能であれば、接続確立処理を行い(S504)、アドレスリストに登録する(S505)。なお、アドレスリストとは、現在接続中のすべての操作表示端末のアドレスからなるリストであり、例えばIPアドレス1、IPアドレス2、IPアドレス3、・・・、IPアドレスN (Nは可変)のようにリストされる。
さらに監視モードであれば、操作表示端末に現在監視モードである旨応答を返し(S507)、カメラ電源がONになっているか否かを確認しONになってなければ、ONにする(S508)。カメラがファインダ取得モードになっていなければ、ファインダ取得モードに設定し(S509)、ファインダ画像を接続要求のあった操作表示端末に継続的に送信し始める(S510)。したがって、接続中のすべての操作表示端末に上記アドレスリストに沿ってファインダ画像が送信されることになる。
なお、ファインダ取得モードとは、カメラからファインダ画像を取得している状態であり、1つの操作表示端末にもファインダ画像を送付していない状態では、非ファインダ取得モードである。ここで、監視モードでなければ、カメラがないためファインダ画像は取得できないので、S507〜S510の処理は不要である。ただクレードルモードである旨の応答を操作表示端末に返すだけである(S511)。ところで、ファインダ画像とは、デジタルカメラに装着されている液晶に表示されるべき画像のことであり、カメラの高解像度画像を撮影する際に、低解像度で動画表示される画像である。デジタルカメラ110から電子データとしてクレードル101に取り出せるようになっている。
次に、操作表示端末からの切断要求を受け取ると(S521)、基本的には接続要求と逆の処理を行う。すなわち、監視モードであれば、ファインダ画像の送信を終了し(S523)、他に接続中の操作表示端末がなければ、ファインダ取得モードをやめて(S525)、カメラを休止モードに設定する(S526)。さらに、監視モードにかかわらず切断要求のあった操作表示端末のアドレスをアドレスリストから削除する(S527)。
図6は、カメラ制御の開始・終了を説明する図である。操作表示端末は、(2)カメラ制御コマンドないし(3)カメラブラウズコマンドを発行するに先立ち、必ずカメラ制御権を取得し保持している必要がある。クレードル101は、カメラ制御権取得要求を受け取ると(S601)、まずカメラ制御に関するアクセス権を確認する(S602)。その後、カメラ操作が許可されている操作表示端末であれば、カメラ制御権が取れるか否か、すなわち、他にカメラ制御権を持っている操作表示端末があるか否かを確認する(S604)。制御権が空いていれば、制御権を付与し(S605)、カメラ110をクレードル101に機構的にロックすることで、これからカメラ制御しようとしている時にカメラが取り外されるのを防止する(S606)。
制御権に空きが無い、すなわち制御権を他の操作表示端末が保持している場合には、制御権待ち応答を返し(S607)、順番待ち処理をする(S608、S609)。順番待ち処理の方法は、例えば、待ち行列に一定時間ないし一定回数並んで、順番が回ってこなかったらあきらめるような処理である。制御権を付与システムが動作していればよく、ここでは本質ではないので詳述は省く。最終的に、制御権が取れなければ、制御権取得エラー応答を返し(S610)、カメラ制御できない旨を、操作表示端末に伝える。制御権が不要になった操作表示端末は、制御権解放要求を発行する。クレードル101がこれを受け取ると(S621)、カメラ110の機構的ロックを外し(S622)、制御権を解放する(S623)。こうした仕組みにより、同時にカメラ110への複数操作表示端末からの操作を調停していると共に、カメラ制御中にカメラ110が取り外されることを防止する。
図7は、(2)カメラ制御コマンドないし(3)カメラブラウズコマンドの処理を説明する図である。カメラ制御コマンドないしカメラブラウズコマンドは、制御権を取得した操作表示端末から発行される。(2)カメラ制御コマンドを受け取った場合には(S701)、コマンド発信元の操作表示端末が制御権を保持しているか否かを確認し(S702、S703)、制御権を保持していなければエラーを返す(S706)。
次に、制御権を保持していればカメラ制御コマンドに応じた処理を行う(S704)。そして、コマンド処理の結果が成功ないしエラーとなったかについて応答として操作表示端末に返す(S705)。カメラ制御コマンドに応じた処理は、外部IF制御部(USB)を経由してカメラ110に、カメラ制御コマンドに相当するPTP(Picture Transfer Protocol)コマンドあるいは独自コマンドを発行することで実現される。
なお、パン・チルトの制御要求である場合には、クレードル101の雲台制御部221へ送られる。例えば、シャッターのレリーズ要求であれば、レリーズ要求PTPコマンドをカメラ110に送ることで、カメラ110のレリーズボタンを押したのと同様の撮影処理を行う。そして、撮影した画像をカメラ110の画像記憶部213ないしクレードル101の画像記憶部225に保存する。なお、カメラ110の画像記憶部213ないしクレードルの画像記憶部225のどちらに保存するかは、カメラ制御コマンドの引数で選択可能である。カメラ制御コマンドの引数で明示的に保存先を選択されない場合には、撮影した映像をクレードル101の画像記憶部225に制限付き保存する。
ズーム制御であれば、カメラ110にズーム要求PTPコマンドを送ることで、デジタルカメラ110のズームを制御する。また、露出設定要求の場合は、次回のレリーズ要求による撮影時のカメラ110の露出値が変わる。なお、レリーズ半押し要求の場合には、手動によるシャッタボタン半押し操作と同様に、その時点での露出や焦点位置等を保持する。露出や焦点位置等の保持は、次にレリーズ半押し要求の解除かレリーズ要求があるまでの間、保持される。なお、カメラ制御コマンドは、上述したものに限らないが、ここでは、割愛する。
また、(3)カメラブラウズコマンドを受け取った場合(S721)、すなわち、カメラ内の画像記憶部213に保存されている画像をブラウズする要求を受け取った場合についても制御権がある場合にのみコマンド実行を許可する。これは、カメラ制御コマンドの処理と同様である(S722、S723)。また、コマンド処理の結果が成功ないしエラーとなったかについて応答として操作表示端末に返す点も同様である(S725、S726)。なお、パン・チルト制御ならびにズーム制御の実行に際しては、図12で説明されるPT制御範囲に設定された範囲内となるように実行される。ズーム制御に関しても同様である。
図8は、(4)カメラ設定コマンドの処理を説明する図である。カメラ設定要求を受け取ると、アクセス権の有無を確認後(S802)、設定が許可されているかを確認し(S803)、設定が許可されているのであれば、次に、クレードル101が監視モードであるか否かを確認する(S804)。監視モード時にはカメラ110がクレードル101に装着されているので、さらに、制御権を保持していれば(S805)、カメラ110 に対して即座に設定値を設定する(S807)。ここで、制御権を保持していなければ、エラーを返し、制御権を取る必要があることを操作表示端末に返す(S808)。
監視モードでない時、すなわちカメラ110がクレードル101に装着されてない時には、カメラ設定値をクレードル101の一時記憶領域227に保存する。次にカメラが装着された時に監視モード初期化処理の中のS405でカメラ110に読み込まれて設定される。
図9は、(5)クレードルブラウズコマンド、(6)クレードル設定コマンドの処理を説明する図である。すなわち、アクセス権を確認後、コマンドに応じた処理を実行する(S902)。なお、この2種類のコマンドについては、クレードル101内で処理可能であるため、個別のブラウズ対象ファイルあるいは設定項目に競合がない限り、複数の操作表示端末からの要求を同時に処理できる。通常のマルチタスクOS同様の仕組みによる処理であるためである。
なお、アクセス権については、 (1)セッションコマンド、(2)カメラ制御コマンド、(3)カメラブラウズコマンド、(4)カメラ設定コマンド、(5)クレードルブラウズコマンド、(6)クレードル設定コマンド毎に異なるアクセス権を設定できる。例えば、(4)カメラ設定コマンド、(6)クレードル設定コマンドについて、カメラ所有者のみ実行可能とする。アクセス権の設定方法は、アドレスリスト、アドレスの範囲、等各種制限方法があるが、ここでは省略する。
図10は、操作表示端末からクレードル101への要求コマンドのパケットデータ形式を説明する図である。次に、カメラ110の動作フローについて説明する。カメラ110側については、これまでも述べたようにUSB経由でカメラ制御、カメラブラウズ、カメラ設定に対応した制御がなされる。これらについては、PTP準拠の方法なので説明を割愛する。なお、クレードル101の装着中にカメラ110の専用リモコン(赤外線や無線LANなどが典型的に利用される)の操作により、手動でシャッタレリーズされた場合には、図7のシャッターレリーズのカメラ制御要求と同様に処理される。明示的に保存先を指定できる点も同様である。ただし、明示的に指定されない場合の処理は異なる。
手動シャッターレリーズ(ローカルシャッターと呼ぶ事もある)の場合には、カメラの画像記憶部213およびクレードルの画像記憶部225の両方に保存される。いずれかの記憶容量が不足する場合には、制限付き保存されている映像データを、NAS120に移動した上で、容量を確保し、保存する。この際、NAS120へ移動する映像データについては、サムネール映像を作成し、そのサムネール映像に、移動先のNAS120へのリンク情報を関連付けして、クレードル101側に保存する。
図11は、クレードル101からカメラ110を取り外した時のカメラ110の動作を説明する図である。カメラ110をクレードル101から取り外すと、カメラ側では取り外しを検知して、監視モードのカメラ設定を解除し(S1102)、無効化されているボタンを有効化し(S1103)、レンズを沈胴させて電源をOFFするようになっている(S1104)。
図12は、カメラを用いたクレードルの設定操作を説明する図である。図12は、カメラ110の操作パネル面である。121がカメラ(裏側)、122が表示パネルでLCD等で構成される。123が操作スイッチ類(並びや機能等の詳細は省略する)、124 がレリーズボタン、125が電源スイッチである。
カメラ110は、表示パネル122と操作スイッチ類123を用いて、通常のカメラの設定操作に加えて、(6)クレードル設定コマンドと同等の内容が設定変更できるような操作GUIを備える。クレードル101から取り外し、かつカメラ電源がONの状態で、ユーザがクレードル設定モードのGUIに切り替えると図12の122に示すようなクレードル101の設定GUIが表示される。GUI上にはクレードルの設定項目が操作スイッチ123を用いて選択できるよう並んでいる。さらに、クレードル設定のために各項目を選択すると、項目毎の値を設定するためのパネルになり、値を設定する。
例えば、項目として『アクセス権』を選択すると、アドレスリストとアクセスを許可するコマンドカテゴリとが表示され、許可するアドレスの追加、編集、ならびにアクセス許可のコマンドカテゴリの選択ができる。また、『PT 制御範囲』を選択すれば、パン・チルトの動作範囲の制限ができるため、パン・チルト角度範囲の入力・変更操作が可能となる。
ここで設定されたクレードル設定値は、監視モード初期化処理のうちの図4のS404におけるカメラ110からクレードルデータを取得する際に用いられる。なお、設定値のカメラ110への入力方法については、表示パネルでのGUIに限らず、操作スイッチの利用や二次元コード撮影などの方法であっても良い。なお、操作表示端末からの(6)クレードル設定コマンドを許可しないようにクレードルに設定した場合、クレードル設定をカメラに限定できる。これによって、ネットワーク経由での各種設定を防止できるため、より安全な運用を行う事ができる。
図13は、操作表示端末側の処理について説明する図である。図13には操作表示端末102、103の画面例を示す。この例では、PCのようなマウス・キーボードを用いてGUI操作できる操作表示端末側を想定している。操作表示端末は、上記に説明したコマンドをクレードル101に対して発行して、クレードルないしカメラ操作を行う。
131はファインダ画像表示部、132はカメラ操作パネル、133 は画像表示部、134は画像ブラウズパネルである。ファインダ画像表示部131にはファインダ画像が表示される。カメラ操作パネル132は、制御権取得ボタン1321、操作終了ボタン1322、レリーズボタン1323、レリーズ半押しのON/OFFトグルスイッチ1324、ズームスクローラー1325、パン・チルト制御ボタン1326〜1329から構成される。
画像表示部133には、カメラから取得した高解像度の画像が表示される。画像ブラウズパネル134は、カメラ110ないしクレードル101内の画像をサムネール画像リスト1343を用いてブラウズする。1341、1342はクレードル101かカメラ110どちらの画像をブラウズするかを選択するトグルスイッチである。
操作表示端末から図13のような操作画面を有する接続アプリケーションソフトを接続先のクレードル101のアドレスを指定して起動(起動後に指定してもよい)する。すると、これまで述べたような手続きによる接続処理をおこなって、カメラ110のファインダー画像を取得して131に表示する。
制御権取得ボタン1321を押して制御権が取得できれば、ズームスクローラー1325、パン・チルト制御ボタン1326〜1329等を用いてパン・チルト角度やズーム値をファインダ画像131を見ながら変更し、適切な制御値を指定できる。ユーザは必要なら1324でシャッタボタン半押し状態にして露出や焦点をロックし、さらにパン・チルト角度やズーム値を変更した後にレリーズボタン1323を押下することで、撮影を行う。
撮影された画像は、設定項目に従い、一旦カメラ110ないしクレードル101に保存されるが、さらに操作表示端末にも送信され、画像表示部133に表示される。また、カメラ内の画像をブラウズしたい場合には、制御権取得ボタン1321によって制御権を取得した状態で、カメラボタン1342を押下すると、カメラ内の画像アイコン(サムネイル画像)を134上でブラウズできるようになる。ここで、必要な画像アイコンをダブルクリックすると、画像表示部133に高解像度画像として詳細表示される。なお、クレードルボタン1341は、カメラ制御権の保持状態に関係なく選択して、クレードル内の画像アイコンのブラウズならびに高解像度画像詳細表示が可能である。
なお、接続時の操作表示端末からの応答(ステップS507、S511)によって、クレードル101が監視モードになっているかクレードルモードかを判断し、ファインダー画像表示部131ならびにカメラ操作パネル132の表示状態が変わる。すなわち、監視モードであれば、131、132のGUIは表示されるが、クレードルモードであれば不要であるので、無効化されるか131、132のGUI自体を表示しないようにする。また、カメラ101が取り外された、装着された等の変化によっても、ステップS411、S423から応答が返ってくるので、同様にクレードル101のクレードルモード、監視モードの状態を判断して、操作表示端末のGUIが変化するようになっている。
図14は、クレードル101のセンサーイベント検出時の自動動作を説明する図である。例えば、監視モードにおいてセンサーイベントが発生した場合などである。図14では、動き検知141 、追尾142の2 つの動作について説明する。
まず、動き検知でのセンサーイベント処理141について説明する。 センサーイベントがあると(S1401)、カメラのクレードル101へのロック状態を確認後、ロック状態とし(S1402)、カメラ電源を休止モードからON状態 にする(S1403)。さらに、動き検知処理をON にする(S1404)。動き検知処理とは、例えば、ファンダー画像を取得し、前画像フレームと現画像フレームとの差分を計算するいわゆるフレーム間差分処理等で、動きの有無を検出する処理である。
さらに、動きがあった位置に応じて、複数あるカメラの自動焦点合わせのための測距点のうち適切な測距点を設定する(S1405)。次にカメラのレリーズを制御して、高解像度撮影を行い、クレードル101ないしカメラ110内に画像を蓄積してゆく(S1406)。一定時間の間、動きが検出されなくなるまで以上を繰り返す(S1407)。動きが検出されなくなったら、動き検知処理をOFFにし(S1408)、カメラを休止モードに設定(S1409)、ロック状態を解除して(S1410)、センサーイベント処理を終了する。なお、ここでは動き検知のアルゴリズムにこだわるものではなく、画像から動きが検出できれば良いものとする。
次に追尾142動作を説明する。ほぼ動き検知141と同様であるが、追尾処理に起因する撮像系のブレを防止するため、レリーズが終わるまで、パン・チルト動作を一時的に停止する点(S1425)が異なる。なお、追尾のアルゴリズムについては、例えばS1404の動き検知処理をベースに動きのあった点が中心になるように追尾しても良いし、画像から対象物を検出して検出した対象物が中心になるように、追尾処理してもよい。いずれにしても、141の動き検知処理、142の追尾処理ともにカメラのファンダー画像を用いて、クレードル101内で処理する。
この時、クレードル101は、カメラ110の操作スイッチ部215の操作結果(動作モード状態情報)から、リモート操作モードと自律モードとを判断し、以下のように動作する。まず、リモート操作モードの場合、S1427のパン・チルト動作は、図7で説明したカメラ制御コマンドの処理と同様に、図12で説明したPT制御範囲に設定された範囲内となるように実行される。S1406のレリーズ制御の動作も、ズームやフォト撮影の解像度、ならびに、映像の圧縮率(Q値やビットレート)、ファイル保存サイズ上限などの制約が設定される。一方、自律モードの場合、S1427のパン・チルト動作では、PT制御範囲の設定に関わらず、動作可能となる。さらに、S1406のレリーズ制御でのズームやフォト撮影の解像度制限も同様である。圧縮率やファイル保存サイズ制限なども、設定による制限ではなく、ストレージ容量やハードウェア性能によって制限される。
ところで、以上の説明では、操作表示端末からの制御がない場合を説明しているが、操作表示端末での制御中にセンサーイベントがあった場合でも、操作表示端末からの制御に割り込んで、強制的に141ないし142の動作を行っても良い。逆に、操作表示端末での制御中には、141ないし142の動作を抑制するような実施形態であってもよい。
以上の構成で、撮像部と着脱可能に構成された映像通信装置が、撮像部に備えられたモード切替スイッチの操作に応じて、リモート操作モードと自律モードとを移行する。そして、リモート操作モード時に領域制限されていたパン移動範囲制限、チルト移動範囲制限及びズーム範囲制限のうち少なくとも一つを、自律モード動作時には制限緩和し、自由度が高い動作を行うことができる自律モードにすることが可能となる。ここで、自律モード動作時に制限緩和し、自由度の高い動作をする自律モード動作を高自由度自律モード動作という。
特に、本実施形態では、撮像部が広く普及しているデジタルカメラで構成され、映像通信装置がそのデジタルカメラ用クレードルとして構成される点に特徴がある。また、映像通信機能を備えるクレードル装置が、デジタルカメラ操作によって得られる映像データを、リモート操作時の制約なく、適切に取得、保存、あるいは、配信する点に特徴がある。
本実施形態では、クレードルに接続される撮像部として、デジタルカメラを用いる例を説明しているが、撮像部は、デジタルカメラに限定されない。デジタルビデオカメラ(カムコーダー)やUSBカメラやIEEE1394カメラを利用してもよい。また、クレードルとカメラの接続方法も、USBに限定されない。例えば、より広帯域の独自インターフェースで接続することで、映像の受け渡しを容易に行うことができる。
本実施形態では、単純に、パン・チルト制御範囲などの制限項目を緩和する例について説明しているが、パン・チルト制御範囲など各種設定項目について、自律モード設定とリモート操作モード設定とを個別に設定可能であってもよい。さらに、それぞれの項目に優先順位があってもよい。さらに、センサーイベント発生や動き検知の感度、あるいは、パン・チルト、ズームの速度といった設定項目も、自律モード設定とリモート操作モード設定とにそれぞれ保持してもよい。
本実施形態では、撮像部(デジタルカメラ)に備えられたモード切替スイッチの操作に応じて、リモート操作モードと自律モードとを移行する例について説明しているが、モード切替スイッチは、映像通信装置(クレードル)に備えられていてもよい。あるいは、赤外線リモコン等の外部センサーやネットワーク経由のコマンドをトリガーとして、モードを切替えてもよい。またこれらのトリガー間で優先順位を設けることができる。このように、撮像部又はクレードルの操作スイッチ、外部センサー及びネットワーク経由の操作コマンドのうちいずれか一つをトリガーとして動作モードを切替する構成を受動的動作モード切替手段という。
本実施形態では、リモート操作モード動作時のパン・チルト、ズーム範囲制限を、自律モード動作時に緩和する例について説明しているが、個々の機能のパラメータレベルの差異ではなく、特定の機能の提供の可否を変更してもよい。例えば、自律モード動作時のみ、デジタルカメラを用いたフォト撮影(高度撮影)を実行可能とし、リモート操作モード動作時には、その機能を提供しないことも考えられる。ここで、フォト撮影の機能の可否を切替える構成をフォト撮影許可手段という。
本実施形態では、リモート操作モード時も自律モード時も、同一の画像処理アルゴリズムを利用して、動き検知や追尾を行う例について説明しているが、処理アルゴリズム自体を変更してもよい。例えば、リモート操作モード時の追尾動作には、本実施形態同様に動き領域や対象物を中心とするような追尾動作をする。一方で、自律モード時には、画面内の複数の顔領域を検出し、それぞれの顔の視線方向ベクトルから、追尾動作を算出するようにして画像処理のアルゴリズムを変更させてもよい。動き検知、追尾及び後述する顔検出のうちいずれかの画像処理のアルゴリズムを変更させてもよい。
本実施形態では、リモート操作モード動作時のパン・チルト制御範囲などの制限項目を、自律モード動作時に緩和する例について説明しているが、動作の差異は、これに限定されない。例えば、リモート操作モード動作時よりも多くの項目のクレードル内部状態変化について、LEDや音声出力する内部状態拡張出力手段を用意した上で、自律モード動作時には、内部状態拡張出力手段を利用してもよい。この内部状態拡張出力手段は、撮像部又は通信装置に備わる出力デバイスや、ネットワーク経由で出力することができる。
本実施形態では、自律モード動作中のネットワーク接続リクエストを拒否していないが、自律モード動作時には、自閉的に通信によるリクエストを受け取らない事で、領域制限されていたパン・チルト範囲を、より安全に制限緩和する事が可能となる。自律モード移行時に、通信によるリクエストの処理優先順位を変更するように実装してもよい。逆に、特別な認証情報を付与された特権リクエストを受信した場合には、自律モードを解除し、リモード操作モードに移行してもよい。
[第2の実施形態]
第2の実施形態では、第1の実施形態同様、撮像部と着脱可能に構成された映像通信装置が、リモート操作モードと自律モードとを装備し、リモート操作モード時に領域制限されていたパンチルト範囲を、自律モード動作時には制限緩和する例について説明する。撮像部が広く普及しているデジタルカメラで構成され、映像通信装置がそのデジタルカメラ用クレードルとして構成される点も同様である。本実施形態では、特に、映像通信装置自体の状況判断により、リモート操作モードと自律モードとを移行する点に特徴がある。ここで、通信装置自身の判断に基づいて動作モードを切替える構成を能動的動作モード切替手段という。
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第1の実施形態で説明した通りである。ただし、図14の自動動作の処理内容が、第1の実施形態と異なる。本実施形態における図14の自動動作の処理内容では、動き検知処理や追尾処理に加えて、顔検出処理を行い、検出された顔領域の数や顔方向などの情報を、自律モードとリモート操作モードとのモード切替に反映する。
具体的には、図15を用いて説明する。センサーイベント検出時の顔検出動作では、センサーイベントがあると(S1541)、カメラ110のクレードル101へのロック状態を確認後、ロック状態とし(S1542)、カメラ電源を休止モードからON状態 にする(S1543)。
さらに、顔検出処理をON にする(S1544)。顔検出処理とは、例えば、ファンダー画像を取得し、画像中のテクスチャや目、鼻、口などの部分領域での類似度照合などから、顔と推定される領域の抽出ならびに顔方向ベクトルなどを検出する処理である。さらに、顔領域が検出された数や位置、顔の向きに応じて、複数あるカメラの自動焦点合わせのための測距点のうち適切な測距点を設定する(S1545)。そして、カメラのレリーズを制御して、高解像度撮影を行い、クレードル101ないしカメラ110内に画像を蓄積してゆく(S1546)。一定時間の間、顔が検出されなくなるまで、以上を繰り返す(S1547)。
顔が検出されなくなったら、顔検出処理をOFFにし(S1548)、カメラを休止モードに設定し(S1549)、ロック状態を解除して(S1550)、センサーイベント処理を終了する。なお、ここでは顔検出のアルゴリズムにこだわるものではなく、画像から顔が検出できれば良いものとする。
この中で、顔領域が3以上検出され、かつ、それが1分以上継続するならば、クレードル104自身の状況判断により、能動的に自律モードへと切替える。反対に、検出された顔領域の数が、3未満となり、かつ、それが1分以上継続するならば、クレードル101自身の状況判断により、能動的にリモート操作モードへと切替える。この切替えは撮像部から入力された映像情報やネットワークインターフェースから入力された通信情報などに基づいて判断するようにできる。
以上の構成で、撮像部と着脱可能に構成された映像通信装置が、リモート操作モードと自律モードとを装備し、リモート操作モード時に領域制限されていたパン・チルト範囲を、自律モード動作時には制限緩和する事が可能となる。撮像部が広く普及しているデジタルカメラで構成され、映像通信装置がそのデジタルカメラ用クレードルとして構成される点も同様である。
本実施形態では、特に、映像通信装置自体の状況判断により、リモート操作モードと自律モードとを移行する点に特徴がある。本実施形態では、顔領域の数によって、リモート操作モードと自律モードとを切り替える例について説明した。しかしながら、顔検出と同時に顔認識技術(個人識別技術)を適用することで、事前設定した個人の顔が検出されている期間のみ、自律モードに移行するように実装することができる。
本実施形態では、センサーイベント検知後に、顔検出処理を開始しているが、常時顔検出処理を動作させておき、センサーイベントの発生がなくても、顔検出した時点で、自律モードへ移行してもよい。反対に、自律モードへの移行をトリガーとして、自動動作処理(動き検知や追尾などの処理)を開始してもよい。具体的には、第1の実施形態の操作スイッチ部215の操作のタイミングに、クレードル101 内部の動作モード状態情報を書き換えている処理に代えて、動作モード切替イベントを発行する処理とすればよい。この処理により動作モード切替イベントに応じて動き検知、追尾、顔検出をするための自動撮影を開始したり、フォト撮影をしてもよい。
本実施形態では、顔検出結果を自律モードとリモート操作モードとの移行に利用しているが、さらに、自律モード実行時の振舞いに反映させてもよい。例えば、複数の顔領域の顔方向ベクトルを使って、画面内の人物の多数が向いている方向を算出し、その方向に撮像装置を向けるようにパン・チルトを制御するようにする。
上述した本発明の実施形態における通信装置を構成する各手段、並びに通信装置の制御方法の各ステップは、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。