JP2004254031A

JP2004254031A - 画像処理システムの制御方法

Info

Publication number: JP2004254031A
Application number: JP2003041541A
Authority: JP
Inventors: Tomoaki Kawai; 智明河合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-02-19
Filing date: 2003-02-19
Publication date: 2004-09-09

Abstract

【課題】制御可能なカメラで取得した画像をインターネット経由で多人数に配信する場合において、カメラ制御は一時に一人のみが可能であり、複数人で同時に制御することはできない。
【解決手段】所定のカメラで取得した画像をインターネット経由で多人数に配信する場合において、カメラ操作に対応するカメラの制御命令をクライアント装置から受信し、受信した制御命令を、カメラの種類に応じて実行し、当該実行結果に基づく画像をクライアント装置へ送信することにより、カメラ制御を複数人で同時に制御可能とするための技術を提供する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像通信、画像制御及びカメラ制御を行うための技術に関するものである。
【０００２】
【従来の技術】
ビデオカメラの画像（動画及び静止画を含む。以下同様。）を遠隔地の多地点から観察できるシステムにおいて、単にカメラ画像を観察するだけでなくカメラのパン・チルト角度やズーム倍率を遠隔制御可能にしたものがある。例えば、インターネット上のＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）のサーバにコンピュータ制御可能なカメラを接続し、カメラから撮影したリアルタイム画像をアクセス者に配信するだけでなく、そのカメラの制御も許すようなシステムが開発されている。このようなシステムにおいては、パンチルトで方向を変える機能を有するカメラないし雲台を使用している。
【０００３】
一方、超広角の魚眼カメラや水平方向３６０度パノラマが一度に撮影できるカメラ（全周囲カメラと呼ぶ、）などが存在し（例えば、特許文献１を参照）、そのようなカメラを用いた撮影システムなども存在するが、このようなカメラで撮影した画像は、そのままでは歪みが大きく、通常は画像の必要な部分を見やすい形に変換してから提示するようになっている。また、超広角の魚眼カメラや全周囲カメラを用いたシステムは、インターネットを介して多人数に取得画像を配信するためには利用されていない。
【０００４】
【特許文献１】
特公平１１−２９３９０８７
【０００５】
【発明が解決しようとする課題】
このように、制御可能なカメラで取得した画像をインターネット経由で多人数に配信する場合において、カメラ制御は一時に一人のみが可能であり、複数人で同時に制御することはできない。
【０００６】
そこで本発明は、所定のカメラで取得した画像をインターネット経由で多人数に配信する場合において、カメラ制御を複数人で同時に制御可能とするための技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するための本発明は、複数種類のうちのある種類の画像取得手段を備えるサーバ装置において取得された画像をクライアント装置に提供し、所望の画像を取得するための操作を前記クライアント装置において可能とする画像処理システムの制御方法であって、前記サーバ装置において、前記操作に対応する前記画像取得手段の制御命令を前記クライアント装置から受信する受信工程と、前記受信した制御命令を、前記画像取得手段の種類に応じて実行する実行工程と、前記実行工程における実行結果に基づく前記画像を前記クライアント装置へ送信する送信工程とを備える。
【０００８】
【発明の実施の形態】
本発明は、複数種類のうちのある種類の画像取得手段としてのカメラを備えるサーバ装置において取得された画像をクライアント装置に提供し、所望の画像を取得するための操作を当該クライアント装置において可能とする画像処理システムにおいて、サーバ装置において、当該操作に対応する当該画像取得手段の制御命令を当該クライアント装置から受信し、当該受信した制御命令を、当該画像取得手段の種類に応じて実行し、当該実行工程における当該実行結果に基づく当該画像を当該クライアント装置へ送信するための技術に関する。
【０００９】
同時に、本発明は、当該クライアント装置において、当該操作に対応する入力を当該クライアント装置のユーザから受付け、当該受付けた入力に基づいて生成される当該画像取得手段への制御命令を当該サーバ装置へ送信し、当該クライアント装置における所定の処理に関する処理能力の有無を通知し、当該サーバ装置から送信される画像を受信するための技術に関する。
【００１０】
このような本発明は、添付する図面に記載する構成、処理手法に基づいて以下に記載する実施形態と対応して実現することが出来る。以下、本発明の実施形態を図面に基づいて説明する。
【００１１】
【第１の実施形態】
本実施形態に対応する本発明は、サーバ側でカメラから画像を取り込み、ネットワークを経由してクライアントでカメラ画像表示し、またカメラ制御操作を行う画像処理システムである。本システムにおけるカメラが物理的にパンチルト制御可能なカメラであっても、魚眼カメラ、全周囲カメラ（＝水平方向３６０度パノラマが一度に撮影できるカメラ）であっても、画像を配信するサーバ側で同等の画角、画像歪になるよう幾何画像変換して、どのようなカメラが接続されているかをクライアント側に意識させないようにする。
【００１２】
さらに、魚眼カメラ、全周囲カメラの場合、画像を表示するクライアント能力に応じて、必ずしもサーバ側で画像の切り出し・幾何変換処理するのではなく、クライアント側で画像の切り出し・幾何変換処理することで、サーバの負荷分散を図るような構成にもなっている。
【００１３】
図１は本実施形態のブロック図である。１−１はサーバ装置であり、１−２、１−３、１−４はクライアント装置としての表示操作装置であり、これらはネットワーク１−５によって接続されている。ネットワーク１−５には、インターネット、ローカル・エリア・ネットワーク（ＬＡＮ）などが含まれる。サーバ装置１−１には、撮像装置としてのカメラ１−１１が接続されており、カメラで撮影した画像（動画ないし静止画）をネットワーク１−５経由でクライアント装置１−２、１−３、１−４などで見ることができる。
【００１４】
クライアント装置１−２、１−３、１−４側では、カメラ１−１１の撮影範囲の変更操作などが可能である。ネットワーク上にサーバ装置、クライアント装置はいくつあっても構わないが、本実施形態における以下の説明では簡単のため各々１台ずつと仮定する。
【００１５】
ネットワーク１−５に関しても、後で述べるカメラ制御信号、圧縮した画像信号を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであれば種類は限定されるものではない。なお、ここではネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを仮定し、以下アドレスといった場合にはＩＰアドレスを指すこととする。また、サーバ装置１−１及びクライアント装置１−２は共にＩＰアドレスが割り当てられているものとする。
【００１６】
なお、本実施形態ではカメラとしては、雲台のパン・チルト制御、レンズのズーム制御によって視野方向（パンチルト角度）や視野角（ズーム倍率）が変更可能なカメラ（以下ＰＴＺカメラ）以外に、非常に広画角で撮影できる、図９のような全周囲レンズ９００や、１８０度程度の半球状の超広視野角を有する魚眼レンズを利用したカメラ（それぞれ、全周囲カメラ、魚眼カメラと呼ぶ）などを用いる。これらも後述のように画像の切り出し・変換処理により仮想的に（電子的に）パン・チルト・ズーム操作ができるものとする。なお、もちろん通常のカメラが接続されていてもよい。その場合は操作不能とするか狭い範囲でしか操作できない。
【００１７】
全周囲カメラは、図９に示すような全周囲レンズ９００を、ＣＣＤやＣＭＯＳ撮像素子を利用するカメラ９０３などへ連結部９０１により結合することにより構成される。この全周囲カメラを鉛直方向に向けて撮影した場合、上側の双曲面の単葉側の回転体状ミラー９０２により、水平方向３６０度のパノラマ画像が同時に撮影できるものである。
【００１８】
撮影画像は、図１０−（Ａ）のようなドーナッツ状の画像であり、そのままでは歪が大きく、画像を見て直感的に内容を把握しにくい。これをパノラマ展開（幾何画像変換）することで、図１０−（Ｂ）のような横長の画像が得られる。図１０−（Ｂ）は、横方向が３６０度パノラマの画像になっており、直感的な把握はしやすい。また、超広視野角の魚眼レンズを用いた場合も同様に歪が大きいため、幾何画像変換をして、見やすい画像に変換する。なお、全周囲カメラ及び魚眼カメラにより取得した画像に施すこれらの幾何学画像変換については、公知の手法を利用すればよいので、本実施形態ではその詳細な説明を省略する。
【００１９】
なお、本実施形態では、全周囲カメラ、魚眼カメラの画像を通常のレンズで撮影される画角に対応する画像に変換して表示することを想定している。つまり、広くてもおおむね９０度以下の画角に変換する。ただし、本実施形態では、画角の数値にこだわるものではなく、撮影した生の画像を、通常のレンズで撮影したような見やすい画像に幾何画像変換をするということが重要である。
【００２０】
なお、本実施形態では、全周囲カメラ、魚眼カメラの画像に対してもパンチルトズーム操作を可能にするものとする。例えば、全周囲カメラの画像は図１０−（Ａ）のような形で得られるが、ここから１０−１のような扇型の範囲を切り出し、幾何変換して矩形に変形する。すると、実際は１０−２の１０−（Ｂ）の一部を切り出した画像を見ていることになる。扇型の切り出し範囲を変更することで、仮想的（電子的）なパンチルトズーム操作が可能となる。なお、１０−（Ａ）の画像を１０−（Ｂ）に変換した画像では当然ながら円周内側の解像度が外側よりも低くなる。つまり１０（Ｂ）では、画像の上側が下側よりも解像度が高くなる。しかし、撮影時の解像度が幾何変換後に得られる画像の解像度よりも十分高ければ、即ち、カメラ９０３の解像度が高ければ特に問題にはならない。この点に関しては、本実施形態では扱わない。
【００２１】
なお、本実施形態では、ＰＴＺカメラ以外に、広画角を同時撮影できるカメラとして、魚眼カメラ、全周囲カメラを使うこととしたが、これらのカメラのレンズパラメータやレンズ、ミラー形状等にこだわるものでなく、撮影後の画像の切り出し・幾何変換処理によって通常のカメラのような画像が得られれば、他の構造のレンズとの組み合わせにより構成されるカメラであっても構わない。即ち、広画角を同時撮影でき、切り出し・幾何変換処理によって通常のカメラのような画像が得られるカメラであれば何でもよい。
【００２２】
図２は図１をより詳しく説明するものである。サーバ装置（サーバ）１−１は、カメラ１−１１で撮影した画像を、要求のあったクライアント装置（クライアント）１−２に配信すると共に、クライアント装置１−２からのカメラ制御コマンドを受け付け、カメラの種類に応じて、カメラ１−１１がＰＴＺカメラであれば、パンチルトズームの制御（１−１６）を行い、全周囲カメラや魚眼カメラであればパンチルトズーム操作に応じた画像の切り出しと画像の幾何変換処理（１−１３）を行う。
【００２３】
サーバ装置１−１は、ビデオカメラ１−１１からの画像を取り込む画像入力部１−１３、取り込んだ画像データ圧縮する画像圧縮部１−１４、圧縮した画像データをネットワーク１−５上に配信する通信制御部１−１５、ネットワーク１−５経由でのクライアント装置１−２からのコマンドを解釈し、サーバ装置１−１の各部を制御するコマンド解釈・実行部１−１７、各部のデータ受け渡しに用いる記憶装置１−１８、全周囲カメラ・魚眼カメラの画像から部分画像を切り出し幾何変換する画像切り出し部１−１３、カメラ１−１１の種類に応じて、ＰＴＺカメラであれば、パン・チルト角度およびズーム倍率の制御、全周囲カメラ・魚眼カメラであれば画像切り出し部１−１３の切り出し・画像変換制御を行うカメラ制御部１−１６から構成される。
【００２４】
なお、画像切り出し変換処理が不要であれば、画像切り出し部１−１３はスルーされてもよい。１−１９は、カメラ情報設定部であり、カメラ１−１１のカメラの種類、後述の画像切り出し・幾何変換に必要なレンズパラメータ（光学的なパラメータ）を設定するためのものである。
【００２５】
なお、画像圧縮部１−１４は、ビデオカメラ１−１１からのＮＴＳＣ画像信号を取り込みＡ／Ｄ変換後、ＭｏｔｉｏｎＪＥＰＧで圧縮して、通信制御部１−１５に渡しネットワーク１−４に送出する。画像は静止画、動画のいずれでも良いものとする。なお、ここでは画像の圧縮形式として、ＭｏｔｉｏｎＪＥＰＧ圧縮としたが、画像の種類に応じてＭＰＥＧ４などを含む他の圧縮方式を採用しても良い。
【００２６】
次にクライアント装置１−２について述べる。クライアント装置１−２は、汎用のパーソナルコンピュータ（ＰＣ）や個人用携帯情報機器（ＰＤＡ）などで構成することができる。クライアント装置１−２は、任意のサーバ装置１−１へサーバ装置毎に有しているＩＰアドレスを指定して接続し、サーバ装置１−１から配信されてきた圧縮画像データを、通信制御部１−２１を通じて受信し、画像伸長部１−２５で伸長し、必要に応じて画像展開部１−２６で画像の切り出し・幾何変換処理を行い、画像表示部１−２７で表示する。また、ユーザインタフェース（ＧＵＩ）操作によりカメラ制御や画像蓄積保存操作、等ができるようになっている。これらの画面表示・操作の制御は表示制御部１−２４が行っているものとする。
【００２７】
画像表示部１−２７には、ビットマップデスプレイが含まれており、図２のような画面を構成できるＷｉｎｄｏｗｓ（登録商標）ＮＴやＸ−Ｗｉｎｄｏｗ等の、何らかのウィンドウシステムがカメラクライアント装置１−２上で稼働しており、図３のようなユーザインタフェース画面が表示されているものとする。
【００２８】
図３において、３−１は画像が表示される画像表示パネル、３−２はカメラ操作のためのカメラ制御パネルであり、３−２２、３−２３のスクロールバー操作で、それぞれカメラのパン、チルトを制御できるようになっている。また３−２４から３−２７のボタンでもカメラのパンチルト制御可能である。３−２８ではズーム操作ができる。
【００２９】
なお、クライアント装置におけるパンチルト操作は、ＰＴＺカメラではカメラ雲台制御になるが、全周囲カメラ、魚眼カメラでは画像の切り出し範囲の変更になる。ズーム操作でも同様である。
【００３０】
なお、これらのカメラ制御操作は、カメラ制御が有効になっている間のみ、操作可能であるとする。カメラ制御を有効にするには、カメラ操作開始ボタン３−２１がユーザーにより押下されて、サーバ装置１−１にカメラを操作するための操作許可要求が送信されることで、当該ユーザーがカメラ制御権を獲得できれば、操作できるようになる。即ち、ＰＴＺカメラは、単一のクライアント装置１−２のみからの操作に対応して所望の画像を取得可能とする種類のカメラである。一方の全周囲カメラや魚眼カメラは、複数のクライアント装置１−２において所望の画像を取得可能とする種類のカメラである。
【００３１】
図４は、本実施形態のプロセス構成図である。ここでプロセスとはＷｉｎｄｏｗｓ（登録商標）ＮＴやＵＮＩＸ（登録商標）等のマルチタスクオペレーティングシステムのプロセスを意味する。定常状態のサーバ装置１−１側では、少なくとも次のプロセス４−１１、４−１２、４−２１が稼動しているものとする。
【００３２】
画像サーバプロセス４−１１では、画像表示要求の受付、カメラ画像の送信先を管理する。画像獲得プロセス４−１２では、カメラ画像の取り込みを行う。さらに、カメラ制御プロセス４−２１では、カメラ制御接続要求を受け取り、制御処理プロセスを生成する。
【００３３】
画像送信プロセス４−１３及び制御処理プロセス４−２２は、クライアントプロセスからの接続に応じて、クライアントプロセスに１対１に対応して動的に生成されるプロセスである。従って、複数のクライアントから接続される場合には、複数の画像送信プロセス４−１３及び制御処理プロセス４−２２が生成される。
【００３４】
画像送信プロセス４−１３では、カメラ画像の圧縮及び送信処理を行う。また、必要に応じて画像の切り出し処理を行う。制御処理プロセス４−２２では、クライアントプロセスからのカメラ制御命令を受け取り、カメラ制御部１−１６に命令を出してカメラ制御及び画像切り出し制御を行う。
【００３５】
図５と図６にこれらのプロセスの動作の詳細を示す。なお、カメラ情報レジスタ４−３１、ＰＴＺ値レジスタ４−３２、クライアント情報レジスタ４−３３、画像バッファ４−３４は、プロセス間でデータの受渡しに利用される共有メモリである。
【００３６】
まず、カメラ情報レジスタ４−３１には、カメラ１−１１の種類（ＰＴＺ／全周囲／魚眼カメラのいずれか）、レンズパラメータ（焦点距離などレンズ特性）などが格納される。これらの内容は、カメラ情報設定部１−１９にて設定されるものである。
【００３７】
ＰＴＺ値レジスタ４−３２には、クライアントからのカメラ制御命令に応じてカメラ制御を行った結果として得られる最新のパン、チルト、ズーム値が格納される。ただし、カメラ１−１１が全周囲カメラ又は魚眼カメラの場合には、画像切り出し位置に対応する値が格納される。
【００３８】
クライアント情報レジスタ４−３３はクライアント側の画像展開処理能力を示す。もしカメラ１−１１が、全周囲カメラ又は魚眼カメラであった場合に、画像をクライアント側で変換できる（ＯＫ）か否か（ＮＧ）に関する情報が格納される。
【００３９】
画像バッファ４−３４は、リングバッファ等の構成により、画像フレーム単位で書込みと読出しが同時にできるようになっているものとする。
【００４０】
制御権フラグ４−３５は、ＰＴＺカメラの制御権が取られているか否かを示すフラグである。このフラグは１つのサーバで同じ値が共有される。
【００４１】
なお、ＰＴＺ値レジスタ４−３２とクライアント情報レジスタ４−３３には、クライアントプロセスに１対１に対応してエントリが生成される。
【００４２】
一方、クライアント装置１−２上では、クライアントプロセス４−４１が動作しており、その動作の詳細は後述するように図７に示すようになる。
【００４３】
以下、本実施形態の動作を図５から図７のフローチャートを用いて説明する。なお、クライアント・サーバプロセス間でやり取りされるパケットの一例には、図８に示すような形式のものが含まれる。厳密には、ＴＣＰ／ＩＰやＵＤＰ／ＩＰ等のパケットで用いられているフォーマットを使用するべきであるが、図８では本実施形態の説明に必要なパケット情報のみの概念的な記述とすることにする。
【００４４】
図８（１）は、接続要求のパケットであって、少なくとも送信元アドレス、送信先アドレス及び、接続要求を示す値としての“ＣＯＮ”を含んでいる。
【００４５】
図８（２）は、接続切断要求のパケットであって、少なくとも送信元アドレス、送信先アドレス及び、接続切断要求を示す値として“ＥＮＤ”を含んでいる。
【００４６】
図８（３）は、パンチルト角度変更要求のパケットであって、少なくとも送信元アドレス、送信先アドレス及び、角度変更要求を表す値として“ＡＮＧ”を含み、さらに、パン及びチルトの角度としてθ及びΦのパラメータ値が含まれる。
【００４７】
図８（４）は、ズーム倍率変更要求のパケットであって、少なくとも送信元アドレス、送信先アドレス及び、倍率変更要求を表す値として“ＺＯＭ”を含み、さらに、倍率を表すパラメータ値が含まれる。
【００４８】
図８（５）は、画像表示開始要求のパケットであって、少なくとも送信元アドレス、送信先アドレス及び、表示開始要求を表す値として“ＳＴＲ”を含み、さらに、クライアントの画像切り出し処理能力を表すフラグ値が含まれる。
【００４９】
図８（６）は、画像表示終了要求のパケットであって、少なくとも送信元アドレス、送信先アドレス及び、表示終了要求を表す値として“ＳＴＰ”を含む。
【００５０】
図８（７）は、カメラ制御接続終了要求のパケットであって、少なくとも送信元アドレス、送信先アドレス及び、当該要求を表す値として“ＤＩＳ”を含む。
【００５１】
図８（８）は、カメラ情報通知のためのパケットであって、少なくとも送信元アドレス、送信先アドレス及び、カメラ情報であることを示す値として“ＣＡＭ”を含み、カメラの種類及びカメラパラメータ値が含まれる。
【００５２】
図８（９）は、画像データのパケットであって、少なくとも送信元アドレス、送信先アドレス及び、画像データであることを示す値として“Ｖ”を含み、圧縮画像データの本体が含まれる。
【００５３】
まず、図５のフローを用いて画像サーバプロセス、画像獲得プロセス及び画像送信プロセスについて説明する。
【００５４】
画像サーバプロセス４−１１が起動されると（Ｓ５００）、画像獲得プロセス４−１２が生成され（Ｓ５０２）、クライアントプロセス４−４１からのイベント（図８に示す各種コマンドの送信）を待つ（Ｓ５０３）。ここで、イベントが画像表示開始要求コマンド（図８（５））であれば（Ｓ５０４）、画像表示要求パケットに含まれているクライアントの画像切り出し処理能力フラグ（図８（５）の”ｆｌａｇ”部分）とパケットの送信元アドレスをクライアント情報レジスタ４−３３に新規エントリとして保存し（Ｓ５０５）、画像送信プロセス４−１３を生成する（Ｓ５０６）。さらに、クライアントプロセスには、図８（８）のカメラ情報通知パケットを利用してカメラ情報レジスタに格納されているカメラの種類を示す情報を返送する（Ｓ５０７）。
【００５５】
一方、Ｓ５０３においてクライアントから受付けたイベントが図８（６）に示す画像表示終了要求コマンドであれば（Ｓ５０９）、同様に画像表示終了要求パケットに含まれているパケットの送信元アドレスに対応する画像送信プロセスを終了させ（Ｓ５０９）、対応するクライアント情報レジスタ４−３３のエントリを削除する（Ｓ５１０）。
【００５６】
Ｓ５０２で生成された画像獲得プロセス４−１２で実行される処理は、図５ｂに示すようになる。まず、画像バッファ４−３４のリセット等を含めた所定の初期化処理（Ｓ５２１）が実行された後、カメラ１−１１で取得されたカメラ画像がフレームとしてキャプチャーされ（Ｓ５２２）、画像バッファ４−３４に書き込まれるという動作が、ある一定周期（例えば秒３０回など）で繰り返される（Ｓ５２３）。全周囲カメラや魚眼カメラの場合でも、獲得したそのままの画像、すなわち全画面画像が画像バッファ４−３４へ書き込まれる。
【００５７】
また、Ｓ５０６において生成される画像送信プロセス４−１３における処理は、図５ｃに示すようになる。この画像送信プロセス４−１３は、クライアントからの画像表示要求に応じて、すなわちクライアントプロセスに１対１に対応して生成起動され、クライアントから画像表示終了要求を受信してプロセスを終了するまで以下の操作が繰り返される。
【００５８】
まず、所定の初期化処理（Ｓ５３１）が実行した後、画像バッファ４−３４から最新の画像を取り込む（Ｓ５３２）。次に、カメラ情報レジスタ４−３１に設定されている情報を読出し、カメラの種類を確認する（Ｓ５３３）。
【００５９】
もしカメラ１−１１が全周囲カメラあるいは魚眼カメラであれば（Ｓ５３４で“Ｙｅｓ”）、クライアント情報レジスタ４−３３に格納されている内容、つまりクライアント側の画像変換処理能力（図８（５）におけるｆｌａｇに相当）の有無を確認し（Ｓ５３５）、クライアントに変換処理能力がある場合には（Ｓ５３６で“Ｎｏ”）サーバ側で切り出し・変換処理を行わず、全周囲カメラないし魚眼カメラで撮影したそのままの画像をクライアントに送信する。そのために画像の圧縮処理を行い（Ｓ５３９）、圧縮画像データを、図８の（９）に示す形式においてパケット化し、要求元に対応するクライアントに送信する（Ｓ５４０）。この場合、クライアント側で切り出し・変換処理をすることになる。
【００６０】
一方、展開処理能力が不十分である場合は（Ｓ５３６で“Ｎｏ”）、カメラ情報レジスタ４−３１の内容に含まれるカメラの種類とレンズパラメータ情報に応じて、適切な処理（画像切り出し、幾何変換処理）を行う。全周囲画像ないし魚眼画像から切り出す位置は、そのときのクライアントからの制御命令として受信したパン・チルト・ズームの値、すなわちＰＴＺ値レジスタ４−３２の設定値に従って決定する。これにより全周囲カメラや魚眼カメラであってもＰＴＺカメラと同様に仮想的なパン・チルト・ズームに相当する操作が可能になる。なお、画像展開処理は、レンズに応じて切り出し範囲や幾何変換処理方法が異なるが、ここではそれぞれのレンズ特性固有の処理方法になり、また、当該処理自体は公知の技術を利用すればよいので、本実施形態においては説明を省略する。
【００６１】
次に、図６のフローを用いてカメラ制御プロセス４−２１、制御処理プロセス４−２２における処理について説明する。カメラ制御プロセス４−２１は、クライアントプロセス４−４１からの接続要求を常に受け付けるため、以下の処理を繰り返し行う。
【００６２】
クライアントプロセス４−４１から接続要求（図８（１））コマンドが送信されると、まずカメラ情報レジスタ４−３１を確認する。カメラ１−１１がＰＴＺカメラであると判定される場合には、制御権の獲得が必要であるため、制御権受付け処理を行う。そこで、制御権フラグレジスタ４−３５に格納される制御権フラグを確認して、制御権の獲得が可能であるかを判定する（Ｓ６０５）。
【００６３】
もし、制御権が獲得可能である、つまり制御権フラグ４−３５がＯＦＦ（Ｓ６０５においてＹｅｓ）であれば、接続要求のあったクライアントプロセスに応じて制御処理プロセス４−２２を１対１で生成し（Ｓ６０６）、制御権をビジー（制御権フラグをＯＮ）にし（Ｓ６０７）、タイマーを設定して（Ｓ６０８）、接続受付処理を行う（Ｓ６０９）。
【００６４】
一方、すでに制御権フラグがＯＮに設定されている場合は、既に他のクライアントプロセスが制御中であるため、接続を拒否する処理を行う（Ｓ６１０）。しかしながら、Ｓ６０３においてＰＴＺカメラでないと判定される場合は、制御権を獲得しなくても仮想的に常にカメラ制御が可能であるので、接続要求のあったクライアントプロセスに応じて制御処理プロセス４−２２を１対１で生成し（Ｓ６０４）、接続受付処理を行う（Ｓ６０９）。
【００６５】
Ｓ６０４及びＳ６０６において生成される制御処理プロセス４−２２において行われる処理は、図６ｂに示すようになる。このプロセスが生成されると、接続のあった操作クライアントプロセス４−４１から送信されてくるカメラ制御コマンド（図８（３）、（４））に対して、プロセスが終了するまで所定の処理を行う。
【００６６】
まず、制御処理プロセス４−２２では、クライアントから送信される制御コマンドを監視する（Ｓ６２１）。もし、接続切断要求コマンド（図８の（２））又は、Ｓ６０８で設定したタイマーに基づいて、所定の時間（以下「制御持ち時間」と呼ぶ）が経過した場合には、制御待ち時間切れイベントが発生しカメラ制御接続を切断する（Ｓ６２２、Ｓ６２３）。
【００６７】
これは、ＰＴＺカメラの場合、物理的な制約からカメラのパンチルトズーム操作は、同時に一人しかできないため、制御権という概念を導入し、制御権を獲得したクライアントのみカメラ制御を許可するようにしているためである。従って、カメラ制御権を獲得したクライアントは、制御権獲得後、例えば３分間だけカメラを制御して画像を取得することが可能となる。また、制御権を獲得したクライアントから、所定時間を経過してもカメラの制御コマンドが送信されない場合には、制御待ち時間経過（上記の例では３分経過）前であっても、カメラ制御接続を切断するように制御しても良い。なお、カメラ１−１１がＰＴＺカメラでなければ制御権の導入は不要でありタイマー設定はなされないので、Ｓ６２２では、接続切断要求コマンドであったかのみが判定される。
【００６８】
もし、受信した制御コマンドが、カメラ制御コマンド（図８（３）、（４））である場合には（Ｓ６２４で“Ｙｅｓ”）、さらに、カメラ情報レジスタ４−３１の登録内容に基づいてカメラ１−１１の種類を判定し（Ｓ６２５）、全周囲カメラないし魚眼カメラであった場合には（Ｓ６２５で“Ｙｅｓ”）、クライアント情報レジスタ４−３３の登録内容に基づいてクライアント側の画像変換処理能力の有無を判定する（Ｓ６２６、Ｓ６２７）。
【００６９】
ここで、もしクライアント側に画像変換処理能力がなく切り出し処理が行われない場合（Ｓ６２７で“Ｙｅｓ”）には、ＰＴＺ値レジスタ４−３２のＰＴＺ値を制御コマンドに沿って更新する（Ｓ６２８）ことで、サーバ１−１の画像送信プロセス４−１３では最新のＰＴＺ値で画像切り出し処理することになる。
【００７０】
もし、カメラ１−１１がＰＴＺカメラであった場合（Ｓ６２５において“Ｎｏ”）には、受信したカメラ制御コマンド（図８の（３）、（４））に応じて、カメラ制御部１−１６を通じて直接カメラ１−１１のパンチルト角度及びズームを制御する（Ｓ６２９）。
【００７１】
その後、再びＳ６２１において制御コマンドの受付を監視して、もしカメラ制御接続終了処理要求（図８（７））を受付けるか、さもなくばＳ６０８において設定されたタイマーがタイムアウトになると（Ｓ６２２で“Ｙｅｓ”）、接続切断処理を行い、制御権フラグ４−３５がビジーであればそれを開放する（Ｓ６２３）。
【００７２】
なお、クライアントプロセス４−４１から受け取ったカメラ制御コマンドは、コマンド解釈部１−１７、カメラ制御部１−１６を通じて、コマンドに応じたカメラ制御を行うが、カメラ制御コマンドとしては、図８（３）に対応するパンチルト角度変更命令（ＡＮＧ θ φ）、図８（４）に対応するズーム倍率変更命令（ＺＯＭγ）がある。ここで、θ、φ、γは、それぞれ、パン角度、チルト角度、ズーム倍率をあらわすパラメータである。しかしながら、カメラ制御コマンドはこの２種類に限定されることなく、他の命令のためのコマンドを設定しても良く、その場合には逆光補正やオートフォーカス、マニュアルフォーカス値設定等の各種設定が含まれる。
【００７３】
図７にクライアント装置１−２で動作しているクライアントプロセス４−３１の動作を示す。まず、プロセス起動時に、接続するサーバ装置１−１のアドレス（ＩＰアドレス、ここでは”ＡＤＤＲ＿Ｃ”とする）を指定して起動すると、クライアント自体の画像切り出し能力を確認し（Ｓ７０２）、画像表示開始要求をＡＤＤＲ＿Ｃに対応するサーバ装置１−１に送信する（Ｓ７０３）。その際、画像表示開始要求には、画像切り出し能力（ｆｌａｇ）を設定する。パケット形式は図８（５）に示す通りである。
【００７４】
ここで、ＡＤＤＲ＿Ｃに対応するサーバ装置１−１からカメラ情報（図８（８））が返ってこなければ（Ｓ７０４）、アドレスが間違っている等の理由による動作異常が発生したこととなるので、クライアントプロセスを終了する。
【００７５】
一方、サーバ装置１−１が画像表示開始要求を受付けた場合には、カメラ情報がサーバ側から返信される。このカメラ情報通知パケット図８（８）にｃａｍｅｒａにはカメラの種類、ｐａｒａｍには画像の切り出し幾何変換処理に必要なカメラパラメータが含まれている。カメラ情報（図８（８））データが返ってくれば表示要求が受付けられたことになり（Ｓ７０４で“Ｙｅｓ”）、クライアント装置１−２側ではカメラ情報をカメラ情報レジスタ４−５１に登録する（Ｓ７０５）。
【００７６】
なお、カメラ情報は、接続先のサーバのカメラ情報レジスタ４−３１と同等の内容である。以降イベント、すなわちユーザからユーザインタフェースの操作またはサーバ装置１−１からの各種パケットの到着を繰り返し待ち、イベントにあわせた処理を次々に行う（Ｓ７０６）。
【００７７】
ここで、Ｓ７０６においてユーザからの操作開始ボタン２−２１の押下を受付けると（Ｓ７０７で“Ｙｅｓ”）。クライアント装置１−２が既にカメラ制御を開始している状態かどうかをカメラ情報レジスタ４−５１内に格納された操作フラグ（操作中ならばＨｉｇｈ、即ち操作中＝ＹＥＳ）の状態を確認し（Ｓ７０８）、既にフラグがＨｉｇｈとなっており操作中であると判断される場合（Ｓ７０８で“Ｙｅｓ”）はＳ７０６に戻り新たなイベントを受付けるが、操作中でなければ（Ｓ７０８で“Ｎｏ”）、カメラ制御接続要求（図８（１））をカメラ制御プロセス４−２１に対して発行し（Ｓ７０９）、接続が許可されるのを待つ（Ｓ７１０）。
【００７８】
ここでカメラ制御プロセス４０２１から接続許可を受付ければ、カメラ制御プロセス４−２１に対して接続が成立し、カメラ情報レジスタ４−５１内の操作フラグを「操作中（Ｈｉｇｈ）」に設定し（Ｓ７１２）、カメラ制御パネル３−２の操作を有効にして、カメラ制御パネル３−２でカメラ制御できるようになる。
【００７９】
なお、接続成立後「制御持ち時間」が終了するとカメラ制御プロセス４−２１より、カメラ制御接続終了要求（図８（７））が返ってくるが、これを受け取ると（Ｓ７１５で“Ｙｅｓ”）、カメラ情報レジスタ４−５１内の操作フラグをＬｏｗにセットして（Ｓ７１６）、カメラ制御パネル３−２の操作を無効にする（Ｓ７１７）。ＰＴＺカメラ以外では「制御持ち時間」が終了してタイムアウトになることはない。
【００８０】
カメラ制御パネル３−２の操作が有効になっている間は、カメラ制御パネル３−２の操作に対応したカメラ制御命令が生成され、カメラ制御プロセス４−２１に発行される（Ｓ７２２）。このとき、クライアント１−２側で切り出し処理が必要な場合には、画像データ受信時にＳ７２６で画像切り出し処理ができるよう、カメラ制御命令中のＰＴＺ値によりＰＴＺ値レジスタ４−５２の値を最新の値に更新・保持しておく（Ｓ７２１）。
【００８１】
なお、クライアント側で切り出し処理が必要か否かは、クライアント側が画像切り出し能力があり、かつ、サーバの接続カメラが全周囲カメラないし魚眼カメラである場合である。
【００８２】
メニューなどの操作によって発行されるクライアントプロセス終了要求（Ｓ７３０）に対しては、画像表示終了要求（図８（６））を発行し（Ｓ７３１）、クライアントプロセスを終了する。
【００８３】
何らかのパケットが到着した場合には（Ｓ７２３）、それが画像データ（図８（９））の場合（Ｓ７２４で“Ｙｅｓ”）、画像データ中の圧縮画像データを読み出し、伸長処理を行った後（Ｓ７２５）、この画像フレームデータを用いて、３−１の画像表示パネルの表示画像を更新する（Ｓ７２７）。その他のパケットの場合（Ｓ７２４で“Ｎｏ”）は対応する処理を実行する（Ｓ７２９）。
【００８４】
なお、クライアント側で切り出し処理が必要な場合には、伸長後の画像データから最新のＰＴＺ値に合わせた画像切り出し、幾何変換処理を行った後で（Ｓ７２８）、表示画像を更新する（Ｓ７２７）。その際カメラ情報に含まれているレンズ等のパラメータを用いることは言うまでもない。
【００８５】
なお、Ｓ７０５で取得したカメラ情報により接続先のカメラが常に制御権を取得できるカメラサーバ装置であることがわかった場合には、その時点で常にクライアント装置の操作画面のうち３−２の制御部分を操作可能状態にし、３−２１の操作開始ボタンを無効あるいは非表示にしても良い。すなわち、制御権を取得する必要がないＰＴＺカメラ以外が接続されているカメラサーバ装置であった場合とＰＴＺカメラが接続されているカメラサーバ装置であった場合とで、接続時の操作画面の表示内容を変更しても良い。つまり、制御権を取得しなくてもカメラ制御操作を有効とする操作画面と、カメラ制御権を取得して初めてカメラ制御操作が有効となる操作画面とで切り替えることができる。
【００８６】
このように、本実施形態に対応する本発明は、複数種類のうちのある種類の画像取得手段としてのカメラ１−１１を備えるサーバ装置１−１において取得された画像をクライアント装置１−２に提供し、所望の画像を取得するための操作を当該クライアント装置１−２において可能とする上述の画像処理システムにおいて、クライアント装置１−２から受信した制御命令を、当該画像取得手段の種類に応じて実行する場合に、当該カメラの種類を判別し、判別された種類に基づき制御命令に対応して、画像取得手段の制御、又は、当該画像取得手段により取得された画像の処理を行うものである。
【００８７】
また、カメラ１−１１の種類判別において、カメラ１−１１が、単一のクライアント装置１−２のみからの操作に対応して所望の画像を取得可能とする種類のカメラ（即ち、ＰＴＺカメラ）であると判別された場合に、クライアント装置１−２から当該単一のクライアント装置としてカメラ１−１１を操作するための操作許可要求を受付け、当該操作許可要求を受付けた場合に、クライアント装置１−２に操作許可を付与するか否かを判定し、操作許可を付与すると判定した場合において、クライアント装置１−２に対し、操作許可を通知するものであり、ここで、サーバ装置１−１は当該操作許可が与えられたクライアント装置１−２からの制御命令のみを受信することを特徴とするものである。
【００８８】
また、上記種類判別において、カメラ１−１１が、複数のクライアント装置１−２において所望の画像を取得可能とする種類のカメラ（即ち、全周囲カメラ又は魚眼カメラ）であると判別された場合には、操作許可の有無にかかわらず、クライアント装置１−２からの制御命令を受信することを特徴とするものである。
【００８９】
また、当該制御命令の実行に際して、実行されるべき処理のクライアント装置１−２における処理能力の有無を判定し、処理能力がクライアント装置１−２にあると判定された場合において、サーバ装置１−１における所定の処理が抑制され、画像取得手段により取得された画像がクライアント装置１−２へ送信されるものである。
【００９０】
さらに、カメラ１−１１が魚眼カメラや全周囲カメラのような広視野角を有する画像取得手段の場合、当該画像取得手段により取得された画像が、上記制御命令に対応して決定される切り出し位置において切り出され、当該切り出された画像に所定の幾何変換が施されるものである。
【００９１】
さらに、クライアント装置１−２においては、クライアント装置１−２からサーバ装置１−１へ与えられる所定の制御命令に対応してサーバ装置１−１において実行される所定の処理についての処理能力を有する場合に、当該サーバ装置１−１から受信した画像について当該処理を施すものである。また、当該制御命令には、少なくともパン、チルト及びズームのうちのいずれかが含まれ、カメラ１−１１が魚眼カメラや全周囲カメラのような広視野角を有する画像取得手段の場合には、クライアント装置１−２が受信した画像が、当該制御命令に対応して決定される切り出し位置において切り出され、当該切り出された画像に所定の幾何変換が施されるものである。
【００９２】
また、クライアント装置１−２においては更に、カメラ１−１１が、単一のクライアント装置１−２のみからの操作に対応して所望の画像を取得する種類のカメラ（即ち、ＰＴＺカメラ）である場合に、クライアント装置１−２について単一のクライアント装置としてカメラ１−１１を操作するための操作許可要求をユーザーから受付け、当該ユーザーから受付けた操作許可要求をサーバ装置１−１へ送信し、当該操作許可要求に対する応答をサーバ装置１−１から受信するものであり、クライアント装置１−２が当該要求の許可を受信した場合には、カメラ１−１１の操作に対応する入力をユーザーから受付けるものである。
【００９３】
また、カメラ１−１１が、複数のクライアント装置１−２において所望の画像を取得可能とする種類のカメラ（即ち、全周囲カメラ又は魚眼カメラ）である場合には、当該操作許可の有無にかかわらずカメラ１−１１の操作に対応する入力をユーザから受付けるものである。
【００９４】
以上のように、本実施形態によれば、超広角の魚眼カメラや全周囲カメラを用いて、インターネットに多人数に配信する場合、同時に複数人がカメラ制御できるようになる。
【００９５】
また、カメラがパンチルト制御可能なカメラであっても、魚眼カメラ、全周囲カメラであっても、配信する側で画像変換して、どのようなカメラが接続されているかユーザ（クライアント）に意識させることなく同様の操作感を提供することが可能なシステムを構築することができる。
【００９６】
さらに、魚眼カメラ、全周囲カメラの場合、画像を表示するクライアント能力が不十分な場合には、サーバ側で画像変換を行い、クライアントの能力が十分であればクライアント側で展開することで、サーバの負荷分散を図ることができる。
【００９７】
【第２の実施形態】
第１の実施形態に対応する本発明は、カメラ１−１１で取得した画像をクライアント装置１−２へ提供するシステムであったが、本実施形態では、図１１のようにサーバ装置のカメラ１−１１の代わりに画像蓄積装置１１−１１を利用してシステムを構築する。本実施形態では、サーバ装置１−１が、画像取得手段としての全周囲カメラなどにより取得された画像を含む画像を蓄積するための蓄積手段を備え、クライアント装置１−２には蓄積画像も提供可能となる。クライアント装置１−２からサーバ装置１−１へ与えられる制御命令に対応して、当該蓄積画像が処理されるものである。
【００９８】
本実施形態では、１１−１をサーバ装置ではなく画像サーバ装置と呼ぶ。また、画像蓄積装置の制御手段は、カメラ制御部１−１６ではなく蓄積制御部１１−１６で構成される。もちろん、本実施形態における蓄積画像についての処理を第１の実施形態におけるカメラ取得画像に関する処理と組み合わせて、カメラにより取得されるリアルタイム画像と蓄積画像の両方についてのカメラ操作を可能としてもよい。
【００９９】
第２の実施形態に対応する本発明の基本的な動作は、ＰＴＺカメラを扱わない点と画像蓄積装置から読み込んだ画像を対象としている点を除き第１の実施形態とほぼ同様である。
【０１００】
蓄積画像の種類としては、通常カメラ以外に第１の実施形態で述べた全周囲カメラ或いは魚眼カメラで撮影された画像が含まれていてもよい。各画像には、インデックスがつけられており、また画像の属性として、撮影カメラの種類とカメラパラメータ（第１の実施形態のカメラ情報に相当）を持っているものとする。蓄積制御部１１−１６では、インデックスに対応する画像と対応する属性情報の読出しと必要に応じた画像の部分切り出し、幾何変換処理の制御が実行される。
【０１０１】
プロセス構成は図１２に示すようになっており、第１の実施形態のような画像獲得プロセス４−１２は不要となる。また、カメラ制御プロセス４−２１も簡略化可能であり、少なくともクライアントに１対１に対応した制御処理プロセス１２−２１を備えていればよい。
【０１０２】
画像サーバプロセス１２−１１および画像制御プロセス（第１の実施形態の制御処理プロセス４−２２に相当）のフローはそれぞれ図１３、図１４のようになっており、図１３ａ及び図１３ｂは、図５ａ及び図５ｃにそれぞれ対応し、図１４は、図６ｂに対応する。それぞれの基本的な流れを説明すると以下のようになる。
【０１０３】
クライアントからサーバに画像のインデックスを指定して画像表示開始要求があると、対応する画像を流す。その際に、画像の属性を確認して、それが全周囲カメラないし魚眼カメラで撮影したものであれば、第１の実施形態と同様にクライアントからのパン・チルト・ズーム操作を許すようにする。このパン・チルト・ズーム操作は、第１の実施形態と同様に画像の切り出し・幾何変換処理に相当する。
【０１０４】
画像の切り出し・幾何変換処理は、各自の処理能力に応じてサーバないしクライアントで実行する。これにより、蓄積画像であっても、サーバ側の負担を軽減したパン、チルト操作が可能になる。但し、画像蓄積装置１１−１１において格納・管理されている画像が全周囲カメラ等ではなく通常のカメラで取得した画像の場合には、パンチルト操作はできないが、ズーム操作に関してはディジタルズームであれば可能である。
【０１０５】
なお、画像蓄積装置１１−１１内の蓄積画像は、全周囲カメラ、魚眼カメラで撮影することを想定しているが、全周囲カメラ、魚眼カメラに相当する画角でシーンを生成したＣＧ（コンピュータグラフィックス）画像であっても構わない。
【０１０６】
このように、本実施形態では、本発明をカメラにより取得したリアルタイム画像だけでなく蓄積画像にも適用することで、蓄積画像に対しても、パン・チルト・ズーム操作が可能になる。また、超広角の魚眼カメラや全周囲カメラで撮影した蓄積画像に適用することで、蓄積画像であっても、仮想的なカメラ操作が可能になり、臨場感を提供することができる。
【０１０７】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１０８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１０】
【発明の効果】
以上のように、本発明に拠れば、所定のカメラで取得した画像をインターネット経由で多人数に配信する場合において、カメラ制御を複数人で同時に制御可能とすることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に対応する画像処理システムの構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に対応する画像処理システムの構成の一例を示すブロック図である。
【図３】本発明の第１の実施形態に対応するクライアント装置１−２における画面表示の一例を示す図である。
【図４】本発明の第１の実施形態に対応するプロセス構成の一例を示す図である。
【図５ａ】本発明の第１の実施形態に対応する画像サーバプロセスにおける処理のフローチャートの一例である。
【図５ｂ】本発明の第１の実施形態に対応する画像獲得プロセスにおける処理のフローチャートの一例である。
【図５ｃ】本発明の第１の実施形態に対応する画像送信プロセスにおける処理のフローチャートの一例である。
【図６ａ】本発明の第１の実施形態に対応するカメラ制御プロセスにおける処理のフローチャートの一例である。
【図６ｂ】本発明の第１の実施形態に対応する制御処理プロセスにおける処理のフローチャートの一例である。
【図７】本発明の第１の実施形態に対応するクライアントプロセスにおける処理のフローチャートの一例である。
【図８】本発明の第１の実施形態に対応するパケット形式の一例を示す図である。
【図９】本発明の第１の実施形態に対応する全周囲カメラの構成の一例を示す図である。
【図１０】本発明の第１の実施形態に対応する全周囲カメラで取得可能な画像の一例を示す図である。
【図１１】本発明の第２の実施形態に対応する画像処理システムの構成の一例を示すブロック図である。
【図１２】本発明の第２の実施形態に対応するプロセス構成の一例を示す図である。
【図１３ａ】本発明の第２の実施形態に対応する画像サーバプロセスにおける処理のフローチャートの一例である。
【図１３ｂ】本発明の第２の実施形態に対応する画像送信プロセスにおける処理のフローチャートの一例である。
【図１４】本発明の第２の実施形態に対応する画像制御プロセスにおける処理のフローチャートの一例である。

Claims

複数種類のうちのある種類の画像取得手段を備えるサーバ装置において取得された画像をクライアント装置に提供し、所望の画像を取得するための操作を前記クライアント装置において可能とする画像処理システムの制御方法であって、
前記サーバ装置において、
前記操作に対応する前記画像取得手段の制御命令を前記クライアント装置から受信する受信工程と、
前記受信した制御命令を、前記画像取得手段の種類に応じて実行する実行工程と、
前記実行工程における実行結果に基づく前記画像を前記クライアント装置へ送信する送信工程と
を備えることを特徴とする制御方法。