JP2016009266A - 撮影システム、撮影の方法、およびコンピュータープログラム - Google Patents

Abstract

【課題】面に書き込まれた画像を従来よりも確実にかつユーザーにとって簡単に記録する。【解決手段】撮影システム１は、面５０を撮影する撮影手段と、物体８の面５０と撮影手段との間の空間４０における位置の変化を検出する検出手段と、検出手段によって変化が検出された場合に、面５０の、撮影手段から物体８によって変化の前は見えなかったが変化の後に見えるようになったエリア５１の画像を、撮影手段によって取得する、取得手段とを有する。【選択図】図６

Description

本発明は、ホワイトボードなどの面を撮影する技術に関する。

近年、パーソナルコンピューターまたはスマートフォンなどに表示される画像をスクリーンに投影するプロジェクターが普及している。プロジェクターは、「画像投影装置」と呼ばれることもある。

ホワイトボードをスクリーンとして使用することができる。または、壁に白いビニールを貼り、これをスクリーンとして使用することもできる。これらの場合に、ユーザーは、画像がスクリーンに映っているときに、ペンでメモなどを手書きすることができる。そして、ユーザーは、デジタルカメラでスクリーンを撮影し、記録しておくことができる。

ユーザーが簡単に撮影することができるように、次のような技術が提案されている。特許文献１に記載される技術によると、プロジェクターにデジタルカメラを内蔵し、液晶プロジェクター投写用レンズとデジタルカメラ用レンズを共用させる。これにより、プロジェクターから出力されるパソコン映像の投写光とホワイトボードにマーカー等で手書きされた画像の合成画像の入射光が同じレンズを通るので、パソコン映像と手書きの画像を合成映像としてパソコンに取り込む際の位置やサイズの調整が不要になる。

特許文献２に記載される技術によると、画像データを取得する複数の撮像部と、複数の撮像部のそれぞれの撮像方向と撮像画角の少なくとも一方を個別に変更して撮像範囲を変更する撮像範囲変更部と、いずれか１つの撮像部が取得した画像データから操作者のジェスチャを検出するジェスチャ検出部と、検出されたジェスチャに応じて、記録すべき撮像範囲の変更制御及び複数の撮像部に対する撮影指示を含む撮像制御を行う撮像制御部とを備え、撮像制御部は、記録すべき撮像範囲の変更制御に際して、撮影範囲変更手段を制御して、複数の撮像部のうちの一部の撮像部である本撮像部の撮影範囲をジェスチャ検出部で検出したジェスチャに応じて変更させるとともに、本撮像部の撮像範囲から操作者が含まれなくなる場合は本撮像部以外の撮像部の撮像範囲の変更を操作者が含まれる範囲に制限する。

特許文献３に記載される技術によると、画像処理装置は、供給された撮影画像信号からホワイトボード上に投影された投影画像のフレーム枠領域を検出すると共に、フレーム枠領域に対する動体の出入りの有無を判定する。動体の出入りがある場合、その前後のフレーム枠領域の画像の差異を検出し、差異領域の画像を取得して元画像と合成して合成画像を生成する。この処理を、プロジェクタにより投影される元画像が、次の画像に変更されるまで繰り返して実行し、順次、差異画像と元画像とを合成した合成画像を生成する。投影画像が次の画像に切り替えられた時点で、直前の元画像に対して合成画像を追記順に関連付ける。そして、元画像に対して追記順に関連付けられた合成画像を、元画像の次ページからの画像として挿入する。

特開２００４−２５２１１８号公報 特開２０１２−１５６６１号公報 特開２０１２−１９９６７６号公報

上述の従来の技術によると、ユーザーがホワイトボードなどの面に書き込んだ画像を、この面にプロジェクターによって投影された画像とともに撮影し記録することができる。

しかし、これらの画像を、ユーザーの身体または指し棒などによって隠れることなく確実に撮影するために、ユーザーは、面から離れなければならない。これを意識することは、ユーザーにとってストレスになったりプレッシャーになったりすることがある。また、ユーザーが面から離れることを忘れたり、ユーザーが離れたつもりであっても実際は離れていなかったりすると、上手く撮影することができないことがある。

本発明は、このような問題点に鑑み、面に書き込まれた画像を従来よりも確実にかつユーザーにとって簡単に記録することを、目的とする。

本発明の一形態に係る撮影システムは、面を撮影する撮影手段と、物体の、前記面と前記撮影手段との間の空間における位置の変化を検出する、検出手段と、前記検出手段によって前記変化が検出された場合に、前記面における、前記撮影手段から前記物体によって当該変化の前は見えなかったが当該変化の後に見えるようになったエリアの画像を、当該撮影手段によって取得する、取得手段と、を有する。

本発明によると、面に書き込まれた画像を従来よりも確実にかつユーザーにとって簡単に記録することができる。

本発明の第一の実施形態に係るプロジェクターの使用例を示す図である。 プロジェクターのハードウェア構成を示すブロック図である。 オブジェクトの例を示す図である。 ボード面とオブジェクトとの位置関係の例を示す図である。 プロジェクターの機能構成を示すブロック図である。 ボード面の撮影に係る対象エリアの設定の一例を示す図である。 オブジェクトの移動に応じて行なわれる撮影の第一例を示す図である。 オブジェクトの移動に応じて行なわれる撮影の第二例を示す図である。 オブジェクトの移動に応じて行なわれる撮影の第三例を示す図である。 プロジェクターの動作のフローチャートである。 第二の実施形態に係るプロジェクターの機能構成を示すブロック図である。 第二の実施形態に係る仮対象エリアの設定の一例を示す図である。 仮対象エリアの縮小の例を示す図である。 オブジェクトの移動に応じて行なわれる撮影の第四例を示す図である。 第二の実施形態に係る動作のフローチャートの第一部分を示す図である。 第二の実施形態に係る動作のフローチャートの第二部分を示す図である。 システム構成の変形例を示す図である。

〔実施形態１〕
図１のようにプロジェクター１とホワイトボード５とを使用してプレゼンテーションが行なわれる。プロジェクター１にはプレゼンター８または補助者９によって操作されるパーソナルコンピューター７が接続され、投影すべき画像のデータおよび投影の指示がパーソナルコンピューター７から与えられる。プロジェクター１は、パーソナルコンピューター７からの指示に従って、ホワイトボード５にプレゼンテーション用の画像を投影する。ホワイトボード５は投影のスクリーンとして用いられる。

ホワイトボード５は、消去可能な書込みをすることのできるボード面５０を有している。プレゼンター８は、例えば投影された画像に補足説明を加えたり図示で強調したりしたい場合に、文字、記号、線、矢印、丸印、図形またはこれらを組み合わせた任意の内容をボード面５０に書き込むことができる。つまり、ボード面５０は、プレゼンター８によって書き込みのなされる可能性のある面である。

プロジェクター１は、プレゼンター８の書き込んだ内容を自動的に記録する撮影機能を有している。プロジェクター１は、プレゼンター８の動きを監視し、書込みが行なわれたと判断したときにホワイトボード５を撮影し、得られた撮影データを保存する。

本実施形態１のプロジェクター１の撮影機能には、ボード面５０を複数のエリア（分割エリア）に区切り、これら複数のエリアのうちの１以上のエリアを書込みの内容を記録する処理の対象である“対象エリア”に設定し、対象エリアが物体（オブジェクト）の陰に隠れていない状態になったことを検出したときにボード面５０を撮影する、という特徴がある。以下、このような撮影機能を中心にプロジェクター１の構成および動作を説明する。

プロジェクター１のハードウェア構成が図２に示される。プロジェクター１は、投影ユニット１１、カメラ１２、オブジェクトセンサー１３、ＣＰＵ(Central Processing Unit)１５、ＲＡＭ（Random Access Memory）１６、不揮発性メモリ１７、画像処理部１８、インタフェース１９、ランプドライバー２０、およびＤＣ電源２１を有している。

投影ユニット１１は、ボード面５０に投影によって画像を表示する表示手段である。投影ユニット１１は、投影すべき画像を表示する液晶パネル、液晶パネルの背面側に配置された投光ランプ、および投影面に画像を結像させるレンズ群を有する。投影ユニット１１には、ＤＣ電源２１からランプドライバー２０を介して投光ランプの発光に必要な電力が供給される。

カメラ１２はボード面５０を撮影する撮影手段である。カメラ１２は、二次元の撮像デバイスを有し、撮像デバイスによって得られた撮影データを画像処理部１８に出力する。なお、カメラ１２は、一次元の撮像デバイスと走査用の光学系とによって二次元の撮影像を得る走査型のカメラでもよい。

オブジェクトセンサー１３は、ボード面５０とカメラ１２との間にオブジェクトが存在する場合に、そのオブジェクトを検出するための距離画像センサーである。オブジェクトセンサー１３は、撮像デバイスと赤外線を射出する発光素子とを備え、ＴＯＦ（Time Of Flight）法による測距のための赤外線撮影データをＣＰＵ１５に出力する。

ＣＰＵ１５は、プロジェクター１を制御するためのプログラムを不揮発性メモリ１７からＲＡＭ１６にロードして実行する。ＣＰＵ１５は、外部機器との通信用のインタフェース１９を介して上述のパーソナルコンピューター７と通信し、パーソナルコンピューター７からの指示に従ってプロジェクター１に画像を投影させる。このほかにも、ＣＰＵ１５は、後述するようにオブジェクトを検出したり、ボード面５０の撮影に関わる対象エリアを設定したり、カメラ１２によって得られた撮影データを不揮発性メモリ１７に格納したりするなどの各種の処理を実行する。不揮発性メモリ１７は、例えばフラッシュメモリである。

画像処理部１８は、パーソナルコンピューター７から与えられるデータに応じたビットマップをメモリ上に展開し、投影すべき画像を投影ユニット１１の液晶パネルに表示させる。また、画像処理部１８は、カメラ１２によって得られる撮影データを圧縮する処理を受け持つ。このような画像処理部１８は、例えばＡＳＩＣ（Application Specific Integrated Circuit）からなる。

インタフェース１９は、ＵＳＢ(Universal Serial Bus)の規格に準拠した有線通信を可能にするＵＳＢ部１９１、およびＷｉ−Ｆｉの規格に準拠した無線通信を可能にするＷｉ−Ｆｉ部１９２を備えている。

さて、本実施形態１のプロジェクター１は、ボード面５０に書き込まれた内容をそれが隠れていないタイミングで撮影して記録するため、撮影空間４０におけるオブジェクトの位置の変化を検出する。撮影空間４０は、ボード面５０とプロジェクター１との間の空間のうちのカメラ１２による撮影の視野内の部分である。オブジェクトの位置の変化の検出方法は次のとおりである。

ＣＰＵ１５は、オブジェクトセンサー１３によって取得した赤外線撮影データに基づいて、赤外線の射出からオブジェクトの表面で反射した赤外線が撮像デバイスに受光されるまでの時間（光の飛行時間）を、撮像デバイスの画素ごとに測定する。このとき、測定する最大距離に応じた所定の時間にわたって赤外線をオブジェクトに向けて照射し、照射中の総受光量を光の飛行時間として測定する手法を用いる。光の飛行時間はオブジェクトセンサー１３とオブジェクトとの距離に比例するので、画素ごとに光の飛行時間を測定することによって、オブジェクトセンサー１３による撮像の視野に対応する距離画像が得られる。

ＣＰＵ１５は、得られた距離画像の各画素値（測距値）と予め記憶しているホワイトボード５までの距離（既知の距離）とを比較する。この既知の距離については、予めプロジェクター１が測定するようにしてもよいし、ユーザーが入力するようにしてもよい。ＣＰＵ１５は、距離画像において測距値が既知の距離よりも小さい画素の個数が所定数以上である場合、撮影空間４０の中にオブジェクトが有ると判定する。測距値が既知の距離よりも小さい画素の個数が所定数未満である場合、ＣＰＵ１５はオブジェクトが無いと判定する。所定数は、実際には無いにもかかわらずオブジェクトが有ると判定するのを防ぐための閾値である。仮に外乱光または他の原因によって既知の距離よりも小さい誤った測距値をもってしまった画素が距離画像に含まれていたとしても、その個数が所定数未満であれば、オブジェクトが無いと判定される。

なお、厳密には、オブジェクトセンサー１３とカメラ１２との間で視野のずれがある。しかし、そのずれは書込みの記録に実質的に影響の無い僅かなずれである。それ故、本実施形態１では、オブジェクトセンサー１３の視野がカメラ１２の視野に相当するものとされ、オブジェクトセンサー１３によって得られる距離画像に基づいて、撮影空間４０内のオブジェクトが検出される。

撮影空間４０におけるオブジェクトの存在を検出した場合、ＣＰＵ１５は、距離画像から当該オブジェクトに対応する部分（測距値が上述の既知の距離より小さい部分）を抽出する。この抽出によって、オブジェクトの大きさおよび撮影空間４０におけるオブジェクトの位置（三次元位置）が特定される。抽出に際して、カメラ１２またはオブジェクトセンサー１３によって二次元撮影像を取得して画像認識を行ない、距離画像の測距値の比較結果と二次元撮影像の画像認識の結果とを総合して距離画像の各画素がオブジェクトに対応するかどうかを判定してもよい。

ＣＰＵ１５は、オブジェクトセンサー１３を例えば０．５〜３秒程度の間隔で周期的に動作させて、その都度、最新の赤外線撮影データをオブジェクトセンサー１３から取得する。ＣＰＵ１５は、オブジェクトセンサー１３から赤外線撮影データを取得するごとに、撮影空間４０におけるオブジェクトの有無を判定し、オブジェクトが有ると判定した場合には、オブジェクトの大きさおよび位置を特定する。周期的にオブジェクトの位置を特定することにより、撮影空間４０に対するオブジェクトの出入り、および撮影空間４０におけるオブジェクトの位置の変化を検出することができる。

なお、ＣＰＵ１５がオブジェクトセンサー１３から赤外線撮影データを取得する周期を、撮影空間４０におけるオブジェクトの有無に応じて切り替えることができる。そのようにする場合、ＣＰＵ１５は、撮影空間４０にオブジェクトが存在することを検出してからその後にオブジェクトが存在しないことを検出するまでの期間（オブジェクトが有るとき）において、例えば０．５〜１秒程度の間隔で赤外線撮影データを取得する。これ以外の期間（オブジェクトが無いとき）において、ＣＰＵ１５はオブジェクトが有るときよりも長い間隔（例えば１〜３秒程度）で赤外線撮影データを取得する。

オブジェクトの例が図３に示される。プロジェクター１を使用してプレゼンテーションが行なわれているとき、撮影空間４０に出入りするのはプレゼンター８にほぼ限られる。本実施形態では、オブジェクト３０として、プレゼンター８の身体（全身または上半身）３１、ペン３７とそれを持つ手３１１との組合せ３２、指し棒３８とそれを持つ手３１２との組合せ３３、イレーサー３９とそれを持つ手３１２との組合せ３４、どこかを指差す形状の手３５、および手のひら３６などが想定されている。

図４はボード面５０とオブジェクト３０との位置関係の例を示している。

図４（Ａ）では、撮影空間４０内の左右方向の中央部におけるボード面５０の間近に、オブジェクト３０が存在する。この場合、ボード面５０のうちの左右方向の中央付近がオブジェクト３０の陰に隠れる。「オブジェクト３０の陰に隠れる」とは、オブジェクト３０に遮られてカメラ１２から見えないことを意味する。

図４（Ｂ）では、撮影空間４０内の右端部におけるボード面５０の間近に、オブジェクト３０が存在する。この場合、ボード面５０のうちの右端の近傍がオブジェクト３０の陰に隠れる。

図４（Ｃ）では、撮影空間４０内の右側部におけるプロジェクター１に近い位置にオブジェクト３０が存在する。この場合、ボード面５０のうちの右端の近傍から中央部の近傍までの比較的に広い部分がオブジェクト３０の陰に隠れる。

図５はプロジェクター１の機能構成を示している。プロジェクター１は、第一の検出部１０１、エリア設定部１０２、第二の検出部１０３、枠表示制御部１０４、および撮影制御部１０５を有する。これら要素は、ＣＰＵ１５がプログラムを実行することによって実現される機能要素である。

第一の検出部１０１は、オブジェクト３０を検出する手段である。第一の検出部１０１は、オブジェクトセンサー１３から上述のとおり周期的に最新の赤外線撮影データを取得し、赤外線撮影データを取得するごとに、撮影空間４０内のオブジェクト３０の有無を検出する。その際、第一の検出部１０１は、取得した赤外線撮影データに基づいて距離画像を作成する。

エリア設定部１０２は、上述の対象エリアを設定する設定手段である。エリア設定部１０２は、撮影空間４０内にオブジェクト３０の入ったことが第一の検出部１０１によって検出されたとき、第一の検出部１０１から最新の距離画像を取得し、オブジェクト３０の大きさおよび位置を検出する。次に、エリア設定部１０２は、距離画像に位置関係に基づいて、ボード面５０のうちのカメラ１２に対してオブジェクト３０の陰に隠れる部分を特定し、特定した部分の大きさに応じて、ボード面５０を後述のように複数のエリア（分割エリア）に区切る。ボード面５０を区切った後、エリア設定部１０２は、複数のエリアのうち、オブジェクト３０の陰に隠れる部分を有するエリアを対象エリアに設定する。

また、エリア設定部１０２は、オブジェクト３０の陰に隠れる部分が現在の対象エリアではないエリアに移ったことを検出したとき、そのときのオブジェクト３０の大きさが以前と比べて設定値を超えるほど大きく異なる場合、ボード面５０を区切り直して対象エリアを設定する。

第二の検出部１０３は、撮影空間４０におけるオブジェクト３０の位置の変化を検出する検出手段である。第二の検出部１０３は、エリア設定部１０２によって対象エリアが設定された後、第一の検出部１０１によって赤外線撮影データが取得されるごとに、第一の検出部１０１から最新の距離画像を取得してオブジェクト３０の位置を特定する。そして、第二の検出部１０３は、オブジェクト３０の位置がカメラ１２に対して対象エリアを隠す位置から隠さない位置に変化したことを検出する。

なお、「カメラ１２に対して対象エリアを隠す」とは、カメラ１２から対象エリアの全域を見通せないようにすることを意味する。以下において、あるエリアにおいてどこか一部でもオブジェクト３０に遮られて見えない状態、すなわち部分的または全体的に見えない状態を、「オブジェクト３０の陰に隠れた状態」ということがある。

枠表示制御部１０４は、投影ユニット１１に枠を表示させる手段である。枠表示制御部１０４は、エリア設定部１０２によって対象エリアが設定されたとき、対象エリアの輪郭を示す識別画像である赤色または他の所定色の枠をボード面５０上に表示するように投影ユニット１１を制御する。枠は、対象エリアの大きさおよび位置を示すものであればよく、輝度が周囲と異なるものであってもよい。枠の表示に代えてまたは枠の表示と合わせて、対象エリアの全域の輝度または背景色を他のエリアと異ならせることも可能である。対象エリアに地紋を付すこともできる。

撮影制御部１０５は、対象エリアに表示されている画像をカメラ１２によって取得する取得手段である。撮影制御部１０５は、オブジェクト３０の位置が対象エリアを隠す位置から隠さない位置に変化したことが第二の検出部１０３によって検出されたとき、この変化の前は見えなかったが変化の後に見えるようになった対象エリアを撮影するようにカメラ１２を制御する。本実施形態では、対象エリアを含むボード面５０の全域を撮影するように制御する。

図６はボード面５０の撮影に係る対象エリアの設定の一例を示し、図７はオブジェクト３０の移動に応じて行なわれる撮影の第一例を示している。これらの図の例では、プレゼンター８がホワイトボード５に書込みをし、その後、ホワイトボード５の前を歩いたり立ち止まったりしながらプレゼンテーションを続ける場面が想定されている。プロジェクター１は、オブジェクト３０としてのプレゼンター８の位置の変化に応じて、次のとおり対象エリアを設定し、対象エリア内の書込みの内容を記録するための撮影を行なう。

図６（Ａ）では、パーソナルコンピューター７によって与えられる画像９０がホワイトボード５に投影されている。図に示された画像９０は棒グラフである。プレゼンター８は、ホワイトボード５の向かって左側の傍らに立っている。

なお、ホワイトボード５におけるボード面５０の全域が撮影空間４０に収まるようにカメラ１２の視野が調整されている。図６では、撮影空間４０にボード面５０がちょうど収まっているが、これに限らない。書込みの行なわれる可能性のある領域であるボード面５０およびその周囲を含む範囲が撮影空間４０内に収まれるように、カメラ１２の視野が調整されていてもよい。つまり、少なくともボード面５０の全域を撮影することができればよい。

図６（Ａ）の段階で撮影空間４０の外に居たプレゼンター８が、右方へ移動して図６（Ｂ）のようにボード面５０の左端部の前に立って書込みをしたとする。図６（Ｂ）では、ボード面５０の左端部に文字列８０が書き込まれている。

図６（Ａ）の状態から図６（Ｂ）の状態へ遷移する途中に、プレゼンター８が撮影空間４０の中に入ったタイミングで、第一の検出部１０１がプレゼンター８をオブジェクト３０として検出する。第一の検出部１０１からオブジェクト３０を検出したことの通知を受けると、エリア設定部１０２は、オブジェクト３０に応じて、ボード面５０を複数のエリア５１，５２，５３に区切る。図６（Ｂ）の例では、左右方向に三等分するようにボード面５０が三つのエリア５１，５２，５３に区切られている。

ボード面５０の区切りについて、あらかじめ幾つかの区切りパターンが選択肢として定められ、それらを示すデータが不揮発性メモリ１７に記憶されている。エリア設定部１０２は、オブジェクト３０の大きさに応じて、いずれかの区切りパターンを選択してボード面５０を区切る。

例えば、オブジェクト３０の上下方向の寸法が閾値（例えばボード面５０の上下方向の寸法の２分の１）よりも大きい場合の選択肢として、それぞれがボード面５０の上端から下端にわたる二つ、三つまたは四つ以上のエリアが左右に並ぶ区切りパターンがある。オブジェクト３０の上下方向の寸法が閾値よりも大きい場合、これら区切りパターンのいずれかがオブジェクト３０の左右方向の寸法に応じて選択され、選択結果に従ってボード面５０が区切られる。左右方向の寸法が大きいほど、左右方向の区切り数の少ない区切りパターンが選択される。図６（Ｂ）の例は三つのエリアが並ぶ区切りパターンが選択された例である。

また、オブジェクト３０の上下方向の寸法が上記の所定の閾値よりも小さい場合の選択肢として、ボード面５０を上下に二分し、左右に二つ、三つまたは四つ以上に分けるような区切りパターンがある。オブジェクト３０の上下方向の寸法が上記の所定の閾値よりも小さい場合、これら区切りパターンのいずれかがオブジェクト３０の左右方向の寸法に応じて選択され、選択結果に従ってボード面５０が区切られる。後述する図８（Ａ）の例は、計六つのエリアが並ぶ区切りパターンが選択された例である。

このようにボード面５０を区切る際、エリア設定部１０２は、対象エリアとするエリアが、オブジェクト３０の陰に隠れる部分の全体が収まる大きさをもつ範囲内で最も小さいエリアとなるように、区切りパターンの選択肢の一つを選択する。各エリアが小さいことは、プレゼンター８が撮影に気を払わずに行動することができる環境を実現する上で有利である。エリアの大きさをオブジェクト３０の陰に隠れる部分の全体が収まる大きさにすることにより、書込みが部分的に欠けて記録されるのをできるだけ少なくすることができる。

ボード面５０を複数のエリア５１，５２，５３に区切ると、エリア設定部１０２は、複数のエリア５１，５２，５３のうち、オブジェクト３０の陰に隠れているエリア５１を判別する。そして、エリア設定部１０２は、判別したそのようなエリア５１を対象エリアに設定する。実施形態１における対象エリアは、ボード面５０のうちのオブジェクト３０の陰に隠れたことがある部分である。対象エリアには、オブジェクト３０の陰に隠れたときに何らかの書込みが行なわれた可能性がある。図６（Ｂ）の場合は、左右に並ぶ三つのエリア５１，５２，５３のうち、左のエリア５１が対象エリアに設定される。

エリア設定部１０２によって対象エリアが設定されると、枠表示制御部１０４が、対象エリアの輪郭を示す枠５１０を表示するように投影ユニット１１を制御する。投影ユニット１１は、画像９０を描画するレイヤーと枠５１０を描画するレイヤーとを重ねて投影する手法を用いて、画像５０を表示したまま枠５１０を表示する。

枠５１０が表示されることにより、プレゼンター８は、ボード面５０内のどの範囲の書込みの内容が記録されるかを知ることができる。

なお、枠５１０を表示するモードと表示しないモードとを設け、プロジェクター１のユーザーが適宜これらモードの一方を選択できるようにしてもよい。表示しないモードが選択された場合、枠表示制御部１０４は、投影ユニット１１に枠５１０を表示させる制御を行なわない。

図６（Ｂ）の段階でボード面５０の左端部の前に立っていたプレゼンター８が、右方へ移動し、図６（Ｃ）のようにボード面５０におけるエリア５２，５３を隠す位置に立ったとする。

図６（Ｂ）の状態から図６（Ｃ）の状態へ遷移する途中に、プレゼンター８がその時点の対象エリアであるエリア５１を隠さない位置まで移動したタイミングで、言い換えると、撮影空間４０のうちの対象エリアがちょうど収まる部分である対象エリア空間からプレゼンター８が出たタイミングで、オブジェクト３０であるプレゼンター８の位置の変化したことが第二の検出部１０３によって検出される。そして、このとき、撮影制御部１０５がボード面５０を撮影するようにカメラ１２を制御する。

本実施形態１では、ボード面５０の全体を撮影し、得られた撮影データのうちの対象エリアに対応する部分を不揮発性メモリ１７に保存する。ただし、これに限らず、ボード面５０のうちの対象エリアを選択的に撮影するようにしてもよい。

撮影データの保存に際して、どの画像が表示されているときに撮影されたかが判るように、保存する撮影データに現在表示されている画像９０の識別情報が付加される。また、撮影データがボード面５０のどこに対応するかが判るように、対象エリアの位置情報が付加される。さらに、同じ画像９０が表示されている期間に複数回の撮影が行なわれた場合に撮影の順序が判るように、撮影の順序を特定する情報または撮影時刻も撮影データに付加される。

撮影制御部１０５は、カメラ１２によって得られた撮影データから対象エリアに対応する部分を抽出して圧縮するように画像処理部１８を制御し、得られた圧縮後の撮影データをそれに画像９０の識別情報などを付加して不揮発性メモリ１７に格納する。

このようにエリア５１のおける書込みの内容を記録するためにボード面５０が撮影されると、エリア設定部１０２は、エリア５１を対象エリアとした設定を解除する。

一方、図６（Ｃ）では、二つのエリア５２，５３をそれぞれ部分的に隠す位置にプレゼンター８が立っている。この状態になるまでプレゼンター８が立ったまま移動したとすると、エリア設定部１０２が検出するオブジェクト３０の大きさは、図６（Ｂ）の状態で検出した大きさとほぼ変わらない。このため、ボード面５０を三つのエリア５１，５２，５３に区切ったまま、各エリア５１，５２，５３について、オブジェクト３０の陰に隠れているエリアであるかどうかが判定される。

エリア設定部１０２は、エリア５２を隠す位置にプレゼンター８が移動したタイミングで、エリア５２をオブジェクト３０の陰に隠れているエリアであると判定する。そして、エリア５２を対象エリアに設定する。これを受けて、枠表示制御部１０４は、対象エリアであるエリア５２の輪郭を示す枠５２０を投影ユニット１１に表示させる。

また、エリア５３を隠す位置にプレゼンター８が移動したタイミングで、エリア設定部１０２は、エリア５３をオブジェクト３０の陰に隠れているエリアであると判定する。そして、エリア５３を対象エリアに設定する。これを受けて、枠表示制御部１０４は、対象エリアであるエリア５３の輪郭を示す枠５３０を投影ユニット１１に表示させる。

プレゼンター８がエリア５３を隠す位置に移動してもなおエリア５２がプレゼンター８の陰に隠れる状態が続いているので、エリア５２を対象エリアとした設定は解除されない。このため、図６（Ｃ）では、二つのエリア５２，５３が共に対象エリアであり、そのことが枠５２０，５３０を投影することによって表示されている。

図７（Ａ）では、図６（Ｃ）と同様の状態が簡略化されて描かれている。プレゼンター８は、エリア５１に書込みをした後、図示のようにエリア５２とエリア５３とをそれぞれ部分的に隠す位置に立っている。図７（Ａ）では二つのエリア５２，５３がそれぞれ対象エリアに設定されている。

図７（Ａ）の状態になる以前における、エリア５１に書込みをしたプレゼンター８がエリア５１を隠さない位置へ移動したタイミングで、上述したようにエリア５１のおける書込みの内容を記録するためにボード面５０の撮影が行なわれ、エリア５１の撮影データＤ５１１が保存される。

図７（Ａ）の状態からプレゼンター８が左方へ移動して図７（Ｂ）の状態になったとする。図７（Ｂ）では、プレゼンター８はボード面５０の前にエリア５１とエリア５２とをそれぞれ部分的に隠すように立っている。

図７（Ａ）の状態からプレゼンター８が左方へ移動する過程で、図７（Ａ）では対象エリアであったエリア５３がプレゼンター８によって隠されていない状態になる。この状態になるタイミングでボード面５０の撮影が行なわれ、エリア５３の撮影データＤ５３１が保存される。

図７（Ｂ）では、エリア５１とエリア５２とがそれぞれプレゼンター８の陰に隠れており、これら二つのエリア５５１，５２がそれぞれ対象エリアに設定されている。また、エリア５３を対象エリアとした設定は解除されている。

図７（Ｂ）の状態からプレゼンター８が左方へさらに移動して図７（Ｃ）の状態になったとする。図７（Ｃ）では、プレゼンター８はボード面５０の左端部の前に立っており、エリア５１がプレゼンター８の陰に隠れている。

図７（Ｂ）の状態からプレゼンター８が左方へ移動する過程で、図７（Ｂ）では対象エリアであったエリア５２がプレゼンター８の陰に隠れていない状態になる。この状態になるタイミングでボード面５０の撮影が行なわれ、エリア５２の撮影データＤ５２１が保存される。図７（Ｃ）では、エリア５１が対象エリアに設定されており、エリア５２を対象エリアとした設定は解除されている。

図７（Ｃ）の状態からプレゼンター８が左方へさらに移動して図７（Ｄ）の状態になったとする。図７（Ｄ）では、プレゼンター８はボード面５０の向かって左側の傍らに立っている。ボード面５０はプレゼンター８の陰に隠れていない。

図７（Ｃ）の状態からプレゼンター８が左方へ移動する過程で、図７（Ｃ）では対象エリアであったエリア５１がプレゼンター８の陰に隠れていない状態になる。この状態になるタイミングでボード面５０の撮影が行なわれ、エリア５１の撮影データＤ５１２が保存される。図７（Ｄ）では、エリア５１を対象エリアとした設定は解除されている。

図８はオブジェクト３０の移動に応じて行なわれる撮影の第二例を示ている。図８の例では、図６（Ａ）のようにボード面５０の向かって左側に立ってしたプレゼンター８が、しゃがんでボード面５０の左下隅部に書込みをし、その後、立ち上がって右方へ少し移動し、立ったまま左方へ戻るという場面が想定されている。

図８（Ａ）では、ボード面５０の左下隅部が、しゃがんだプレゼンター８の陰に隠れている。ここで、図８（Ａ）の状態になる以前の、プレゼンター８が撮影空間４０の中に入る時点で、既にプレゼンター８はしゃがんでいたとする。つまり、第一の検出部１０１がオブジェクト３０を検出してエリア設定部１０２がボード面５０を区切るとき、オブジェクト３０の上下方向の寸法が所定の閾値よりも小さかったとする。この場合、ボード面５０は、エリア設定部１０２によって図８（Ａ）のように例えば２行３列に並ぶ六つのエリア５４，５５，５６，５７，５８，５９に区切られる。

図８（Ａ）では、六つのエリア５４〜５９のうち、プレゼンター８の陰に隠れるエリア５７が対象エリアに設定されている。

図８（Ａ）の状態からプレゼンター８が立ち上がって右方へ移動して図８（Ｂ）の状態になったとする。図８（Ｂ）では、プレゼンター８はボード面５０の中央部の前に立っている。

図８（Ａ）の状態からプレゼンター８が右方へ移動する過程で、図８（Ａ）では対象エリアであったエリア５７がプレゼンター８の陰に隠れていない状態になる。この状態になるタイミングでボード面５０の撮影が行なわれ、エリア５７の撮影データＤ５７１が保存される。

一方、図８（Ａ）の状態からプレゼンター８が右方へ移動する際に図８（Ｂ）のように立ち上がったことにより、ボード面５０の区切りに関わるオブジェクト３０の大きさが増大する。それをエリア設定部１０２が検知してボード面５０を区切り直す。図８（Ｂ）では、図６、７の例と同様に、ボード面５０は三つのエリア５１，５２，５３に区切られている。そして、中央のエリア５２が対象エリアに設定され、エリア５７を対象エリアとした設定は解除されている。

図８（Ｂ）の状態からプレゼンター８が立ち上がった姿勢のまま左方へ移動して図８（Ｃ）の状態になったとする。図８（Ｃ）では、プレゼンター８はボード面５０の左端部の前に立っている。

図８（Ｂ）の状態からプレゼンター８が左方へ移動する過程で、図８（Ｂ）では対象エリアであったエリア５２がプレゼンター８の陰に隠れていない状態になる、この状態になるタイミングでボード面５０の撮影が行なわれ、エリア５２の撮影データＤ５２１が保存される。そして、当該エリア５２を対象エリアとした設定は解除され、プレゼンター８の陰に隠れているエリア５１が対象エリアに設定される。

この後、図示を省略したが、エリア５１がプレゼンター８の陰に隠れていない状態になったタイミングでボード面５０の撮影が行なわれ、エリア５１の撮影データが保存される。

図９は、オブジェクトの移動に応じて行なわれる撮影の第三例を示す図である。第三例では、机の上に置かれまたは壁に貼られた無地の紙の紙面６０に、プロジェクター１によって画像９０を投影する場面が想定されている。

図９（Ａ）では、プロジェクター１のユーザーが、画像９０が投影されている状態の紙面６０における右上部に書込みをしている。ペンとそれを持つユーザーの手との組合せであるオブジェクト３２が、紙面６０をプロジェクター１に対して隠す位置に存在する。

上述の第一例および第二例と同様に、撮影空間４２内にオブジェクト３２の有ることが第一の検出部１０１によって検出される。撮影空間４２は、プロジェクター１のカメラ１２と紙面６０との間の空間である。第一の検出部１０１からオブジェクト３２が有るとの検出結果の通知を受けて、エリア設定部１０２が紙面６０を区切って対象エリアを設定する。図９（Ａ）では、紙面６０がそれを２行２列に四等分するように四つのエリア６１，６２，６３，６４に区切られており、これらのエリア６１，６２，６３，６４のうち、オブジェクト３２の陰に隠れているエリア６２が対象エリアに設定されている。

図９（Ａ）の状態からユーザーが手を図の下方へ移動させて図９（Ｂ）の状態になったとする。図９（Ｂ）では、ユーザーが紙面６０における右下部に書込みをしており、紙面６０がオブジェクト３２の陰に隠れている。図９（Ｂ）の状態ではエリア６４が対象エリアに設定される。

図９（Ａ）の状態からユーザーの手が図の下方へ移動する過程で、図９（Ａ）では対象エリアであったエリア６２がオブジェクト３２の陰に隠れていない図９（Ｂ）の状態になる。このような状態遷移に係るオブジェクト３２の位置の変化が第二の検出部１０３によって検出されたとき、撮影制御部１０５が紙面６０を撮影するようにカメラ１２を制御する。そして、撮影制御部１０５によって、紙面６０の撮影データのうちのエリア６２に対応する部分である撮影データＤ６２１が不揮発性メモリ１６に格納される。これによって書込みの記録を終えたエリア６２については、対象エリアとした設定が解除される。

以上の実施形態１のプロジェクター１における処理の流れを、図１０のフローチャートを参照しながらまとめる。ここでは、投影のスクリーンとしてホワイトボード５を用いるものとする。

プロジェクター１は、パーソナルコンピューター７からの指示に従って、パーソナルコンピューター７から与えられる画像９０をホワイトボード５に投影する（Ｓ１０）。

第一の検出部１０１が撮影空間４０の中にオブジェクト３０の有ることを検出すると（Ｓ１１でＹＥＳ）、エリア設定部１０２が、オブジェクト３０の大きさに応じて、ボード面５０を複数のエリア（分割エリア）５１〜５３または５４〜５９に区切る（Ｓ１２）。また、エリア設定部１０２は、複数のエリアのうち、オブジェクト３０の陰に隠れるエリアを判別し、判別したエリアを撮影データの保存に関わる対象エリアに設定する。そして、枠表示制御部１０４が、設定された対象エリアの位置を示す枠５１０，５２０，５３０を投影ユニット１１に表示させる（Ｓ１３）。

第二の検出部１０３が、撮影空間４０のうちのカメラ１２と対象エリアとの間の部分である対象エリア空間の内から外へオブジェクト３０の位置が変化したことを検出すると（Ｓ１４でＹＥＳ）、撮影制御部１０５がカメラ１２にボード面５０を撮影させる（Ｓ１５）。そして、撮影制御部１０５は、カメラ１２によって得られた撮影データのうちの対象エリアに対応する部分を不揮発性メモリ１７に格納する（Ｓ１６）。このとき、撮影データと画像９０とを対応づけて保存する処理として、例えば画像９０の識別情報を撮影データに付加する。

パーソナルコンピューター７から画像の切替えまたは投光の終了が指示されるまで、画像９０の投影が続く。プロジェクター１は、画像９０の投影が終了したかどうかをチェックし（Ｓ１７）、投影が終了していない場合（Ｓ１７でＮＯ）、ステップＳ１１に戻って画像９０の表示中の書込みの内容を記録するための処理（Ｓ１１〜Ｓ１７）を続ける。画像９０の投影が終了した場合(Ｓ３２でＹＥＳ）、プロジェクター３は、図９に示される動作を終了する。

なお、画像の切替え指示に従って画像９０の投影を終了した場合、画像９０に代わって表示される画像の表示中の書込みの内容を記録するため、改めてステップＳ１０〜Ｓ１７を実行する。

以上のとおり、実施形態１では、ボード面５０または紙面６０を区切ることで得られる複数のエリア５１〜５９または６１〜６４のそれぞれを書込みの記録の単位とする。これにより、記録する撮影像にオブジェクト３０が映り込まないように撮影をする時期を、ボード面５０または紙面６０内の注目する部分を隠さない位置までオブジェクト３０が移動した時点とすることができる。これに対して、ボード面５０の全体を記録の単位とする場合には、オブジェクト３０がボード面５０のいずれの部分も隠さない位置までオブジェクトが移動するまで、撮影を待たねばならない。

実施形態１は、ボード面５０または紙面６０の全体を記録の単位とする構成との比較の上で、次の（１）〜（２）の効果を有する。
（１）プレゼンテーションに使用される場合において、プレゼンター８は、書込みの内容をプロジェクター１に記録させるために、書込みをしたエリアの前から立ち退けばよく、ボード面５０の前から退避する必要はない。したがって、書込みをした位置にもよるが、概して、書込みをした後に行なうべき移動（立ち退き）の距離が短い。特に、プレゼンター８が頻繁に書込みを行なう場合、プレゼンター８にとって書込みを行なうごとの移動は面倒で大きな負担となる。しかし、移動距離が短くなることで、このようなプレゼンター８の負担が軽減される。

紙面６０に書込みが行なわれる場合も同様に、プロジェクター１のユーザーは、紙面６０に書込みをした後、筆記具をもつ手を対象エリアを隠さない位置まで移動させるだけで書込みの内容を記録させることができ、紙面６０を隠さない位置まで手を大きく移動させる必要がない。手を移動させる距離が短くなることで、ユーザーの負担が軽減される。
（２）プレゼンテーションに使用される場合において、プレゼンター８が書込み後の自己の行動に気を払わずにプレゼンテーションを続けたとしても、書込みの記録の漏れを少なくすることができる。つまり、プレゼンテーションでは、プレゼンター８がボード面５０の前に居続けることはなく、書込みをした後に書き込んだエリアが聴衆に見えるように立ち位置を変えたりペンを持つ腕を下ろしたりするのが通常である。通常の振る舞いを行ないさえすれば、書込みのなされたエリアが隠れていない状態が自然に生じ、書込みを記録するための撮影が自動的に行なわれる。

これに対して、ボード面５０の全体を記録の単位とする構成では、プレゼンター８が書込みをした後、撮影空間４０から出ることなく画像を切り替えたりプレゼンテーションを終えたりした場合、ボード面５０内の書き込まれた位置にかかわらず、一切の書込みが記録されない。実施形態１では、プレゼンター８が書込みをしたエリアを隠さない位置へ移動さえすれば撮影が行なわれるので、ボード面５０の全体を記録の単位とする構成と比べて、画像９０の表示中に行なわれた一切の書込みが記録されないという事態の発生する確率は小さい。

紙面６０に書込みが行なわれる場合も同様に、ユーザーが書込み後の手の移動に気を払わずに自然に振る舞ったとしても、書込みの記録の漏れが生じることは少ない。

実施形態１において、ボード面５０または紙面６０を区切る態様は、上述のように複数の区切りパターンの選択肢のいずれかをオブジェクト３０の大きさに応じて選択して区切るものに限らず、区切りパターンを固定とするものでもよい。また、複数の区切りパターンを記憶しておき、ユーザーによるモードの選択に応じて、いずれかの区切りパターンを適用してボード面５０または紙面６０を区切るようにしてもよい。例えば、プレゼンテーションに適した第１モードと商談に適した第２モードとを設ける。そして、第１モードが選択された場合、図６の例のようにオブジェクト３０として人体３１を想定した上下に長い複数のエリア５１〜５３に区切り、第２選択された場合、図９の例のようにオブジェクト３０として筆記具を持つ手を想定した大きさの複数のエリア６１〜６４に区切る。

オブジェクト３０の大きさに応じて変更する場合も、固定とする場合も、区切りパターンは、図６、図８または図９に示した１×３、２×３または２×２のマトリクスに区切るパターンに限らない。１×２、１×４、２×４、３×１、３×２、３×３のマトリクスを含む任意のマトリクスに区切るパターンであってよい。ボード面５０または紙面６０を等分する必要はなく、例えばオブジェクト３０の陰に隠れる部分とその周囲の所定のマージンを包含する最小の矩形のエリアとそれ以外のエリアに区切ることができる。複数のエリアのそれぞれの形状は、これらエリアの集合によってボード面５０または紙面６０の全域を網羅することができればよく、矩形以外の多角形または不定形であってもよい。
〔実施形態２〕
上述の実施形態１では、実際にボード面５０に書込みが行なわれたかどうかを検出することなく、ボード面５０のうちの撮影データを保存するエリアである対象エリアが設定された。これに対して、本実施形態２では、例えば図１に示される例と同様に使用される場合、ボード面５０のうちの実際にボード面５０に書込みが行なわれたエリアが検出され、検出されたエリアを所定の量だけ広げたエリアが対象エリアとして設定される。

図１１は、実施形態２に係るプロジェクター２の機能構成を示している。プロジェクター２は、実施形態１のプロジェクター１と同様に、図２に示されるハードウェア構成を有する。そして、プロジェクター２は、第一の検出部２０１、エリア設定部２０２、第二の検出部２０３、枠表示制御部２０４、および撮影制御部２０５を有する。これら要素は、ＣＰＵ１５（図２参照）がプログラムを実行することによって実現される機能要素である。

第一の検出部２０１は、ボード面５０における書込みの行なわれた部分を検出する手段である。第一の検出部２０１は、ボード面５０に書込みが行なわれている最中に、当該進行中の書込みによって色材の付着した部分（これを「書込み像」という）を検出する。書込み像の検出は、例えば次のように行なわれる。

第一の検出部２０１は、例えば１〜３秒程度の間隔でオブジェクトセンサー１３を動作させ、動作させるごとにオブジェクトセンサー１３から赤外線撮像データを取得して距離画像を作成する。第一の検出部２０１は、距離画像に基づいて、ボード面５０に接近したオブジェクト３０を検出する。そのようなオブジェクト３０を検出すると、第一の検出部２０１は、オブジェクト３０を検出する以前よりも短い間隔（例えば０．５〜１秒程度）で周期的にカメラ１２にボード面５０を撮影させ、最初の撮影像と最新の撮影像とを比較し、画素値の異なる部分（差分）を抽出する。このとき、比較の対象範囲を、オブジェクト３０の位置の近傍に絞る。これにより、効率的に差分を抽出することができる。また、オブジェクト３０がボード面５０に書込みをし、その書込みからある程度以上離れた位置に新たに書込みをする場合、先の書込みと後の書込みとのそれぞれについて差分を抽出することができる。

撮影像にはオブジェクト３０が映り込んでいる。そこで、第一の検出部２０３は、距離画像の解析または撮影像の画像認識によって、差分に含まれるオブジェクト３０の像を特定する。そして、第一の検出部２０１は、差分からオブジェクト３０の像を除いた残りを書込み像として検出する。

なお、差分の抽出、オブジェクト３０の像の特定、および差分からのオブジェクト３０の像の消去といった画像処理を画像処理部１８が行なうように、第一の検出部２０１が画像処理部１８を制御し、それによって第一の検出部２０１が書込み像を検出してもよい。

書込み像の面積は、書込みが進むにつれて大きくなる。例えば、ユーザーが文字列を書き込む場合、書き込んだ文字数が多くなるにつれて、書込み像の面積は大きくなる。また、書込み像の面積は、書込み像が部分的に消されると小さくなり、書込み像の全体が消されると０になる。書込み像の面積は、このように面積がユーザーの動作に応じて変化する。

第一の検出部２０１は、書込み像を周期的に検出する。そして、検出した書込み像のボード面５０上の位置を検出結果として逐次にエリア設定部２０２に通知する。

エリア設定部２０２は、ボード面５０のうちの撮影データを保存する処理の対象である対象エリアを設定する設定手段である。エリア設定部２０２は、第一の検出部２０１によって検出された書込み像を記録するため、第二の検出部２０３と連携しての対象エリアを設定する。設定の手順は次のとおりである。

エリア設定部２０２は、第一の検出部２０１から検出結果がはじめて通知されたとき、書込み像に対応した仮対象エリアを設定する。仮対象エリアは、書込み像を包含する最小の矩形のエリア（書込み像がこれの輪郭に内接する）を所定の拡張量の分だけ四方に拡張したものに相当する矩形のエリアである。四方のそれぞれの拡張量は、例えば書込み像の寸法（画素数）の５〜２０％程度とする。書込み像のうちのオブジェクトの像と接する部分に対応する部位の拡張量については、書込み内容がオブジェクトで隠れている可能性のあることから、他の部位の拡張量よりも大きくするのがよい。

エリア設定部２０２は、第二の検出部２０３からオブジェクト３０が仮対象エリア空間から出たとの通知を受けるまで、第一の検出部１０１からの２回目以降の検出結果の通知を受けるごとに、仮対象エリアを更新する。“仮対象エリア空間”とは、撮影空間４０のうちのカメラ１２と仮対象エリアとの間の部分である。第二の検出部２０３からオブジェクト３０が仮対象エリア空間から出たとの通知を受けると、エリア設定部２０２は、その時点の仮対象エリアを対象エリアに設定する。

その後、対象エリアの設定から所定の待ち時間が経過するまでの期間内に、オブジェクト３０が対象エリア空間に入ったとの通知を第二の検出部２０３から受けた場合、エリア設定部２０２は、仮対象エリアを対象エリアとした設定を解除する。すなわち、対象エリアを仮対象エリアに戻す。そして、この場合、エリア設定部２０２はその後の第一の検出部２０１からの検出結果に応じて仮対象エリアを更新する。

つまり、オブジェクト３０が所定の待ち時間（例えば１〜５秒の範囲内の時間）よりも短い間隔で対象エリア空間に出入りする場合は、書込みが進行中であると考えられる。そこで、待ち時間が経過するまでの期間中には対象エリアを確定させず、オブジェクト３０の移動に応じて仮対象エリアと対象エリアとの切替えを行なうように、プロジェクター２が制御される。

第二の検出部２０３は、撮影空間４０におけるオブジェクト３０の位置の変化を検出する検出手段である。第二の検出部２０３は、仮対象エリアがエリア設定部２０２によって設定された後、周期的にオブジェクト３０の位置を特定する。その周期は、例えば第一の検出部２０１による書込み像の検出の周期と同じとされる。ただし、これに限るものではなく、書込み像の検出の周期よりも短くても長くてもよい。

第二の検出部２０３は、オブジェクト３０の位置を特定するごとに、今回の位置と前回の位置とを比較することによって、仮対象エリア空間からオブジェクト３０が出たこと、および対象エリア空間にオブジェクトが入ったことをそれぞれ検出する。そして、検出結果をエリア設定部２０２に通知する。

仮対象エリア空間からオブジェクト３０が出たことは、仮対象エリアがオブジェクト３０の陰に隠れない状態になったことに相当する。また、対象エリア空間にオブジェクト３０が入ったことは、対象エリアがオブジェクト３０の陰に隠れる状態になったことに相当する。対象エリア空間は、撮影空間４０のうちのカメラ１２と対象エリアとの間の部分である。

枠表示制御部２０４は、投影ユニット１１に枠を表示させる手段である。枠表示制御部２０４は、エリア設定部２０２によって仮対象エリアが設定されたとき、仮対象エリアの輪郭を示す第一の色（例えば赤色）を枠をボード面５０上に表示するように投影ユニット１１を制御する。また、枠表示制御部２０４は、エリア設定部２０２によって対象エリアが設定されたとき、対象エリアの輪郭を示す第２の色（例えば青色）の枠を、第一の色の枠に代えてボード面５０上に表示するように投影ユニット１１を制御する。

撮影制御部２０５は、対象エリアに表示されている画像をカメラ１２によって取得する取得手段である。撮影制御部２０５は、エリア設定部２０２によって対象エリアが設定されてから上述の待ち時間が経過したとき、ボード面５０を撮影するようにカメラ１２を制御する。

第一の色の枠が表示されることにより、プレゼンター８は、撮影によって記録することが予定されている書込み像を知ることができる。第二の色の枠が表示されることにより、プレゼンター８は、今まさに記録されようとしている書込み像を知ることができる。

図１２は、プロジェクター２による仮対象エリアの設定の一例を示している。図１２（Ａ）および（Ｂ）では、ユーザーがホワイトボード５に書込みをしている最中の様子が描かれている。図示された例において、プロジェクター２のカメラ１２の視野は、ホワイトボード５の書込み可能な面であるボード面５０の全域が撮影空間４０に収まるように調整されている。

図１２（Ａ）では、画像９０が投影されたボード面５０に、既に文字列８２が書き込まれている。ボード面５０の一部が、ペンとそれを持つ手との組合せであるオブジェクト３２の陰に隠れている。

文字列８２が第一の検出部２０１によって書込み像として検出され、文字列８２を包含する矩形の仮対象エリア７１がエリア設定部２０２によって設定されている。そして、仮対象エリア７１の大きさおよび位置を表示する枠７１０が投影されている。

図１２（Ｂ）では、図１２（Ａ）で示された文字列８２に文字を書き足した文字列８２ｂが書き込まれている。文字列８２よりも広い範囲にわたる文字列８２ｂが第一の検出部２０１によって書込み像として検出され、文字列８２ｂを包含するようにエリア設定部２０２によって仮対象エリア７１ｂが設定されている。そして、仮対象エリア７１ｂの大きさおよび位置を表示する枠７１０ｂが投影されている。

図１２の（Ａ）と（Ｂ）とを見比べて分かるように、書込み量が増えた場合、増える前の仮対象エリア７１がそれよりも広い仮対象エリア７１ｂに更新される。

図１３は仮対象エリアの縮小の例を示す図である。

図１３（Ａ）では、ユーザーが文字列８２ｂを書き込んだ段階でいったん書込みを止めて腕を右方へ移動させた様子が描かれている。仮対象エリア７１ｂが設定されたままであり、枠７１０ｂが投影されている。オブジェクト３２は、仮対象エリア７１ｂの右側に存在し、そのほぼ全体が撮影空間４０から出ている。

図１３（Ｂ）では、ユーザーが文字列８２ｂの一部を消している最中の様子が描かれている。ボード面５０の右上半部の前に、イレーサーとそれを持つ手の組合せであるオブジェクト３４が存在する。

既に文字列８２ｂの右端部が消され、文字列８２ｃが残っている。この残っている文字列８２ｃが第一の検出部２０１によって書込み像として検出され、文字列８２ｃを包含する仮対象エリア７１ｃがエリア設定部２０２によって設定されている。そして、仮対象エリア７１ｃの大きさおよび位置を表示する枠７１０ｃが投影されている。

図１３の（Ａ）と（Ｂ）とを見比べて分かるように、書込み量が減った場合、減る前の仮対象エリア７１ｂがそれよりも狭い仮対象エリア７１ｂに更新される。

図１４はプロジェクター２によるボード面５０の撮影の一例を示している。この例では、ボード面５０の右上部に文字列８２ｂを書き込んだユーザーが、続いてボード面５０の右下部に書込みを行なう場面が想定されている。

図１４では、文字列８２ｂを包含する対象エリア７１Ａが既に設定され、対象エリア７１Ａを示す枠７１０Ａが投影されている。また、ボード面５０の右下部に文字列８３が書き込まれており、文字列８３を包含する仮対象エリア７２が設定され、仮対象エリア７２に対応する枠７２０が投影されている。オブジェクト３２は、仮対象エリア７２と接しているが、カメラ１２と対象エリア７１Ａとの間の空間である対象エリア空間４７１から離れている。

対象エリア７１Ａが設定された後、オブジェクト３２が対象エリア空間４７１の外に存在する状態が上述の待ち時間にわたって続いたとき、プロジェクター２のカメラ１２によってボード面５０の撮影が行なわれる。そして、対象エリア７１Ａの撮影データＤ７７１が実施形態１と同様に不揮発性メモリ１７に保存される。撮影データＤ７７１は、ボード面５０の撮影データから対象エリア７１Ａの映った部分を抽出する画像の切出しによって得られるデータである。

以上の実施形態２のプロジェクター２における処理の流れを、図１５と図１６とに示されるフローチャートを参照しながらまとめる。

プロジェクター２は、パーソナルコンピューター７（図１参照）からの指示に従って、パーソナルコンピューター７から与えられる画像９０をホワイトボード５に投影する（図１５のＳ２０）。

撮影空間４０の中にオブジェクト３０が有る場合（Ｓ２１でＹＥＳ）、第一の検出部２０１が書込み像を検出するための上述の処理を実行する（Ｓ２２）。詳しくは、撮影空間４０の中にオブジェクト３０が入ったことを検出したときから、周期的に処理を実行する。書込みが行なわれない場合には、当然、ステップＳ２２において書込み像は検出されない。書込み像を検出した場合、第一の検出部２０１はエリア設定部２０２に書込み像の位置を通知する。

以前に検出されていなかった書込み像の位置が第一の検出部２０１から通知されたとき、エリア設定部２０２は、その書込み像を包含する仮対象エリアを設定する（Ｓ２３）。そして、枠表示制御部２０４が設定されている仮対象エリアの大きさおよび位置を示す第一の色（例えば赤色）の枠を投影するように投影ユニット１１を制御する（Ｓ２４）。複数の仮対象エリアが設定されている場合、それらのそれぞれに対応する枠が表示される。

その後、エリア設定部２０２は、書込み像の位置が第一の検出部２０１から通知されるごとに、必要に応じて仮対象エリアを拡大または縮小する（Ｓ２５）。つまり、書込みが続いたり消されたりするのに応じて、仮対象エリアを更新する。このような仮対象エリアの更新は、オブジェクト３０が仮対象エリア空間から出たことが第二の検出部２０３によって検出されない期間において（Ｓ２６でＮＯ）、第一の検出部２０１によって書込み像が検出されるごとに行なわれる。

オブジェクト３０が仮対象エリア空間から出たことが第二の検出部２０３によって検出されると（Ｓ２６でＹＥＳ）、フローは図１６のステップＳ２７へ進み、エリア設定部２０２が当該仮対象エリア空間に対応する仮対象エリアを対象エリアに変更する。すなわち、仮対象エリアをそのまま対象エリアに設定する。枠表示制御部２０４は、対象エリアの大きさおよび位置を表示する第二の色（例えば青色）の枠を投影するよう投影ユニット１１を制御する（Ｓ２８）。

対象エリアが設定されたとき、第二の検出部２０３が計時を開始し、待ち時間内にオブジェクト３０が対象エリア空間に入ったかどうかをチェックする（Ｓ２９）。待ち時間内にオブジェクト３０が対象エリア空間に入る場合として、例えば「ユーザーが対象エリアの書込みに追記したり、書込みを修正または消去したりしようとして対象エリアに近づく」という場合が考えられる。

オブジェクト３０が対象エリア空間に入ったことが第二の検出部２０３によって検出された場合（Ｓ２９でＹＥＳ）、エリア設定部２０２は、書込み像がユーザーによって変更される可能性があると判断して、対象エリアを仮対象エリアに戻す（Ｓ３３）。この場合、フローは、図１６のステップＳ３３から図１５のステップＳ２４へ戻る。

一方、対象エリアが設定された後、待ち時間内にオブジェクト３０が当該対象エリアに対応する対象エリア空間に入らなかった場合、ステップＳ２９のチェック結果はＮＯとなる。ステップＳ２９のチェック結果がＮＯであった場合、撮影制御部２０５がカメラ１２にボード面５０を撮影させる（Ｓ３０）。そして、撮影制御部２０５は、カメラ１２によって得られた撮影データから対象エリアに対応する部分を抽出して不揮発性メモリ１７に格納する（Ｓ３１）。つまり、対象エリアの撮影データを保存する。

撮影データの保存に際して、撮影制御部２０５は、撮影データと画像９０とを対応づける処理として、例えば画像９０の識別情報を撮影データに付加する。また、撮影データがボード面５０内のどこに対応するかが分かるように、ボード面５０における対象エリアの位置を特定する位置情報を撮影データに付加する。さらに、一つの画像９０の表示中に複数個所に書込みが行なわれる場合に、書込みの順序が分かるように、保存する複数の撮影データの時系列を特定する情報（例えば撮影時刻）を撮影データに付加する。

撮影された対象エリアについて、エリア設定部２０２はこのエリアを対象エリアとした設定を解除する。仮対象エリアに変更することもしない。

パーソナルコンピューター７から画像の切替えまたは投光の終了が指示されるまで、画像９０の投影が続く。プロジェクター２は、画像９０の投影が終了したかどうかをチェックし（Ｓ３２）、投影が終了していない場合（Ｓ３２でＮＯ）、ステップＳ２１に戻って画像９０の表示中の書込みの内容を記録するための一連の処理（Ｓ２１〜Ｓ３３）を続ける。画像９０の投影が終了した場合(Ｓ３２でＹＥＳ）、プロジェクター３は、図１５および図１６に示される動作を終了する。

なお、画像の切替え指示に従って画像９０の投影を終了した場合、画像９０に代わって表示される画像の表示中の書込みの内容を記録するため、改めてステップＳ２０〜Ｓ３３を実行する。

以上の実施形態２によると、実施形態１と同様の効果が得られる。すなわち、プレゼンター８は、ホワイトボード５に書込みをした後、仮対象エリアを隠さない位置まで移動するだけで書込みの内容を記録させることができ、ボード面５０を隠さない位置まで大きく移動する必要がない。

また、実施形態２では、実際に書込みが行なわれたエリアの撮影データを保存するので、書込みの行なわれていないエリアの撮影データを保存してしまうという無駄な動作がない。

実施形態１、２において、オブジェクト３０の検出に係る測距の方法は、ＴＯＦ法に限らない。例えば、視点の異なる二つの撮影像を比較して被写体の視差を求め、三角測量の手法で視点からオブジェクト３０までの距離を算出してもよい。その場合、オブジェクトセンサー１３として、発光素子と二つの撮像デバイスを有するセンサーを用いる。

撮影空間４０，４２内のオブジェクト３０の大きさおよび三次元位置の特定を、カメラ１２で撮影したボード面５０または紙面６０の撮影像に基づく画像認識によって行なうようにしてもよい。三次元位置の特定については、撮影像内のオブジェクト３０の部分とオブジェクトの影の部分との距離を、オブジェクト３０とボード面５０または紙面６０との距離に換算する方法がある。

対象エリアの撮影データを不揮発性メモリ１７に格納した後にまたは格納せずに、当該撮影データをパーソナルコンピューター７へ転送することができる。ボード面５０または紙面６０の撮影データから対象エリアの撮影データＤ５１１，Ｄ５３１，Ｄ５２１，Ｄ５２１，Ｄ５１２，Ｄ５７１，Ｄ５２１，Ｄ６２１，Ｄ７１１を切り出す際に、枠５１０，５２０，５３０，７１０Ａの内側の範囲を切り出して書込み像を記録するようにしてもよいし、枠５１０，５２０，５３０，７１０Ａを含めて切り出して、枠５１０，５２０，５３０，７１０Ａに囲まれた書込み像を記録するようにしてもよい。書込み像は文字列８０，８２，８２ｂ，８３に限らず、線、図形、またはこれらと文字との組合せでもよい。

ボード面５０，６０の全体を撮影して対象エリアの撮影データＤ５１１，Ｄ５３１，Ｄ５２１，Ｄ５２１，Ｄ５１２，Ｄ５７１，Ｄ５２１，Ｄ６２１，Ｄ７１１を抽出するのに代えて、対象エリアを選択的に視野に収めるズーミングを行なって撮影し、それによって対象エリアの撮影データを得ることができる。カメラ１２からその受光面に並ぶ受光素子のうちの対象エリアに対応する受光素子の出力を選択的に取り出してもよい。

実施形態２において、仮対象エリアに対応する枠と対象エリアに対応する枠とを色分けする代わりに、輝度または模様を異ならせてこれらを区別することができる。枠を表示するモードと表示しないモードとを設け、プロジェクター２のユーザーが適宜これらモードの一方を選択できるようにしてもよい。枠の表示に代えてまたは枠の表示と合わせて、仮対象エリアおよび対象エリアのそれぞれの輝度または背景色を当該エリアの周囲の輝度または背景色と異ならせることも可能である。仮対象エリアと対象エリアとにそれぞれ異なる地紋を付すこともできる。

実施形態２において、撮影された対象エリア内の書込み像の位置を記憶しておき、第一の検出部２０１が、記憶している位置またはその近傍に在る書込み像を検出した場合、検出した書込み像と記憶している位置の像とを合わせた像を包含するエリアの位置をあらたな書込み像の検出結果としてエリア設定部２０２に通知するようにえもよい。そうすることにより、以前の書込みに書き足す書込みが行なわれた場合、書き足された部分だけでなく、書き足された書込みの全体を記録することができる。

実施形態１、２では、投影ユニット１１とカメラ１２とが一体化されたプロジェクター１，２を挙げたが、画像を投影する表示手段と投影面を撮影する撮影手段とが図１７に示されるシステム構成のように二つの装置の一方と他方とに分かれた場合にも、本発明を適用することができる。

図１７において、投影と撮影とを行なうシステム３は、携帯型のプロジェクター３Ａとカメラ（撮影手段）を備えた携帯型の情報端末３Ｂとから構成される。情報端末３Ｂは例えばスマートフォンである。

プロジェクター３Ａは、例えば机の上に書込みの可能なスクリーンとして置かれた紙６に画像を投影する。プロジェクター３Ａは、紙６を見下ろす位置に配置され、プロジェクター２Ａによる投光の範囲は紙６の紙面６０の一部を投影面６０Ａとして用いるように調整されている。

情報端末３Ｂは紙６を撮影する。情報端３Ｂも紙６を見下ろす位置に配置され、情報端３Ｂのカメラの視野は書き込みされる可能性のある紙面６０の全域を撮影することができるように調整されている。

システム３において、上述の実施形態１のプロジェクター１と同様の機能、または実施形態２のプロジェクター２と同様の機能を実現することができる。プロジェクター１と同様の機能を実現する場合、システム３は、図５に示した第一の検出部１０１、エリア設定部１０２、第二の検出部１０３、枠表示制御部１０４、および撮影制御部１０５と同等の機能要素を有する。また、プロジェクター２と同様の機能を実現する場合、システム３は、
図１１に示した第一の検出部２０１、エリア設定部２０２、第二の検出部２０３、枠表示制御部２０４、および撮影制御部２０５と同等の機能要素を有する。

プロジェクター１と同様の機能を実現する場合もプロジェクター２と同様の機能を実現する場合も、複数の機能要素の一部をプロジェクター３Ａに設け、残りの機能要素を情報端末３Ｂに設けることができる。例えば、枠表示制御部１０４，２０４をプロジェクター３Ａに設け、残りの第一の検出部１０１，２０１、エリア設定部１０２，２０２、第二の検出部１０３，２０３、および撮影制御部１０５，２０５を情報端末３Ｂに設けることができる。

プロジェクター１，３およびシステム２の構成、動作、形状、用途などは本発明の趣旨に沿う範囲で適宜変更することができる。オブジェクト３０の有無、オブジェクト３０の位置の変化、または書込み像を検出する周期は、例として挙げた値に限らず、プロジェクター１，３およびシステム２の用途に応じて最適化することができる。例えば、実施形態１において、オブジェクト３０の有無の検出の周期を長めに選定することで、実際には書込みの行なわれていないエリアの撮影データを記録するのを低減することができる。

１，２ プロジェクター（撮影システム）
１１ 投影ユニット（表示手段）
１２ カメラ（撮影手段）
１０１，２０１ 第一の検出部
１０３，２０３ 第二の検出部（検出手段）
１０２，２０２ エリア設定部（分割エリア設定手段）
１０４，２０４ 枠表示制御部
１０５，２０５ 撮影制御部（取得手段）
５０ ボード面（面）
６０ 紙面（面）
８ プレゼンター（物体）
３０，３１，３２，３３，３４ オブジェクト（物体）
４０ 撮影空間（空間）
４７１ 対象エリア空間（第二の空間）
５１０，５２０，５３０，７１０，７１０ｂ、７１０ｃ、７２０ 枠（識別画像）
７１０Ａ 枠（識別画像）
Ｄ５１１，Ｄ５３１，Ｄ５２１，Ｄ５２１，Ｄ５１２ 撮影データ（画像）
Ｄ５７１，Ｄ５２１，Ｄ６２１，Ｄ７１１ 撮影データ（画像）
５１〜５９ エリア（分割エリア）
６１〜６４ エリア（分割エリア）
７１Ａ 対象エリア（エリア）
７１，７１ｂ，７１ｃ，７２ 仮対象エリア（第二のエリア）
８２，８２ｂ、８２ｃ 文字列（第三のエリア）
１５ ＣＰＵ（コンピューター）
３ システム（撮影システム）
３Ａ プロジェクター
３Ｂ 情報端末（コンピューター）
４２ 撮影空間（空間）

Claims (11)

1. 面を撮影する撮影手段と、
   物体の、前記面と前記撮影手段との間の空間における位置の変化を検出する、検出手段と、
   前記検出手段によって前記変化が検出された場合に、前記面における、前記撮影手段から前記物体によって当該変化の前は見えなかったが当該変化の後に見えるようになったエリアの画像を、当該撮影手段によって取得する、取得手段と、
   を有することを特徴とする撮影システム。
2. 前記物体が前記空間に占めるサイズに応じて前記面を複数の分割エリアに区切る分割エリア設定手段、を有し、
   前記取得手段は、前記変化として、前記物体が前記複数の分割エリアのうちの１つと前記撮影手段との間の第二の空間から出たことが前記検出手段によって検出された場合に、当該１つの分割エリアを前記エリアとして前記画像を取得し、
   前記分割エリア設定手段は、前記物体が前記空間に入った場合、および、前記物体が前記第二の空間から前記複数の分割エリアのうちの他の１つと前記撮影手段との間の第三の空間へ移動した場合に、前記面を区切り直す、
   請求項１に記載の撮影システム。
3. 前記面は、複数の分割エリアに区切られており、
   前記取得手段は、前記変化として、前記物体が前記複数の分割エリアのうちの１つと前記撮影手段との間の第二の空間から出たことが前記検出手段によって検出された場合に、当該１つの分割エリアを前記エリアとして前記画像を取得する、
   請求項１に記載の撮影システム。
4. 前記複数の分割エリアのうちの前記物体によって前記撮影手段から見えない分割エリアを指し示す識別画像を前記面に表示する表示手段、を有する、
   請求項２または請求項３に記載の撮影システム。
5. 前記表示手段は、さらに、前記物体が前記第二の空間から出たことが前記検出手段によって検出された場合に、前記複数の分割エリアのうちの当該第二の空間に係る分割エリアを指し示しかつ前記識別画像とは異なる第二の識別画像を、前記面に表示する、
   請求項４に記載の撮影システム。
6. 面における書込みを検出する書込み検出手段、を有し、
   前記取得手段は、前記変化として、前記書込みを含む一部分である第二のエリアと前記撮影手段との間の第二の空間から出たことが前記検出手段によって検出された場合に、当該第二のエリアを前記エリアとして前記画像を取得する、
   請求項１に記載の撮影システム。
7. 前記検出手段は、定期的に前記書込みを検出し、
   前記第二のエリアは、前記書込みが内接する第三のエリアを所定の量だけ広げたものである、
   請求項５に記載の撮影システム。
8. 前記第二のエリアを表わす識別画像を前記面に表示する表示手段、を有する、
   請求項６または請求項７に記載の撮影システム。
9. 前記表示手段は、さらに、前記物体が前記第二の空間から出たことが前記検出手段によって検出された場合に、前記第二のエリアを指し示しかつ前記識別画像とは異なる第二の識別画像を、前記面に表示する、
   請求項８に記載の撮影システム。
10. 面を撮影する撮影手段を使用する撮影の方法であって、
    物体の、前記面を前記撮影手段との間の空間における位置の変化を検出する第一のステップと、
    前記第一のステップによって前記変化が検出された場合に、前記面における、前記撮影手段から前記物体によって当該変化の前は見えなかったが当該変化の後に見えるようになったエリアの画像を、当該撮影手段によって取得する第二のステップと、
    を有することを特徴とする撮影の方法。
    方法
11. 面を撮影する撮影手段を制御するコンピューターに用いられるコンピュータープログラムであって、
    前記コンピューターに、
    物体の、前記面と前記撮影手段との間の空間における位置の変化を検出する第一の処理を実行させ、
    前記第一の処理によって前記変化が検出された場合に、前記面における、前記撮影手段から前記物体によって当該変化の前は見えなかったが当該変化の後に見えるようになったエリアの画像を取得するように、当該撮影手段を制御する第二の処理を実行させる
    ことを特徴とするコンピュータープログラム。
    
    

Images