JPH1146318A - 視線制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 ロボット等の被制御体の遠隔制御を自動で行
うことができる視線制御装置を提供する。 【解決手段】 被写体（被制御体）１を撮像するＣＣＤ
３からの信号とＣＣＤ７からの信号により視線検出回路
８で撮影者の視線を検出する。そして、検出した視線検
出信号を通信回路９、通信手段１０，１１を介して受信
し、その視線検出信号に基づいて被写体１の動作の制御
を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線を検出して外
部からの遠隔操作を必要とするロボット等の被制御体の
動きを制御する視線制御装置に関するものである。

【０００２】

【従来の技術】従来、外部からの制御を必要（目的を含
む）とする被制御装置の制御については、リモコン等に
よる上下左右、回転、停止等の制御を行う方法が一般的
である。

【０００３】図１３は従来の撮像装置と電動式のフィル
ム給送装置の関係を示す斜視図である。

【０００４】同図において、８９は撮像装置、９０は撮
像装置８９とフィルム給送装置を接続するアダプター、
９１は電動式のフィルム給送装置、９２はフィルム給送
装置本体内に収納されたパトローネ、９３はフィルム、
９４〜９７は電動式でフィルム９３の給送及び位置制御
を行うスイッチ類（Ｘ−Ｙ制御スイッチ）、９８はフィ
ルム９３を後方から照射するランプユニット、９９はラ
ンプユニット９８の電源スイッチ、１００はランプの明
るさをコントロールする調光ボリウムである。

【０００５】上記のような構成のフィルム給送装置にお
いては、上下方向及び左右方向の駆動を操作スイッチ９
４〜９７を用いて行うか、あるいは手動で行うようにし
ている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の制御方法では、被制御装置の操作に対して
スイッチ、もしくは手動で操作を行うため、操作又は撮
影に集中することが困難であるという問題点があった。

【０００７】また、スイッチ操作が煩わしいという問題
点があった。

【０００８】本発明は上記のような問題点を解決するた
めになされたもので、被制御装置の遠隔制御を自動で行
うことができる視線制御装置を提供することを目的とす
る。

【０００９】

【課題を解決するための手段】本発明の視線制御装置は
次のように構成したものである。

【００１０】（１）視線を検出する検出手段を有した撮
像装置からの視線検出信号を受信する通信手段を備え、
その撮像装置から送信された視線検出信号に基づいて被
制御体の制御を行うようにした。

【００１１】（２）上記（１）の視線制御装置におい
て、撮像装置から送信された視線検出信号を制御信号に
変換する制御ユニットを設け、その変換した制御信号に
より被制御体の制御を行うようにした。

【００１２】（３）上記（１）または（２）の視線制御
装置において、撮像装置からの送信された視線信号に基
づいて前記撮像装置に接続したフィルム給送装置の制御
を行うようにした。

【００１３】

【発明の実施の形態】

（第１の実施例）図１は本発明の第１の実施例のシステ
ム構成を示すブロック図である。同図において、１は被
写体である被制御装置（被制御体）、２は撮像装置、３
は被写体を撮像するＣＣＤ、４はＣＣＤ３の信号を映像
信号に変換する信号処理回路、５は視線検出機能を有す
るビューファインダー、６はビューファインダー５の接
眼部、７は視線検出するためのＣＣＤ、８は視線を検出
する視線検出回路、９は被制御装置１との通信を行う通
信回路、１０は撮像装置２の通信手段、１１は制御装置
の通信手段、１２は被制御装置１に内蔵される制御装置
（視線制御装置）、１３は撮像装置２からの視線検出信
号を受けて前後、左右、回転等の制御を行う制御部、１
４は制御回路、１５は駆動機構部であり、前後駆動部１
６、左右駆動部１７、回動駆動部１８等により構成され
ている。

【００１４】上記のようなシステム構成で被制御装置１
を撮像装置２で撮影している状態において、被制御装置
１を撮像するＣＣＤ３から信号処理回路４に信号が伝達
されると、信号処理回路４で映像信号に変換され、視線
検出回路８に映像信号が伝達される。その信号とＣＣＤ
７の信号から撮影者の視線を検出する。検出された視線
検出信号は通信回路９、通信手段１０，１１を介して制
御装置１２に通信される。制御装置１２内の制御部１３
に視線検出信号が伝達されると、制御回路１４は駆動機
構部１５内の前後駆動部１６と左右駆動部１７、回転駆
動部１８の制御を行う。

【００１５】図１０は第１の実施例の使用例を示す説明
図であり、図９に示すように撮影者が視線検出手段を有
するゴーグル状の撮像装置７３で玩具である被制御装置
７５の制御を行っている。撮像装置７３によって視線検
出信号が通信手段７４及び７６を会して被制御装置７５
に伝達されると、制御対象である機構部７７が制御され
る。なお、このモデルの場合は通信手段７４及び７６を
用いた無線通信を行っている。

【００１６】ここで、視線検出技術について述べる。

【００１７】まず、視線検出の原理を図４，図５を用い
て以下に説明する。

【００１８】図４（ａ）は視線検出方法の原理を示す条
件図、図４（ｂ）は視線検出方法の原理を示す側面図で
ある。

【００１９】図４において、５０ａ，５０ｂは観察者に
対して不感の赤外光を放射する発光ダイオード（ＩＲＥ
Ｄ）等の光源であり、各光源は集光レンズ５３の光軸に
対してｘ方向（水平方向）に略対象に（図４（ａ））、
またｙ方向（垂直方向）にやや下側に（図４（ｂ））配
置され、観察者の眼球を発散照明している。眼球で反射
した照明光の一部は集光レンズ５３によってイメージセ
ンサー５４に結像する。図５（ａ）はイメージセンサー
５４に投影される眼球像を示す概略図、図５（ｂ）はイ
メージセンサー５４の出力強度を示す図である。

【００２０】以下、各図を用いて視線の検出方法を説明
する。

【００２１】まず、水平面で考えると、図４（ａ）にお
いて光源５０ｂより放射された赤外光は観察者の眼球５
１の角膜５２を照明する。この時、角膜５２の表面で反
射した赤外光により形成される角膜反射像ｄ（虚像）は
集光レンズ５３により集光され、イメージセンサー５４
上の位置ｄ′に結像する。同様に光源５０ａより放射さ
れた赤外光は眼球の角膜５２を照明する。この時、角膜
５２の表面で反射した赤外光により形成された角膜反射
像ｅ（虚像）は、集光レンズ５３により集光され、イメ
ージセンサー５４上の位置ｅ′に結蔵する。また、虹彩
４９の端部ａ，ｂからの光束は集光レンズ５３を介して
イメージセンサー５４上の位置ａ′，ｂ′に該端部ａ，
ｂの像を結像する。

【００２２】集光レンズ５３の光軸に対する眼球５１の
光軸の回転角θが小さい場合、虹彩４９の端部ａ，ｂの
ｘ座標をｘａ，ｘｂとすると、ｘａ，ｘｂはイメージセ
ンサー５４上で多数点求めことができる（図５（ａ）中
の×印）。そこで、まず円の最小自乗法にて瞳孔中心ｘ
ｃを算出する。

【００２３】一方、角膜５２の曲率中心ｏのｘ座標をｘ
ｏとすると、眼球５１の光軸に対する回転角θｘは、
ｏｃ＊ｓｉｎθｘ＝ｘｃ−ｘｏ （１）となる。

【００２４】また、角膜反射像ｄとｅの中心ｋに所定の
補正値δｘを考慮してｘｏを求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ （２） ここで、δｘは装置の設置方法／眼球距離等から幾何学
的に求められる数値であり、その算出方法は省略する。
よって、（１）を（２）へ代入しθｘを求めると、 θｘ＝arcsin［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］ （３） さらに、イメージセンサー５４上に投影された各々の特
徴点の座標を、′（ダッシュ）をつけて（４）式に書き
換えると、 θｘ＝arcsin［［ｘｃ′−｛（ｘｄ′＋ｘｅ′) ／２＋δｘ′｝］ ／ｏｃ／β］ （４） となる。ここでβは集光レンズ５３に対する眼球の距離
ｓｚｅにより決まる倍率で、実際は角膜反射像の間隔｜
ｘｄ′−ｘｅ′｜の関数として求められる。

【００２５】垂直面で考えると、図４（ｂ）に示すよう
な構成となる。ここで２個のＩＲＥＤ５０ａ，５０ｂに
より生じる角膜反射像は同位置に発生し、これをｉとす
る。眼球の回転角θｙの算出方法は水平面の時とほぼ同
一であるが（２）式のみ異なり、角膜曲率中心ｏのｙ座
標をｙｏとすると、 ｙｏ＝ｙｉ＋δｙ （５） ここでδｙは装置の配置方法、眼球距離等から幾何学的
に求められる数値であり、その算出法は省略する。よっ
て垂直方向の回転角θｙは、 θｙ＝arcsin［［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β］ （６） となる。

【００２６】さらに、撮像装置のファインダー画面上の
位置座標（ｘｎ，ｙｎ）はファインダー光学系で決まる
定数ｍを用いると、水平面上、垂直面上それぞれ、 ｘｎ＝ｍ＊arcsin［［ｘｃ′−｛（ｘｄ′＋ｘｅ′）／２＋δｘ′｝］ ／ｏｃ／β］ （７） ｙｎ＝ｍ＊arcsin［［ｙｃ′−｛（ｙｉ′＋δｙ′）］／ｏｃ／β］ （８） となる。

【００２７】図５で明らかなように、瞳孔エッヂの検出
はイメージセンサー出力波形の立ち上がり（ｘｂ′）、
立ち下がり（ｘａ′）を利用する。また、角膜反射像の
座標は鋭い立ち上がり部（ｘｅ′）及び（ｘｄ′）を利
用する。

【００２８】次に、視線検出機能を持つ撮像装置の例を
説明する。

【００２９】図６は視線検出機能を持つ撮像装置の構成
例を示す概略図である。

【００３０】図６に示す撮像装置は、ズームレンズを備
え被写体を撮像するレンズ撮像系５６と、レンズ撮像系
５６により撮像される被写体を観察するためのＬＣＤ
（液晶表示器）等を有する表示素子５７と、この表示素
子５７の前に配置された第一の接眼レンズ５８と、撮影
者の眼の直前に配置された第二の接眼レンズ６４、撮影
者の眼５５の視線を検出する視線検出手段６０と、フォ
ーカスエリアの概略を表すＡＦ枠、後述する視線スイッ
チの指標、その他テープカウンターや撮影モードなど撮
影者に必要な情報等を表示素子５７へ表示する表示回路
６１と、この撮像装置（カメラ）の各部を制御するシス
テムコントロール手段６２と、さまざまなデータを記憶
するためのメモリ６３、撮像装置の機能を実行するため
の操作キー（スイッチ）検出手段５９を有して概略構成
されている。

【００３１】前記視線検出手段６０は、撮影者の眼５５
に赤外光を照射する赤外発光ダイオード（光源）５０
と、可視光を反射し赤外光を透過するダイクロイックミ
ラー６５と、このダイクロイックミラー６５を透過した
赤外光を集光する集光レンズ５３と、この集光レンズ５
３により集光された赤外光を電気信号に変換する光電変
換素子（イメージセンサー）５４と、この光電変換素子
５４上の撮影者の眼５５の像を基に、撮影者の表示素子
５７上の注視点を求める注視点検出回路６６とを具備し
ている。

【００３２】ダイクロックミラー６５は可視光を反射す
るため、撮影者が接眼レンズ５８、６４を通して表示素
子５７の画面を観察できるようになっている。また、ダ
イクロックミラー６５は赤外光を透過するため、赤外発
光ダイオード５０によって照射された眼５５の反射像
は、第二の接眼レンズ６４を通って、集光レンズ５３で
集光されて光電変換素子５４上に像を結ぶようになって
いる。

【００３３】注視点検出回路６６は、光電変換素子５４
上の撮影者の眼５５の像を基に前述した原理や、特開平
第１−２４１５１１，２−３２３１２号公報等によって
開示されたアルゴリズムに従い、撮影者の表示素子５７
画面上の注視点を求められるものである。

【００３４】ここで、撮像装置２のビューファインダー
５に搭載されている視線による入力を行うスイッチの機
能について説明する。

【００３５】図７は表示素子５７の表示例を示す模式図
であり、同図に示すように、アルファベット「Ｌ」、
「Ｒ」、「Ｔｕｒｎ」、「Ｆ」で示す互いに異なる動作
機能を意味する指標６７ａ，６７ｂ，６７ｃ，６７ｄか
らなるメニューが表示されている。ここで例えば「Ｌ」
は左側への移動、「Ｒ」は右側への移動、「Ｔｕｒｎ」
は回転動作、「Ｆ」は前進をそれぞれ示すものとする。

【００３６】次に、システムコントロール手段６２の動
作を説明する。注視点検出回路６６は、常に撮影者の視
線座標を検出し、システムコントロール手段６２へ出力
している。ここで、撮影者が「Ｌ」表示を注視したとす
る。システムコントロール手段６２は、範囲αの中に、
所定時間注視点が入ったかを判断し、所定時間注視点が
入った場合、範囲αから注視点がはずれるまで左側への
移動を実行すべく、被制御装置へ信号を送る。

【００３７】システムコントロール手段６２の動作は
「Ｒ」、「Ｔｕｒｎ」、「Ｆ」の注視点についても同様
である。

【００３８】なお、図１、後述の図２及び図３、図１
０、後述の図１１の通信手段１０，１１，１９，２３，
２４，３２，４３，４４，７４，７６，７９，８１は、
赤外線通信、マルチコネクタなどを用いたワイヤー度通
信、電波通信などにより通信を行うものである。

【００３９】（第２の実施例）図２は本発明の第２の実
施例のシステム構成を示すブロック図である。同図にお
いて、１は被写体である被制御装置、２は撮像装置、２
０は視線検出信号を被制御装置１の制御信号に変換する
視線制御ユニット、１９は視線制御ユニットの撮像装置
２側の通信手段、２１は信号変換部、２２は信号変換回
路、２３は制御装置側の通信手段、２４は制御装置の通
信手段、２５は被制御装置１に内蔵される制御装置、２
６は前後、左右、回転等の制御を行う制御部、２７は制
御回路、２８は駆動機構部、２９は前後駆動部、３０は
左右駆動部、３１は回転駆動部である。

【００４０】上記のようなシテテム構成で被写体である
被制御装置１を撮像装置２で撮影している状態におい
て、通信手段１０までの撮像装置の動作は第１の実施例
と同じである。検出された視線信号は通信手段１０，１
９を介して視線制御ユニット２０に通信される。視線制
御ユニット２０内の信号変換部２１に視線検出信号が伝
達されると、信号変換回路２２は制御装置２５に合わせ
た制御信号に変換する。変換された制御信号は、通信手
段２３，２４を介して制御装置２５に信号が伝達され
る。伝達された制御信号により、制御部２６内の制御回
路２７は、駆動機構部２８内の前後駆動部２９、左右駆
動部３０、回転駆動部３１のコントロールを行う。視線
検出信号の検出方法、システムコントロール手段６２の
動作については第１の実施例と共通である。

【００４１】図１１は第２の実施例の使用例を示す説明
図であり、同図に示すように撮影者が視線検出手段を有
するゴーグル状の撮像装置７８で被制御装置（パーソナ
ルコンピュータ）８３の制御を行っている。撮像装置７
８によって視線検出信号が通信手段７９を介して視線制
御ユニット８０に伝達されると、視線制御ユニット８０
内で視線制御信号がパーソナルコンピュータ８３の制御
信号に変換される。変換された制御信号は通信手段８１
を介してパーソナルコンピュータ８３内の制御部により
ディスプレイ上の選択点８６，８７，８８を選択する。
なお、８２はパーソナルコンピュータ８３の通常の入力
部（マウス等）、８５は操作キーである。なお、このモ
デルの場合は通信手段７９及び８１を用いたワイヤード
通信を行っている。

【００４２】（第３の実施例）図３の本発明の第３の実
施例のシステム構成を示すブロック図である。同図にお
いて、４０，４１，４２は被写体であるフィルムであ
り、電動式のフィルム給送装置３３にセットされる。２
は撮像装置、３２は電動式のフィルム給送装置３３内の
撮像装置側の通信手段、３４はフィルム４０，４１，４
２の上下、左右、給送等の制御部、３５は制御回路、３
６は駆動制御部、３７は上下駆動部、３８は左右駆動
部、３９は給送駆動部、４３はランプユニット４５側の
通信手段である。４４はランプユニット４５内の通信手
段、４６はランプの発光制御部、４７は制御回路、４８
はランプである。

【００４３】上記のようなシステム構成でフィルム給送
装置３３にセットされているフィルム４１を撮像装置２
で撮影している状態において、通信手段１０までの撮像
装置の動作は第１の実施例と同じである。検出された視
線信号は通信手段１０，３２を介してフィルム給送装置
３３の制御部３４に通信される。フィルム給送装置３３
内の制御部３４に視線検出信号が伝達されると、制御回
路３５でセットされたフィルム４０，４１，４２につい
て、上下駆動部３７、左右駆動部３８、給送駆動部３９
の制御が行われる。さらに、視線検出信号は通信手段４
３，４４を介してランプユニット４５内の発光制御部４
６に通信される。通信された視線検出信号は制御回路４
７に伝達され、ランプ４８の発光ＯＮ／ＯＦＦ、調光、
色温度調整等の制御を行う。

【００４４】また、第１の実施例で説明した視線スイッ
チの機能によって実現される制御を、図８を用いて説明
する。

【００４５】図８は表示素子５７の表示例を示す模式図
であり、同図に示すように、アルファベット「Ｗ」、
「Ｔ」、「＋」、「−」で示す互いに異なる動作機能を
意味する指標６８ａ，６８ｂ，６８ｃ，６８ｄからなる
メニューが表示されている。ここで例えば「Ｗ」はワイ
ド側へのズーミング、「Ｔ」はテレ側へのズーミング、
「＋」は右側への駒送り動作、「−」は左側への駒送り
動作をそれぞれ示すものとする。

【００４６】なお、視線検出信号の検出方法、システム
コントロール手段６２の動作については第１の実施例と
共通である。

【００４７】また、表示素子５７は制御している被制御
装置を表示素子５７の中央に移動する機能を実行するた
めの指示を備えている。その機能について図９を用いて
説明する。

【００４８】図９は表示素子５７の表示例を示す図であ
り、同図において、５７は表示素子、６９は被制御装置
を表示素子５７の中央７１に移動させる機能（以下、被
制御装置移動機能）のＯＮスイッチ（指標）、７０は被
制御装置移動機能のＯＦＦスイッチ（指標）、７２は被
制御装置（被写体）である。

【００４９】まず、撮影者がＯＮスイッチ６９を注視し
て被制御装置移動機能をＯＮさせた後、被制御装置７２
を注視した場合、前述の視線検出手段によりシステムコ
ントロール手段６２と、図１に示す制御部１３間で通信
を行い、駆動機構部１５内の前後駆動部１６と左右駆動
部１７、回転駆動部１８の制御を行い、被制御装置７２
が表示素子５７の中央７１になるように制御を行う。被
制御装置７２が中央７１に移動した後は、被視体移動機
能のＯＦＦスイッチ７０を注視することにより被制御装
置７２の位置関係を安定することが出来る。第１の実施
例では、これらの技術を用いて得られた視線検出信号を
撮像装置２から被制御装置１に通信を行い、自動で制御
を行うことを可能にしている。

【００５０】図１２は第３の実施例の外観構成を示す斜
視図である。

【００５１】同図において、１０１は視線検出機能を有
する撮像装置、１０２は撮像装置１０１側の通信手段、
１０３は撮像装置とフィルム給送装置を接続するアダプ
ター、１０４は接続アダプターの通信手段、１０５はフ
ィルム給送装置、１０６はパトローネ、１０７はフィル
ム、１０８はフィルム給送装置１０５の通信手段、１０
９はランプユニット、ランプユニット１０９の発光面側
には通信手段１１０がある。

【００５２】上記の構成により、前述した視線検出信号
によるフィルム給送装置１０５及びランプユニット１０
９の自動制御が可能になる。

【００５３】

【発明の効果】以上説明したように、本発明によれば、
視線を検出する検出手段を有した撮像装置からの視線検
出信号を受信する通信手段を備え、その撮像装置から送
信された視線検出信号に基づいて被制御体の制御を行う
ようにしたため、煩わしいスイッチ、手動での操作を行
う必要がなく、自動で被制御装置（被制御体）を遠隔制
御することができるという効果がある。

【００５４】また、撮像装置から送信された視線検出信
号を制御信号に変換する制御ユニットを設け、その変換
した制御信号により被制御体の制御を行うようにしたた
め、上記と同様な効果がある。

【００５５】また、撮像装置からの送信された視線信号
に基づいて前記撮像装置に接続したフィルム給送装置の
制御を行うようにしたため、自動でフィルム給送装置の
遠隔制御を行うことができるという効果がある。

【図面の簡単な説明】

【図１】 本発明の第１の実施例のシステム構成を示す
ブロック図

【図２】 本発明の第２の実施例のシステム構成を示す
ブロック図

【図３】 本発明の第３の実施例のシステム構成を示す
ブロック図

【図４】 視線検出の原理を示す説明図

【図５】 視線検出の原理を示す説明図

【図６】 視線検出機能を有した撮像装置の構成例を示
す概略図

【図７】 表示素子の表示例を示す模式図

【図８】 表示素子の表示例を示す模式図

【図９】 表示素子の表示例を示す模式図

【図１０】 第１の実施例の使用例を示す説明図

【図１１】 第２の実施例の使用例を示す説明図

【図１２】 第３の実施例の使用例を示す説明図

【図１３】 従来の撮像装置と電動式のフィルム給送装
置の関係を示す

【符号の説明】 １ 被制御装置（被制御体） ２ 撮像装置 ７ ＣＣＤ ８ 視線検出回路 １０ 通信手段 １１ 通信手段 １２ 制御装置（視線制御装置）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 5/238 Ｈ０４Ｎ 5/253 5/253 Ｇ０２Ｂ 7/11 Ｎ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 視線を検出する検出手段を有した撮像装
   置からの視線検出信号を受信する通信手段を備え、その
   撮像装置から送信された視線検出信号に基づいて被制御
   体の制御を行うことを特徴とする視線制御装置。
2. 【請求項２】 撮像装置から送信された視線検出信号を
   制御信号に変換する制御ユニットを設け、その変換した
   制御信号により被制御体の制御を行うことを特徴とする
   請求項１記載の視線制御装置。
3. 【請求項３】 撮像装置からの送信された視線信号に基
   づいて前記撮像装置に接続したフィルム給送装置の制御
   を行うことを特徴とする請求項１または２記載の視線制
   御装置。