JP2017227687A - カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 - Google Patents

Abstract

【課題】手の甲側に取り付けた小さなカメラ１個からの撮像画像データ入力で、撮像フレームごとの手指のすべての関節角度を推定できる装置を提供する。
【解決手段】１台の小型のカメラと、装用者の片手の手甲部の近傍上空に前記カメラを設置できる支持部とを有し、支持部の支持柱は、装用者の片手の前記手甲部に装着された後、手甲部における各指の付け根部を横断する線よりも指先側で、且つ、装用者の片手の親指と人差し指の間から、カメラが片手の略全体を撮像できるように、材質の柔軟性を利用して、少なくとも支持基礎部から突出する角度及びカメラに撮像方向に向ける角度が変更されるカメラアセンブリ。
【選択図】図１５

Description

本発明は、カメラで撮像した画像から、人間の手指の形状を検出する方法に関し、特に、単一のレンズ（単眼）カメラの平面（２Ｄ）画像から映っていない部分を推定して手指の形状を検出するシステムと方法に関する。

従来から、多指型ロボットハンド又はマニピュレーター等を駆動させるか、あるいは、表示部に表示されたゲームやアニメ等のキャラクター等の手指を動作させるための方法の一例として、使用者の手の動きからその手指の形状を検出するジェスチャー入力あるいは、「細かな手指動作のモーションキャプチャ」（手指動作のモーションキャプチャ＝ハンドモーキャップ(hand mocap)：３次元手指形状推定技術）が知られている。ハンドモーキャップは、顔の表情と共に体全体のモーションキャプチャーと同時に関連させてデータを取得する要望があるが、顔の表情については、人体動作のモーションキャプチャと併用してリアルタイムでコンピュータアニメーションとして描画するシステムも実用に供するようになってきたため、ハンドモーキャップのみがまだ実用に供するレベルに至っていない最後の技術と言われている。

ハンドモーキャップを概略的に分類すると、（Ｘ）使用者の腕や手指に装着したセンサー装置の出力、又は、マーカーをカメラで撮像した画像データの解析結果から、手指形状を求める機器装着方式と、（Ｙ）腕や手指の撮像画像から手指形状のハンドモーキャップ動作を検出する画像処理方式の２方式に分類できる。（Ｘ）機器装着型の場合、正確な手指の検出は可能であるが、構成が大がかりで、準備に時間がかかり検出が容易ではないことと、センサー装着の場合はユーザが拘束されて自由に動作できないことがあった。従って、容易に手指を検出するには（Ｙ）画像処理方式が望ましい。以下、本発明に関係する（Ｙ）画像処理方式とそれに関係する技術を主に説明する。

（Ｙ）画像処理方式を概略的に分類すると、（Ｙ１）３Ｄ−ｍｏｄｅｌ−ｂａｓｅｄアプローチ（以下、３Ｄアプローチと記す。）と、（Ｙ２）２Ｄ−ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄアプローチ（以下、２Ｄアプローチと記す。）の２方式に分類できる。

（Ｙ１）３Ｄアプローチでは、手指を複数の異なる方向から同時に撮影できる複数のレンズ機構と、リアルタイムに手指形状の滑らかな動画像を推定するための高い演算能力を有するコンピュータが必要である。（Ｙ２）２Ｄアプローチでは、例えば、（Ｙ２ａ）高次自己局所相関特徴（以下、ＨＬＡＣと記す。）により、手画像の輪郭線（シルエットの外形線）情報を特徴量化してマッチングを行うことで高精度に推定を行うことができるが、同一又は類似する輪郭線になった場合、異形状の場合の識別が困難であり、また、同一の手の形状でも輪郭線が異なり、他の手の形状と識別が困難になる個人差の問題も解決できない。（Ｙ２ｂ）Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔｓ（以下、ＨｏＧと記す。）による方法では、画像の輝度勾配情報を特徴量化しているため、輪郭線形状の内部範囲を識別をでき、個人差を解決できるが、物理メモリが多く必要であり、特徴量化レベルでの個人差対応はできない。以下、本発明に関係する（Ｙ２）２Ｄアプローチとそれに加えて（Ｙ２ａ）ＨＬＡＣによる画像処理方式とそれに関係する技術を主に説明する。

上記（Ｙ２）２Ｄアプローチのカメラとしては、モノクロかカラーで単眼のカメラ（カメラ）が用いられるが単眼（２Ｄ）の撮像画像から手指形状を検出することは困難である。

また、（Ｙ２）２Ｄアプローチで、例えば、（Ｘ）機器装着方式で得た手指の関節角度及び回旋角度データと、単眼カメラで撮像したグレイスケール手指画像の分割領域毎の輪郭線からの画像特徴量とを組み合わせて照合用の画像データベースを作成して、手指形状検出用の新規の手指画像とデータベースの手指画像との照合結果を手指の検出結果として利用することが知られている（例えば、特許文献３参照）。その場合、新規の手指画像から得られる輪郭線等の画像特徴量に対する画像データベース中の手指画像のうち、画像特徴量が最も類似する画像データを検索し、その最も類似する画像データと組み合わされる手指の関節角度及び回旋角度データから、新規画像の手指形状を推定することにより手指形状検出の精度を向上させている。

また、（Ｙ２）２Ｄアプローチで、例えば、照合用の画像データベースの画像データ量を減らし、照合を容易にするために、例えば、各手指画像の前腕部の輪郭線から前腕部の延伸方向と手首の位置を求め、手首から先を同じ向きにして照合することで画像データベース中の手指画像の向きを揃えることができる。また、各手指画像の輪郭線を利用して縦横が所定サイズの画素（ピクセル）数の各手指画像に正規化することでサイズを揃えることができる（例えば、特許文献１、２参照）。従って、従来の単眼カメラによる手指形状推定方法では、手画像の生データから、極力精緻な輪郭線情報を得て、その輪郭線情報と照合用の画像データベースの画像データとから手指形状を推定していた。

従来の上記（Ｙ２ａ）ＨＬＡＣによる「手指形状、位置関係及び動き」を単眼カメラで撮像した画像中から輪郭線形状のみを用いて検出する場合、以下の（ａ）、（ｂ）、（ｃ）の３点の理由から、手指形状が異形状であるが輪郭線では同一又は類似する場合の識別が困難であり、手指形状を正確に推定する事は困難であることが知られている。さらに、個人差から同一の手指形状でも人毎に輪郭線が異なり、一人の手指形状が他の人の手指形状と識別が困難になるという問題がある。
（ａ）手指は、多関節構造であるため形状変化が複雑である点。
（ｂ）手指は、関節を曲げたり、握った場合に、輪郭線形状としては手指の甲や手指のひらに手指が隠れてしまう自己遮蔽が多い点。
（ｃ）手指は、身体全体に対する部位の占める比率は小さいが、可動空間が広い点。

また、上記単眼カメラを用いた（Ｙ２）２Ｄアプローチの各画像と関節角度データとで対応をとり画像データベースを作成する場合は、例えば、各指の太さや長さ、手甲からの親指の出方、手甲の大きさ等に非常に多様な個人差があるので、汎用や代表となるサンプル手指画像や基準手指画像のように個人差を大幅に包括する手指画像を作成することが困難である。従って、個人差を考慮して多数の画像データを準備する必要があり、手指画像の画像データベースに格納する画像データ量が増加していた。そして、画像データベースに格納する画像データ量を減らすためには、個人差をある程度の範囲で含む画像データを準備して推定を行っていたが、個人差が想定範囲よりも大きい場合には誤推定することがあった。

また、上記したような誤推定を避けるために、多様な個人差に対応させて可能性のある全ての画像データを準備することは、データ量が非常に増加し、その結果、必要なメモリ量も増えることになり、データベース作成の工数も増加する。さらに新規の画像データに対してデータ照合処理をするデータ量が増加し、最も類似した画像データを画像データベース中から探すのに時間がかかり、データ処理装置の演算速度が不足する可能性がある。あるいは逆に、データ処理装置の処理能力の限界から、照合処理のデータ量を制限することがあり、全ての画像データを準備することが困難になることがある。

また、特許文献２に記載されているように、画像特徴量に用いられる輪郭線に代えて、手指の中心を通る尾根線形状を利用することで、画像データ量を削減し、演算速度の不足を解消できることも知られている。手指の尾根線としては、例えば、使用者を単眼カメラで撮像したグレイスケールの手指の画像に、エッジ処理等で用いられる細線化処理を用いて、擬似的な骨格化処理を施し、その骨格化された細線（尾根線）を用いる。また、細線化の際の指先以外のノイズの先端については、手指の重心座標からの距離が一致する値以内は無効として排除する。また、上記２Ｄアプローチの方式における手指の移動方向や移動量の検出は、上記した手指画像の輪郭線形状等から、３次元手指の形状推定（ｈａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）等を用いて、手指の移動方向や移動量（ｈａｎｄ ｔｒａｃｋｉｎｇ）を検出すればよい。

また、特許文献１及び２の課題を解決するための一助として、機器装着方式のハンドモーキャップにより複数の手指形状と照合用の関節角度及び回旋角度を含む画像特徴量データとを含ませたデータセットの照合用データベースを予め作成しておき、検出用の撮像画像から情報処理装置により撮像画像を正規化及び平滑化して検出用画像特徴量データを生成してデータセット中の照合用画像特徴量データと対比し、類似する照合用の画像特徴量データを含むデータセットを選択し、選択されたデータセット中の手指形状データを手指形状の検出結果に含ませて出力することが知られている（例えば、特許文献３参照）。

また、やはり特許文献１及び２の課題を解決するための一助として、まず事前に一方の手（例えば右手）を手甲側に設置されたカメラアセンブリで撮影し、他方の手(例えば左手）にデータグローブを着用し、右手と左手で同じ動作をさせ、手甲側カメラアセンブリからの手指画像データと、データグローブの手指角度データとの両データを対応させてデータベースに格納する。検出時には、一方の手（例えば右手）を手甲側カメラアセンブリで撮影し、その手甲側カメラアセンブリの手指画像データからデータベース内の手指角度データを読み出し、手指ロボット又は手指のＣＧ画像等を動作させるために手指角度データを出力することが知られている（例えば、特許文献４参照）。

また、手甲部のカメラアセンブリとしては、（ａ）手甲部の背面側の表面上に平面状の支持基礎部が形成され、（ｂ）手で角度補正可能な柔軟性を有する材料で形成されて先端にカメラ取付部を有する支持柱が、支持基礎部から上空に向かって突出するように設けられ、（ｃ）その支持基礎部と手甲部を共に、手甲部の小指側から人差指側までを横断するように手甲部の周囲を巻回す柔軟な固定バンドを有し、（ｄ）支持柱の先端にカメラを設置して、カメラの撮像レンズが親指と人差し指の間の斜め前から手指を撮像できるようにカメラ支持柱の角度を補正するカメラであることが知られている（例えば、特許文献４参照）。

国際公開ＷＯ２００９／１４７９０４号パンフレット 国際公開ＷＯ２０１３／０５１６８１号パンフレット 特開２０１６−０１４９５４ 特開２０１５−１００６９７

しかしながら、特許文献１〜３の従来の室内固定や机上のラックに固定された単眼カメラを用いた形状検出方法では、以下の問題があった。
（Ａ）被写体の手指に対するカメラレンズの方向の角度は非常に多様で角度範囲が広くなり、結果的に撮像画像のポーズも多様になり、データベースのデータ量が増加していた。
（Ｂ）また、被写体の手指とカメラレンズとの両者の間隔も非常に多様で被写界深度内に収まらない場合は焦点距離と画角の調整が必要になり、結果的に撮像画像の縮尺比率も多様で画像の拡大／縮小調整が必要になり、データベースのデータ量が増加していた。
（Ｃ）さらに、上記（Ａ）の撮像画像のポーズが多様であることにも関係するが、手甲のみで手指の付け根が全く写っていない撮像画像や手甲さえ写っていない撮像画像も存在し、手指の推定が困難になっており、さらに、照合精度の向上も個人差対応の改善も部分的であり、照合結果を利用する各形状推定では、手指画像の指の関節が屈曲状態の同一輪郭線で異形状を識別することの改善も部分的になっていた。
（Ｄ）また、従来の撮像画像からの輪郭線、尾根線及び正規化及び平滑化した撮像画像を利用した照合では、上記したようにデータベースのデータ量が多いことから時間も多く必要であった。

また、例えば、舞台芸術や各種ダンス、或いは芸術点が評価されるスポーツ（アイススケート、シンクロナイズドスイミング、新体操等）では、人の体全体の動きの他に顔の表情と共に手先の動きも評価対象に含まれている。また、ゲームやアニメーションにおいても、人の体全体の動きの他に顔の表情と共に手先の動きが重要な作画要素になっている。しかしながら、特許文献１〜３の従来の固定カメラでは、例え複数台にカメラの数を増やしても、手指が撮像されなくなったり、腕から先の全てが撮像されなくなることがあり、ハンドモーキャップで体全体のモーションキャプチャーと同時にデータを取得することは不可能であった。

特許文献４の従来のカメラアセンブリでは、明細書中に詳細には内容が記載されていないものの、上記した（Ａ）〜（Ｄ）の問題を改善できる可能性と、ハンドモーキャップで体全体のモーションキャプチャーと同時にデータを取得することが可能になる可能性を有する。しかし、そのカメラアセンブリを用いた形状検出方法では、照合用データベースに格納する手指角度データ等の入力が、特許文献１〜３と同様にデータグローブを用いており、手指画像と対応する手指角度データ等をマッチングさせたデータセットを作成することに非常に工数と時間がかかっていた。また、緻密な特徴量化を行うと、指の太さ・厚み・長さなど人の手には様々な個人差があるため、データベースのデータ量が増加していたことも特許文献１〜３と同様であった。

そこで本発明は、手の甲側に取り付けた小さなカメラ１個からの撮像画像データ入力で、撮像フレームごとの手指のすべての関節角度を推定できる装置を提供し、さらに照合用データベースにおける手指画像のポーズ数を減らし、縮小／拡大比率を減少させ、データ量を減らし、ハンドモーキャップで体全体のモーションキャプチャーと同時にデータを取得できる効果を有すると共に、さらに照合用データベースの作成を効率化して作成のための時間と工数を抑制でき、個人差もより抑制した手指形状の検出方法とシステムを提供することを目的とする。

まず、上記した問題を解決するために、上記したように本発明のカメラアセンブリでは、１台以上の小型のカメラと、装用者の片手の手甲部の近傍上空に前記カメラを設置できる支持部とを有し、前記支持部は、（ａ）前記カメラの画角内に前記装用者の片手の略全体が収められ、その時の焦点距離以上の長さを有する棒形状となるように、前記カメラの重量による応力が付与されても自立する強度と、角度変更可能な柔軟性との双方の特性を少なくとも有する材料により形成される支持柱と、（ｂ）前記支持柱を、前記手甲部の表面上から上に突出させて前記支持柱を支持可能なように接続及び設置でき、硬質な材料で、前記手甲部の表面に沿って、且つ、所定以上の面積を有するように平面的に形成された平面部を有する支持基礎部と、（ｃ）前記支持柱の先端部に設けられて前記カメラを設置できるカメラ取付部と、（ｄ）前記手甲部の表面上に配置された前記支持基礎部の少なくとも一部の上から押圧固定可能なように、前記手甲部の各指の付け根部を横断する方向に前記手甲部の周囲に巻回されるバンド形状、又は、前記支持基礎部の上面を全て押圧固定可能なように手袋の甲部の形状となるように、前記押圧固定時に破断しない強度と、前記手甲部の表面に沿って折り曲げ自在な柔軟性との双方の特性を少なくとも有する材料により形成される手甲固定部と、を有し、前記支持柱は、前記装用者の片手の前記手甲部に装着された後、前記手甲部における各指の付け根部を横断する線よりも指先側で、且つ、前記装用者の片手の親指と人差し指の間から、前記カメラが前記片手の略全体を撮像できるように、前記材質の柔軟性を利用して、少なくとも前記支持基礎部から突出する角度及び前記カメラに撮像方向に向ける角度が変更される、カメラアセンブリ。

好ましくは、本発明に係るカメラアセンブリでは、前記カメラ取付部が、前記カメラの取付位置を、前記装用者の片手が前記カメラの被写界深度を含めた焦点距離内になり、撮像された画像フレーム内の手指と手甲部のトータルの上下寸法が画像フレームの縦寸法に略一致するように前記カメラの光軸に沿って前後に摺動調整が可能であり、前記カメラの取付角度を、撮像された画像フレームの傾斜角度が事前に格納されている照合対象の画像フレームに一致する所定の角度となるように、前記撮像された画像を前記カメラの光軸の周囲に回転調整が可能であるようにしてもよい。

好ましくは、本発明に係るカメラアセンブリでは、前記支持基礎部の平面部が、前記支持柱との接続部を中心に前記手甲部の表面に沿って前記手甲部の左右及び前後の端部に向けて延伸されるように配置される、ようにしてもよい。

好ましくは、本発明に係る手指形状の検出システムでは、上記に記載のカメラアセンブリと、少なくとも一台の情報処理装置とを有して手指形状を検出するシステムであって、前記情報処理装置は、前記カメラから入力する各手指形状を撮像した画像データを記憶する撮像手指画像記憶部と、コンピューターグラフィックス（ＣＧ）のプログラムにより手指の各部寸法比率及び手甲の寸法比率が異なり、且つ、手指のポーズも異なる多種のＣＧ画像の手指画像を形成する仮想手指画像形成部と、前記仮想手指画像形成部で形成された多種の手指画像のうち、前記手指の各部寸法比率及び手甲の寸法比率をリファレンスとして、前記各寸法比率が同じであるが、前記手指のポーズが異なる複数の仮想手指画像を同じグループに分類して、前記各寸法比率データと前記ポーズにおける各指の関節毎の角度データを各仮想手指画像毎に少なくとも含むデータセットとして格納する仮想手指画像データベースと、前記撮像手指画像の手指の各部寸法比率及び手甲の寸法比率を判別して、前記仮想手指画像データベース中に前記グループ毎に分類されて前記各寸法比率データと共にデータセットとして格納されている前記複数の仮想手指画像から、何れの前記グループ内の前記複数の仮想手指画像を読み出すかを、前記各寸法比率データにより判別するグループ判別部と、前記撮像手指画像記憶部に格納された撮像手指画像と、前記仮想手指画像データベースに格納された仮想手指画像との双方の画像について、輪郭線を有するシルエット画像を形成するシルエット画像形成部と、前記撮像手指画像、前記仮想手指画像、又は、前記シルエット画像の何れかから尾根線画像を形成する尾根線画像形成部と、前記シルエット画像と前記尾根線画像を重ね合わせて重畳画像を形成する重畳画像形成部と、前記重畳画像の前記シルエット画像部分の内部範囲に、前記尾根線画像の尾根線が全て収容されているか、あるいは、前記シルエット画像部分の外部範囲にはみ出す前記尾根線があるかを判断する範囲外尾根線判定部と、前記シルエット画像部分の外部範囲にはみ出す前記尾根線がある場合に、その重畳画像に含まれた画像の元画像の中の仮想手指画像を、後段の推定処理に用いられる候補画像から除外する候補画像絞り込み部と、前記候補画像絞り込み部により絞り込まれた候補画像の各仮想手指画像に対して、入力された撮像手指画像との類似度を演算し、前記類似度が最小の仮想手指画像を判定し、前記類似度が最小の仮想手指画像を含む前記データセット内から、少なくとも前記各指の関節毎の角度データ含むデータを選択することで、前記類似度演算を含む推定処理を実施する手指角度推定部と、前記推定処理の結果を制御対象の装置に向けて出力するデータ出力部と
を少なくとも有する。

好ましくは、本発明に係る手指形状検出システムでは、前記撮像手指画像記憶部に格納された各手指形状を撮像した画像データに対して、撮像された画像フレーム内の手指と手甲部のトータルの上下寸法が画像フレームの縦寸法に略一致するように拡大又は縮小を行う画像寸法調整部と、前記撮像された画像フレームの傾斜角度を事前に記憶装置に格納されている照合対象の画像フレームに一致する所定の角度となるように、前記撮像された画像を前記カメラの光軸の周囲に回転調整させる画像角度調整部と、をさらに有するようにしてもよい。

好ましくは、本発明に係る手指形状検出方法では、上記に記載のカメラアセンブリを少なくとも一台の情報処理装置と共に用いて手指形状を検出する検出方法であって、前記情報処理装置で、前記カメラから入力する各手指形状を撮像した画像データを記憶するステップと、コンピューターグラフィックス（ＣＧ）のプログラムにより手指の各部寸法比率及び手甲の寸法比率が異なり、且つ、手指のポーズも異なる多種のＣＧ画像の手指画像を形成するステップと、前記形成された多種の手指画像のうち、前記手指の各部寸法比率及び手甲の寸法比率をリファレンスとして同じであるが、前記手指のポーズが異なる複数の仮想手指画像を同じグループに分類して、前記各寸法比率データと前記ポーズにおける各指の関節毎の角度データを各仮想手指画像毎に少なくとも含むデータセットとして格納するステップと、記撮像手指画像の手指の各部寸法比率及び手甲の寸法比率を判別して、前記グループ毎に分類されて前記各寸法比率データと共に格納されている前記複数の前記仮想手指画像から、何れのグループの前記複数の前記仮想手指画像を読み出すかを、前記各寸法比率データにより判別するステップと、前記格納された撮像手指画像と、前記格納された仮想手指画像との双方の画像について、輪郭線を有するシルエット画像を形成するステップと、前記撮像手指画像、前記仮想手指画像、又は、前記シルエット画像の何れかから尾根線画像を形成するステップと、前記シルエット画像と前記尾根線画像を重ね合わせて重畳画像を形成するステップと、前記重畳画像の前記シルエット画像部分の内部範囲に、前記尾根線画像の尾根線が全て収容されているか、あるいは、前記シルエット画像部分の外部範囲にはみ出す前記尾根線があるかを判断するステップと、前記シルエット画像部分の外部範囲にはみ出す前記尾根線がある場合に、その重畳画像に含まれた画像の元画像の中の仮想手指画像を、後段の推定処理の候補画像から除外するステップと、前記候補画像絞り込み部により絞り込まれた候補画像の各仮想手指画像に対して、入力された撮像手指画像との類似度を演算し、前記類似度が最小の仮想手指画像を判定し、前記類似度が最小の仮想手指画像を含む前記データセット内から、少なくとも前記各指の関節毎の角度データ含むデータを選択することで、前記類似度演算を含む推定処理を実施するステップと、前記推定処理の結果を制御対象の装置に向けて出力するステップと、を少なくとも実施する。

好ましくは、本発明に係る手指形状検出方法では、前記情報処理装置で、前記情報処理装置に格納された各手指形状を撮像した画像データに対して、撮像された画像フレーム内の手指と手甲部のトータルの上下寸法が画像フレームの縦寸法に略一致するように拡大又は縮小を行うステップと、前記情報処理装置で、前記撮像された画像フレームの傾斜角度を事前に記憶装置に格納されている照合対象の画像フレームに一致する所定の角度となるように、前記撮像された画像を前記カメラの光軸の周囲に回転調整させるステップと、をさらに実施するようにしてもよい。

上記課題を解決するために、本発明に係る手指形状の検出方法のプログラムは、上記に記載の検出方法を実施する。また、本発明に係るプログラムの記憶媒体は上記記載のプログラムを記憶する。

本発明の手指形状の検出方法によれば、手の甲側に取り付けた小さなカメラ１個からの撮像画像データ入力で、撮像フレームごとの手指のすべての関節角度を推定できる装置を提供し、さらに照合用データベースにおける手指画像のポーズ数を減らし、縮小／拡大比率を減少させてデータ量を減らし、ハンドモーキャップで体全体のモーションキャプチャーと同時にデータを取得できる効果を有すると共に、さらに照合用データベースの作成を効率化して作成のための時間と工数を抑制でき、個人差もより抑制し、ノイズを抑制することで照合精度を向上させて同一輪郭線で異形状の識別をさらに改善した手指形状の検出方法とシステムを提供することができる。

本発明の実施形態に係る手指の形状を検出するシステムの概略構成を示すブロック図である。 本発明の実施形態の事前準備に係る動作フローチャートである。 本発明の実施形態の検出に係る動作フローチャートである。 本発明のカメラアセンブリの斜視図である。 本発明のカメラアセンブリの側面図である。 本発明のカメラアセンブリの後面図である。 検出時の入力画像とデータベース画像の一般的な関係の概要を示した図である。 検出時の入力画像とデータベースのＣＧ画像の例を示した図である。 データベースのグループ分けの例を示した図である。 検出時の入力画像の指長からのデータベースのグループ判定の例を示した図である。 検出時の入力画像の指角度からのデータベースのグループ判定の例を示した図である。 データベース中のデータセットの例を示した図である。 入力画像の尾根線とデータベースのシルエットで範囲外尾根線による絞り込みをする例を示した図である。 入力画像の尾根線とデータベースのシルエットで範囲外尾根線による絞り込みをした選択例を示した図である。 入力画像のシルエットとデータベースの尾根線で範囲外尾根線による絞り込みをする例を示した図である。 入力画像のシルエットとデータベースの尾根線で範囲外尾根線による絞り込みをした選択例を示した図である。 入力画像に基づく各画像とデータベースのデータセットの対比関係の例を示した図である。 入力画像とＣＧ角度データ出力の関係の例を示す図である。

＜実施形態＞
映画などにおける人体のコンピュータアニメーションや、ゲームなどにおけるキャラクターの人間らしい動きの再現に、モーションキャプチャが多用されるようになった。また、人体動作のモーションキャプチャと併用して、顔の表情もリアルタイムでコンピュータアニメーションとして描画するシステムも実用に供するようになってきた。このような人体動作の映像編集に不可欠でありながら、まだ実用に供するレベルに至っていない最後の技術は「細かな手指動作のモーションキャプチャ」すなわち３次元手指形状推定技術（hand mocap）である。

手指形状推定システムがモーションキャプチャシステムと併用して使用できるためには、モーションキャプチャを邪魔しない仕様が必要である。たとえば、光学式モーションキャプチャ用の広いスタジオで被撮影者が自由に動き回っても、比較的サイズが小さい手指の形状が推定できること。被撮影者が手に何かを握ったり、彼の掌を、床や壁、机、あるいは他者といった他物体に接触させても手指形状推定できること、装置が被撮影者に疲労を生じさせにくい形態や重量であること、などが挙げられる。

一つの方法として、ワイヤレスのデータグローブ（たとえば、CyberGlove Systems Inc。 製、CyberGlove II）を利用する方法が考えられる。しかし、データグローブは高価で、拘束感が強く、またセンサである歪ゲージや足回り線（配線）が断線しやすく、激しい動きのモーションキャプチャには利用できない。また、掌での物体操作や、拳の形を作るための握り込みにも向かない。

あるいは、ワイヤレスの接触型手指形状推定の例のひとつにDigitsがある。手首に赤外線センサや赤外線カメラを装着し、掌側から手指を撮影することで、センサから指までの距離を測定し、形状の推定を行っている。ただし、同システムは手首にセンサを装着するため、手首を屈伸した時の対応が難しい。また、装着位置が掌側にあるため、歩行などの日常動作や、他物体の把持や操作、接触などの場面では、装用者の邪魔になるし、計測そのものができなくなる。

そこで発明者らは、超小型のワイヤレスRGBカメラを、掌側ではなく、手の甲側に装着して手指形状推定を行うコンパクトなシステムを提案した。また、超小型RGBカメラとシングルボードコンピュータを組み合わせた実機の実装も行った。カメラを手の甲側に設置することで、モーションキャプチャにおける被撮影者動作の拘束を最小限に抑えることが期待できる。文献[1]などの従来手法が掌側にカメラを設置したのは、とくに指先が常に撮像される必要があったためであり、また、指関節が屈曲しても遮蔽が起こりにくいためであったが、同手法では、指先や指のある部分に遮蔽があっても手指形状推定が可能なアルゴリズムを提案していた。

しかし、上記に提案した手法には、とくに「指の長さ・太さ・掌の幅・母指の付け根位置、四指の開き具合い」あるいは「各手指の関節可動域と、可動域のなかでの動かし方の癖」など、ユーザの個人差に対応した高精度な手指形状推定ができなかった。一般に、照合用データベースの数を増やせば、推定分解能を上げることができるものの、処理時間を増大させてしまう。また、推定前のキャリブレーション時間をあまり長くすることも好ましくない。そこで本発明では、以下を特徴とする装着型の手指形状推定装置を考案した：

１． 指の長さや太さ、親指の付け根位置など、手指の形を特徴付けるパラメータを変えた照合用データベース（CGの手）グループを事前に複数種用意し、推定前に、その中からユーザの手指に最も類似したデータベース・グループを選択し、そのグループ内の照合用データセットと入力画像との類似度照合を行うことにより、
個人差を持った（たとえば、太い指、短い指、親指が曲がっている、親指の付け根位置が手首に近い、掌が広い、示指と中指でＶサインをした時に２指の間隔が広い、など）手指の形に対しても高精度で形状推定できるようにした。

１−２．照合用の手指データベースを作成する際に、
とくに、指の太さ、長さ、掌の幅、親指の付け根位置の比率が異なる照合用データセットを作成することにより、高精度推定可能な照合用データベースの作成を効率的に行う。

１−３．ユーザの手指に最も類似した照合用データベース・グループを選択する際に、
とくに、ユーザの手指画像と照合用データセットの手指画像において、指の太さ、長さ、掌の幅、親指の付け根位置の比率に注目して比較決定する。

２−１．前記照合用データベース選択後に、さらに高精度の手指形状推定を行えるように、
装置装着後にカメラ位置の微調整を行う際、カメラとユーザ手指との距離を微調整する場合は、
照合用データセットベースと入力画像とのシルエットが最も合うようにカメラ位置の微調整を行う。具体的には、五指それぞれの付け根から先端までの長さが最も合うようにカメラ位置を前後させる。

２−２．装置装着後にカメラ位置の微調整を行う際、カメラの傾きを微調整する場合は、
照合用データセットベースと入力画像とで手指の傾きが最も合致するように、
たとえば、両者の中指の傾きが合うようにカメラを回転させる。

３−１．入力画像と照合用データベース画像とを比較する時に、画像中のあるべき領域に指がなかったり、反対に、ないはずの領域に指があったりする場合に、ペナルティを与える類似度照合方法により、推定結果として、入力画像と著しく異なる照合用データセットが出力されないようにする。

３−２．入力画像あるいは照合用データベース画像のどちらかを細線化した尾根線画像と、細線化しない元の手指画像とを照合することにより、そのはみ出し部分やはみ出した大きさをペナルティに用いることで、画像処理時のノイズの影響や手指形状の個人差を軽減する。

カメラアセンブリのハードウェアは、、可撓性ワイヤからなる支持柱３１、リストサポーター、モバイルバッテリーによって構成される。ワイヤレスカメラで撮影した手指画像をコンピュータに送信し、手指形状推定を行う。図４〜図６に装置の外観を示す。ワイヤレスカメラは小型 RGB カメラである 3rd Eye Electronics 社製の 5。8G Wireless Mini Camera -TE60A を用いた。画角は90°、取得される画像の解像度は 720×480[pixel]である。図４〜図６に示すように、カメラ３５の位置は、手甲５１側の、親指５４と人差指５５のあいだにあり、親指５４側から小指５８側に向けて、また、指先５２端から手甲５１側に向けて、やや傾けて設置する。カメラ３５と手甲５１の距離は約120[mm]である。カメラ３５とバッテリー３８とを繋ぐケーブル３６は腕の長さ以上であり、バッテリー３８はモーメントを感じない体幹付近に装着する。バッテリー３８を除いたカメラアセンブリの重量は約75[g]である。

＜照合用の手指データベース構築＞
照合用データベースは、手指関節角度情報と、それを元にCG編集ソフトにより作成した手指CGのシルエット情報と画像特徴量（たとえば高次局所自己相関）、そして尾根線情報を一つのデータセットとして構築する。様々な手指形状の様々な見え方に対するデータセットを集めたものを照合用データベースとする。照合用データベースの構成は図１０の通りである。
手指形状推定時には、シルエット情報、画像特徴量、尾根線情報の３つを用いて、入力された手指画像と照合用手指データベースとの照合を行う。照合の結果、入力画像と最も類似する手指データセットが選ばれたら、推定結果として、そのデータセットが持つ手指関節角度情報を出力する。（その関節角度情報は、手指CG作成に使った情報である）。

＜カメラ位置の微調整＞
カメラで撮像され入力された手指画像と、できる限り類似する手指データセットが選ばれるために、実際の推定に先立ち、手の甲側に取り付けたカメラ位置の微調整を行う。微調整は、次の２ステップにより行う。

［ステップ１］ カメラとユーザ手指との「距離」を微調整するため、照合用データセットベースと入力画像とのシルエットが最も合うようにカメラ位置の微調整を行う。具体的には、図１１に例示するように、五指それぞれの付け根から先端までの長さが最も合うようにカメラ位置を前後させる。

［ステップ２］ カメラの「傾き」を微調整するため、照合用データセットベースと入力画像とで手指の傾きが最も合致するようにカメラを回転させる。たとえば、図１２に例示するように、両者の中指の傾きが合うようにカメラを回転させる。

＜推定の流れ＞
ユーザは提案システムを装着し、入力画像からHLAC特徴量、尾根線情報、シルエット情報を算出する。算出した特徴量をもとにデータベースを探索して、入力画像と最も類似するデータセットを推定結果とする。最後に、推定結果のデータセットが持つ手指関節角度を出力する。以下に、その詳細を説明する。

＜探索対象の絞り込み＞
入力画像と著しく異なる姿勢を持つデータセットを探索対象からはずすため、2段階の探索対象の絞り込みを行う。取得したシルエット情報と尾根線情報を用いて、後述するペナルティを算出する。

ここでの思想は、図１３、図１４に例示するように、入力画像に「有るはず」の指が「無い」照合用データセットは除外し、反対に、入力画像に「無いはず」の指が「有る」照合用データセットは除外するという２方向の除外処理を行うためである。

まず、入力画像に「有るはず」の指が「無い」照合用データセットを探索対象から除外するための処理を行う。図１３、図１４に示すように、入力画像の尾根線情報とデータセットのシルエット情報をもとに、入力画像の尾根線領域がデータベース画像のシルエット領域からはみ出す面積を算出し、はみ出した面積の値[pixel]をペナルティＰ_１とする。そして、第1段階の絞り込みとして、Ｐ_１の値が以下の式で示す閾値を超えるデータセットを探索対象からはずす。

第1段階の絞り込みをした後、探索対象として残った照合用データセットのうち、入力画像に「無いはず」の指が「有る」照合用データセットを探索対象から除外するための処理を行う。図１５、図１６に示すように、データセットの尾根線情報と入力画像のシルエット情報をもとに、データセットの尾根線領域が入力画像のシルエット領域からはみ出す面積を算出し、 はみ出した面積の値[pixel]を2つ目のペナルティＰ_２とする。そして、第2段階の絞り込みとして、Ｐ_２の値が以下の式で示す閾値ｔｈ_２を超えるデータセットを探索対象からはずす。

＜類似度計算＞
上記に示した手法で探索対象の絞り込みを行った後、推定対象として残った照合用データセットに対して類似度計算による探索を行う。類似度は、HLAC特徴量と上記で示したペナルティＰ_１、Ｐ_２を用いて、以下の式によって算出する。

データベースを全て探索した結果、類似度計算によって得られた類似度が最小のデータセットを推定結果とし、推定結果のデータセットが持つ手指関節角度を出力する。

＜システム構成＞
図１の本実施形態に係る手指の形状を検出するシステムにおいては、情報処理装置１とカメラ３５と表示装置１００とを含み、情報処理装置１はカメラ３５と表示装置１００と通信接続される。

手指／手甲各種寸法データ記憶部２１は、異なる手指形状に対応する手指／手甲各種寸法と各関節部の角度データを格納しており読出して出力することができる。各データに対応させてＣＧ手指画像形成部２３で色々なポーズのＣＧ画像が形成されて、手指／手甲各種寸法によりグループ制御部２４によりグループ分類されて、情報処理装置１内の照合用ＣＧ手指画像データベース２５にグループ毎にデータセット形式で、同じＣＧ画像に対応するデータや加工された画像が組になって関連付けられて情報処理装置１内の照合用ＣＧ手指画像データベース２５に格納される。

表示装置１００は、入力画像及び／又は入力画像から検出された手指形状の確認、輪郭線の確認等の用途であれば通常のＬＣＤ等の平面ディスプレイを用いることができる。また、表示装置１００内に入力画像から検出された手指形状に基づいて再生又は合成された手指形状を表示させることができる。

情報処理装置１は、カメラ３５から入力する各手指形状を撮像した画像データから画像形状比率データ、輝度勾配方向ベクトルを含む画像特徴量データ、を算出し、両データを機器装着方式のハンドモーキャップにより形状が検出された複数の手指形状のデータセットに対応させて照合用データベースに格納する。

情報処理装置１内には、画像寸法調整部１１、画像角度調整部１２、撮像手指角度記憶部１３、シルエット画像形成部１４、尾根線画像形成部１５、輪郭線抽出部１６、画像特徴量検出部１７、重畳画像形成部１８、範囲外尾根線判定部１９、候補画像絞り込み部２０、手指／手甲各種寸法データ記憶部２１、関節角度記憶部２２、ＣＧ手指画像形成部２３、グループ制御部２４、ＣＧ手指画像データベース２５、画像特徴量類似度計算部２６、グループ判定部２７、手指角度推定部２８、データ出力部２９、各種設定値記憶部７１、プログラム記憶部８１、制御部９１、及び表示装置１００が設けられ、カメラ３５側から表示装置１００側に向けて通信可能に接続される。

ＣＧ手指画像データベース２５は、カメラ３５で撮像された各フレームの画像データとその加工データ（シルエット画像、輪郭線画像、尾根線画像、画像特徴量）と共に、ＣＧ手指画像形成部２３で形成された画像についてもそのＣＧ画像データとその加工データ（シルエット画像、輪郭線画像、尾根線画像、画像特徴量）と関節角度データ等を格納する。

画像寸法調整部１１は、カメラ３５から入力する画像の寸法を検出処理に適した寸法に調整する。これはカメラ３５のカメラ取付部３３側で調整することもできるが、それだけで対応できない場合、あるいは、カメラ３５側で対応しない場合に画像寸法調整部１１を使用する。

画像角度調整部１２は、カメラ３５から入力する画像の角度を検出処理に適した角度に調整する。これはカメラ３５のカメラ取付部３３側で調整することもできるが、それだけで対応できない場合、あるいは、カメラ３５側で対応しない場合に画像角度調整部１２を使用する。

撮像手指画像記憶部１３は、カメラ３５から入力する画像を記憶し、後段のシルエット画像形成部１４及びグループ判定部２７に出力する。

シルエット画像形成部１４では、撮像画像データからシルエット画像が形成され、尾根線画像形成部１５では、シルエット画像から尾根線画像が形成され、輪郭線抽出部１６では、シルエット画像から輪郭線画像が形成され、画像特徴量検出部１７では、輪郭線画像から分割領域により画像特徴量が検出される。フレーム毎の撮像画像データに対応したそれぞれの画像と特徴量はＣＧ手指画像データベース２５に格納される。

一方ＣＧ手指画像形成部２３で形成されたＣＧ手指画像についても、シルシルエット画像形成部１４では、ＣＧ手指画像データからシルエット画像が形成され、尾根線画像形成部１５では、シルエット画像から尾根線画像が形成され、輪郭線抽出部１６では、シルエット画像から輪郭線画像が形成され、画像特徴量検出部１７では、輪郭線画像から分割領域により画像特徴量が検出される。ＣＧ手指画像データに対応したそれぞれの画像と特徴量と関節角度データはセットデータとしてＣＧ手指画像データベース２５に格納される。

重畳画像形成部１８では、フレーム毎の撮像画像データに対応したシルエット画像と尾根線画像がＣＧ手指画像データベース２５から読み出され、ＣＧ手指画像データベース２５内のセットデータの尾根線画像とシルエット画像と各々対応させて重畳される。範囲外尾根線判定部１９では、各重畳画像について、シルエット画像からはみ出している尾根線が検出及び判定される。候補画像絞り込み部２０では、重畳画像から尾根線がはみ出ているＣＧ手指画像は推定候補から除外して絞り込みを行う。

手指／手甲各種寸法データ記憶部２１は、ＣＧで手指画像を形成するための手指／手甲の各種データを記憶する。その中の関節角度記憶部２２には各関節毎の角度データが記憶される。各データに基づいてＣＧ手指画像形成部２３で、ＣＧ手指画像が形成される。各ＣＧ手指画像は、グループ制御部２４で、同じ手指／手甲の寸法ごとにグループ分類されてＣＧ手指画像データベース２５に格納される。

画像特徴量類似度計算部２６は、入力した撮像画像の画像特徴量と、各ＣＧ手指画像の画像特徴量とから類似度を計算して絞り込み部２０に送信する。

手指角度推定部２８は、絞り込みされたグループの各ＣＧ手指画像から最も類似している画像を推定してその角関節角度データをデータ出力部２９に送出し、そこから外部装置（表示装置１００）に送出する。
各種設定値記憶部７１はあ情報処理装置１の各種設定値を記憶し、プログラム記憶部８１は上記各部を動作させるためのプログラムを記憶し、制御部９１は、上記各部を制御する。
制御部９１、及び表示装置１００

本実施形態に係る手指の形状を検出するシステムの動作について図２のフローチャートを用いて説明する。まず、実際の手指形状の検出を実施する前に照合用データベースを構築する。情報処理装置１では、記憶されている角度／手指／手甲データ等からＣＧ手指画像を形成する（Ｓ５１）。形成した手指画像を手指の寸法グループごとに集合分類する（５２）。グループごとになった手指画像をデータベース２５に記憶させる（Ｓ５３）。

ＣＧ手指画像からシルエット画像を形成してデータベース２５に記憶させ（Ｓ５４）、シルエット画像から尾根線画像を形成してデータベース２５に記憶させ（Ｓ５５）、シルエット画像から輪郭線画像を形成してデータベース２５に記憶させ（Ｓ５６）、輪郭線画像から画像特徴量を検出してデータベース２５に記憶させ（Ｓ５７）、元のＣＧ画像が同一の各画像と画像特徴量と角度データをセットデータとしてデータベース２５に記憶させる（Ｓ５８）。

ステップＳ１のでは撮像された手指画像の寸法を調整し（Ｓ１）、次に手指画像の角度を調整し（Ｓ２）、撮像された手指画像を記憶する（Ｓ３）。次いで、撮像された手指画像からシルエット画像を形成し（Ｓ４）、撮像画像とシルエット画像からグループを判定する（Ｓ５）。判定したグループのデータセットをデータベースから抽出する（Ｓ６）。

撮像画像のシルエット画像から尾根線画像を形成する（Ｓ７）。データセットのシルエット画像と形成した尾根線画像を重畳する（Ｓ８）。尾根線がシルエット範囲外となる画像を判定する（Ｓ９）。重畳画像の尾根線がシルエット範囲外となるＣＧ手指画像を推定処理の候補から除外する（Ｓ１０）。手指画像のシルエット画像から画像特徴量を検出する（Ｓ１１）。照合用データベースの画像特徴量と類似度照合する（Ｓ１２）。グループ内に次の画像データが無いか判定する（Ｓ１３）。次データがある場合（Ｓ１３：ＮＯ）にはステップＳ７に戻って次の画像についての処理を行う。

次データが無い場合（Ｓ１３：ＹＥＳ）には、最類似のＣＧ手指画像の手指角度をデータベースのデータセットから読み出し（Ｓ１４）、最類似の手指角度を出力する（Ｓ１５）。

以上のように本実施形態の手指形状の検出方法によれば、手の甲側に取り付けた小さなカメラ１個からの撮像画像データ入力で、撮像フレームごとの手指のすべての関節角度を推定できる装置を提供し、さらに照合用データベースにおける手指画像のポーズ数を減らし、縮小／拡大比率を減少させてデータ量を減らし、ハンドモーキャップで体全体のモーションキャプチャーと同時にデータを取得できる効果を有すると共に、さらに照合用データベースの作成を効率化して作成のための時間と工数を抑制でき、個人差もより抑制し、ノイズを抑制することで照合精度を向上させて同一輪郭線で異形状の識別をさらに改善した手指形状の検出方法とシステムを提供することができる。

１ 情報処理装置、
１１ 画像寸法調整部、
１２ 画像角度調整部、
１３ 撮像手指角度記憶部、
１４ シルエット画像形成部、
１５ 尾根線画像形成部、
１６ 輪郭線抽出部、
１７ 画像特徴量検出部、
１８ 重畳画像形成部、
１９ 範囲外尾根線判定部、
２０ 候補画像絞り込み部、
２１ 手指／手甲各種寸法データ記憶部、
２２ 関節角度記憶部、
２３ ＣＧ手指画像形成部、
２４ グループ制御部、
２５ ＣＧ手指画像データベース、
２６ 画像特徴量類似度計算部、
２７ グループ判定部、
２８ 手指角度推定部、
２９ データ出力部、
３０ 支持部、
３１ 支持柱、
３２ 基礎部、
３３ カメラ取付部、
３４ 手甲固定部、
３５ カメラ、
３６ 電源ケーブル、
３７ 無線アンテナ、
３８ バッテリー、
５１ 手甲部、
５２ 手指部、
５３ 手指付け根部横断線、
５４ 親指、
５５ 人差し指、
５６ 中指、
５７ 薬指、
５８ 小指、
７１ 各種設定値記憶部、
８１ プログラム記憶部、
９１ 制御部、
１００ 表示装置、
θ１ 前方傾斜角、
θ２ 側方親指側傾斜角。

Claims (10)

1. １台以上の小型のカメラと、装用者の片手の手甲部の近傍上空に前記カメラを設置できる支持部とを有し、
   前記支持部は、
   （ａ）前記カメラの画角内に前記装用者の片手の略全体が収められ、その時の焦点距離以上の長さを有する棒形状となるように、前記カメラの重量による応力が付与されても自立する強度と、角度変更可能な柔軟性との双方の特性を少なくとも有する材料により形成される支持柱と、
   （ｂ）前記支持柱を、前記手甲部の表面上から上に突出させて前記支持柱を支持可能なように接続及び設置でき、硬質な材料で、前記手甲部の表面に沿って、且つ、所定以上の面積を有するように平面的に形成された平面部を有する支持基礎部と、
   （ｃ）前記支持柱の先端部に設けられて前記カメラを設置できるカメラ取付部と、
   （ｄ）前記手甲部の表面上に配置された前記支持基礎部の少なくとも一部の上から押圧固定可能なように、前記手甲部の各指の付け根部を横断する方向に前記手甲部の周囲に巻回されるバンド形状、又は、前記支持基礎部の上面を全て押圧固定可能なように手袋の甲部の形状となるように、前記押圧固定時に破断しない強度と、前記手甲部の表面に沿って折り曲げ自在な柔軟性との双方の特性を少なくとも有する材料により形成される手甲固定部と、
   を有し、
   前記支持柱は、前記装用者の片手の前記手甲部に装着された後、前記手甲部における各指の付け根部を横断する線よりも指先側で、前記カメラが前記片手の略全体を撮像できるように、前記材質の柔軟性を利用して、少なくとも前記支持基礎部から突出する角度及び前記カメラに撮像方向に向ける角度が変更される、
   カメラアセンブリ。
2. 前記支持柱は、前記装用者の片手の前記手甲部に装着された後、前記装用者の片手の親指と人差し指の間から、前記カメラが前記片手の略全体を撮像できるように、少なくとも前記支持基礎部から突出する角度及び前記カメラに撮像方向に向ける角度が変更される、
   請求項１に記載のカメラアセンブリ。
3. 前記カメラ取付部が、前記カメラの取付位置を、前記装用者の片手が前記カメラの被写界深度を含めた焦点距離内になり、撮像された画像フレーム内の手指と手甲部のトータルの上下寸法が画像フレームの縦寸法に略一致するように前記カメラの光軸に沿って前後に摺動調整が可能であり、前記カメラの取付角度を、撮像された画像フレームの傾斜角度が事前に格納されている照合対象の画像フレームに一致する所定の角度となるように、前記撮像された画像を前記カメラの光軸の周囲に回転調整が可能である
   請求項１又は２に記載のカメラアセンブリ。
4. 前記支持基礎部の平面部が、前記支持柱との接続部を中心に前記手甲部の表面に沿って前記手甲部の左右及び前後の端部に向けて延伸されるように配置される、
   請求項１〜３の何れか１項に記載のカメラアセンブリ。
5. 請求項１〜４の何れか１項に記載のカメラアセンブリと、少なくとも一台の情報処理装置とを有して手指形状を検出するシステムであって、
   前記情報処理装置は、
   前記カメラから入力する各手指形状を撮像した画像データを記憶する撮像手指画像記憶部と、
   コンピューターグラフィックス（ＣＧ）のプログラムにより手指の各部寸法比率及び手甲の寸法比率が異なり、且つ、手指のポーズも異なる多種のＣＧ画像の手指画像を形成する仮想手指画像形成部と、
   前記仮想手指画像形成部で形成された多種の手指画像のうち、前記手指の各部寸法比率及び手甲の寸法比率をリファレンスとして、前記各寸法比率が同じであるが、前記手指のポーズが異なる複数の仮想手指画像を同じグループに分類して、前記各寸法比率データと前記ポーズにおける各指の関節毎の角度データを各仮想手指画像毎に少なくとも含むデータセットとして格納する仮想手指画像データベースと、
   前記撮像手指画像の手指の各部寸法比率及び手甲の寸法比率を判別して、前記仮想手指画像データベース中に前記グループ毎に分類されて前記各寸法比率データと共にデータセットとして格納されている前記複数の仮想手指画像から、何れの前記グループ内の前記複数の仮想手指画像を読み出すかを、前記各寸法比率データにより判別するグループ判別部と、
   前記撮像手指画像記憶部に格納された撮像手指画像と、前記仮想手指画像データベースに格納された仮想手指画像との双方の画像について、輪郭線を有するシルエット画像を形成するシルエット画像形成部と、
   前記撮像手指画像、前記仮想手指画像、又は、前記シルエット画像の何れかから尾根線画像を形成する尾根線画像形成部と、
   前記シルエット画像と前記尾根線画像を重ね合わせて重畳画像を形成する重畳画像形成部と、
   前記重畳画像の前記シルエット画像部分の内部範囲に、前記尾根線画像の尾根線が全て収容されているか、あるいは、前記シルエット画像部分の外部範囲にはみ出す前記尾根線があるかを判断する範囲外尾根線判定部と、
   前記シルエット画像部分の外部範囲にはみ出す前記尾根線がある場合に、その重畳画像に含まれた画像の元画像の中の仮想手指画像を、後段の推定処理に用いられる候補画像から除外する候補画像絞り込み部と、
   前記候補画像絞り込み部により絞り込まれた候補画像の各仮想手指画像に対して、入力された撮像手指画像との類似度を演算し、前記類似度が最小の仮想手指画像を判定し、前記類似度が最小の仮想手指画像を含む前記データセット内から、少なくとも前記各指の関節毎の角度データ含むデータを選択することで、前記類似度演算を含む推定処理を実施する手指角度推定部と、
   前記推定処理の結果を制御対象の装置に向けて出力するデータ出力部と
   を少なくとも有する手指形状検出システム。
6. 前記撮像手指画像記憶部に格納された各手指形状を撮像した画像データに対して、撮像された画像フレーム内の手指と手甲部のトータルの上下寸法が画像フレームの縦寸法に略一致するように拡大又は縮小を行う画像寸法調整部と、
   前記撮像された画像フレームの傾斜角度を事前に記憶装置に格納されている照合対象の画像フレームに一致する所定の角度となるように、前記撮像された画像を前記カメラの光軸の周囲に回転調整させる画像角度調整部と、
   をさらに有する請求項５に記載の手指形状検出システム。
7. 請求項１〜４の何れか１項に記載のカメラアセンブリを少なくとも一台の情報処理装置と共に用いて手指形状を検出する検出方法であって、
   前記情報処理装置で、
   前記カメラから入力する各手指形状を撮像した画像データを記憶するステップと、
   コンピューターグラフィックス（ＣＧ）のプログラムにより手指の各部寸法比率及び手甲の寸法比率が異なり、且つ、手指のポーズも異なる多種のＣＧ画像の手指画像を形成するステップと、
   前記形成された多種の手指画像のうち、前記手指の各部寸法比率及び手甲の寸法比率をリファレンスとして同じであるが、前記手指のポーズが異なる複数の仮想手指画像を同じグループに分類して、前記各寸法比率データと前記ポーズにおける各指の関節毎の角度データを各仮想手指画像毎に少なくとも含むデータセットとして格納するステップと、
   記撮像手指画像の手指の各部寸法比率及び手甲の寸法比率を判別して、前記グループ毎に分類されて前記各寸法比率データと共に格納されている前記複数の前記仮想手指画像から、何れのグループの前記複数の前記仮想手指画像を読み出すかを、前記各寸法比率データにより判別するステップと、
   前記格納された撮像手指画像と、前記格納された仮想手指画像との双方の画像について、輪郭線を有するシルエット画像を形成するステップと、
   前記撮像手指画像、前記仮想手指画像、又は、前記シルエット画像の何れかから尾根線画像を形成するステップと、
   前記シルエット画像と前記尾根線画像を重ね合わせて重畳画像を形成するステップと、
   前記重畳画像の前記シルエット画像部分の内部範囲に、前記尾根線画像の尾根線が全て収容されているか、あるいは、前記シルエット画像部分の外部範囲にはみ出す前記尾根線があるかを判断するステップと、
   前記シルエット画像部分の外部範囲にはみ出す前記尾根線がある場合に、その重畳画像に含まれた画像の元画像の中の仮想手指画像を、後段の推定処理の候補画像から除外するステップと、
   前記候補画像絞り込み部により絞り込まれた候補画像の各仮想手指画像に対して、入力された撮像手指画像との類似度を演算し、前記類似度が最小の仮想手指画像を判定し、前記類似度が最小の仮想手指画像を含む前記データセット内から、少なくとも前記各指の関節毎の角度データ含むデータを選択することで、前記類似度演算を含む推定処理を実施するステップと、
   前記推定処理の結果を制御対象の装置に向けて出力するステップと、
   を少なくとも実施する手指形状検出方法。
8. 前記情報処理装置で、前記情報処理装置に格納された各手指形状を撮像した画像データに対して、撮像された画像フレーム内の手指と手甲部のトータルの上下寸法が画像フレームの縦寸法に略一致するように拡大又は縮小を行うステップと、
   前記情報処理装置で、前記撮像された画像フレームの傾斜角度を事前に記憶装置に格納されている照合対象の画像フレームに一致する所定の角度となるように、前記撮像された画像を前記カメラの光軸の周囲に回転調整させるステップと、
   をさらに実施する請求項７に記載の手指形状検出方法。
9. 請求項７又は８の何れか１項に記載の検出方法を実施するプログラム。
10. 請求項９に記載のプログラムの記憶媒体。