JPH06137974A

JPH06137974A - 物体の画像解析装置

Info

Publication number: JPH06137974A
Application number: JP5000991A
Authority: JP
Inventors: Satoshi Naoi; 聡直井; Koichi Egawa; 宏一江川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-09-11
Filing date: 1993-01-07
Publication date: 1994-05-20

Abstract

(57)【要約】【目的】物体の画像解析装置に関し、物体が見えにく
い箇所でもその物体の動きを安定かつ精度良く捉えるこ
とができ、コストも低減することを目的とする。【構成】物体の圧力分布を荷重画像として出力する圧
力センサ２２と、荷重画像を各画素の濃度値に応じて分
類し分類した各々のグループで投影値を算出し算出した
投影値に重みをつけて荷重中心を重心として算出する位
置計測手段２３Ａと、算出した重心を中心とするモーメ
ントの主軸を算出し物体の向きおよび方向の変化を求め
る向き演算手段２４Ａを備えるようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体の画像解析装置に
関する。近年、自動検査、無人監視、運動解析などＴＶ
カメラで捉えた画像を処理する画像処理装置が普及しつ
つある。画像から所望の物体を抽出し、物体の位置、大
きさ、色などの情報を捉えることができる。これによ
り、画像処理装置は、人手で行っていた作業を軽減する
ことができたり、人が立ち入ることのできない作業を実
現でき、さらに、人間がわからない現象を捉えたりする
など人間の目以上の役割を果たす非接触なセンサとして
着目されている。

【０００２】これらの非接触なセンサ以外に、接触セン
サで目に見えない物体の運動状態を詳細に画像処理する
ことが要望されている。特に、接触センサとしてある領
域にかかる物体の圧力分布を捉える圧力センサが着目さ
れている。

【０００３】

【従来の技術】従来の物体の画像解析装置においては、
物体の動きを抽出するために物体にマーカーを装着し、
ＴＶカメラで捉えた画像からマーカの軌跡を抽出するこ
とによって行っていた。具体的には、マーカとして複数
の動きの判別がし易い色マーカを使用し、画像処理によ
って色抽出、投影、重心の演算処理により、所望の色マ
ーカの位置を算出することができる。たとえば、足の向
きの変化を算出する場合、足の爪先、踵にマーカを装着
し、２つのマーカの位置を上記の画像処理によって算出
することにより、足の方向を求めることができる。さら
に、上記のアルゴリズムは動画像処理しやすく、ＴＶカ
メラのスピード（１秒間に６０フィールド）で、高速処
理が可能であり、６０ポイント／秒のサンプリング間隔
で足の方向の変化を細かく算出することができる。

【０００４】図１３に物体の動きを解析する位置計側部
を示す。図１３において、まず、色マーカ１をゴルファ
２の位置計測したい部分に付着させる。例えば、クラブ
ヘッド、体の頭、両肩、両膝、両足などにつける。Ａ／
Ｄ変換器３では、ＴＶカメラ４から入力した画像信号を
ＲＧＢディジタル信号に換える。

【０００５】色抽出回路５では、図１４のようにＴＶカ
メラ４の出力のＲ，Ｇ，Ｂの画像データに対して、テー
ブル６を使用してデータ変換を行い、複数の特定色の画
像データのみ画素値をその色に相当する特定値にして出
力し、他の色に対しては、画素値を０にして出力する。
たとえば、特開昭６３−３１４９８８号記載の「ビデオ
レート色抽出装置」を用いて色抽出回路５を実現する。

【０００６】雑音除去回路７では、たとえば、３×３の
論理フィルタを用いて孤立点除去を行い、４連結などド
ットが連続する連結パターンを抽出する。３×３の入力
パターンに対する出力値のテーブル８の例を図１５に示
す。投影算出回路９は、図１６に示すように、雑音が除
去された２値パターンに対して各行ごとの水平投影、各
列ごとの垂直投影を求める。投影算出回路９は識別する
色の数だけ用意する。投影値算出については、たとえ
ば、特開昭６３−１４０３８１号記載の「ビデオレート
投影算出回路」を用いる。

【０００７】重心算出回路は、ＤＳＰ（Digital Signal
Processor）１０を使って実現する。図１７に、ＤＳＰ
１０の外部ＲＡＭ１１とプログラムの処理ブロックを示
す。重心算出方式については、たとえば、微小物体の位
置計測方式を用いる。図１７の処理で得られた水平投
影、垂直投影の結果をＤＳＰ１０の外部ＲＡＭ１１に格
納する。ホスト計算機１２から物体の移動領域の最大値
と最小値を投影有効区間として外部ＲＡＭ１１に格納し
ておく。さらに、物体の大きさの２倍程度の値を区間幅
として外部ＲＡＭ１１の任意区間幅の領域に格納してお
く。水平投影、垂直投影、投影有効区間、任意区間幅の
値を使って順々に各区間の投影値の累積値を算出する。

【０００８】次々に算出される区間投影値は、前に算出
された最大の区間投影値と比較して、もしそれ以上であ
ればその区間投影値を新たな区間最大投影値となす。同
時にその区間の開始点と終了点を記憶する。この処理の
繰り返しにより、投影値が最大の区間、その区間の開始
点、終了点が得られ、外部ＲＡＭ１１に格納する。図１
８に、区間最大投影値について示す。

【０００９】図１８において、ホスト計算機１２からの
設定値としては、開始点は１０行目、終了点は９７行
目、区間幅は４とする。区間最大投影値は３１２、開始
点は１４、終了点は１７である。重心算出区間の決定
は、図１９に示すように投影値の累積が最大である最大
投影区間の情報をもとに、あらかじめ登録しておく任意
区間修正幅を加算して区間幅を拡張する。もし、投影有
効区間を越える場合は、投影有効区間の開始点、あるい
は、終了点を重心算出区間の端点とする。このように、
重心算出区間の決定することにより、図１９の（ａ）で
は（２）の区間内だけで対象物Ａの重心算出を行うため
に重心の精度が悪くなるが、（ｂ）のように対象物Ａが
重心算出区間におさまり精度よく重心算出を行える。

【００１０】次に、重心算出回路では、上記のように決
定した重心算出区間で重心を算出する。水平投影におい
て受信算出区間の開始点をｓｔｈ、終了点をｅｄｈと
し、垂直投影において重心算出区間の開始点をｓｔｖ、
終了点をｅｄｖとすると、また、各区間の投影値の累積
値をそれぞれＳＵＭｖ，ＳＵＭｈとすると、重心は次式
で算出できる。

【００１１】

【数１】

【００１２】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の物体の画像解析装置にあっては、物体の動き
に応じて、マーカが隠れて見えなくなる場合が生じ、安
定に動きを捉えることができなかった。これに対して、
複数のＴＶカメラを様々な角度から物体の動きを観測す
る手段もあるが、トータルシステムとしてのコストが膨
大になるだけではなく、足の向きを検出する場合、ズボ
ンなどで足が隠れてしまうという問題点があった。

【００１３】本発明は、このような従来の問題点に鑑み
てなされたものであって、物体が見えにくい箇所でも、
その物体の動きを安定にかつ精度よく捉えることがで
き、コストも低減することができる物体の画像解析装置
を提供することを目的とする。

【００１４】

【課題を解決するための手段】図１は本発明の原理説明
図である。本発明は、物体の圧力分布を荷重画像として
出力する圧力センサ２２と、荷重画像を各画素の濃度値
に応じて分類し、分類した各々のグループで投影値を算
出し、算出した投影値に重みをつけて荷重中心を重心と
して算出する位置計測手段２３Ａと、算出した重心を中
心とするモーメントの主軸を算出し物体の向きおよび方
向の変化を求める向き演算手段２４Ａを備えたことを特
徴とする。

【００１５】また、本発明は、前記荷重画像からその総
荷重、荷重形状および荷重の広がりを算出して物体の荷
重状態を認識する荷重状態認識手段２３Ｂを設けて、荷
重状態から荷重中心を重心として算出した後物体の向き
および方向の変化を求めるようにしたことを特徴とす
る。また、本発明は、前記荷重画像を重ね合わせた画像
を生成する重ね合わせ画像生成手段２３Ｃを設けて、重
ね合わせた画像に基づいて物体の荷重状態を認識するよ
うにしたことを特徴とする。

【００１６】また、本発明は、前記物体の向きを用いて
その方向ベクトルに垂直な方向の最大距離を求めて物体
の動きの幅を演算する動き幅演算手段２４Ｂと、物体の
動き幅と予め与えられた物体の幅から物体の位置ずれを
演算する位置ずれ演算手段２４Ｃを設けたことを特徴と
する。

【００１７】

【作用】このような構成を備えた本発明の物体の画像解
析装置によれば、圧力センサ２２を用いて、物体の圧力
分布を荷重画像として出力し、荷重画像を画像処理し
て、物体の位置計測を行い、荷重画像の重心を中心とす
るモーメントの主軸を算出し、物体の向き、方向の変化
を求め、物体の位置ずれを算出するようにしたため、本
来の圧力変化だけではなく、物体が見えない箇所でも安
定にかつ精度よく物体の動きを捉えることができる。

【００１８】また、複数のＴＶカメラなどが必要でない
ため、トータルシステムとしてコストを低減することが
できる。その結果、ゴルフフォームの診断などに有効で
ある。また、物体の向き、方向の変化を算出するとき、
荷重画像の総荷重、荷重形状、荷重の広がりを求めて物
体荷重状態を認識し、また、荷重画像を重ね合わせた画
像より、物体の荷重状態を認識するようにしたため、向
き、方向の変化の算出精度を高めることができる。

【００１９】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図２〜図１２は本発明の一実施例を示す図であ
る。図２はゴルフフォーム診断に適用した例を示す。図
２において、２１はゴルファ（物体）であり、ゴルファ
２１の両足の直下に圧力センサ２２が設けられる。圧力
センサ２２はゴルファ２１のスイングに応じて変化する
圧力分布を荷重画像（濃淡画像）信号（ＮＴＳＣ信号）
として動画像解析機２３に出力する。

【００２０】動画像解析機２３はその位置を画像処理す
る。すなわち、動画像解析機２３は、６０ポイント／秒
のサンプリング間隔で細かく足の位置を計測する。２４
はホスト計算機であり、ホスト計算機２４は計測した足
の位置と荷重画像により足の方向、ずれを算出する。動
画像解析機２３は、圧力センサ２１からの画像信号をＡ
／Ｄ変換した後に格納する画像メモリと、Ａ／Ｄ変換し
た画像から投影処理するビデオレートプロセッサと、投
影結果からプログラマブルに演算処理するＤＳＰより構
成されている。

【００２１】すなわち、動画像解析機２３は、圧力セン
サ２２からの荷重画像を各画素の濃度値に応じて分類
し、分類した各々のグループで投影値を算出し、算出し
た投影値に重みをつけて荷重中心を重心として算出する
位置計測手段２３Ａ、荷重画像からその総荷重、荷重形
状および荷重の広がりを算出して物体の荷重状態を認識
する荷重状態認識手段２３Ｂおよび荷重画像を重ね合わ
せた画像を生成する重ね合わせ画像生成手段２３Ｃとし
ての機能を有する。

【００２２】また、ホスト計算機２４は、位置計測手段
２３で算出した重心を中心とするモーメントの主軸を算
出し足の向きおよび方向の変化を求める向き演算手段２
４Ａ、向き演算手段２４Ａで求めた足の向きを用いてそ
の方向ベクトルに垂直な方向の最大距離を求めて足の動
きの幅を演算する動き幅演算手段２４Ｂおよび足の動き
幅と予め与えられた足の幅から足の位置ずれを演算する
位置ずれ演算手段２４Ｃとしての機能を有する。

【００２３】ホスト計算機２４の解析結果は、モニタ２
５に表示され、また、ビデオプリンタ２６で印刷され
る。まず、足の位置計測について説明する。図３は足の
位置計側部を示す図である。図３において、圧力センサ
２２は、高感度感圧導電ゴムを用いて、触覚の圧力分布
を電気抵抗に変え、その大小により圧力分布を濃淡画像
としてビデオレートで出力する。濃淡画像はＲＧＢのい
ずれかでＡ／Ｄ変換器２７よりＡ／Ｄ変換する。濃淡画
像は、クラスタリング回路２８で各画素の濃度値に応じ
て雑音除去回路２９で雑音を除去した後に分類した各々
のグループで投影算出回路３０により投影値を算出し、
その投影値に重みを付けてＤＳＰ３１で荷重中心を算出
する。

【００２４】荷重中心は、足圧濃淡画像の重心を算出し
て求める。ここで、ある画素（ｘ，ｙ）の濃度値をｆ
（ｘ，ｙ）とすると、重心Ｇ（ｇｘ，ｇｙ）は、一般的
に次式のように求められる。

【００２５】

【数２】

【００２６】すなわち、ｇｘの分母は、Ｘの定義域でΣ
_y ｆ（ｘ，ｙ）である水平投影の結果とｘとの積和演算
により算出でき、ｇｘの分子は、水平投影の総和で計算
できる。ｇｙについても同様である。こうすると、投影
をビデオレートプロセッサ、積和演算、総和算出／除算
をＤＳＰ３１で実現することで、重心Ｇ（ｇｘ，ｇｙ）
は、一般的にビデオレートで簡単に求められる。

【００２７】圧力センサ２２からの濃淡画像を（１），
（２）式で計算する場合に濃度値ｆ（ｘ，ｙ）にｎ個の
ラベルを付け、各ラベルに相当する重みをＤＳＰ３１内
で行う積和演算に反映させる。具体的には、体重移動を
計測する場合、左右それぞれの重心を算出したいので、
図４で画像データＡ〜Ｃまでは、右足の重心算出用、画
像データＤ〜Ｆまでは左足の重心算出用に割り当てた。
各足で足圧画像を濃度値により３個のラベルを付け、図
５のようにＤＳＰ３１で各ラベルに相当する重み付けを
して下記の重心算出を行った。

【００２８】

【数３】

【００２９】次に、足の向きの算出方法を説明する。足
の位置は、前記位置計測部により算出した重心である。
足の向きは、足圧力画像を足の重心を中心とする分布画
像と見なし、そのモーメントを算出して行う。足圧力画
像は、個人によってはつま先、踵、あるいは、左右の一
部しか得られない場合もあるので、それらを判定して、
信頼度を定義し、信頼度の高い正確な足の向きだけを算
出できるようにする。以下、詳細に説明する。

【００３０】まず、足の向きの算出方法を示す。図６の
座標系で、重心を通る直線ｘ＝ｙｔａｎΘの慣性モーメ
ントＭは、次のようになる。

【００３１】

【数４】

【００３２】Ｍが最小となる慣性主軸は、（ｘｃｏｓΘ
−ｙｓｉｎΘ）² をＦ_M とおいて、下記に示す式におい
て、ｄＦ_M ／ｄΘ＝０を満たすΘを算出する。

【００３３】

【数５】

【００３４】ここで、Ｍ_xxは、ｘ軸回りのモーメント、
Ｍ_yyはｙ軸回りのモーメント、Ｍ_xyは、ｙ＝ｘ軸回りの
モーメントで下記の式より算出される。

【００３５】

【数６】

【００３６】ｄＦ_M ／ｄΘ＝０を解くと、下記のように
なる。

【００３７】

【数７】

【００３８】足の向きをＸ軸とのなす角αとすると、角
αは次の式により算出される。

【００３９】

【数８】

【００４０】こうして、図７に示すように足の向きを各
ポイントを算出できるようになった。図７の画像は、標
準的なスイングでの足圧力画像であるが、図８に示すよ
うにつま先だけ、あるいは、踵だけなど極端な例の場合
に、足の向きを算出するには情報が欠落しており、モー
メント算出が無意味であることを認識しなくてはならな
い。そのため、モーメントの信頼度を定義し、つま先だ
け、踵だけの場合をリジェクトする。信頼度は３つの項
目から成り、１つでも条件を満足しない場合には、リジ
ェクトする。 (1) 荷重の大きさ全荷重が大きい。すなわち、Ａ＝ΣΣｆ（ｘ，ｙ）＞ｔｈ１ (2) 荷重の形円形でない。すなわち、（Ｌ² ／Ａ）×π／４＞ｔｈ２但し、（ＭＡＸＹ−ＭＩＮＹ）＞（ＭＡＸＸ−ＭＩＮ
Ｘ）のとき、Ｌ＝ＭＡＸＹ−ＭＩＮＹ，そうでなけれ
ば、Ｌ＝ＭＡＸＸ−ＭＩＮＸ（図９、参照） (3) 荷重の広がり広がりが大きい。すなわち、（ＭＡＸＹ−ＭＩＮＹ）² ＋（ＭＡＸＸ−ＭＩＮＸ）² ＞ｔｈ３各ポンイトでは、つま先、踵だけでも一連のスイングで
は、つま先、踵が混在する。そこで、各ポイントの画像
を重ね合わせた画像を生成し、その画像から荷重の中心
を重心から算出し、その重心を中心とするモーメントを
算出して一連のスイングの足の向きを算出する。図１０
には、重ね合わせ画像が足の向きを算出した結果を示
す。なお、重ね合わせた画像の生成は、動画解析機にお
いて、足の動きの開始時刻から終了時刻までの各フレー
ムの濃度値を各画素ごとに加算することで行う。

【００４１】基本的には、一連のスイングでは足の位置
ずれはなく、体重移動だけである。しかしながら、悪い
スイングでは、足の位置ずれも生じ、それを定量化して
診断する必要がある。ここでは、足の幅を算出し、その
幅が標準に比べ大きい場合に足の位置ずれが生じると判
断することにした。足の幅は、前述した重ね合わせ画像
から算出した足の向きを使って、そのベクトルと荷重画
像の画素からの距離を求め、その最大値より算出する。
具体的な方法を図１１に以下に示す、図１１において、
足の向きを表す直線の方程式をｘ＝ａｙ＋Ｃとすると、
ある点（ｘ１，ｙ１）からその直線までの距離ｄは、次
式で示される。

【００４２】

【数９】

【００４３】標準的な足の幅をＬとし、足内部の各画素
は直線ｘ＝ａｙ＋Ｃ１と直線ｘ＝ａｙ＋Ｃ２の間に含ま
れるとすると、上記のｄを高速に求めるため、ｘ１＞ａｙ１＋Ｃ１あるいは、ｘ１＜ａｙ１＋
Ｃ２を満たす点だけｄを計算する。ｘ１＞ａｙ１＋Ｃ１を満
たす点の最大値をＬ１として見つけ、ｘ１＜ａｙ１＋Ｃ
２を満たす点の最大値をＬ２として見つけると、足の幅
はＬ１＋Ｌ２で算出することができる。足の位置ずれ
は、下記のように求まり、ある閾値ｔｈ４よりも大きい
とき足の位置ずれがあったと判断する。

【００４４】

【数１０】

【００４５】図１２には、足の位置ずれのある場合とな
い場合の結果を示す。重ね合わせ画像からも足の位置ず
れが大きい場合に分布の広がりが大きいのがわかるが、
図１２（ｂ）に示すように大きければ大きいほど位置ず
れが大きくなるように定量化した。このように、圧力セ
ンサ２１を用いて荷重画像を解析するようにしたため、
本来の圧力変化だけでなく、物体が見えにくい箇所でも
その物体の動きを算出することができる。

【００４６】この場合、物体の総荷重、荷重形状、荷重
の広がりに基づいて物体の荷重状態を認識するようにし
たため、物体の方向、ずれの計算をより正確に行うこと
ができる。また、荷重画像を重ね合わせた画像を生成
し、荷重状態を認識するようにしたため、物体の方向、
ずれの計算をより正確に行うことができる。また、物体
が見えにくい箇所に対して、さまざまな角度から複数の
ＴＶカメラを設置して物体の動きを観測する必要がない
ため、コストを低減することができる。

【００４７】

【発明の効果】以上説明してきたように、圧力センサを
用いて荷重画像を解析するようにしたため、本来の圧力
変化だけでなく、物体が見えにくい箇所でもその物体の
方向、ずれを算出することができ、物体の動きを安定に
精度良く捉えることができる。また、複数のＴＶカメラ
などを必要としないため、コストを低減することができ
る。その結果、ゴルフフォームの診断などに有効であ
る。

【図面の簡単な説明】

【図１】本発明の原理説明図

【図２】本発明の一実施例を示す図

【図３】足の位置計測部を示す図

【図４】重心算出部を示す図

【図５】濃淡画像の重心算出の説明図

【図６】足の向きの算出の説明図

【図７】足の位置、向きを示す図

【図８】つま先荷重、踵荷重を示す図

【図９】荷重の形の説明図

【図１０】重ね合わせ画像を示す図

【図１１】足の位置ずれ算出の説明図

【図１２】足の位置ずれを示す図

【図１３】従来例を示す図

【図１４】色抽出回路のテーブルを示す図

【図１５】雑音除去回路のテーブルを示す図

【図１６】色マーカの投影算出の説明図

【図１７】重心算出処理の説明図

【図１８】区間最大投影値の説明図

【図１９】重心算出区間の決定の説明図

【符号の説明】

２１：ゴルファ２２：圧力センサ２３：動画像解析機２３Ａ：位置計測手段２３Ｂ：荷重状態認識手段２３Ｃ：重ね合わせ画像生成手段２４：ホスト計算機２４Ａ：向き演算手段２４Ｂ：動き幅演算手段２４Ｃ：位置ずれ演算手段２５：モニタ２６：ビデオプリンタ

Claims

【特許請求の範囲】

【請求項１】物体の圧力分布を荷重画像として出力する
圧力センサ（２２）と、荷重画像を各画素の濃度値に応
じて分類し、分類した各々のグループで投影値を算出
し、算出した投影値に重みをつけて荷重中心を重心とし
て算出する位置計測手段（２３Ａ）と、算出した重心を
中心とするモーメントの主軸を算出し物体の向きおよび
方向の変化を求める向き演算手段（２４Ａ）を備えたこ
とを特徴とする物体の画像解析装置。
【請求項２】前記荷重画像からその総荷重、荷重形状お
よび荷重の広がりを算出して物体の荷重状態を認識する
荷重状態認識手段（２３Ｂ）を設けて、荷重状態から荷
重中心を重心として算出した後物体の向きおよび方向の
変化を求めるようにしたことを特徴とする請求項１の物
体の画像解析装置。
【請求項３】前記荷重画像を重ね合わせた画像を生成す
る重ね合わせ画像生成手段（２３Ｃ）を設けて、重ね合
わせた画像に基づいて物体の荷重状態を認識するように
したことを特徴とする請求項１および請求項２の物体の
画像解析装置。
【請求項４】前記物体の向きを用いてその方向ベクトル
に垂直な方向の最大距離を求めて物体の動きの幅を演算
する動き幅演算手段（２４Ｂ）と、物体の動き幅と予め
与えられた物体の幅から物体の位置ずれを演算する位置
ずれ演算手段（２４Ｃ）を設けたことを特徴とする請求
項１〜３の物体の画像解析装置。