JP2019136500A - パッティング動作分析システム - Google Patents

パッティング動作分析システム Download PDF

Info

Publication number
JP2019136500A
JP2019136500A JP2019015728A JP2019015728A JP2019136500A JP 2019136500 A JP2019136500 A JP 2019136500A JP 2019015728 A JP2019015728 A JP 2019015728A JP 2019015728 A JP2019015728 A JP 2019015728A JP 2019136500 A JP2019136500 A JP 2019136500A
Authority
JP
Japan
Prior art keywords
mat
marker
sphere
outer cover
putting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019015728A
Other languages
English (en)
Other versions
JP6704480B2 (ja
Inventor
ヒョク ヤン,ジン
Jin Hyuk Yang
ヒョク ヤン,ジン
ファン ソン,チャン
Chang Hwan Shon
ファン ソン,チャン
シク キム,ホ
Ho Sik Kim
シク キム,ホ
ジュン ユン,ホン
Hong Jun Yun
ジュン ユン,ホン
ス シン,ワン
Wan Soo Shin
ス シン,ワン
ボム ジュン,イル
Il Bum Jung
ボム ジュン,イル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicongraphy Inc
Original Assignee
Silicongraphy Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicongraphy Inc filed Critical Silicongraphy Inc
Publication of JP2019136500A publication Critical patent/JP2019136500A/ja
Application granted granted Critical
Publication of JP6704480B2 publication Critical patent/JP6704480B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3676Training appliances or apparatus for special sports for golf for putting
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B37/00Solid balls; Rigid hollow balls; Marbles
    • A63B37/0003Golf balls
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B43/00Balls with special arrangements
    • A63B43/008Balls with special arrangements with means for improving visibility, e.g. special markings or colours
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B53/00Golf clubs
    • A63B53/04Heads
    • A63B53/0487Heads for putters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3617Striking surfaces with impact indicating means, e.g. markers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3623Training appliances or apparatus for special sports for golf for driving
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3658Means associated with the ball for indicating or measuring, e.g. speed, direction
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3661Mats for golf practice, e.g. mats having a simulated turf, a practice tee or a green area
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0694Visual indication, e.g. Indicia
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32Golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2209/00Characteristics of used materials
    • A63B2209/14Characteristics of used materials with form or shape memory materials
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/10Positions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/20Distances or displacements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/20Distances or displacements
    • A63B2220/24Angular displacement
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/30Speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/807Photo cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S482/00Exercise devices
    • Y10S482/901Exercise devices having computer circuitry

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Golf Clubs (AREA)

Abstract

【課題】カメラを用いて実時間でゴルフボールの位置、速度を分析可能なパッティング動作分析システムを提供する。【解決手段】球30が置かれるマットに付着された複数のマットマーカー10と、該球30にインパクトを加えるパターに付着された少なくとも1以上のパターマーカー20を含むパターと、該マットマーカー10、該パターマーカー20を含むパター、及び該球30の色と対比される色からなるマットとを撮影するカメラ50と、該カメラ50で撮影された映像により、マットの位置を検出するマット検出部100と、パターと該球30の位置を実時間で検出する物体検出部110と、該球30の速度と進行方向を計算する球計算部120と、検出されたパターの座標で、シミュレータ運用に必要なメニュー選択機能のためのポインタ位置計算を行うポインタ計算部130からなるパッティング動作分析システム。【選択図】図1

Description

本発明は、パッティング動作分析システムに関し、カメラセンサから入力される映像より、パッティングマット、パター、球の位置及び移動を実時間で検出するシステムに関する。
ゴルフ競技の全打数において、パッティングストロークが占める割合は、40〜50%と非常に重要であり、ゴルフの代表的な4つのスイングのうち、殆どのゴルファーが最も難しさを感じるストロークである。
一方、成功的なパッティングストロークのために、運動学的、運動力学的、心理学的な方法などで多くの研究が行われており、これを裏付けるための多くの計測システムが開発されている。
代表的な計測システムとして、光学的な方法を用いる赤外線3次元動作分析カメラと高速ビデオカメラは、運動学的な研究に基づいており、センサ基盤の電子機器である地面反力機と慣性測定システムは、運動学的と運動力学的な研究に活用されている。
また、人造パッティングマット上に薄い糸を用いて直角座標系を構成し、球の位置を把握する方法があるが、再現に難しさがあり、球の位置把握が手動であるため、正確でないという問題がある。
本発明は、別の電子装備を用いることなく、カメラを用いて、実時間で球の位置及び速度を分析し、特別な装備なく、シミュレータのメニュー選択が可能なシステムを提供しようとする。
本発明のパッティング動作分析システムによると、球の移動方向と速度などを実時間で検出して、シミュレータの性能を向上させ、また、特別な装備なく、ポインタ機能を具現して、メニューの選択のようなシミュレータの運用が可能であるという効果を奏する。
図1は、本発明のパッティング動作分析システムの構成を示すブロック図である。 図2は、本実施例により、マットにマットマーカーを配置した例を示す図である。 図3は、本実施例により、パターにパターマーカーを付着する様々な場合を示す図である。 図4は、本実施例により、球検出を行う方法を説明するための図である。 図5は、本実施例により検出されたパター座標を、シミュレータメニュー選択のためのポインタ座標に用いる方法を説明するための図である。 図6は、本発明の実施例により、球移動を制限するためのボールストッパの構成を示す図である。 図7は、本発明の第2実施例によるボールストッパの斜視図と断面図である。 図8は、本実施例によるボールストッパがパッティングマットに結合した状態を示す斜視図である。 図9は、本発明の第2実施例によるボールストッパによるゴルフ球の反発力を示す図である。 図10は、本発明の第3実施例によるボールストッパの断面と、これを用いたゴルフ球の反発力を示す図である。 図11は、本発明の第4実施例によるボールストッパの断面とこれを用いたゴルフ球の反発力を示す図である。
図1は、本発明のパッティング動作分析システムの構成を示すブロック図である。
図1に示しているように、本実施例のシステムは、マットの位置及びサイズを検出するためのマットマーカー10と、使用者が手に握るパターに付着されるパターマーカー20と、ゴルフ球30とを含む。そして、前記マーカーを撮影するカメラ50と、前記カメラ50で撮影された映像を用いて、マットの位置を検出するマット検出部100と、球とパターの物理的な位置情報を実時間で検出する物体検出部110と、球の速度と方向を計算する球計算部120と、パターの移動方向をシミュレータポインタ移動座標に変換するポインタ計算部130とを含む。
本発明の実施例では、パッティングマットに所定の形状のマーカーを特定の形状で配置し、これを入力映像より検出した後、実マーカーのマット内の配置情報と、映像より獲得される情報とを整合して、カメラ50とパッティングマットの間に設置された距離、高さ、角度を抽出することができる。
また、カメラ50により撮影された映像の縦横座標を、前記マット検出部100と物体検出部110によって、マット内の実際の物理的位置に変換することができ、この過程により、球とパターを検出した後、検出された位置情報を解析することで、物理的に移動された距離と経路を抽出することができる。このように抽出された距離と経路に関する情報は、球計算部120で球の速度と方向が計算され、ポインタ計算部130でポインタ座標に変換されて、メニューの選択のようなシミュレータの運用に用いられる。
マットの色は、球、マットマーカー、及びパターマーカーと対比される色からなり、前記マットマーカーを基準に、マットのサイズ及び位置を判断するため、マットが移動されるときは、前記カメラによる再検出動作が行わなければならない。
また、シミュレータの運用に必要なメニュー選択機能は、ポインタ計算部130により、パターの位置移動情報を、ポインティングデバイスの入力情報として使用可能であり、このような構成により、カメラとパッティングマットの間の距離と位置に拘ることがなくなり、シミュレータの運用中にマットの位置が変わっても、実時間で再検出して、設置情報を再計算することができる。
図2は、本実施例により、マットにマットマーカーを配置した例を示す図である。
図2に示しているように、マットマーカー10をマットに様々に配置することができるが、マットマーカー10は、マット色とは区別される色を有するようにし、前記マット検出部100は、カメラ50から入力される映像内より、マットとマットマーカー10を検出して、マットが設置された位置と、距離及び角度を計算する。マットマーカー10の形状は、円状や多角状などであり、マットマーカー10の配置位置は、直線や多角状又は2以上の多角状からなる。
まず、本発明の実施例により、カメラ50の映像より獲得した座標の物理的な座標変換について、説明する。
カメラ50により獲得される映像は、3次元空間上の点を、2次元イメージの平面に投影しており、ピンホールカメラにより、このような関係は、下記の数式1で示される。
前記の数式1又は、
sm=A[R/t]Mで表現される。
前記数式1において、X、Y、Zは、ワールド座標系上の3次元座標であり、[R/t]は、ワールド座標系をカメラ座標系に変換するための回転/移動変換行列である。
また、fx、fyは、焦点長さであり、cx、cyは、主点、uとvは、投影されたイメージ座標を示す。
更に、Aは、カメラの内部パラメータであり、[R/t]は、カメラの外部パラメータであり、カメラの内部及び外部パラメータは、カメラキャリブレーション過程により獲得される。
イメージに投影された座標(u、v)が分かることにと、これに対応する3次元空間座標(X、Y、Z)を前記数式で演算することで、多くの座標を算出することができる。
しかし、高さ成分であるZ値のみを分かっている場合は、3次元上の(X、Y)が分かる。

であり、

とすると、前記の数式1は、下記の数式2で表現される。
前記の数式は、下記の数式3で整理される。
パッティングマット内で球は、Z=0の平面で移動し、パターは、人間の背に比例する原動をしており、球がパターにインパクトされる瞬間、Z値が0に最も近接して移動することになる。このような条件により、2次元上に投影された物体の3次元座標を得ることができるので、前記数式により、カメラセンサより得られた2次元座標(u、v)により、パターのシミュレータ具現のための3次元座標X及びYを得ることができる。
図2に示している様々な例のように、マットマーカーの検出により、カメラ50とマットの設置位置を抽出する過程について説明する。
パッティングマット内にマットと対比される色の多数のマットマーカー10を、直線又は多角状にマットに付着する。ここで、マットマーカーとマットマーカーの間の物理的な距離は、特定の長さで一定にする。
カメラ50で獲得される映像より、マットとマットマーカーの間の色対比を通じて、マット、及びマット内に設置された多数のマットマーカーを全て探すことができ、映像より検出されたマットマーカーの位置と、マットマーカーの間の距離及び傾斜度を抽出することができる。
映像より獲得されたマットマーカーの情報と、実際のマット内に配置されたマットマーカーの情報とを比較すると、マットがカメラ50から離れた距離と、カメラ50が設置された高さ、及びカメラが眺める方向からマットが傾いた角度まで求めることができる。
3次元空間上の座標と、これに対応するイメージ上の2D座標対が複数本あると、カメラの外部パラメータを求められるが、マットに配置された多数のマットマーカーの間の距離と配置された間隔は、予め定義したものであるため、3次元座標が分かり、マーカーの検出により、イメージ上のマーカー位置も分かり、これにより、カメラの外部パラメータを求めることができる。
前記カメラの外部パラメータを、

とする場合、カメラの位置は、下記の数式4により求められる。

Cz:カメラとマットの間の高さ
Sqrt(Cx*Cx+Cy*Cy+Cz*Cz):カメラとマットの間の距離
tan(Cy/Cx):カメラとマットの間の左右角度
tan(Cz/sqrt(Cx*Cx+Cy*Cy)):カメラとマットの間の上下角度
一方、図3には、本実施例により、パターにパターマーカーを付着する様々な場合が示されており、球のサイズは、43mmといった正規化された規格を使うため、パターマーカーは、これと区別されるサイズが付着されるべきであり、球検出のような方法によりパター位置を識別することができ、ここでは、球検出について、詳しく説明する。
図4は、本実施例により、球検出を行う方法を説明するための図である。
球31、32の確認により検出されたマット内で、マットの平均照度と平均色相を求めた後、求められた照度及び色相と対比される物体をいずれも検出する。
マーカーとマーカーの間の物理的距離と、映像内でマーカーとマーカーの間の距離は、比例関係にある。検出された物体のサイズは、この比例関係により分かり、ゴルフ球は、正規化された規格で43mmというサイズであるので、これに合致する物体を球として判別することができる。
図4において、第1のマットマーカー11と第2のマットマーカー12、第3のマットマーカー13と第4のマットマーカー4の水平方向の物理的な配置距離が同一であるphy_distance_hor(単位:mm)であり、カメラ映像より得られた第1のマットマーカー11と第2のマットマーカー12のpixel距離が、top_img_distance(単位:pixel、以下、物理的距離の単位は、mm、映像内の距離の単位は、pixelとする)、第3のマットマーカー13と第4マットマーカー(14)のpixel距離が、bot_img_distanceの場合、第1のマットマーカー11と第2のマットマーカー12の線上に置かれた球のサイズtop_ball_sizeは、下記の数式5で求められる。

top_ball_size:上端マーカーにおける球のイメージ内のpixelサイズ(第1のマットマーカーと第2のマットマーカーにおける球のイメージ内のサイズ)
top_img_distance:上端マーカー1、2のイメージ内のpixel間隔(映像内における第1のマットマーカーと第2のマットマーカーの間の距離)
phy_distance_hor:マーカー1と2、3と4の物理的距離(単位:mm)(第1のマットマーカーと第2のマットマーカー、第3のマットマーカーと第4のマットマーカーの物理的距離)
また、第3のマットマーカー13と第4のマットマーカー14の線上に置かれた球のサイズbot_ball_sizeは、下記の数式6のように求められる。

bot_ball_size:下端マーカーにおける球のイメージ内のpixelサイズ
bot_img_distance:下端マーカー3、4のイメージ内のpixel間隔
phy_distance_hor:マーカー1と2、3と4の物理的距離(単位:mm)
映像内の横線上における球のサイズは、同一であると言えるので、マーカーとマーカーの内外にある球のサイズdetect_ball_sizeは、獲得されたカメラ映像におけるtop_img_distanceとbot_img_distanceのサイズの差、及び上端のマーカーのpixel位置top_mark_posと下端のマーカーの垂直pixelの位置bot_mark_pos、及び検出された球の映像内の垂直位置であるdetect_ball_posを用いて求めることができ、数式7の通りである。

diff_tb_pixel:上端と下端マーカーのイメージ上のpixelの間隔
diff_top_dist:イメージ上の球と上端マーカーのpixel間隔
diff_bot_dist:イメージ上の球と下端マーカーのpixel間隔
bot_mark_pos:下端マーカーの垂直成分のpixel位置
top_mark_pos:上端マーカーの垂直成分のpixel位置
detect_ball_pos:イメージ上の球の垂直成分のpixel位置
detect_ball_size:検出された球のサイズ
最後に、球及びパターの移動方向と速度検出について説明してみる。
前述した内容を適用して得られた3次元座標系により、球とパターの移動速度と、パター内の移動方向を求めることができる。
物体の移動速度は、以下の数式8のように求められる。


object_distance:物体の移動距離
previous_ypos:直前映像の物体の3次元Y座標
previous_xpos:直前映像の物体の3次元X座標
current_ypos:現在映像の物体の3次元Y座標
current_xpos:現在映像の物体の3次元X座標
frame_rate:カメラセンサのフレームレート
objcect_speed:物体の移動速度
物体の移動方向は、3次元平面上のXとY方向成分の前フレームと現在フレームの差分値となり、これを表現すると、下記の数式9の通りである。

previous_ypos:直前映像の物体の3次元Y座標
previous_xpos:直前映像の物体の3次元X座標
current_ypos:現在映像の物体の3次元Y座標
current_xpos:現在映像の物体の3次元X座標
move_slope:物体の移動傾斜度
move_angle:物体の移動角度
図5は、本実施例により検出されたパターの座標を、シミュレータの運用に必要なメニュー選択のためのポインタ座標に変換して使用されることを示す図である。
本実施例により、パターにマーカー20を付着して、前記パターがマット40内で移動した場合、マット内のパターの位置移動情報90は、数式1、数式2、数式3を用いて、物理的な位置移動70に変換可能であり、変換された物理的位置を、ポインティングデバイスの入力に用いて、ディスプレイ装置60に表示することができ、これにより、カメラとマットの設置位置に拘ることなく、メニューの選択のようなユーザインターフェースの具現及びシミュレータの運用が可能となる。
一方、図6は、本発明の第1実施例によるボールストッパの構成を示す図である。
本実施例により、マットマーカー10が付着されたマット上でパッティングした場合に、パッティングされた球が元の位置に戻ることになると、パッティング演習の集中度が落ちることがある。よって、本実施例では、使用者が第1の位置でパッティングした球が、第2の位置に留まるようにするボールストッパが構成される。
パッティング演習は、殆ど室内で行うため、前記ボールストッパによる球の移動制限又は断続時に、騒音が発生しないようにすることも重要である。
本実施例のボールストッパ210は、パッティングされた球30が通る経路上に構成され、球30は、マット200上を通り、前記ボールストッパ210は、マット200の端部を収容する形状からなる。
詳しくは、前記ボールストッパ210は、「C」字状のように、上端部211が閉塞している形状からなり、円状より一部が切開して開放された形状や、上端部が閉塞した形状を有し、前記マット200の端部は、前記ボールストッパ210の内周面に沿って、前記ボールストッパ210と密着して形成される。
特に、前記ボールストッパ210の上端部211は、前記マット200に向けて折り曲げられており、前記ボールストッパ210の内周面に沿って密着したマット200の端部201も、前記ボールストッパ210の上端部211と共に折り曲げて配置される。
また、前記ボールストッパ210は、移動される球30の速度を低下させるバリアー220が形成されており、パッティングされた球30は、前記ボールストッパ210の内部に進入する過程で、所定の弾性を有する材質からなるバリアー220にぶつかって大いに減速され、慣性のために、前記ボールストッパ210の上端部211が有する下向きに折り曲げられた部位に再度ぶつかることになる。すなわち、パッティングされた球30は、A方向に移動され、前記バリアー220にぶつかった後、B方向に移動しつつ、前記ボールストッパの上端部211に再度ぶつかって、減速が行われる。
前記バリアー220とマット200の端部201は、球30との接触時、騒音が大きくない所定の弾性を有するゴム、シリコンなどの材質からなり、このような構造により、パッティングされた球30が開始位置に再度戻ることを減らすことになる。
図7は、本発明の第2実施例によるボールストッパの斜視図と断面図である。
図7に示しているように、第2実施例によるボールストッパは、内部に所定の空間を有し、且つ、一側面が開放した外部カバー311と、前記外部カバー311の内側面に接触された状態で固定され、前記外部カバー311の間で一部が露出する充填部材312とを含む。前記充填部材312の一部は、前記外部カバー311の外に突出形成される。
前記外部カバー311は、所定の長さを有する円筒を、延在方向に沿って半分に切断した半円筒状である。前記外部カバー311の側断面をみると、「C」字状のように、一側は開放され、他側は、閉塞した形状である。
前記充填部材312は、前記外側カバー311の内側面を満たすように取り付けられ、ゴルフ球が前記充填部材312とまず接触するように、前記外側カバー311から所定の長さだけ突出して形成される。前記外側カバー311によって露出した前記充填部材312の表面には、所定の深さで貫通溝317が形成される。前記貫通溝317は、前記ゴルフ球の半径(直径の1/2)に該当する高さを有するように形成され、ぶつかるゴルフ球の中心に、前記貫通溝317が位置するように形成される。
前記充填部材312は、ゴルフ球の衝突による反発力を減らすために、低炭性素材が用いられ、望ましくは、メモリーフォーム又はラテックスが使用される。
前記外部カバー311と充填部材312の間には、PVCフィルム316が配置される。前記PVCフィルム316は、前記外部カバー311と充填部材312の間の接着力を向上させるために設けられ、ボールストッパの組立に際して、外部カバー311と充填部材312の間の結合をより緊密にして、接着状態をより長く維持させる役割を果たす。
前記外部カバー311の下面部314には、所定の直径と長さを有し、上向きに突出した第1の連結部313が、前記外部カバー311の延在方向に沿って、複数本設けられる。前記第1の連結部313は、前記下面部314の上部に重ね合わせるマットと締め付けられて、前記外部カバー311とマットを連結させ、これと同時に、前記外部カバー311内に配置された充填部材312の下面と連結されて、前記充填部材312を固定する役割を果たす。
そして、前記外部カバー311の上面部には、所定の直径と長さを有し、下向きに突出した第2の連結部315が、前記外部カバー311の延在方向に沿って、複数本設けられる。前記第2の連結部315は、前記外部カバー311の内部に配置された充填部材312の上面と連結されて、前記充填部材312を固定する役割を果たす。
図8は、本実施例によるボールストッパがパッティングマットに結合した状態を示す斜視図である。図8に示しているように、本実施例によるボールストッパ310は、パッティングマット200の角に沿って配置される。ゴルフ球は、殆どがホールカップに向けてパッティングされるため、前記ボールストッパ310は、ゴルフ球が主に到達するホールカップの近傍に配置するのが望ましい。
図9は、本発明の第2実施例によるボールストッパによるゴルフ球の反発力を示す図である。図9に示しているように、図8のように、パッティングマット200の側面角にボールストッパ310を設置した時、パッティングされたゴルフ球がボールストッパ310に接触した場合を示している。
パッティングされたゴルフ球が運動エネルギーをもって移動して、ボールストッパ310に設けられた充填部材312にぶつかると、ゴルフ球の運動エネルギーによって、充填部材312の表面は、一定部分が内方に変形が生じることになる。この時、前記充填部材312の表面は、中心部に所定サイズの貫通溝317が設けられているため、ゴルフ球が前記充填部材312に衝突すると、ゴルフ球は、前記貫通溝317の内部へ一部領域が進入した状態となる。
ゴルフ球と充填部材312の接触部位は、Sのように示される。前記貫通溝317の表面は、前記ゴルフ球の表面を取り囲むように変形するため、充填部材312に設けられた貫通溝317は、ゴルフ球と充填部材312の接触面積をより拡げる。よって、ゴルフ球の直進運動に対するエネルギーと、回転運動に対するエネルギーは、充填部材312によって、更に分散される。
充填部材312の変形による反発力は、A、Bのように、充填部材312の接触面に垂直な方向で発生し、ベクトルの方向により、互いに相殺される成分を有することによって、そのサイズが減少される。
図10は、本発明の第3実施例によるボールストッパの断面と、これを用いたゴルフ球の反発力を示す図である。図10に示しているように、第3実施例によるボールストッパ320は、第2実施例と比較して、外部カバー、及び前記外部カバー内に固定させる手段の形状は同一であり、充填部材322の形状が相違するので、充填部材322の形状が示す側断面図を参照する。
前記第3実施例の充填部材322は、前記外部カバー321が取り囲む領域に満たされる円状の柱を、形成方向によって一部切断した形状である。具体的に、充填部材322が前記外部カバー321の外に突出する表面は、前記外部カバー320の上面から下面に沿って傾斜して形成することができ、上から下へ行くほど、外部カバー321の内側方向に所定の角度だけ傾ける。
図10(b)のように、ゴルフ球が、充填部材322の内部に最大限進入して接触すると、ゴルフ球と充填部材312の接触部位は、S’のように示される。この場合、ゴルフ球は、進行方向に対して斜面で前記充填部材322と接触するので、接触面積が広くなるので、進行方向の運動エネルギーよりも顕著に小さくなった反発運動エネルギーが反対方向に示される。
図11は、本発明の第4実施例によるボールストッパの断面とこれを用いたゴルフ球の反発力を示す図である。図11に示しているように、第4実施例によるボールストッパ320は、第1実施例と比較して、外部カバー、及び前記外部カバー内に固定させる手段の形状は同一であり、充填部材332の形状が相違している。
前記第4実施例の充填部材332は、前記外部カバー331の外に露出する表面が、上から下に沿って、一定の深さで溝が彫られるように形成される。例えば、露出される充填部材332の表面が曲面を成すように、溝が形成される。
前記のような方法により、パター動作による球の移動方向と速度などを実時間で検出可能であり、シミュレータの性能を向上させるというメリットがある。

Claims (7)

  1. 球が置かれるマットに付着され、固定された物理的な配置距離で付着される複数のマットマーカーと、
    前記マットマーカーの色とは対比される色からなるマットと、
    前記マットマーカーを撮影するカメラと、
    前記カメラで撮影された映像より、前記マットの位置を実時間で検出するマット検出部とを含み、
    前記マット検出部は、前記カメラにより撮影されるマットマーカーの位置と、前記マットマーカーの所定の間隔を用いて、マットマーカーの3次元座標を求め、
    前記マット検出部で求められた3次元座標により、前記マットと前記カメラの間の距離、高さ、及び設置角度を抽出し、
    前記求められた前記マットマーカーの3次元座標により、前記マット内で移動する物体の物理的座標を得ることを特徴とするパッティング動作分析システム。
  2. 前記パターに付着され、前記マットの色とは対比される色を有する少なくとも1以上のパターマーカーと、
    前記カメラで前記パターマーカーが撮影される映像より、前記パターの位置を実時間で検出する物体検出部と、
    前記物体検出部により検出された情報を、ポインティングデバイスの入力に使用できるように、物理的位置に変換するポインタ計算部とを含むことを特徴とする請求項1に記載のパッティング動作分析システム。
  3. 前記マットの色とは対比される色を有する球と、
    前記カメラで前記球が撮影される映像より、前記球の位置を実時間で検出する物体検出部と、
    前記物体検出部により検出された情報を用いて、前記球の移動速度と方向を計算する球計算部とを含むことを特徴とする請求項1に記載のパッティング動作分析システム。
  4. 前記マットの一側には、前記球の移動を制限するためのボールストッパが設けられ、
    前記ボールストッパは、円状であり、且つ、一部が切開して開放した形状を有し、前記ボールストッパの上端部は、前記マットに向けて折り曲げられた形状を有し、
    前記マットの端部は、前記ボールストッパの内周面に密着して配置され、
    前記ボールストッパの内側には、前記球と接触する所定の弾性を有するバリアーが形成されることを特徴とする請求項1に記載のパッティング動作分析システム。
  5. 前記マットの一側には、前記球の移動を制限するためのボールストッパが設けられ、
    前記ボールストッパは、内部に所定の空間を有し、且つ、前記パッティングマットを眺める方向が開放した外部カバーと、前記外部カバー内に接触した状態で固定され、前記外部カバーの間に一部が露出される充填部材とを含み、
    前記充填部材は、前記外部カバー内を満たし、且つ、前記外部カバーより一定部分が突出形成され、
    前記充填部材の露出された表面には、所定の長さと幅を有する貫通溝が設けられ、前記貫通溝は、前記パッティングマットに沿って移動したゴルフ球の中心部が接触するように、所定の長さと幅からなることを特徴とする請求項1に記載のパッティング動作分析システム。
  6. 前記外部カバーの下面部には、所定の直径と長さを有し、上向きに突出した第1の連結部が、前記外部カバーの延在方向に沿って複数本設けられ、
    前記第1の連結部は、前記パッティングマットに形成されたホールに結合して、前記外部カバーとパッティングマットを連結し、前記外部カバー内に設けられた充填部材を固定することを特徴とする請求項5に記載のパッティング動作分析システム。
  7. 前記充填部材が前記外部カバーによって露出される表面は、前記外部カバーの上面から下面に沿って傾斜して形成され、前記外部カバーの上面から下面に行くほど、前記外部カバーの内側方向に所定の角度だけ傾斜して形成されることを特徴とする請求項5に記載のパッティング動作分析システム。
JP2019015728A 2018-02-07 2019-01-31 パッティング動作分析システム Active JP6704480B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0015210 2018-02-07
KR1020180015210A KR101951336B1 (ko) 2018-02-07 2018-02-07 퍼팅 분석 시스템

Publications (2)

Publication Number Publication Date
JP2019136500A true JP2019136500A (ja) 2019-08-22
JP6704480B2 JP6704480B2 (ja) 2020-06-03

Family

ID=65584838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019015728A Active JP6704480B2 (ja) 2018-02-07 2019-01-31 パッティング動作分析システム

Country Status (4)

Country Link
US (1) US11135498B2 (ja)
JP (1) JP6704480B2 (ja)
KR (1) KR101951336B1 (ja)
CN (1) CN110115829A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154611B1 (ko) * 2019-05-17 2020-09-10 김대호 스크린 퍼팅 장치
US12324959B2 (en) 2020-12-31 2025-06-10 Vrotein Inc. Putting guide system
KR102563612B1 (ko) 2021-05-11 2023-08-07 주식회사 제롬 골프 퍼팅 연습 장치
US11914709B2 (en) 2021-07-20 2024-02-27 Bank Of America Corporation Hybrid machine learning and knowledge graph approach for estimating and mitigating the spread of malicious software
KR102678272B1 (ko) * 2021-11-12 2024-06-26 (주)브로틴 퍼팅 가이드 시스템 제공방법
WO2023087047A1 (en) * 2021-11-19 2023-05-25 Puttchamp Pty Ltd Ball game apparatus and method therefor
JP7190722B1 (ja) 2022-09-07 2022-12-16 株式会社Gpro ゴルフパッティング練習装置及びゴルフパッティング練習方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006062310A1 (en) * 2004-12-09 2006-06-15 Wan Chul Kim Apparatus for putting correcting and training
JP2012170532A (ja) * 2011-02-18 2012-09-10 Dunlop Sports Co Ltd ゴルフクラブ及びボールの挙動の計測方法
JP2013535258A (ja) * 2010-07-23 2013-09-12 チョン、ドンチョル ゴルフ用パッティング練習機
JP2014512903A (ja) * 2011-03-22 2014-05-29 ゴルフゾン カンパニー リミテッド 仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法
JP2015181770A (ja) * 2014-03-25 2015-10-22 株式会社セガゲームス プログラムおよびゲームシステム
JP2017113585A (ja) * 2017-02-13 2017-06-29 ダンロップスポーツ株式会社 ゴルフクラブヘッドの計測方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6758759B2 (en) * 2001-02-14 2004-07-06 Acushnet Company Launch monitor system and a method for use thereof
JP2004195240A (ja) * 2002-12-19 2004-07-15 Acushnet Co ゴルフ用具用の蛍光マーカーを備えた性能測定システム
JP2005291824A (ja) * 2004-03-31 2005-10-20 Yokohama National Univ 飛翔体の飛翔挙動測定装置および飛翔体の飛翔挙動測定方法
US20060040761A1 (en) * 2004-08-23 2006-02-23 Sam-Kyu Shin Scale mark mat for putting practice
KR20080098136A (ko) * 2007-05-04 2008-11-07 성관석 퍼팅연습이 가능한 스크린골프 시스템과 이를 이용한연습방법
KR20100022415A (ko) * 2008-08-19 2010-03-02 이성수 골프퍼팅시뮬레이션연습장치
JP6125146B2 (ja) * 2011-12-29 2017-05-10 ダンロップスポーツ株式会社 ゴルフクラブヘッドの計測方法
US8951138B2 (en) * 2012-01-25 2015-02-10 Wawgd, Inc. Golf club head measurement system
DE102015225776A1 (de) * 2015-12-17 2017-06-22 Viewlicity Gmbh Verfahren und Vorrichtung zur Bewegungsanalyse eines Sportgeräts
US11167203B2 (en) * 2017-03-06 2021-11-09 Trugolf, Inc. System, method and apparatus for golf simulation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006062310A1 (en) * 2004-12-09 2006-06-15 Wan Chul Kim Apparatus for putting correcting and training
JP2013535258A (ja) * 2010-07-23 2013-09-12 チョン、ドンチョル ゴルフ用パッティング練習機
JP2012170532A (ja) * 2011-02-18 2012-09-10 Dunlop Sports Co Ltd ゴルフクラブ及びボールの挙動の計測方法
JP2014512903A (ja) * 2011-03-22 2014-05-29 ゴルフゾン カンパニー リミテッド 仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法
JP2015181770A (ja) * 2014-03-25 2015-10-22 株式会社セガゲームス プログラムおよびゲームシステム
JP2017113585A (ja) * 2017-02-13 2017-06-29 ダンロップスポーツ株式会社 ゴルフクラブヘッドの計測方法

Also Published As

Publication number Publication date
US20210001200A1 (en) 2021-01-07
CN110115829A (zh) 2019-08-13
US11135498B2 (en) 2021-10-05
JP6704480B2 (ja) 2020-06-03
KR101951336B1 (ko) 2019-02-22

Similar Documents

Publication Publication Date Title
JP6704480B2 (ja) パッティング動作分析システム
US11291902B2 (en) Systems and methods for illustrating the flight of a projectile
JP5858261B2 (ja) 仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法
US8690698B2 (en) Golf swing classification method, system, device, and program
US7214138B1 (en) Golf ball flight monitoring system
JP5365486B2 (ja) ゴルフスウィングの分類方法およびチャート
KR101930914B1 (ko) 골프 클럽 헤드 측정 시스템
CN102847291B (zh) 用于挥杆时高尔夫球杆头行为的测量分析系统和方法
KR102642264B1 (ko) 싱글 카메라를 이용한 평면 이동 구체의 운동 센싱장치 및 방법과, 퍼팅매트를 이동하는 골프공의 운동 센싱장치 및 방법
US20250303248A1 (en) Detecting method of golf club and sensing device using the same
JP7562919B2 (ja) ゴルフスイングに対するセンシング装置及びこれを利用したクラブヘッドのインパクト位置センシング方法
KR101462079B1 (ko) 골프 시뮬레이터
KR20210125662A (ko) 골프클럽의 스윙자세 확인 교정시스템 및 이를 이용한 자세 교정방법
KR20220100765A (ko) 고속 카메라 영상에서 골프공과 골프클럽의 움직임을 인식하는 방법 및 이를 이용한 골프용 모션 분석 장치
US12605593B2 (en) Image analysis method for sensing moving ball, and sensing device using same
KR20220058258A (ko) 가상 골프 시뮬레이션을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101845270B1 (ko) 야구 게임 시스템
JP2018022996A (ja) 撮像システムおよび撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200512

R150 Certificate of patent or registration of utility model

Ref document number: 6704480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250