JP7400937B2 - 情報処理プログラム、装置、及び方法 - Google Patents

情報処理プログラム、装置、及び方法 Download PDF

Info

Publication number
JP7400937B2
JP7400937B2 JP2022502703A JP2022502703A JP7400937B2 JP 7400937 B2 JP7400937 B2 JP 7400937B2 JP 2022502703 A JP2022502703 A JP 2022502703A JP 2022502703 A JP2022502703 A JP 2022502703A JP 7400937 B2 JP7400937 B2 JP 7400937B2
Authority
JP
Japan
Prior art keywords
time
ice
frame
icing
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502703A
Other languages
English (en)
Other versions
JPWO2021171470A1 (ja
JPWO2021171470A5 (ja
Inventor
公治 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2021171470A1 publication Critical patent/JPWO2021171470A1/ja
Publication of JPWO2021171470A5 publication Critical patent/JPWO2021171470A5/ja
Application granted granted Critical
Publication of JP7400937B2 publication Critical patent/JP7400937B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/18—Skating
    • A63B2244/183—Artistic or figure skating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Devices For Executing Special Programs (AREA)
  • Television Signal Processing For Recording (AREA)

Description

開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。
従来、スポーツの競技中の映像から、所定のシーンを切り出すことが行われている。所定のシーンは、例えば、ゴルフ、野球、テニス等におけるボールに対するインパクトの瞬間を含むシーン、体操競技等における跳躍や着地を含むシーン等である。
上記のようなシーン切り出しに関する技術として、例えば、被写体の連続するモーションの中から決定的瞬間を特定して画像として抽出する情報処理装置が提案されている。この装置は、ユーザ又はユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、及びセンサデータに対応する時刻情報を受信する。また、この装置は、センサデータ及び時刻情報に基づいて、ユーザ又はオブジェクトに所定のモーションパターンが発生した時刻を特定する。そして、この装置は、特定した時刻に応じて、所定の時間間隔で撮影されたユーザ又はオブジェクトを含む一連の画像から１又は複数の画像を選択する。
特開２０１５－８２８１７号公報
切り出し対象のシーンとして、フィギュアスケートのジャンプの区間を想定する。フィギュアスケートにおいては、競技者、又は競技者が装着するウェアやシューズにセンサを取り付ける等の少しの変化が、ジャンプ等の精度に影響を与えてしまう場合がある。そのため、従来技術を適用して、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することは困難である。
一つの側面として、開示の技術は、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することを目的とする。
一つの態様として、開示の技術は、スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得する。また、開示の技術は、前記音信号に基づく氷の音の消失と復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。そして、開示の技術は、前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定する。
一つの側面として、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することができる、という効果を有する。
本実施形態に係る情報作成システムの概略構成を示すブロック図である。 本実施形態に係る情報処理装置の機能ブロックである。 離氷時刻及び着氷時刻の推定を説明するための図である。 ジャンプの区間の特定を説明するための図である。 映像に対する音信号の遅延時間を説明するための図である。 所定部位としてブレードの先端及び終端の位置を算出することを説明するための図である。 基準線及び回転角度を説明するための図である。 ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す図である。 図８の破線枠で示す部分の拡大図である。 情報処理装置として機能するコンピュータの概略構成を示すブロック図である。 本実施形態における情報処理ルーチンの一例を示すフローチャートである。
以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。以下の実施形態では、情報処理装置により特定されるジャンプの区間の映像に関する情報を作成する情報作成システムについて説明する。
まず、本実施形態に係る情報作成システムの概要について説明する。図１に示すように、情報作成システム１００は、情報処理装置１０と、マイク２０と、複数のカメラ２２とを含む。情報作成システム１００は、マイク２０から出力される音信号、及びカメラ２２から出力される映像に対して情報処理を行い、ジャンプの着氷時のブレードの回転角度等の情報を算出して出力する。
マイク２０は、スケートリンク３０の氷中に設置される。例えば、スケートリンク３０を設営時において、氷を張る際にスケートリンク３０内に埋め込むことで、マイク２０を氷中に設置することができる。マイク２０は、競技会場の音声を集音し、音信号を出力する。マイク２０が氷中に設置されていることにより、マイク２０で集音される音信号に含まれる音成分は、歓声や音楽等を示す音成分が抑制され、スケートリンク３０表面（氷）とスケートシューズのブレードとの摩擦音を示す音成分が支配的になる。出力される音信号の各サンプリング点には時刻情報が対応付いている。
複数のカメラ２２の各々は、スケートリンク３０上の競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置をステレオカメラ方式により計測可能な位置にそれぞれ取り付けられる。各カメラ２２は、所定のフレームレート（例えば、３０ｆｐｓ、６０ｆｐｓ等）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。なお、ＴｏＦ（Time-of-Flight）方式の１台のカメラを用いてもよい。
情報処理装置１０は、機能的には、図２に示すように、取得部１２と、推定部１４と、特定部１６と、算出部１８とを含む。
取得部１２は、マイク２０から出力された音信号、及び複数のカメラ２２の各々から出力された映像を取得する。取得部１２は、取得した音信号を推定部１４へ受け渡し、取得した映像を特定部１６へ受け渡す。
推定部１４は、音信号に基づく氷の音の消失と復帰とに応じて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。例えば、推定部１４は、音信号のレベルが予め定めた閾値以下となる区間に基づいて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。これは、ジャンプ開始の離氷時には、ブレードと氷との摩擦音が消失し、着氷時に摩擦音が復帰することを利用したものである。閾値としては、概ね音信号が消失したと見做せる値を定めておけばよい。具体的には、図３に示すように、推定部１４は、音信号が閾値ＴＨ以下となった時刻を離氷時刻ｔＡとして推定する。また、推定部１４は、閾値ＴＨ以となっていた音信号が再び閾値ＴＨを超えた時刻を着氷時刻ｔＢとして推定する。
なお、推定部１４は、音信号に含まれる所定の周波数成分を除去した後の音信号に基づいて、ジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを推定してもよい。所定の周波数成分としては、例えば、歓声や音楽等、ブレードと氷との摩擦音以外の音に相当する周波数成分とすることができる。上述のように、マイク２０が氷中に設置されている場合には、歓声や音楽等、ブレードと氷との摩擦音以外の音は抑制されている。ただし、ブレードと氷との摩擦音以外の音に相当する周波数成分を除去することにより、より高精度にジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを推定することができる。なお、マイク２０が氷中ではない会場内に設置されている場合、音信号には歓声や音楽等も多く含まれることになるため、所定の周波数成分を除去することが有効となる。推定部１４は、推定したジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを特定部１６へ受け渡す。
特定部１６は、音信号の時刻情報と映像の時刻情報とを同期させ、取得部１２から受け渡された映像において、ジャンプの離氷時刻ｔＡに対応するフレームから着氷時刻ｔＢに対応するフレームまでをジャンプの区間として特定する。
具体的には、図４に示すように、特定部１６は、離氷時刻ｔＡと同期する時刻情報のフレーム（以下、「離氷フレームｍＡ」という）の所定数前のフレームを、離氷時刻ｔＡに対応する開始フレームｍＳとして特定する。また、特定部１６は、着氷時刻ｔＢと同期する時刻情報のフレーム（以下、「着氷フレームｍＢ」という）の所定数後のフレームを、着氷時刻ｔＢに対応する終了フレームｍＥとして特定する。離氷フレームｍＡ～着氷クレームｍＢの前後のフレームを含めるのは、離氷から着氷までが確実に含まれるように、開始フレームｍＳ及び終了フレームｍＥを特定するためである。図４に示すように、所定数は、例えば１とすることができる。
また、特定部１６は、所定数を、競技者３２とマイク２０との距離に応じた、映像に対する音信号の遅延時間をフレーム数に換算した数としてもよい。図５に示すように、競技者３２とマイク２０との距離がＸ［ｍ］の場合、氷中の音速３２３０［ｍ／ｓ］を用いて、遅延時間は、Ｘ÷３２３０となる。ここでは、厳密な距離Ｘを用いる必要はなく、例えば、マイク２０の位置からスケートリンク３０の端までの距離の最大値をＸとすることができる。例えば、Ｘ＝３０ｍとした場合、遅延時間は、３０÷３２３０＝９．２８［ｍｓ］である。映像のフレームレートが３０ｆｐｓ又は６０ｆｐｓの場合、上記図４の例と同様に、所定数を１とし、１２０ｆｐｓの場合、所定数を２とすればよい。
なお、特定部１６は、開始フレームｍＳを特定する際には、遅延時間に基づく所定数を用い、終了フレームｍＥを特定する際には、所定数として１を用いるようにしてもよい。
特定部１６は、取得部１２から受け渡された映像から、開始フレームｍＳから終了フレームｍＥまでの区間を、ジャンプの区間として抽出して、算出部１８へ受け渡す。
算出部１８は、特定部１６から受け渡されたジャンプの区間に含まれるフレームの各々を３次元解析し、競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。所定部位は、図６に示すように、競技者３２が装着するスケートシューズのブレードの先端３４及び終端３６を含む。また、所定部位は、競技者３２の各関節、頭部、及び目、鼻、口等の顔の部位を含んでもよい。なお、各フレームから、これらの所定部位を認識する手法は、所定部位の形状を用いた認識方法や、人体骨格モデルを用いた認識方法等、既存の手法を用いることができる。
また、情報作成システム１００が３台以上のカメラ２２を備えている場合、複数のカメラ２２の各々で撮影された映像のうち、３次元位置の算出に適した角度で競技者３２を撮影した２つの映像を用いて、所定部位の３次元位置を算出すればよい。
算出部１８は、ジャンプの区間に含まれるフレームの各々から算出したブレードの先端３４及び終端３６の位置を用いて、カメラ２２の撮影方向を基準としたブレードの絶対確度を算出する。例えば、算出部１８は、カメラ２２の撮影方向、又は撮影方向に垂直な線と、ブレードの先端３４と終端３６とを結ぶ線とのなす角度を、ブレードの絶対角度として算出することができる。なお、複数のカメラ２２のうち、いずれかのカメラ２２をメインのカメラとして定めておき、メインのカメラ２２の撮影方向を基準に、ブレードの絶対確度を算出すればよい。また、算出部１８は、ブレードの絶対角度を、ジャンプの回転不足を判定するための基準線に対する角度（以下、「回転角度θ」という）に変換する。
具体的には、算出部１８は、離氷時刻ｔＡ及び着氷時刻ｔＢの各々におけるブレードの先端３４の位置に基づいて基準線を特定する。より具体的には、図７に示すように、算出部１８は、離氷フレームｍＡから算出されたブレードの先端３４の位置を離氷点Ａとして特定する。また、算出部１８は、着氷フレームｍＢから算出されたブレードの先端３４の位置を着氷点Ｂとして特定する。そして、算出部１８は、離氷点Ａ及び着氷点Ｂを通る直線を基準線とし、カメラ２２の撮影方向に垂直な線と基準線との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。図８に、ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す。
算出部１８は、着氷時における、映像に対する音信号の遅延時間Δｔを算出する。上述したように、遅延時間は、距離Ｘ［ｍ］÷３２３０［ｍ／ｓ］（氷中の音速）である。ここでは、距離Ｘを、マイク２０の位置と、着氷点Ｂとの距離とする。
算出部１８は、終了フレームｍＥから算出した回転角度θ（ｍＥ）と、終了フレームｍＥの１つ前のフレームｍＥ－１から算出した回転角度θ（ｍＥ－１）とに基づいて、着氷時のブレードの回転角度を算出する。
図９を参照して、具体的に説明する。図９は、図８の破線枠で示す部分の拡大図である。音信号に基づいて推定した着氷時刻ｔＢに、算出した遅延時間Δｔを考慮した補正後の着氷時刻ｔＢ－Δｔは、フレームｍＥ－１～フレームｍＥまでの１フレーム分の時間内に含まれる。なお、ここでは、遅延時間Δｔは、１フレーム分の時間と比較して微小な時間である。算出部１８は、ジャンプ中の回転速度はほぼ一定であると仮定し、フレームｍＥ－１～フレームｍＥ間の回転角度を、回転角度θ（ｍＥ－１）及び回転角度θ（ｍＥ）を用いて線形補完する。そして、算出部１８は、補正後の着氷時刻ｔＢ－Δｔに対応する回転角度を、着氷時の回転角度θ（ｔＢ－Δｔ）として算出する。
また、算出部１８は、ジャンプの区間に対応する所定部位の３次元位置に基づいて、他の情報を算出することもできる。例えば、算出部１８は、所定部位として腰の位置を算出し、ジャンプの区間に含まれる各フレームから算出された腰の位置の最小値と最大値との差をジャンプの高さとして算出することができる。また、算出部１８は、離氷点Ａから着氷点Ｂまでの距離をジャンプの飛距離として算出することができる。また、算出部１８は、離氷時刻ｔＡから着氷時刻ｔＢまでの時間と、ジャンプの区間における回転角度の変化とから、回転速度を算出することができる。また、算出部１８は、開始フレームｍＳから所定フレームまでの時間と、その間における所定部位の位置の変化量とから、踏切速度を算出することができる。
算出部１８は、着氷時の回転角度θ（ｔＢ－Δｔ）、及びその他算出した情報を出力する。着氷時の回転角度θ（ｔＢ－Δｔ）は、ジャンプの回転不足等の判定に用いることができる。また、出力された情報を、テレビ放送等の画面に表示するスタッツとして用いることもできる。
情報処理装置１０は、例えば図１０に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。
記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、情報処理装置１０として機能させるための情報処理プログラム５０が記憶される。情報処理プログラム５０は、取得プロセス５２と、推定プロセス５４と、特定プロセス５６と、算出プロセス５８とを有する。
ＣＰＵ４１は、情報処理プログラム５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５２を実行することで、図２に示す取得部１２として動作する。また、ＣＰＵ４１は、推定プロセス５４を実行することで、図２に示す推定部１４として動作する。また、ＣＰＵ４１は、特定プロセス５６を実行することで、図２に示す特定部１６として動作する。また、ＣＰＵ４１は、算出プロセス５８を実行することで、図２に示す算出部１８として動作する。これにより、情報処理プログラム５０を実行したコンピュータ４０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。
なお、情報処理プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
次に、本実施形態に係る情報作成システム１００の作用について説明する。情報処理装置１０に、マイク２０から出力された音信号、及び複数のカメラ２２の各々で撮影された映像が入力されると、情報処理装置１０において、図１１に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
ステップＳ１２で、取得部１２が、情報処理装置１０に入力された音信号及び映像を取得する。取得部１２は、取得した音信号を推定部１４へ受け渡し、取得した映像を特定部１６へ受け渡す。
次に、ステップＳ１４で、推定部１４が、音信号が閾値ＴＨ以下となった時刻を離氷時刻ｔＡとして推定し、閾値ＴＨ以となっていた音信号が再び閾値ＴＨを超えた時刻を着氷時刻ｔＢとして推定する。推定部１４は、推定したジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを特定部１６へ受け渡す。
次に、ステップＳ１６で、特定部１６が、離氷時刻ｔＡと同期する時刻情報の離氷フレームｍＡの所定数（例えば、１フレーム）前のフレームを、離氷時刻ｔＡに対応する開始フレームｍＳとして特定する。また、特定部１６が、着氷時刻ｔＢと同期する時刻情報の着氷フレームｍＢの所定数（例えば、１フレーム）後のフレームを、着氷時刻ｔＢに対応する終了フレームｍＥとして特定する。特定部１６は、取得部１２から受け渡された映像から、開始フレームｍＳから終了フレームｍＥまでの区間を、ジャンプの区間として抽出して、算出部１８へ受け渡す。
次に、ステップＳ１８で、算出部１８が、特定部１６から受け渡されたジャンプの区間に含まれるフレームの各々を３次元解析し、ブレードの先端３４及び終端３６を含む所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。そして、算出部１８が、カメラ２２の撮影方向に垂直な線と、ブレードの先端３４と終端３６とを結ぶ線とのなす角度を、ブレードの絶対角度として算出する。
次に、ステップＳ２０で、算出部１８が、離氷フレームｍＡから算出されたブレードの先端３４の位置を離氷点Ａとして特定し、着氷フレームｍＢから算出されたブレードの先端３４の位置を着氷点Ｂとして特定する。そして、算出部１８は、離氷点Ａ及び着氷点Ｂを通る直線を基準線とし、カメラ２２の撮影方向に垂直な線と基準線との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。
次に、ステップＳ２２で、算出部１８が、マイク２０の位置と、着氷点Ｂとの距離Ｘを算出し、着氷時における、映像に対する音信号の遅延時間Δｔを、Δｔ＝距離Ｘ［ｍ］÷３２３０［ｍ／ｓ］（氷中の音速）として算出する。
次に、ステップＳ２４で、算出部１８が、フレームｍＥ－１～フレームｍＥ間の回転角度を、回転角度θ（ｍＥ－１）及びθ（ｍＥ）を用いて線形補完し、補正後の着氷時刻ｔＢ－Δｔに対応する回転角度を、着氷時の回転角度θ（ｔＢ－Δｔ）として算出する。また、算出部１８は、ジャンプの区間に対応する所定部位の３次元位置に基づいて、他の情報を算出してもよい。算出部１８は、算出した着氷時の回転角度θ（ｔＢ－Δｔ）、及び算出した他の情報を出力し、情報処理ルーチンは終了する。
以上説明したように、本実施形態に係る情報作成システムによれば、情報処理装置が、スケートリンクに設けられたマイクで集音された音信号、及びスケートリンクで競技する競技者を撮影した映像を取得する。そして、情報処理装置は、音信号のレベルが予め定めた閾値以下となる区間に基づいて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。さらに、情報処理装置は、音信号の時刻情報と映像の時刻情報とを同期させ、映像において、離氷時刻に対応するフレームから着氷時刻に対応するフレームまでをジャンプの区間として特定する。これにより、競技者にセンサ等を取り付けることなく、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することができる。
また、映像の画像解析のみでジャンプの開始及び終了を特定する場合に比べ、音信号を用いて、より精度の高い離着氷の時刻を推定することができ、推定した時刻により、精度良くジャンプの区間を特定することができる。
また、ジャンプの回転不足の判定においては、着氷時のブレードの角度が用いられる。これを映像のみで判定しようとすると、フレームレート３０ｆｐｓの場合、１フレームの間に６０°程度回転してしまうため、正確な判定を行うことができない。本実施形態では、音信号を用いて推定した着氷の時刻を用いて、１フレーム分の時間単位の時刻より細かい時刻における回転角度を算出することができるため、回転不足の判定を精度良く支援することができる。
なお、上記実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
１０ 情報処理装置
１２ 取得部
１４ 推定部
１６ 特定部
１８ 算出部
２０ マイク
２２ カメラ
３０ スケートリンク
３２ 競技者
３４ ブレードの先端
３６ ブレードの終端
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０ 情報処理プログラム
１００ 情報作成システム

Claims (9)

  1. スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得し、
    前記音信号に基づく氷の音の消失と復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームとして、前記離氷時刻と同期する時刻情報のフレームの所定数前のフレームを特定し、前記着氷時刻に対応するフレームとして、前記着氷時刻と同期する時刻情報のフレームの所定数後のフレームを特定し、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定し、
    少なくとも前記離氷時刻に対応するフレームについての前記所定数を、前記競技者と前記マイクとの距離の最大値及び音速とに基づいて算出される、前記映像に対する前記音信号の遅延時間をフレーム数に換算した数とする
    ことを含む処理をコンピュータに実行させるための情報処理プログラム。
  2. 前記コンピュータに、さらに、
    前記映像に基づき、前記競技者及び前記競技者が装着する装着物の所定部位の３次元位置を特定し、
    前記ジャンプの区間に含まれるフレームの各々から、前記離氷時刻及び前記着氷時刻の各々における前記所定部位の位置に基づく基準線に対する前記所定部位の角度を算出する
    処理を実行させる請求項１に記載の情報処理プログラム。
  3. 前記着氷時刻に対応するフレームから算出された前記角度と、前記着氷時刻に対応するフレームの１つ前のフレームから算出された前記角度とに基づいて、前記着氷時刻における前記所定部位の角度を算出する請求項２に記載の情報処理プログラム。
  4. 前記ジャンプの区間に対応する前記所定部位の３次元位置に基づいて、踏切速度、ジャンプの高さ、飛距離、及び回転速度の少なくとも１つを算出する請求項２又は請求項３に記載の情報処理プログラム。
  5. 前記所定部位は、前記競技者が装着するスケートシューズのブレードの向きを特定可能な部位である請求項２～請求項４のいずれか１項に記載の情報処理プログラム。
  6. 前記マイクは、前記スケートリンクの氷中に設けられる請求項１～請求項５のいずれか１項に記載の情報処理プログラム。
  7. 前記音信号に含まれる所定の周波数成分を除去した後の音信号に基づいて、前記離氷時刻及び前記着氷時刻を推定する請求項１～請求項６のいずれか１項に記載の情報処理プログラム。
  8. スケートリンクに設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得する取得部と、
    前記音信号のレベルが予め定めた閾値以下となる区間に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する推定部と、
    前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームとして、前記離氷時刻と同期する時刻情報のフレームの所定数前のフレームを特定し、前記着氷時刻に対応するフレームとして、前記着氷時刻と同期する時刻情報のフレームの所定数後のフレームを特定し、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定する特定部と、を含み、
    少なくとも前記離氷時刻に対応するフレームについての前記所定数を、前記競技者と前記マイクとの距離の最大値及び音速とに基づいて算出される、前記映像に対する前記音信号の遅延時間をフレーム数に換算した数とする
    情報処理装置。
  9. スケートリンクに設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得し、
    前記音信号のレベルが予め定めた閾値以下となる区間に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームとして、前記離氷時刻と同期する時刻情報のフレームの所定数前のフレームを特定し、前記着氷時刻に対応するフレームとして、前記着氷時刻と同期する時刻情報のフレームの所定数後のフレームを特定し、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定し、
    少なくとも前記離氷時刻に対応するフレームについての前記所定数を、前記競技者と前記マイクとの距離の最大値及び音速とに基づいて算出される、前記映像に対する前記音信号の遅延時間をフレーム数に換算した数とする
    ことを含む処理をコンピュータが実行するための情報処理方法。
JP2022502703A 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法 Active JP7400937B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007998 WO2021171470A1 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法

Publications (3)

Publication Number Publication Date
JPWO2021171470A1 JPWO2021171470A1 (ja) 2021-09-02
JPWO2021171470A5 JPWO2021171470A5 (ja) 2022-10-27
JP7400937B2 true JP7400937B2 (ja) 2023-12-19

Family

ID=77490036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502703A Active JP7400937B2 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法

Country Status (6)

Country Link
US (1) US20220392222A1 (ja)
EP (1) EP4093023A4 (ja)
JP (1) JP7400937B2 (ja)
KR (1) KR20220128404A (ja)
CN (1) CN115136590A (ja)
WO (1) WO2021171470A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220128433A (ko) * 2020-03-18 2022-09-20 후지쯔 가부시끼가이샤 정보 처리 프로그램, 장치, 및 방법
US12337211B2 (en) * 2023-10-03 2025-06-24 Paul V. Mackovjak Jump height measuring device and method of use

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235534A (ja) 2012-05-11 2013-11-21 Seiko Epson Corp センサーユニット、運動解析装置
WO2016092933A1 (ja) 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018189924A (ja) 2017-05-11 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019033869A (ja) 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539336B1 (en) * 1996-12-12 2003-03-25 Phatrat Technologies, Inc. Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance
DE19614253A1 (de) * 1996-03-05 1997-09-11 Karl Leonhardtsberger Elektronisches Aufzeichnungs- und Wiedergabeverfahren für Bewegungsabläufe auf Sportplätzen und/oder in Sport- und Eislaufhallen
JP3424204B2 (ja) * 1999-07-23 2003-07-07 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクトの軌跡を利用したビデオ・コンテンツへのアクセス方法及び装置
CA2330847C (en) * 2001-01-12 2007-11-13 Bauer Nike Hockey Inc. In-line roller skate
US7461002B2 (en) * 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
JP6213146B2 (ja) * 2013-10-24 2017-10-18 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
CN109074629A (zh) * 2015-10-29 2018-12-21 Oy沃肯视觉有限公司 使用联网照相机对关注的区域进行视频摄像
JP2017103542A (ja) * 2015-11-30 2017-06-08 株式会社小野測器 同期装置、同期方法及び同期プログラム
US9812175B2 (en) * 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235534A (ja) 2012-05-11 2013-11-21 Seiko Epson Corp センサーユニット、運動解析装置
WO2016092933A1 (ja) 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018189924A (ja) 2017-05-11 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019033869A (ja) 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
EP4093023A1 (en) 2022-11-23
JPWO2021171470A1 (ja) 2021-09-02
KR20220128404A (ko) 2022-09-20
US20220392222A1 (en) 2022-12-08
WO2021171470A1 (ja) 2021-09-02
CN115136590A (zh) 2022-09-30
EP4093023A4 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
JP5867432B2 (ja) 情報処理装置、記録媒体および情報処理システム
JP7400937B2 (ja) 情報処理プログラム、装置、及び方法
KR20150128886A (ko) 운동 기술들에 대한 동기화된 디스플레이를 위한 시스템 및 방법과, 비일시적 컴퓨터 판독가능 매체
WO2016111069A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2003523643A (ja) 時空アラインメント付ビデオシーケンスの合成方法および装置
WO2016036689A1 (en) Systems and methods for providing digital video with data identifying motion
CN104115487A (zh) 图像处理装置、图像处理方法和程序
JP2015177470A (ja) 抽出プログラム、方法、及び装置
JP7444238B2 (ja) 情報処理プログラム、装置、及び方法
JPWO2021171470A5 (ja)
KR102907065B1 (ko) 정보 처리 프로그램, 장치, 및 방법
WO2017122456A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2022160233A (ja) 情報処理装置、情報処理方法およびプログラム
JP2022077706A (ja) 位置計測システム、及び位置計測方法
JP7622640B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7074059B2 (ja) 情報処理装置及び情報処理システム
JPWO2021186645A5 (ja)
EP4700704A1 (en) A device, computer program and method
JP2021141434A (ja) シーン抽出方法、装置およびプログラム
KR101231587B1 (ko) 영상 비교 처리 장치
KR20220114129A (ko) 스포츠 기술들에 대한 동기화된 디스플레이를 위한 시스템 및 방법
JP2009239721A (ja) テレビジョン受像装置及びテレビジョン受像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231120

R150 Certificate of patent or registration of utility model

Ref document number: 7400937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150