JPWO2015190071A1 - 映像処理方法、映像処理装置 - Google Patents

映像処理方法、映像処理装置 Download PDF

Info

Publication number
JPWO2015190071A1
JPWO2015190071A1 JP2016527625A JP2016527625A JPWO2015190071A1 JP WO2015190071 A1 JPWO2015190071 A1 JP WO2015190071A1 JP 2016527625 A JP2016527625 A JP 2016527625A JP 2016527625 A JP2016527625 A JP 2016527625A JP WO2015190071 A1 JPWO2015190071 A1 JP WO2015190071A1
Authority
JP
Japan
Prior art keywords
play
frame
video
video processing
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016527625A
Other languages
English (en)
Other versions
JP6488295B2 (ja
Inventor
川口　京子
京子 川口
雅基 田靡
雅基 田靡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2015190071A1 publication Critical patent/JPWO2015190071A1/ja
Application granted granted Critical
Publication of JP6488295B2 publication Critical patent/JP6488295B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本技術は、プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法、映像処理装置である。プロセッサは、映像データを入力し、入力した前記映像データから、フレーム毎に選手の動き量を算出し、算出した前記動き量に基づいて、前記試合におけるプレーの開始フレームおよび、前記プレーの１つ前のプレーである直前プレーの終了したフレームである、終了フレームのうち少なくとも１つを推定する。

Description

本技術は、スポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法、映像処理装置に関する。
アメリカンフットボールやサッカーは、欧米で特に人気のある対戦型のスポーツである。アメリカンフットボールやサッカーの分野では、試合を撮影した映像を解析し、その解析結果を練習や次の試合にフィードバックしたり、ハイライト映像を作成したりするといったことが、盛んに行われている。
ところが、実際の試合には、試合解析の観点において重要度が低い時間も多く、長時間の試合映像の中から必要な部分を検索するのに時間的コストが大きく掛かってしまう。
アメリカンフットボールの試合の場合、「ダウン」と呼ばれる攻守の動作が行われる時間（以下「プレー」という）と、攻守の動作が行われない時間とが、繰り返される。すなわち、アメリカンフットボールの試合解析の観点において重要度が高いのは、プレーの区間である。したがって、アメリカンフットボールの試合を撮影した映像データから、プレーの区間の開始点および終了点のうち少なくとも１つを、効率良くかつ高精度に抽出できることが望まれる。
近年、スポーツの試合を撮影した映像（以下「スポーツ映像」という）の解析に関する研究が、盛んに行われている。
スポーツ映像の解析に関する技術としては、長時間の試合映像の中から重要な区間を抽出し、自動でハイライト映像を作成する映像要約手法や、陣形認識をすることにより、試合中の各チームの戦術や攻撃パターンを解析する戦術解析手法が挙げられる。また、このようなコンテンツを実現するために、各選手の他の選手による遮蔽や照明条件の変化等を考慮して、映像データから選手やボール等に関する情報を精度よく抽出する映像解析手法の研究も盛んに行われている。
例えば、従来提案されている映像要約手法としては、映像の色（色相、彩度、明度など）の特徴およびカメラワークに基づいて、アメリカンフットボールの試合のプレーの開始点を抽出する手法（例えば、特許文献１参照）が挙げられる。また、ｔｗｉｔｔｅｒ（登録商標）の書き込み内容や、一定時間内の投稿量からスポーツ映像中の重要度を算出し、キーフレームを判断することにより、ハイライト映像を作成する手法（例えば、非特許文献１参照）が挙げられる。
また、従来提案されている戦術解析手法としては、試合中に選手がどのような挙動をしたのか記録するプレー解析（例えば、非特許文献２参照）や、チーム全体の挙動を記録する戦術解析（例えば、非特許文献３参照）が挙げられる。また、ハイライトシーンの再現や、特定の選手の始点映像の作成等が挙げられる。更に、アメリカンフットボールの試合を撮影した映像から、初期陣形であるスクリメージラインを自動で検出して陣形種類を分類する陣形認識手法（例えば、非特許文献６参照）が挙げられる。
そこで、これらの従来技術を用いて、アメリカンフットボールの試合映像から、試合の重要な部分を抽出することが考えられている。
しかしながら、特許文献１に記載の手法は、映像の色環境やカメラワークによっては、精度が低下するおそれがある。また、非特許文献１に記載の手法は、ｔｗｉｔｔｅｒ（登録商標）における書き込みといったスポーツ映像以外のメディア情報を使用する必要があるため、地上波映像等の大規模放送映像にしか対応することはできない。また、非特許文献２、非特許文献３に記載の手法は、複数カメラ映像を用いたり、選手やボールの検出あるいは追跡を手動で行ったりする必要がある。更に、非特許文献４に記載の手法は、検出が比較的容易な初期陣形の情報のみを抽出しているため、戦術解析のための情報量としては不十分である。
すなわち、従来技術を用いても、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することは、困難である。
本技術の目的は、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することを可能にする、映像処理方法、映像処理装置を提供することである。
特開２００３−１４３５４６号公報
Ｔ．Ｋｏｂａｙａｓｈｉ， Ｈ．Ｍｕｒａｓｅ， "Ｄｅｔｅｃｔｉｏｎ ｏｆ ｂｉａｓｅｄ Ｂｒｏａｄｃａｓｔ ＳｐｏｒｔｓＶｉｄｅｏ Ｈｉｇｈｌｉｇｈｔｓ ｂｙ Ａｔｔｒｉｂｕｔｅ−Ｂａｓｅｄ Ｔｗｅｅｔｓ Ａｎａｌｙｓｉｓ，" Ａｄｖａｎｃｅｓ ｉｎ Ｍｕｌｔｉｍｅｄｉａ Ｍｏｄｅｌｉｎｇ Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｖｏｌｕｍｅ ７７３３， ２０１３ Ｂｅｈｊａｔ Ｓｉｄｄｉｑｕｉｅ， Ｙａｓｅｒ Ｙａｃｏｏｂ， ａｎｄ Ｌａｒｒｙ Ｓ．Ｄａｖｉｓ， "Ｒｅｃｏｇｎｉｚｉｎｇ Ｐｌａｙｓ ｉｎ Ａｍｅｒｉｃａｎ Ｆｏｏｔｂａｌｌ Ｖｉｄｅｏｓ"， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ２００９ Ｃｅｍ Ｄｉｒｅｋｏｇｌｕ ａｎｄ Ｎｏｅｌ Ｅ．Ｏ’Ｃｏｎｎｏｒ， "Ｔｅａｍ Ａｃｔｉｖｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎＳｐｏｒｔｓ"， Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２０１２ （ＥＣＣＶ２０１２），Ｖｏｌ． ７５７８， ｐｐ． ６９−８３， ２０１２ Ａｔｍｏｓｕｋａｒｔｏ Ｉ．， Ｇｈａｎｅｍ Ｂ．， Ａｈｕｊａ Ｓ．， "Ａｕｔｏｍａｔｉｃ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｏｆｆｅｎｓｉｖｅ Ｔｅａｍ Ｆｏｒｍａｔｉｏｎ ｉｎ Ａｍｅｒｉｃａｎ Ｆｏｏｔｂａｌｌ Ｐｌａｙｓ，" ＣＶＰＲＷ２０１３， ｐ．９９１ − ９９８，２０１３
本技術は、プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法、映像処理装置である。プロセッサは、映像データを入力し、入力した前記映像データから、フレーム毎に選手の動き量を算出し、算出した前記動き量に基づいて、前記試合におけるプレーの開始フレームおよび、前記プレーの１つ前のプレーである直前プレーの終了したフレームである、終了フレームのうち少なくとも１つを推定する。
本技術によれば、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することができる。
図１は、本技術の一実施の形態において用いられる映像の一例を示す説明図である。 図２は、本実施の形態が対象とするアメリカンフットボールのフィールドの構成の一例を示す平面図である。 図３Ａは、本実施の形態が対象とするプレーの初期陣形の撮影した画像の一例を示す説明図である。 図３Ｂは、本実施の形態が対象とするプレーの初期陣形の撮影した画像の一例を示す説明図である。 図３Ｃは、本実施の形態が対象とするプレーの初期陣形の撮影した画像の一例を示す説明図である。 図４は、本実施の形態に係る映像処理装置の構成の一例を示すブロック図である。 図５は、本実施の形態におけるオプティカルフロー強度の一例を示す説明図である。 図６は、本実施の形態における総オプティカルフロー強度の時間遷移の一例を示す説明図である。 図７は、本実施の形態における識別器の例を説明するための説明図である。 図８は、本実施の形態におけるプレー開始位置の推定の様子の一例を示す説明図である。 図９は、本実施の形態における選手位置の検出結果の一例を示す説明図である。 図１０は、本実施の形態における密集度の算出過程の様子の一例を示す説明図である。 図１１は、本実施の形態における密集度の分布の一例を示す説明図である。 図１２Ａは、本実施の形態における集中度の計算手法の一例を説明するための説明図である。 図１２Ｂは、本実施の形態における集中度の計算手法の一例を説明するための説明図である。 図１３は、本実施の形態における量子化したオプティカルフローの一例を示す図である。 図１４は、本実施の形態における集中位置の一例を示す説明図である。 図１５は、本実施の形態に係る映像処理装置の動作の一例を示すフローチャートである。 図１６は、本実施の形態におけるプレー開始推定処理の一例を示すフローチャートである。 図１７は、本実施の形態におけるプレー終了推定処理の一例を示すフローチャートである。 図１８は、本実施の形態における確認操作受付画面の一例を示す平面図である。 図１９は、本実施の形態における確認操作受付処理の一例を示すフローチャートである。 図２０は、本実施の形態に係る映像処理装置が適用されるシステムの一例を示す説明図である。 図２１は、本実施の形態に係る映像処理装置における動画縮約の精度検証結果を示す図である。 図２２は、本実施の形態に係る映像処理装置におけるプレー開始位置の精度検証結果を示す図である。 図２３は、本実施の形態に係る映像処理装置におけるプレー終了位置の精度検証結果を示す図である。
以下、本技術の一実施の形態について、図面を参照して詳細に説明する。本実施の形態ではスポーツ映像の一例として、アメリカンフットボールの試合を撮影した映像に対して映像処理を行う例を説明する。
＜アメリカンフットボールのルール＞
まず、アメリカンフットボールの試合のルールのうち、プレーの開始および終了に関する部分の概要について説明する。
図１は、アメリカンフットボールの試合を撮影した映像の一例を示す説明図である。図２は、アメリカンフットボールのフィールドの構成の一例を示す平面図である。図３は、プレーの初期陣形の例を示す説明図である。
アメリカンフットボールは、攻撃側と守備側に分かれて行う、陣取り合戦のような競技である。アメリカンフットボールでは、サイドライン１２１、１２２とゴールライン１２３、１２４とに囲まれた範囲（以下「フィールド」という）１２０において、４度の攻撃機会で１０ヤード進行（ゲイン）することができなければ、攻撃権が相手チームに移る。このため、１度の攻撃で何ヤードゲインしたかといった情報は、試合解析においては非常である。
アメリカンフットボールでは、ルールの特性上、プレーを明確に区切ることができる。
１つのプレーの流れは、以下の通りである。
まず、双方のチームの選手が、スクリメージラインと呼ばれる初期陣形１３１〜１３３（図３Ａ、図３Ｂ、図３Ｃ参照）を組む。そして、初期陣形の中心からボールが投げられることにより、プレーが開始される。初期陣形が組まれているとき、ほとんどの選手が一旦静止する。そして、プレー開始と同時に、全選手が一斉に動き始める。すなわち、プレー開始の際、ほとんどの選手が、一旦静止した状態から一斉に動き出す。
そして、ボールあるいはボール保持者がサイドラインあるいはゴールラインの外に出たり、エンドゾーンに入ったり、ボール保持者が倒されたりすると、プレーが終了する。プレーが終了するとき、通常、複数選手がボールの位置（以下「プレー終了位置」という）に向かって集まっており、選手が密集した状態となっている。また、プレー終了の際、ほとんどの選手が、動作速度を落とし、ダッシュやフェイントといった急な動き変化を伴う行動をしなくなる。
プレーが終了した場合、次のプレーは、プレー終了位置から開始される。但し、２本のインバウンズライン１２５、１２６（図２参照）の外側でプレーが終了した場合、次のプレーは、プレー終了位置により近い方のインバウンズライン１２５、１２６上から開始される。すなわち、各プレーが開始される位置、つまり、初期陣形が組まれる位置（以下「プレー開始位置」という）は、１つ前のプレーのプレー終了位置と相関を有している。
このように、アメリカンフットボールは、ルールの性質上、プレー開始時に、ほとんどの選手の動き（フィールド全体の動き）が急激に増大するという特徴、および、初期陣形が組まれ、プレー終了時に、ほとんどの選手の動きが急激に減少するという特徴を有する。各プレーのプレー開始位置が、１つ前のプレーのプレー終了位置と相関を有するという特徴を有する。
そこで、以下に説明する本実施の形態では、これらの特徴を映像１１０の映像データから抽出することにより、各プレーの区間を推定する。より具体的には、映像データを構成するフレームから、プレー毎に、プレーの開始点に対応するフレーム（以下「プレー開始フレーム」という）と、プレーの終了点に対応するフレーム（以下「プレー開始フレーム」という）とを推定する。
なお、初期陣形１３１〜１３３の形状は、チームが異なる場合でも、変動性が少ない。一方で、映像に映し出される初期陣形の画像は、映像１１０を撮影するカメラの位置と、初期陣形が組まれる位置との関係に応じて異なったものとなる。
例えば、図３Ａは、フィールド中央に近い位置に配置されたカメラから、フィールドの左側で組まれた初期陣形１３１を撮影した画像の一例を示す説明図である。図３Ｂは、同じカメラから、フィールドの中央で組まれた初期陣形１３２を撮影した画像の一例を示す説明図である。図３Ｃは、同じカメラから、フィールドの右側で組まれた初期陣形１３３を撮影した画像の一例を示す説明図である。
したがって、以下に説明する本実施の形態では、かかる初期陣形の特徴、または、プレー開始時点周辺の選手動きの変化を更に利用して、プレー開始フレームの推定を行う。
＜映像処理装置の構成＞
次に、本実施の形態に係るアメリカンフットボール映像処理方法を用いた映像処理装置の構成について説明する。
図４は、本実施の形態に係る映像処理装置の構成の一例を示すブロック図である。
図４において、映像処理装置２００は、映像入力部２１０、プレー開始推定部２２０、プレー終了推定部２３０、確認操作受付部２４０、および推定結果処理部２５０を有する。
映像入力部２１０は、アメリカンフットボールの試合（以下「試合」という）を撮影した映像の映像データ（以下「映像」という）を入力する。例えば、映像入力部２１０は、試合会場の、フィールド全体を横から撮影するように設置されたビデオカメラから、通信ネットワークを介して、映像を受信する。そして、映像入力部２１０は、入力した映像を、プレー開始推定部２２０へ出力する。
なお、本実施の形態において、映像は、図１に示すように、フィールド全体を撮影した映像であるものとする。また、映像は、例えば、６０フレーム毎秒の時系列画像データである。
プレー開始推定部２２０は、入力された映像に基づいて、試合におけるプレー開始位置を推定する。
例えば、プレー開始推定部２２０は、フレーム毎に、フレームの各所の動き量を算出する。また、プレー開始推定部２２０は、映像から初期陣形を検出し、動き量と初期陣形の検出結果とに基づいて、各プレーのプレー開始フレームおよびプレー開始位置を推定する。
ここで、動き量とは、映像内の所定の領域における、当該領域の動きの大きさの度合いおよび方向のうち少なくとも１つを示す情報である。動き量の詳細については、後述する。
そして、プレー開始推定部２２０は、映像と、各フレームの各領域の動き量を示す動き量情報と、推定されたプレー開始フレームおよびプレー開始位置を示す開始フレーム情報とを、プレー終了推定部２３０へ出力する。
なお、上記プレー開始推定部２２０の構成は一例であり、プレー開始位置の推定は上述した例に限定されない。
ここで、プレー開始推定部２２０が、プレー開始時点周辺の選手動きの変化を利用して、プレー開始フレームおよびプレー開始位置を推定する一例について説明する。例えば、プレー開始推定部２２０は、前後のフレームの間における輝度の変化量（差分）を利用して、プレー開始フレームおよびプレー開始位置を推定する。具体的には、プレー開始推定部２２０は、例えば、連続する２つのフレームの間で、対応する画素の間の輝度を比較することにより、各画素の輝度の変化、および、全画素における輝度の変化量の総和を算出する。
輝度の変化量が少ないということは、映像内における選手の動きが少ないということを示す、と推定される。そして、プレーが開始される直前は、選手の動きが少ない。したがって、例えば、プレー開始推定部２２０は、全画素における輝度の変化量が少ないフレームを基準として、全画素における輝度の変化量が少ないフレームおよび／またはその前後数フレームを、プレー開始フレームであると推定する。
また、輝度の変化量が大きいということは、映像内における選手の動きが多い（大きい）ということを示す、と推定される。そして、プレーが開始された直後は、画像内の一部領域における選手の動きが多い（大きい）。したがって、例えば、プレー開始推定部２２０は、プレー開始フレームの後において輝度の変化量が大きい領域を、プレー開始位置と推定する。
この場合、プレー開始推定部２２０は、映像と、推定されたプレー開始フレームおよびプレー開始位置を示す開始フレーム情報とを、プレー終了推定部２３０へ出力する。なお、選手の動きの変化を推定する要素としては、画素の輝度ではなく、明度やＲＧＢの値など、画素（画素とはピクセルまたはピクセルの集合を含む）の他の特徴量を用いてもよい。
プレー終了推定部２３０は、開始フレーム情報に基づいて、入力された映像から、試合における当該プレーの１つ前のプレー（以下「直前プレー」という）の終了フレームを、プレー毎に推定する。
例えば、プレー終了推定部２３０は、入力された開始フレーム情報が示すプレー開始位置に基づいて、直前プレーの終了位置である可能性が高い領域（以下「プレー終了領域」という）を推定する。また、プレー終了推定部２３０は、映像から各フレームにおける選手の位置（以下「選手位置」という）を抽出し、抽出された選手位置に基づいて、フレーム毎に、選手位置の密集度を算出する。更に、プレー終了推定部２３０は、入力された動き量情報（または、プレー開始推定部２２０が新たに取得した動き量情報）が示す各フレームの各所の動き量に基づいて、集中度を算出する。更に、プレー終了推定部２３０は、算出された密集度および集中度に基づいて、プレー終了位置を推定する。
ここで、密集度（選手密集度）とは、フレーム内における選手位置の密集の度合いを示す情報である。また、集中度（進行先集中度）とは、選手の動きの方向の集まり度合いを示す情報であり、例えば、フィールドに等間隔で設定されたグリッドのそれぞれについて算出される値である。密集度および集中度の詳細については、後述する。
更に、プレー終了推定部２３０は、入力された動き量情報が示す動き量と、推定されたプレー終了位置が推定されたプレー終了領域に含まれるか否かと、に基づいて、各プレーのプレー終了フレームを推定する。
そして、プレー終了推定部２３０は、入力された映像および開始フレーム情報と、推定されたプレー終了フレームおよびプレー終了位置を示す終了フレーム情報とを、確認操作受付部２４０へ出力する。
なお、プレー開始推定部２２０が推定したプレー開始フレームは、以下、「開始フレーム候補」という。また、プレー終了推定部２３０が推定したプレー終了フレームは、以下、「終了フレーム候補」という。
確認操作受付部２４０は、入力された映像、開始フレーム情報、および終了フレーム情報に基づいて、確認操作受付画面を生成して表示する。
ここで、確認操作受付画面とは、プレー毎に、当該プレーについて推定された各開始フレーム候補と、対応するプレーの１つ前のプレーである直前プレーについて推定された１つまたは複数の終了フレーム候補とを、対応付けて表示する画面である。確認操作受付画面の詳細については、後述する。
そして、確認操作受付部２４０は、表示された開始フレーム候補や終了フレーム候補に対する決定操作を受け付け、決定操作が行われた開始フレーム候補を、プレー開始フレームと推定し、決定操作が行われた終了フレーム候補を、プレー終了フレームと推定する。
例えば、確認操作受付部２４０は、映像処理装置２００に備えられたタッチパネル付き液晶ディスプレイ等のユーザインタフェース（図示せず）を介して、確認操作受付画面を表示し、表示した確認操作受付画面に対するユーザからの操作を受け付ける。
そして、確認操作受付部２４０は、映像と、推定されたプレー開始フレームおよびプレー終了フレームを示すプレー区間情報とを、推定結果処理部２５０へ出力する。
推定結果処理部２５０は、入力されたプレー区間情報が示すプレー開始フレームおよびプレー終了フレームに基づいて、映像から、プレー区間の映像部分を抽出し、抽出結果を、例えば上述のディスプレイに表示する。
なお、映像処理装置２００は、図示しないが、例えば、プロセッサ（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、プロセッサ（ＣＰＵ）が制御プログラムを実行することにより実現される。
このような構成を有する映像処理装置２００は、プレーの開始時および終了時の選手の動きや位置の特徴に着目して、プレー区間を推定することができる。
ここで、上述の動き量、初期陣形検出、密集度、および集中度の詳細について、順に説明する。
＜動き量について＞
本実施の形態においては、動き量として、高密度オプティカルフロー（ｄｅｎｓｅ ｏｐｔｉｃａｌ ｆｌｏｗ）のオプティカルフロー強度を採用する。すなわち、動き量は、各所における選手の動きの、方向毎の大きさを示す値である。
図５は、映像から取得されるオプティカルフロー強度（動き量）の一例を示す説明図である。図５において、色の濃い部分３００は、動き量の値が高い部分を示す。また、図６は、１つのフレーム内でのオプティカルフロー強度の総量（以下「総オプティカルフロー強度」という）の、時間遷移の一例を示す説明図である。図６において、縦軸は総オプティカルフロー強度を示し、横軸は時間を示す。
プレー開始推定部２２０は、上述のユーザインタフェースに映像を表示し、映像中におけるフィールド領域の指定を、ユーザからタッチ操作により受け付ける。そして、プレー開始推定部２２０は、指定された領域を、例えば、２００×２００の小領域（以下フィールドグリッドと記す）に分割する。そして、プレー開始推定部２２０は、フィールドグリッド毎に、Ｆａｒｎｅｂａｃｋ法（例えば、Ｇ． Ｆａｒｎｅｂａｃｋ， “Ｔｗｏ−Ｆｒａｍｅ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｐｏｌｙｎｏｍｉａｌ Ｅｘｐａｎｓｉｏｎ”， Ｉｎ Ｐｒｏｃ． Ｓｃａｎｄｉｎａｖｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ２００３（ＳＣＩＡ２００３）， ２００３参照）を用いて、高密度オプティカルフローのオプティカルフロー強度を取得する。なお、プレー開始推定部２２０は、ノイズ除去のために、前処理として、映像にバイラテラルフィルタをかけることが望ましい。
なお、ここで、オプティカルフロー強度の算出手法は上述の手法に限定されない。例えば、オプティカルフロー強度は、Ｌｕｃａｓ−Ｋａｎａｄｅ法を用いて算出されてもよい（「知識の森 ２群−２編−４章、４−１−１」、電子情報通信学会、２０１３、ｐ．２−７参照）。
総オプティカルフロー強度は、映像に映し出された全選手の動きの大きさを示すことになる。また、上述の通り、アメリカンフットボールの試合では、プレー開始時に、ほとんどの選手の動きが急激に増大し、プレー終了時に、ほとんどの選手の動きが急激に減少する。したがって、図６に示すように、総オプティカルフロー強度３０１は、プレー開始タイミング３０２の直後に急激に増大し、プレー終了タイミング３０３の直前に急激に減少する。
すなわち、動き量から算出される総オプティカルフロー強度３０１は、プレー開始タイミングおよびプレー終了タイミングで特徴的に変化する値である。
＜初期陣形検出について＞
本実施の形態においては、初期陣形の検出手法として、識別器を用いた手法を採用する。
プレー開始推定部２２０は、映像から初期陣形を検出するための識別器（検出器）を、予め格納している。この識別器は、例えば、様々な照明条件下で様々な初期陣形を撮影した多数の画像から、画像のＨＯＧ特徴量（例えば、Ｎ． Ｄａｌａｌ ａｎｄ Ｂ． Ｔｒｉｇｓ， “Ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ”， Ｉｎ ＣＶＰＲ２００５， ｐｐ．８８６−８９３ ｖｏｌ．１， ２００５参照）について、Ａｄａｂｏｏｓｔ（例えば、Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ， “Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”， Ｉｎ ＣＶＰＲ２００１， Ｉ−５１１−Ｉ−５１８ ｖｏｌ．１， ２００１参照）を用いて学習を行うことにより、作成されたものである。そして、プレー開始推定部２２０は、かかる識別器を用いて、映像から、例えば、初期陣形およびその位置を検出する。
図７は、初期陣形を検出するための識別器の例を説明するための説明図である。
上述の通り、初期陣形の映像上の形状は、変動性が少ないが、初期陣形が組まれる位置に応じて変化する。
そこで、図７に示すように、プレー開始推定部２２０は、例えば、フィールド１２０を、両ゴールライン１２３、１２４から３５ヤードのインバウンズライン１２５、１２６を境界として、左エリア３１１、中央エリア３１２、右エリア３１３の３つのエリアに分けて扱う。
そして、プレー開始推定部２２０は、左エリア３１１に対しては、左エリア３１１で組まれた初期陣形から生成された識別器Ｌ３１４を用いる。同様に、プレー開始推定部２２０は、中央エリア３１２に対しては、中央エリア３１２で組まれた初期陣形から生成された識別器Ｃ３１５を、右エリア３１３に対しては、右エリア３１３で組まれた初期陣形から生成された識別器Ｒ３１６を、それぞれ用いる。
すなわち、プレー開始推定部２２０は、エリア毎に識別器を変えて、全画面探索を実行する。
図８は、プレー開始位置の推定の様子の一例を示す説明図である。
図８に示すように、プレー開始推定部２２０は、推定器を用いて、映像３１７から、初期陣形の検出結果として、例えば、複数の領域３１８を得る。そして、プレー開始推定部２２０は、推定器が検出した複数の領域３１８の重心の位置３１９を、プレー開始位置と推定する。
なお、プレー開始推定部２２０は、映像上におけるプレー開始位置を、フィールド１２０（俯瞰画像）に射影変換し、変換後の位置（例えば、フィールドグリッド）を、プレー開始位置としてもよい。かかる射影変換は、例えば、所定の射影変換行列を用いて行われる。かかる射影変換行列は、映像上でフィールド１２０に対して１０ヤードごとに手動で与えられた座標に基づいて、予め算出されたものである。
初期陣形は、上述の通り、プレー開始時に組まれる。したがって、初期陣形が検出されるフレームは、プレー開始時のフレームである可能性が高いフレームである。
＜密集度について＞
本実施の形態においては、密集度として、各選手の画像領域の重なり度合いを採用する。
図９は、映像からの選手位置の検出結果の一例を示す説明図である。また、図１０は、密集度の算出過程の様子の一例を示す説明図である。
プレー終了推定部２３０は、例えば、様々な照明条件下で様々な姿勢の選手を撮影した多数の画像から、画像のＨＯＧ特徴量についてＡｄａｂｏｏｓｔを用いて学習を行うことにより生成された識別器（検出器）を、予め格納している。
図９に示すように、プレー終了推定部２３０は、かかる識別器を用いて、映像３２１から、例えば、各選手が占める画像領域を示す矩形領域３２２を、各選手の選手位置として検出する。以下、矩形領域３２２は、「選手矩形」という。
そして、プレー終了推定部２３０は、フレーム毎に、検出された選手位置から、密集度を算出する。
具体的には、例えば、プレー終了推定部２３０は、図１０に示すように、フィールドグリッド３３１について密集度を算出する。この場合、プレー終了推定部２３０は、矩形領域３３２、つまり、フィールドグリッド３３１周辺の２５のフィールドグリッドの領域と、選手矩形３２２とが重複する領域３３３（図中、斜線ハッチングで示す）を求める。そして、プレー終了推定部２３０は、フィールドグリッド３３１についての密集度Ｌｄｅｎｓｉｔｙを、例えば、以下の式（１）を用いて算出する。ここで、Ｒは、矩形領域３３２の面積であり、Ｒｐは、矩形領域３３２と選手矩形３２２とが重複する領域３３３の面積である。
プレー終了推定部２３０は、映像内の全てのフィールドグリッドについて密集度Ｌｄｅｎｓｉｔｙを算出すると、密集度Ｌｄｅｎｓｉｔｙが最大値となる位置、あるいは、密集度Ｌｄｅｎｓｉｔｙの分布の重心位置を、密集位置に決定する。上述の通り、密集位置は、プレー終了位置である可能性が高い位置である。
図１１は、密集度の分布の一例を示す説明図である。
図１１に示すように、密集度は、複数の選手が集まっている領域ほど高くなる。なお、プレー終了推定部２３０は、図１１のような、映像を密集度に応じて色や濃度等を変化させた、密集度表示画像を生成し、ユーザインタフェースに表示させてもよい。このような画像が表示されることにより、ユーザは、密集度の高い位置あるいは低い位置を、視覚的に確認することができる。
＜集中度について＞
本実施の形態においては、集中度として、量子化されたオプティカルフロー強度のそれぞれを、オプティカルフローの方向に沿って伝播させたときの、フィールドグリッド毎の総和を採用する。
図１２Ａ、図１２Ｂは、集中度の計算手法の一例を説明するための説明図である。
図１２Ａに示すように、位置３３５に、左下４５度の方向のオプティカルフローがあったとする。この場合、プレー終了推定部２３０は、位置３３５から左下４５度方向にある複数のフィールドグリッド（図中、斜めハッチングで示す）のそれぞれの集中度を、たとえば１増加させる。
プレー終了推定部２３０は、同様の処理を、他の全ての位置のオプティカルフローについて行う。その結果、例えば、図１２Ｂに示すように、複数の位置３３６、３３７、３３８のオプティカルフローの方向が重なるフィールドグリット３３９では、集中度が増加する。
このようにして、全ての位置のオプティカルフローについて処理を行い、各フィールドグリッドの集中度を算出する。集中度が最大になるフィールドグリッドは、より多くの選手の動きが向かっている位置と推定される。
なお、ボールにより近い選手ほど、ボールに積極的に向かう傾向が高い。したがって、プレー終了推定部２３０は、各位置から集中度の増加の対象となっているフィールドグリッドまでの距離に応じた重み付けを、行ってもよい。
また、あるフィールドグリッドから遠ざかる方向に移動する選手が多い場合、かかるフィールドグリッドにボールが位置する可能性はより低い。したがって、プレー終了推定部２３０は、オプティカルフローの方向と反対側の方向の先に位置するフィールドグリッドについては、負の値を付与するようにしてもよい。これにより、精度を更に向上させることができる。
具体的には、プレー終了推定部２３０は、例えば、以下の手順により、各フィールドグリッドの集中度を算出する。
まず、プレー終了推定部２３０は、各フィールドグリッドのオプティカルフロー強度を８方向に量子化する。
図１３は、量子化したオプティカルフローの一例を示す図である。
図１３に示すように、例えば、各選手の動きは、各選手が映し出されている領域の各部において、８方向に量子化されて定義される。
そして、プレー終了推定部２３０は、各オプティカルフローの方向の延長線上にある全てのフィールドグリッドの集中度を、距離に反比例する値により上昇させる。
更に、プレー終了推定部２３０は、量子化された方向とは逆の方向の延長線上にある全てのフィールドグリッドの集中度を、距離に比例する値により減少させる。
プレー終了推定部２３０は、例えば、以下の式（２）〜（４）を用いて、フィールドグリッド毎に、集中度Ｌｄｉｒｅｃｔｉｏｎを算出する。式（２）におけるＬｄｉｒｅｃｔｉｏｎ＿ｄｉｒｅｃｔはオプティカルフローの方向に対する集中度を表す。式（３）におけるＬｄｉｒｅｃｔｉｏｎ＿ｏｐｐｐｏｓｉｔｅはオプティカルフローの逆の方向に対する集中度を表す。ここで、ｇｒｉｄは、フィールド内、あるいは、映像内の全てのフィールドグリッドを示し、ｄｉｓ（ｇｒｉｄ）は、集中度Ｌｄｉｒｅｃｔｉｏｎの算出の対象となっているフィールドグリッドから、ｇｒｉｄが示すフィールドグリッドまでの距離を示す。なお、式（４）において、ｗ１はＬｄｉｒｅｃｔｉｏｎ＿ｄｉｒｅｃｔに対する重みを表し、ｗ２はＬｄｉｒｅｃｔｉｏｎ＿ｏｐｐｐｏｓｉｔｅに対する重みを表す。
プレー終了推定部２３０は、フィールド内、あるいは、映像内の全てのフィールドグリッドについて集中度Ｌｄｉｒｅｃｔｉｏｎを算出すると、集中度Ｌｄｉｒｅｃｔｉｏｎが最大値となる位置、あるいは、集中度Ｌｄｉｒｅｃｔｉｏｎの分布の重心位置を、集中位置に決定する。
図１４は、集中位置の一例を示す説明図である。
図１４に示すように、映像３４１のフィールド領域内のいずれかの位置に、集中位置３４２として決定される。上述の通り、集中位置３４２も、密集位置と同様に、プレー終了位置である可能性が高い位置である。
＜映像処理装置の動作＞
次に、映像処理装置２００の動作について説明する。
なお、上述したように以下の各部の処理は映像処理装置の有するプロセッサ（ＣＰＵ）が制御プログラムを実行することで実現される。
図１５は、映像処理装置２００の動作の一例を示すフローチャートである。
ステップＳ１０００において、映像入力部２１０は、アメリカンフットボールの試合を撮影した映像を入力する。
ステップＳ２０００において、プレー開始推定部２２０は、プレー開始フレームおよびプレー開始位置を推定する、プレー開始推定処理を行う。
ステップＳ３０００において、プレー終了推定部２３０は、プレー終了フレームおよびプレー終了位置を推定する、プレー終了推定処理を行う。
ステップＳ４０００において、確認操作受付部２４０は、ユーザから、ステップＳ２０００、Ｓ３０００の推定結果に対する確認操作を受け付ける、確認操作受付処理を行う。
ステップＳ５０００において、推定結果処理部２５０は、ステップＳ４０００の確認操作結果であって、推定されたプレー開始フレームおよびプレー終了フレームを示す、プレー区間情報を出力する。
以下に、プレー開始推定処理、プレー終了推定処理、および確認操作受付処理の詳細について、説明する。
＜プレー開始推定処理＞
図１６は、プレー開始推定処理の一例を示すフローチャートである。
ステップＳ２０１０において、プレー開始推定部２２０は、映像の各フレームの各グリッドについて、動き量（オプティカルフロー強度）を算出し、算出結果をメモリに記憶させる。
ステップＳ２０２０において、プレー開始推定部２２０は、例えば映像の先頭から順に選択していく形で、映像からフレームを１つ選択する。
ステップＳ２０３０において、プレー開始推定部２２０は、選択中のフレームの直前の所定区間について、動き量を取得する。ここでの所定区間とは、例えば、選択中のフレームから１２０フレーム分遡ったフレームから、選択中のフレームまでの区間である。
上述の通り、プレー開始時には、ほとんどの選手の動きが急激に増大するため、総オプティカルフロー強度も急激に増大する（図６参照）。
そこで、ステップＳ２０４０において、プレー開始推定部２２０は、まず、所定区間の全てのフレームについて、フレーム毎に、フレーム内のオプティカルフロー強度を全て合算して、総オプティカルフロー強度を算出する。そして、プレー開始推定部２２０は、算出された各フレームの総オプティカルフロー強度を用いて、動き量が急激に増大したことに対応する、予め定められた開始動き条件が満たされるか否かを判断する。
開始動き条件とは、具体的には、例えば、以下の式（５）〜（７）の全てが満たされるという条件である。
ここで、ｏｐｔｉｃａｌ［］は、総オプティカルフロー強度を示す。Ｌ、Ｍ、およびＮは、それぞれ、実験等により予め定められた定数である。Ｌは、２以上の整数であり、例えば１２０である。Ｍは、例えば２である。Ｎは、例えば２０である。例えば、ｏｐｔｉｃａｌ［０］は、選択中のフレームの総オプティカルフロー強度を示し、ｏｐｔｉｃａｌ［１２０］は、選択中のフレームから１２０フレーム前のフレームについての総オプティカルフロー強度を示す。また、ｏｐｔｉｃａｌＭａｘは、映像（つまり、解析に用いる１試合分の動画）のうち、最初の５分間の部分を用いて算出された、総オプティカルフロー強度の最大値である。プレー開始推定部２２０は、例えば、最初にステップＳ２０４０の処理を行う際に、ｏｐｔｉｃａｌＭａｘを算出し、メモリに記憶させる。
なお、開始動き条件は、上記した内容に限定されない。例えば、総オプティカルフロー強度の変化量の移動平均が所定の値以上であること、総オプティカルフロー強度の変化量の変化の割合が所定の値以上であること等を、開始動き条件として採用してもよい。
また、開始動き条件は、前の直近のプレー開始フレームからの経過時間が所定の閾値以上であること等の他の条件を、更に含んでいてもよい。
プレー開始推定部２２０は、開始動き条件が満たされない場合（Ｓ２０４０：ＮＯ）、処理をステップＳ２０２０へ戻し、未処理のフレーム、つまり、ステップＳ２０２０でまだ選択されていないフレームに対する処理に移る。また、プレー開始推定部２２０は、開始動き条件が満たされる場合（Ｓ２０４０：ＹＥＳ）、処理をステップＳ２０５０へ進める。
ステップＳ２０５０において、プレー開始推定部２２０は、所定区間の開始フレームについて、初期陣形検出を行う。
ステップＳ２０６０において、プレー開始推定部２２０は、フレームに初期陣形が映し出されていることに対応する、予め定められた開始画像条件が満たされるか否かを判断する。ここで、開始画像条件とは、例えば、初期陣形が、所定値以上の確からしさで、映像から検出されたという条件である。
プレー開始推定部２２０は、開始画像条件が満たされていない場合（Ｓ２０６０：ＮＯ）、処理をステップＳ２０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー開始推定部２２０は、開始画像条件が満たされている場合（Ｓ２０６０：ＹＥＳ）、処理をステップＳ２０７０へ進める。
かかる判断処理により、選手交代時のフレーム等、プレー開始時以外で密集度が高くなっているフレームに対する誤検出を防ぐことができる。
ステップＳ２０７０において、プレー開始推定部２２０は、選択中のフレームを基準にして、開始フレーム候補を設定する。具体的には、プレー開始推定部２２０は、例えば、所定時間の開始フレームを、開始フレーム候補に設定する。この開始フレーム候補はプレー開始フレームの候補となるフレームの群である。
ステップＳ２０８０において、プレー開始推定部２２０は、プレー開始位置を推定する。具体的には、プレー開始推定部２２０は、例えば、検出された初期陣形の位置を、プレー開始位置に設定する。
そして、ステップＳ２０９０において、プレー開始推定部２２０は、未処理のフレームが映像に存在するか否かを判定する。プレー開始推定部２２０は、未処理のフレームが存在する場合（Ｓ２０９０：ＹＥＳ）、処理をステップＳ２０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー開始推定部２２０は、全てのフレームに対する処理が完了した場合（Ｓ２０９０：ＮＯ）、処理を図１５のステップＳ３０００（プレー終了推定処理）へ進める。
＜プレー終了推定処理＞
図１７は、プレー終了推定処理の一例を示すフローチャートである。
ステップＳ３０１０において、プレー終了推定部２３０は、プレー開始推定処理（図１６参照）により設定された開始フレーム候補のそれぞれについて、対応するプレーの直前のプレー（直前プレー）のプレー終了領域を推定する。
上述の通り、プレー終了位置は、１つ後のプレーのプレー開始位置と相関を有している。そこで、プレー終了推定部２３０は、開始フレーム候補毎に、そのプレー開始位置に基づいて直前プレーのプレー終了位置の領域を限定すべく、プレー終了領域の推定を行う。なお、プレー開始フレームおよびプレー開始位置としては、プレー開始推定部２２０が出力した開始フレーム情報から得られる情報を、用いている。
具体的には、プレー終了推定部２３０は、プレー開始位置から近い方のサイドライン１２１、１２２（図２参照）まで垂線を引き、その垂線を中心とした映像中における横幅１０ヤードの領域を、プレー終了領域と推定する。なお、１０ヤードという数値は一例であり、プレー終了領域の設定にあたっては、プレー開始位置に基づいて所定の領域を画定することが重要であることはいうまでもない。
ステップＳ３０２０において、プレー終了推定部２３０は、例えば映像の先頭から、あるいは、最初の開始フレーム候補の直後のフレームから順に選択していく形で、映像からフレームを１つ選択する。
ステップＳ３０３０において、プレー終了推定部２３０は、選択中のフレームの直前の所定区間について、動き量を取得する。ここでの所定区間とは、例えば、選択中のフレームから１２０フレーム分遡ったフレームから、選択中のフレームまでの区間である。
上述の通り、プレー終了時には、ほとんどの選手の動きが急激に減少するため、総オプティカルフロー強度も急激に減少する（図６参照）。
そこで、ステップＳ３０４０において、プレー終了推定部２３０は、まず、所定区間の全てのフレームについて、フレーム毎に、総オプティカルフロー強度を算出する。そして、プレー終了推定部２３０は、算出された各フレームの総オプティカルフロー強度を用いて、動き量が急激に減少し、動き量の変化量が緩やかになったことに対応する、予め定められた終了動き条件が満たされるか否かを判断する。
終了動き条件とは、具体的には、例えば、以下の式（８）、（９）の両方が満たされるという条件である。
ここで、ＰおよびＱは、それぞれ、実験等により予め定められた定数である。Ｐは、１以上の整数であり、例えば１２０である。Ｑは、１以上の整数であり、例えば５である。Ｒは、例えば１５である。
なお、終了動き条件は、上記した内容に限定されない。例えば、総オプティカルフロー強度の変化量の移動平均が負の所定の値以下であること、総オプティカルフロー強度の変化量の変化の割合が負の所定の値以下であること等を、終了動き条件として採用してもよい。
また、終了動き条件は、前の直近のプレー開始フレームからの経過時間が所定の閾値以下であること、あるいは、後の直近のプレー開始フレームまでの経過時間が所定の閾値以下でること等の他の条件を、更に含んでいてもよい。
プレー終了推定部２３０は、終了動き条件が満たされない場合（Ｓ３０４０：ＮＯ）、処理をステップＳ３０２０へ戻し、未処理のフレーム、つまり、ステップＳ３０２０でまだ選択されていないフレームに対する処理に移る。また、プレー終了推定部２３０は、終了動き条件が満たされる場合（Ｓ３０４０：ＹＥＳ）、処理をステップＳ３０５０へ進める。
上述の通り、選手は、プレー終了位置に向かって集まっている傾向がある。
そこで、ステップＳ３０５０において、プレー終了推定部２３０は、選択中のフレームについて、選手位置を抽出し、密集位置および集中位置を算出する。そして、ステップＳ３０６０において、プレー終了推定部２３０は、密集位置と集中位置との中間地点を、プレー終了位置と推定する。
すなわち、プレー終了推定部２３０は、選択中のフレームについて、選手位置を抽出し、抽出した選手位置から、密集度Ｌｄｅｎｓｉｔｙおよび集中度Ｌｄｉｒｅｃｔｉｏｎを算出する。最終的に、それらの結果を用いてプレー終了位置尤度Ｌｔｅｒｍｉｎａｌを算出することにより、プレー終了位置を推定する。
ここで、Ｌｔｅｒｍｉｎａｌは、密集度Ｌｄｅｎｓｉｔｙと集中度Ｌｄｉｒｅｃｔｉｏｎの和を各位置について求め、当該和が最大値になる位置を求めることにより、算出することができる。また、Ｌｔｅｒｍｉｎａｌは、密集度Ｌｄｅｎｓｉｔｙと集中度Ｌｄｉｒｅｃｔｉｏｎとの和を各位置について求め、ピークの値を取る２箇所の位置の中間点となる位置を求めることにより、算出してもよい。なお、プレー終了推定部２３０は、プレー開始位置と同様に、映像上の位置として、プレー終了位置が算出されている場合、かかる映像上の位置を、フィールド１２０（俯瞰画像）に射影変換し、変換後の位置（例えば、フィールドグリッド）を、最終的なプレー終了位置とする。
ステップＳ３０７０において、プレー終了推定部２３０は、プレー終了位置が終了位置条件を満たすか否かを判断する。ここで、終了位置条件とは、プレー終了位置と１つ後のプレーのプレー開始位置とが、上記相関を有していることに対応する、予め定められた終了位置条件であり、本実施の形態では、プレー終了位置がプレー終了領域に含まれるという条件である。ここでのプレー開始位置とは、例えば、選択中のフレームの後に最初に存在するプレー開始フレームにおける、プレー開始位置である。
プレー終了推定部２３０は、終了位置条件が満たされていない場合（Ｓ３０７０：ＮＯ）、処理をステップＳ３０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー終了推定部２３０は、終了位置条件が満たされている場合（Ｓ３０７０：ＹＥＳ）、処理をステップＳ３０８０へ進める。
ステップＳ３０８０において、プレー終了推定部２３０は、選択中のフレームを基準にして、終了フレーム候補を設定する。具体的には、プレー開始推定部２２０は、例えば、選択中のフレームを、終了フレーム候補に設定する。
そして、ステップＳ３０９０において、プレー終了推定部２３０は、未処理のフレームが映像に存在するか否かを判定する。プレー終了推定部２３０は、未処理のフレームが存在する場合（Ｓ３０９０：ＹＥＳ）、処理をステップＳ３０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー終了推定部２３０は、全てのフレームに対する処理が完了した場合（Ｓ３０９０：ＮＯ）、処理を図１５のステップＳ４０００（確認操作受付処理）へ進める。
＜確認操作受付処理＞
確認操作受付部２４０は、確認操作受付処理において、確認操作受付画面を用いて確認操作の受け付けを行う。確認操作受付処理の説明に先立って、確認操作受付画面の概要について説明する。
図１８は、確認操作受付画面の一例を示す平面図である。
図１８に示すように、確認操作受付画面３６０は、例えば、候補表示選択領域３６１、操作ボタン領域３６２、および映像表示領域３６３を含む。
候補表示選択領域３６１は、複数の開始フレーム候補が推定されているとき、複数の開始フレーム候補のサムネイルを、垂直方向に沿って時系列に並べて表示する。また、候補表示選択領域３６１は、開始フレーム候補のそれぞれのサムネイルと、当該開始フレーム候補に対応するプレーの終了フレームとして推定された終了フレーム候補の代表画像のサムネイルとを、水平方向に沿って並べて表示する。
かかる表示により、あるプレーの開始フレーム候補のサムネイルの１行上に、直前プレーの終了フレーム候補のサムネイルが表示されることになる。すなわち、候補表示選択領域３６１は、プレー毎に、プレーの開始フレーム候補と、直前プレーの終了フレーム候補とを、各候補の配置の仕方により、対応付けて表示している。
なお、各サムネイルは、開始フレーム候補あるいは終了フレーム候補の代表画像を低画像化するなどして生成されたものである。代表画像の詳細については後述する。
操作ボタン領域３６２は、候補表示選択領域３６１で選択されている表示項目に対して、再生操作、一時停止操作、停止操作、決定操作、および削除操作を受け付けるための、再生ボタン、一時停止ボタン、停止ボタン、決定ボタン、および削除ボタンを表示する。
映像表示領域３６３は、指定されたサムネイルに対応する代表画像、あるいは、指定されたサムネイルに対応する開始フレーム候補あるいは終了フレーム候補を含む映像区間を表示するための領域である。映像区間の詳細については後述する。
なお、確認操作受付画面３６０を構成する各部の大きさ、形状、および配置は、図１８に示す例に限定されない。例えば、候補表示選択領域３６１は、複数の開始フレーム候補の代表画像のサムネイルを、水平方向に沿って時系列に並べ、開始フレーム候補のそれぞれの代表画像のサムネイルと対応する終了フレーム候補の代表画像のサムネイルとを、垂直方向に沿って並べて表示してもよい。あるいは、候補表示選択領域３６１は、全てのサムネイルを、縦方向１列あるいは横方向１列に、時系列に並べて表示してもよい。
図１９は、確認操作受付処理の一例を示すフローチャートである。
ステップＳ４０１０において、確認操作受付部２４０は、開始フレーム候補および終了フレーム候補のそれぞれについて、代表画像および映像区間を設定する。
具体的には、確認操作受付部２４０は、例えば、開始フレーム候補については、開始フレームを、代表画像に設定し、開始フレームの前後を含む所定の区間（例えば、開始フレーム候補の１秒前から、開始フレーム候補の３秒後までの区間）を、映像区間に設定する。また、確認操作受付部２４０は、例えば、終了フレーム候補については、終了フレームを、代表画像に設定し、終了フレームを含む所定の区間（例えば、終了フレーム候補の３秒前から、終了フレーム候補の１秒後までの区間）を、映像区間に設定する。
ステップＳ４０２０において、確認操作受付部２４０は、確認操作受付画面３６０（図１８参照）を生成し、表示する。
ステップＳ４０３０において、確認操作受付部２４０は、候補表示選択領域３６１（図１８参照）に表示された開始フレーム候補および終了フレーム候補（以下「候補」と総称する）のいずれかに対する指定操作が行われたか否かを判断する。確認操作受付部２４０は、指定操作が行われた場合（Ｓ４０３０：ＹＥＳ）、処理をステップＳ４０４０へ進める。また、確認操作受付部２４０は、いずれの候補に対しても指定操作が行われていない場合（Ｓ４０３０：ＮＯ）、処理を後述のステップＳ４０５０へ進める。
ステップＳ４０４０において、確認操作受付部２４０は、指定された候補のサムネイルに対して、枠線３６４（図１８参照）を重畳する等、強調表示を行う。また、確認操作受付部２４０は、指定された候補の代表画像を、映像表示領域３６３（図１８参照）に表示させる。
ステップＳ４０５０において、確認操作受付部２４０は、いずれかの候補が指定された状態で、操作ボタン領域３６２（図１８参照）において、再生操作が行われたか否かを判断する。確認操作受付部２４０は、再生操作が行われた場合（Ｓ４０５０：ＹＥＳ）、処理をステップＳ４０６０へ進める。また、確認操作受付部２４０は、再生操作が行われていない場合（Ｓ４０５０：ＮＯ）、処理を後述のステップＳ４０７０へ進める。
ステップＳ４０６０において、確認操作受付部２４０は、指定された候補の映像区間を再生し、映像表示領域３６３（図１８参照）に表示させる。
なお、確認操作受付部２４０は、この状態において、操作ボタン領域３６２（図１８参照）において停止操作が行われた場合、映像区間の再生を停止する。また、確認操作受付部２４０は、途中で再生が一時停止された状態で、候補の新たな指定が行われることなく再生操作が行われた場合、停止箇所から再生（レジューム）を行う。
ステップＳ４０７０において、確認操作受付部２４０は、いずれかの候補が指定された状態で、操作ボタン領域３６２（図１８参照）において、削除操作が行われたか否かを判断する。確認操作受付部２４０は、削除操作が行われた場合（Ｓ４０７０：ＹＥＳ）、処理をステップＳ４０８０へ進める。また、確認操作受付部２４０は、削除操作が行われていない場合（Ｓ４０７０：ＮＯ）、処理を後述のステップＳ４０９０へ進める。
ステップＳ４０８０において、確認操作受付部２４０は、指定された候補の設定を解除し、対応するサムネイルを、候補表示選択領域３６１から削除する。
ステップＳ４０９０において、確認操作受付部２４０は、いずれかの候補が指定された状態で、操作ボタン領域３６２（図１８参照）において、決定操作が行われたか否かを判断する。確認操作受付部２４０は、決定操作が行われた場合（Ｓ４０９０：ＹＥＳ）、処理をステップＳ４１００へ進める。また、確認操作受付部２４０は、決定操作が行われていない場合（Ｓ４０７０：ＮＯ）、処理を後述のステップＳ４１１０へ進める。
ステップＳ４１００において、確認操作受付部２４０は、指定された候補が開始フレーム候補である場合、当該候補をプレー開始フレームに設定し、指定された候補が終了フレーム候補である場合、当該候補をプレー終了フレームに設定する。
ステップＳ４１１０において、確認操作受付部２４０は、確認操作が終了したか否かを判断する。確認操作が終了した場合とは、例えば、候補表示選択領域３６１に残っている候補の全てに対して決定操作が行われた場合、あるいは、確認操作受付画面３６０に表示された確定ボタン（図示せず）に対するクリック操作が行われた場合である。
確認操作受付部２４０は、確認操作が終了していない場合（Ｓ４１１０：ＮＯ）、処理をステップＳ４０３０へ戻す。また、確認操作受付部２４０は、確認操作が終了した場合（Ｓ４１１０：ＹＥＳ）、処理をステップＳ４１２０へ進める。
ステップＳ４１２０において、確認操作受付部２４０は、確認操作受付部２４０において設定されたプレー開始フレームおよびプレー終了フレームを示す、プレー区間情報を生成する。そして、確認操作受付部２４０は、処理を、図１５のステップＳ２０００の処理（プレー区間情報を出力）へ進める。
このような動作により、映像処理装置２００は、プレーの開始時および終了時の選手の動きや位置の特徴に着目して、プレー区間を推定することができる。
＜適用システム＞
ここで、本実施の形態に係る映像処理装置２００が適用されるシステムの具体例について説明する。
図２０は、映像処理装置２００が適用されるシステムの一例を示す説明図である。
図２０に示すように、映像処理装置２００の推定結果３７１は、過去のプレーを記録し、後に類似プレーを検索できるような、アーカイブシステム３７２に利用され得る。
映像処理装置２００により推定されたプレー開始フレームおよびプレー終了フレームを利用すれば、試合映像中の情報のみを用いて、１試合分の映像の動画縮約や、プレー時間の算出が可能となる。ここで、動画集約とは、１つまたは時系列で連続する複数のプレー区間を抽出し、タイムアウトの区間等の重要度の低い区間を除外することである。
また、映像処理装置２００により推定されたプレー開始位置およびプレー終了位置を利用すれば、動画縮約により１プレーごとに分割された映像を用いて、ゲインヤード数を算出することが可能となる。更に、動画縮約により得られたプレー毎の映像は、効率の良い戦術解析を実現することができる。
そして、得られた情報は、それぞれの属性に対応付けて記録しておくことにより、条件検索の対象とすることが可能となり、アーカイブシステムに供することができる。
このように、映像処理装置２００は、試合解析の観点において非常に有益な情報を生成することができるので、試合解析に関する各種のシステムに好適である。例えば、アメリカンフットボールにおけるボール追跡手法（例えば、Ｊｕｎｊｉ Ｋｕｒａｎｏ， Ｔａｉｋｉ Ｙａｍａｍｏｔｏ， Ｈｉｒｏｋａｔｓｕ， Ｋａｔａｏｋａ， Ｍａｓａｋｉ Ｈａｙａｓｈｉ， Ｙｏｓｈｉｍｉｔｓｕ Ａｏｋｉ， “Ｂａｌｌ Ｔｒａｃｋｉｎｇ ｉｎ Ｔｅａｍ Ｓｐｏｒｔｓ ｂｙ Ｆｏｃｕｓｉｎｇ ｏｎ Ｂａｌｌ Ｈｏｌｄｅｒ Ｃａｎｄｉｄａｔｅｓ”， Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｄｖａｎｃｅｄ Ｉｍａｇｅ Ｔｅｃｈｎｏｌｏｇｙ ２０１４（ＩＷＡＩＴ２０１４）， ２０１４参照）や、背番号認識を用いた選手追跡手法（例えば、Ｔａｉｋｉ Ｙａｍａｍｏｔｏ， Ｈｉｒｏｋａｔｓｕ Ｋａｔａｏｋａ， Ｍａｓａｋｉ Ｈａｙａｓｈｉ， Ｙｏｓｈｉｍｉｔｓｕ Ａｏｋｉ， “Ｍｕｌｔｉｐｌｅ Ｐｌａｙｅｒｓ Ｔｒａｃｋｉｎｇ ａｎｄ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ Ｇｒｏｕｐ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｐｌａｙｅｒ Ｎｕｍｂｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｓｐｏｒｔｓ Ｖｉｄｅｏ，” Ｉｎ ｔｈｅ ３９ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｄｕｓｔｒｉａｌ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｏｃｉｅｔｙ （ＩＥＣＯＮ２０１３）， ２０１３参照）等と組み合わせることにより、より詳細な自動戦術解析が可能となる。
＜実験の内容および結果＞
発明者は、本実施の形態にかかる映像処理装置２００によるプレー区間の推定の精度に関して、実験を行った。以下、かかる実験とその結果について説明する。
＜＜実験の概要＞＞
実験には、２０１３年１０月６日に行われたアメリカンフットボール社会人リーグの試合を固定カメラで撮影した映像を用いた。
実験動画は、解像度１７４０×３００ｐｉｘｅｌｓ、６０ｆｐｓである。実験映像中の１ｐｉｘｅｌは、実空間における約７．３ｃｍに相当し、鳥瞰図中の１ｐｉｘｅｌは、実空間における約９．８ｃｍに相当する。
まず、３ｒｄ−４ｔｈクォーターの映像を用いて初期陣形の画像、および、選手の画像についての学習を行った。その後、１ｓｔ−２ｎｄクォーターの映像（計２２４２０５フレーム）において、動画縮約度およびプレー開始／終了位置の精度評価実験を行った。
＜＜動画縮約の精度検証実験＞＞
発明者は、プレー開始フレームおよびプレー終了フレームを取得することによる動画縮約の精度を検証した。具体的には、実験動画（計９００００フレーム、３２プレー）を用いて、以下の式（１０）を用いて、動画縮約率Ｃを算出した。ここで、ｆｒａｍｅＣは、縮約後の総フレーム数であり、ｆｒａｍｅａｌｌは、元の映像の総フレーム数である。
図２１は、動画縮約の精度検証結果を示す図である。
図２１に示すように、ｇｒｏｕｎｄ ｔｒｕｔｈと本手法において、プレー総数（プレー検出数）は３１であり、縮約後のフレーム数ｆｒａｍｅｃは１２０９４であり、動画縮約率（動画集約度）Ｃは１３．４４であった。
＜＜プレー開始位置の精度検証実験＞＞
プレー開始位置の精度評価実験においては、射影変換後のフィールド画像中で、手動で与えたｇｒｏｕｎｄ ｔｒｕｔｈとユークリッド距離比較して精度比較を行った。
図２２は、プレー開始位置の精度検証結果を示す図である。
図２２に示すように、プレー開始位置の精度評価としては、平均誤差１７．００、最小誤差２．２３、および最大誤差４２．１９が得られた。
＜＜プレー終了位置の精度検証実験＞＞
アメリカンフットボールでは、パスが誰にも触れられずにフィールドの外に出てしまう等、パスが失敗した場合、再度同じ場所からプレーが開始する。このため、プレー終了位置の精度評価実験は、そのような場合を除いた計１５個の動画を用いて行った。そして、射影変換後の俯瞰画像中において、手動で与えた終了位置と本手法で算出した終了位置の間でユークリッド距離比較を行った。
図２３は、プレー終了位置の精度検証結果を示す図である。
図２３に示すように、プレー開始位置の精度評価としては、平均誤差４５．９６、最小誤差１０．９８、および最大誤差７６．３５が得られた。
このように、実験により、映像処理装置２００が、十分な精度でプレー区間を抽出することが確認された。
＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る映像処理装置２００は、プレーの開始時および終了時の選手の動きや位置の特徴に着目して、プレー区間を推定するので、映像からプレー区間を効率良くかつ高精度に抽出することを可能にする。
また、映像からプレー区間を効率良くかつ高精度に抽出することができるので、本実施の形態に係る映像処理装置２００は、試合解析に関する各種のシステムに用いられることにより、高精度で効率の良い試合解析を実現することができる。
また、本実施の形態に係る映像処理装置２００は、候補という形でプレー開始フレームおよびプレー終了フレームを決定した後、代表画像および映像部分を表示して、ユーザから選択操作を受け付ける。このため、本実施の形態に係る映像処理装置２００は、プレー開始フレームおよびプレー終了フレームが誤って推定されることをより確実に防止し、更に精度の高い試合解析を実現することができる。
＜本実施の形態の変形例＞
なお、図１５〜図１７、図１９に示す各処理の順序は、上述の例に限定されない。例えば、映像処理装置２００は、フレームの動き量を、フレームを選択する毎に、開始動き条件あるいは終了動き条件に必要な区間について、都度、算出してもよい。
また、図１９のステップＳ４０３０、Ｓ４０５０、Ｓ４０７０、Ｓ４０９０の判断処理の順序は、入れ替わってもよい。また、プレー終了推定部２３０は、全ての映像に対するプレー終了開始処理が終了する前に、２つ以上のプレー開始フレームが推定された段階で、推定された連続する２つのプレー開始フレームの間の区間について、プレー終了推定処理を開始してもよい。
また、処理の対象となる映像は、ボール位置の周辺に限定して撮影された映像であってもよい。
また、プレー開始位置の推定手法は、上述の例に限定されない。例えば、プレー開始推定部２２０は、映像を表示し、ユーザから手動プレー開始位置の指定を受け付け、指定された位置を、プレー開始位置と推定してもよい。
また、プレー開始推定部２２０は、プレー開始位置と直前プレーのプレー終了位置との相関は、必ずしも考慮しなくてもよい。例えば、プレー開始推定部２２０は、動き量、密集度、および集中度のうちの１つまたは複数のみに基づいて、プレー開始フレームあるいはプレー終了フレームを推定してもよい。
また、プレー終了位置の推定手法は、上述の例に限定されない。例えば、密集位置をそのままプレー終了位置と推定してもよいし、集中位置をそのままプレー終了位置と推定してもよい。また、例えば、審判の位置を画像から抽出し、動き量が急激に減少した直後に抽出された審判の位置を、プレー終了位置と推定してもよい。
また、既に開始フレーム候補および終了フレーム候補が存在している場合、映像処理装置２００は、開始フレーム候補および終了フレーム候補の決定を行わずに、確認操作受付処理以降の処理のみを行ってもよい。
また、映像処理装置２００の構成の一部は、ネットワーク上のサーバ等の外部装置に配置されるなどして、他の部分と離隔していてもよい。この場合、映像処理装置２００は、かかる外部装置と通信を行うための通信部を備える必要がある。
また、本実施の形態に係る映像処理装置２００は、候補という形でプレー開始フレーム（開始フレーム候補）およびプレー終了フレーム（終了フレーム候補）を決定した後、代表画像および映像部分を表示して、ユーザから選択操作を受け付けるようにしたが、ユーザからの選択操作を受け付けずに、開始フレーム候補および終了フレーム候補のうちからプレー開始フレームおよびプレー終了フレームを決定するようにしてもよい。例えば開始フレーム候補および終了フレーム候補のすべてを開始フレーム、終了フレームと決定してもよい。
なお、本技術は、アメリカンフットボールの映像のみならず、他のスポーツの映像にも適用可能である。すなわち、本技術は、プレーが複数のプレー区間で構成されており、当該プレー区間の開始時点または終了時点において、選手の動きが特徴的、あるいは規則的なスポーツに広く適用可能である。
例えば、本技術は攻守が切り替わるルールのスポーツに適用可能であり、より具体的には、攻守の切り替わりのタイミングがルール上明確に規定されているスポーツに好適である。ここで、攻守の切り替わりとは、アメリカンフットボールや野球等における、チーム毎の攻撃および守備の切り替わりや、テニス、卓球、バレーボール等における、サーブ権（サーブ側、レシーブ側）の切り替わりといった概念を含む。また、本技術は、相撲や格闘技等、試合開始直前に、動きが減少する、所定の位置に選手が位置する、あるいは、所定の姿勢を取るスポーツであって、試合開始直後に、動きが増大するようなスポーツの試合にも好適である。また、上記概念を踏まえると、本技術は、特にアメリカンフットボールの試合に好適であるといえる。
＜本技術のまとめ＞
本技術の映像処理方法、映像処理装置は、プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、映像データを入力し、入力した前記映像データから、フレーム毎に、選手の動き量を算出し、算出した前記動き量に基づいて、前記試合におけるプレーの開始フレームおよび、前記プレーの１つ前のプレーである直前プレーの終了したフレームである、終了フレームのうち少なくとも１つを推定する。
なお、上記映像処理方法、映像処理装置は、映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、算出した前記動き量と、前記初期陣形の検出結果と、に基づいて、前記プレーの開始フレームを推定してもよい。
なお、上記映像処理方法、映像処理装置は、映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、前記開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定してもよい。
なお、上記映像処理方法、映像処理装置は、開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定してもよい。
なお、上記映像処理方法、映像処理装置は、推定した前記開始位置に基づいて、前記直前プレーの終了領域を推定し、前記動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定してもよい。
なお、上記映像処理方法、映像処理装置は、前記選手位置の密集度および集中度のうち少なくとも１つを算出し、算出された前記密集度および集中度のうち少なくとも１つに基づいて前記終了位置を推定してもよい。
なお、上記映像処理方法、映像処理装置は、前記動き量が急激に増大した動き増大区間を推定し、推定された前記動き増大区間に基づいて、前記開始フレームを推定してもよい。
なお、上記映像処理方法、映像処理装置は、前記動き量が急激に減少した動き減少区間を推定し、推定された前記動き減少区間に基づいて、前記終了フレームを推定してもよい。
なお、上記映像処理方法、映像処理装置は、前記映像データから、前記開始フレームと、１つまたは複数の前記終了フレーム候補と、を対応付けて画面に表示させてもよい。
なお、上記映像処理方法、映像処理装置は、表示された前記１つまたは複数の終了フレーム候補に対する決定操作を受け付け、前記決定操作が行われた前記終了フレーム候補を、前記終了フレームと推定してもよい。
なお、上記映像処理方法、映像処理装置は、表示された前記開始フレームおよび前記１つまたは複数の終了フレーム候補に対する再生操作を受け付け、前記映像データのうち、前記決定操作が行われた前記開始フレームおよび前記終了フレーム候補に対応する区間に対応する映像データ部分を、再生して表示してもよい。
なお、上記映像処理方法、映像処理装置は、前記開始フレームが推定しているとき、前記複数の開始フレームを第１の方向に沿って時系列に並べて表示し、かつ、前記開始フレームのそれぞれと、前記開始フレームに対応する前記プレーについて推定された前記終了フレームとを、前記第１の方向に交差する第２の方向に沿って並べて画面に表示させてもよい。
本技術は、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することができる映像処理方法として有用である。
１１０，３１７，３２１，３４１ 映像
１２０ フィールド
１２１，１２２ サイドライン
１２３，１２４ ゴールライン
１２５，１２６ インバウンズライン
１３１，１３２，１３３ 初期陣形
２００ 映像処理装置
２１０ 映像入力部
２２０ プレー開始推定部
２３０ プレー終了推定部
２４０ 確認操作受付部
２５０ 推定結果処理部
３００ 色の濃い部分
３０１ 総オプティカルフロー強度
３０２ プレー開始タイミング
３０３ プレー終了タイミング
３１１ 左エリア
３１２ 中央エリア
３１３ 右エリア
３１４ 識別器Ｌ
３１５ 識別器Ｃ
３１６ 識別器Ｒ
３１８，３３３ 領域
３１９ 重心の位置
３２２，３３２ 矩形領域
３３１ フィールドグリッド
３３５，３３６，３３７，３３８ 位置
３３９ フィールドグリット
３４２ 集中位置
３６０ 確認操作受付画面
３６１ 候補表示選択領域
３６２ 操作ボタン領域
３６３ 映像表示領域
３６４ 枠線
３７１ 推定結果
３７２ アーカイブシステム
また、図１９のステップＳ４０３０、Ｓ４０５０、Ｓ４０７０、Ｓ４０９０の判断処理の順序は、入れ替わってもよい。また、プレー終了推定部２３０は、全ての映像に対するプレー終了推定処理が終了する前に、２つ以上のプレー開始フレームが推定された段階で、推定された連続する２つのプレー開始フレームの間の区間について、プレー終了推定処理を開始してもよい。

Claims (24)

  1. プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、
    前記プロセッサは、
    前記映像データを入力し、
    入力した前記映像データから、フレーム毎に、選手の動き量を算出し、
    算出した前記動き量に基づいて、前記試合におけるプレーの開始フレームおよび、前記プレーの１つ前のプレーである直前プレーの終了したフレームである、終了フレームのうち少なくとも１つを推定する、
    映像処理方法。
  2. 前記プロセッサは、
    前記映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、
    算出した前記動き量と、前記初期陣形の検出結果と、に基づいて、前記プレーの開始フレームを推定する、
    請求項１に記載の映像処理方法。
  3. 前記プロセッサは、
    前記映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、
    前記開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定する、
    請求項１に記載の映像処理方法。
  4. 前記プロセッサは、
    前記開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
    請求項３に記載の映像処理方法。
  5. 前記プロセッサは、
    推定した前記開始位置に基づいて、前記直前プレーの終了領域を推定し、
    前記動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、
    推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定する、
    請求項４に記載の映像処理方法。
  6. 前記プロセッサは、
    前記選手位置の密集度および集中度のうち少なくとも１つを算出し、算出された前記密集度および集中度のうち少なくとも１つに基づいて前記終了位置を推定する、
    請求項５に記載の映像処理方法。
  7. 前記プロセッサは、
    前記動き量が急激に増大した動き増大区間を推定し、推定された前記動き増大区間に基づいて、前記開始フレームを推定する、
    請求項１に記載の映像処理方法。
  8. 前記プロセッサは、
    前記動き量が急激に減少した動き減少区間を推定し、推定された前記動き減少区間に基づいて、前記終了フレームを推定する、
    請求項１に記載の映像処理方法。
  9. 前記プロセッサは、
    前記映像データから、前記開始フレームと、１つまたは複数の前記終了フレーム候補と、を対応付けて画面に表示させる、
    請求項１に記載の映像処理方法。
  10. 前記プロセッサは、
    表示された前記１つまたは複数の終了フレーム候補に対する決定操作を受け付け、
    前記決定操作が行われた前記終了フレーム候補を、前記終了フレームと推定する、
    請求項９に記載の映像処理方法。
  11. 前記プロセッサは、
    表示された前記開始フレームおよび前記１つまたは複数の終了フレーム候補に対する再生操作を受け付け、
    前記映像データのうち、前記決定操作が行われた前記開始フレームおよび前記終了フレーム候補に対応する区間に対応する映像データ部分を、再生して表示する、
    請求項９に記載の映像処理方法。
  12. 前記プロセッサは、
    前記開始フレームが推定しているとき、前記複数の開始フレームを第１の方向に沿って時系列に並べて表示し、かつ、前記開始フレームのそれぞれと、前記開始フレームに対応する前記プレーについて推定された前記終了フレームとを、前記第１の方向に交差する第２の方向に沿って並べて画面に表示させる、
    請求項９に記載の映像処理方法。
  13. プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理装置であって、
    前記プロセッサは、
    前記映像データを入力し、
    入力した前記映像データから、フレーム毎に、選手の動き量を算出し、
    算出した前記動き量に基づいて、前記試合におけるプレーの開始フレームおよび、前記プレーの１つ前のプレーである直前プレーの終了したフレームである、終了フレームのうち少なくとも１つを推定する、
    映像処理装置。
  14. 前記プロセッサは、
    前記映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、
    算出した前記動き量と、前記初期陣形の検出結果と、に基づいて、前記プレーの開始フレームを推定する、
    請求項１３に記載の映像処理装置。
  15. 前記プロセッサは、
    前記映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、
    前記開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定する、
    請求項１３に記載の映像処理装置。
  16. 前記プロセッサは、
    前記開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
    請求項１５に記載の映像処理装置。
  17. 前記プロセッサは、
    推定した前記開始位置に基づいて、前記直前プレーの終了領域を推定し、
    前記動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、
    推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定する、
    請求項１６に記載の映像処理装置。
  18. 前記プロセッサは、
    前記選手位置の密集度および集中度のうち少なくとも１つを算出し、算出された前記密集度および集中度のうち少なくとも１つに基づいて前記終了位置を推定する、
    請求項１７に記載の映像処理装置。
  19. 前記プロセッサは、
    前記動き量が急激に増大した動き増大区間を推定し、推定された前記動き増大区間に基づいて、前記開始フレームを推定する、
    請求項１３に記載の映像処理装置。
  20. 前記プロセッサは、
    前記動き量が急激に減少した動き減少区間を推定し、推定された前記動き減少区間に基づいて、前記終了フレームを推定する、
    請求項１３に記載の映像処理装置。
  21. 前記プロセッサは、
    前記映像データから、前記開始フレームと、１つまたは複数の前記終了フレーム候補と、を対応付けて画面に表示させる、
    請求項１３に記載の映像処理装置。
  22. 前記プロセッサは、
    表示された前記１つまたは複数の終了フレーム候補に対する決定操作を受け付け、
    前記決定操作が行われた前記終了フレーム候補を、前記終了フレームと推定する、
    請求項２１に記載の映像処理装置。
  23. 前記プロセッサは、
    表示された前記開始フレームおよび前記１つまたは複数の終了フレーム候補に対する再生操作を受け付け、
    前記映像データのうち、前記決定操作が行われた前記開始フレームおよび前記終了フレーム候補に対応する区間に対応する映像データ部分を、再生して表示する、
    請求項２１に記載の映像処理装置。
  24. 前記プロセッサは、
    前記開始フレームが推定しているとき、前記複数の開始フレームを第１の方向に沿って時系列に並べて表示し、かつ、前記開始フレームのそれぞれと、前記開始フレームに対応する前記プレーについて推定された前記終了フレームとを、前記第１の方向に交差する第２の方向に沿って並べて画面に表示させる、
    請求項２１に記載の映像処理装置。
JP2016527625A 2014-06-10 2015-06-03 映像処理方法、映像処理装置 Expired - Fee Related JP6488295B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014119902 2014-06-10
JP2014119902 2014-06-10
JP2014150720 2014-07-24
JP2014150720 2014-07-24
PCT/JP2015/002808 WO2015190071A1 (ja) 2014-06-10 2015-06-03 映像処理方法、映像処理装置

Publications (2)

Publication Number Publication Date
JPWO2015190071A1 true JPWO2015190071A1 (ja) 2017-04-20
JP6488295B2 JP6488295B2 (ja) 2019-03-20

Family

ID=54833186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016527625A Expired - Fee Related JP6488295B2 (ja) 2014-06-10 2015-06-03 映像処理方法、映像処理装置

Country Status (3)

Country Link
US (1) US9928879B2 (ja)
JP (1) JP6488295B2 (ja)
WO (1) WO2015190071A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10186044B2 (en) 2015-03-04 2019-01-22 Panasonic Intellectual Property Management Co., Ltd. Person tracking method and person tracking device
US10025986B1 (en) * 2015-04-27 2018-07-17 Agile Sports Technologies, Inc. Method and apparatus for automatically detecting and replaying notable moments of a performance
JP6649231B2 (ja) 2016-11-18 2020-02-19 株式会社東芝 検索装置、検索方法およびプログラム
CN107441691B (zh) * 2017-09-12 2019-07-02 上海视智电子科技有限公司 基于体感摄像头的健身方法和健身设备
JP6996384B2 (ja) * 2018-03-27 2022-01-17 富士通株式会社 表示プログラム、表示方法および表示装置
US11948097B1 (en) * 2019-04-11 2024-04-02 Stark Focus LLC System and method for viewing an event
EP4104110B1 (en) * 2020-02-13 2025-07-23 Stats Llc Dynamically predicting shot type using a personalized deep neural network
US11676443B2 (en) * 2020-09-22 2023-06-13 Adrenalineip Method of using video and AI in wagering
CN113889059B (zh) * 2021-09-24 2025-06-17 北京航空航天大学 一种基于音视频节奏关系的视频背景音乐自动生成方法
JP2023178888A (ja) * 2022-06-06 2023-12-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 判定装置、判定方法、及びプロググラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05253324A (ja) * 1992-03-11 1993-10-05 Zexel Corp スポーツ用運動解析装置
JP2003143546A (ja) * 2001-06-04 2003-05-16 Sharp Corp フットボールビデオ処理方法
JP2004260765A (ja) * 2003-02-27 2004-09-16 Nihon Knowledge Kk 実技分析システム及びプログラム
US20110169959A1 (en) * 2010-01-05 2011-07-14 Isolynx, Llc Systems And Methods For Analyzing Event Data
JP2013188426A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理システムおよびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0949822A3 (en) * 1998-04-07 2004-07-28 Matsushita Electric Industrial Co., Ltd. Video coding control method and apparatus
US7499077B2 (en) * 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
JP5809403B2 (ja) * 2010-09-14 2015-11-10 株式会社バンダイナムコエンターテインメント プログラム、サーバ、及びネットワークシステム
US9367745B2 (en) * 2012-04-24 2016-06-14 Liveclips Llc System for annotating media content for automatic content understanding
US8803913B1 (en) * 2013-09-09 2014-08-12 Brian Scott Edmonston Speed measurement method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05253324A (ja) * 1992-03-11 1993-10-05 Zexel Corp スポーツ用運動解析装置
JP2003143546A (ja) * 2001-06-04 2003-05-16 Sharp Corp フットボールビデオ処理方法
JP2004260765A (ja) * 2003-02-27 2004-09-16 Nihon Knowledge Kk 実技分析システム及びプログラム
US20110169959A1 (en) * 2010-01-05 2011-07-14 Isolynx, Llc Systems And Methods For Analyzing Event Data
JP2013188426A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理システムおよびプログラム

Also Published As

Publication number Publication date
JP6488295B2 (ja) 2019-03-20
US20170206932A1 (en) 2017-07-20
US9928879B2 (en) 2018-03-27
WO2015190071A1 (ja) 2015-12-17

Similar Documents

Publication Publication Date Title
JP6488295B2 (ja) 映像処理方法、映像処理装置
US11594029B2 (en) Methods and systems for determining ball shot attempt location on ball court
US11810321B2 (en) Methods and systems for multiplayer tagging using artificial intelligence
JP7289080B2 (ja) 球技映像解析装置、及び、球技映像解析方法
US11810352B2 (en) Operating method of server for providing sports video-based platform service
US8659663B2 (en) Video tracking of baseball players to determine the start and end of a half-inning
US10369445B2 (en) Video analytics for human performance
US10803598B2 (en) Ball detection and tracking device, system and method
US9007463B2 (en) Video tracking of baseball players which identifies merged participants based on participant roles
CN102819749A (zh) 一种基于视频分析的足球越位自动判别系统和方法
CN105678802A (zh) 辨识二维影像产生三维信息的方法
CN118967793A (zh) 用于检测隔网球类运动中球员的姿态的方法和设备
KR20090118634A (ko) 운동경기의 자동분석 시스템 및 그 방법
JP6371020B1 (ja) 情報処理装置
KR101701632B1 (ko) 판정 방법 및 장치
JP7113335B2 (ja) プレイ分析装置、及び、プレイ分析方法
JP7113336B2 (ja) プレイ分析装置、及び、プレイ分析方法
US12400446B2 (en) Live possession value model
KR20210048050A (ko) 중계 영상을 활용한 야구 경기 분석 장치 및 방법과 요약 비디오 생성 방법
Tahan et al. A computer vision driven squash players tracking system
WO2020071092A1 (ja) プレイ分析装置、及び、プレイ分析方法
Haider et al. Deep learning redefines player detection: Advancing sports performance analytics
WO2020071155A1 (ja) プレイ分析装置、及び、プレイ分析方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R151 Written notification of patent or utility model registration

Ref document number: 6488295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees