JP2007310568A

JP2007310568A - 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム

Info

Publication number: JP2007310568A
Application number: JP2006137847A
Authority: JP
Inventors: Masaki Hirayama; 雅樹平山; Yasuyuki Oki; 康幸大木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-05-17
Filing date: 2006-05-17
Publication date: 2007-11-29
Anticipated expiration: 2026-05-17
Also published as: US20070285578A1; KR20070111395A; JP4703480B2

Abstract

【課題】映像内のオブジェクトを操作可能な映像システムにおいて、映像システムのテスト作業中に見つかった異常の原因分析を容易に行うことを可能にする。
【解決手段】テスト作業中に映像システム102が出力する映像と、テスト作業者100の操作ログと、画像認識処理部106が、映像システム102が出力する映像の特徴量から映像の変化点や映像内の移動物体を認識し処理した画像とを記憶装置109に記録する。さらに、操作対象検出処理部107が映像内の移動物体の移動方向とユーザの操作入力の方向との関係を利用して、映像内の移動物体をユーザの操作対象物体と非操作対象物体とに区別して記録する。また、異常発生通知装置105や異常検出装置を利用して、異常発生箇所を記録する。これらの記録したデータを、異常の種別、操作ログの操作パターン、異常発生場面の画像、操作対象の画像等をキーとして、検索、分類して表示する。
【選択図】図１

Description

本発明は、映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システムに係り、特に、映像データ内のオブジェクトを操作可能な映像システムにおいて、映像データや映像内のオブジェクトを生成する際に発生する異常の原因分析を支援するために使用して好適な映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システムに関する。

家庭用ゲーム機やバーチャルリアリティシステム等の使用者が不規則な操作入力を行う映像システムは、何らかの操作によって異常が発生した場合でも、同じ異常を再現させることが難しいことがある。その原因は、操作入力のタイミングであったり、システムの内部状態であったりと様々である。このような問題を解決することのできる従来技術として、例えば、特許文献１等に記載された技術が知られている。この従来技術は、使用者の操作入力を全て記録する、あるいは、使用者の操作入力を記録すると共に、システムが出力する映像をも記録するというものであり、発生した異常の内容や、どのような操作をしたかを確認することが可能なものである。

また、他の従来技術として、使用者の操作入力を記録するだけでなく、記録した操作入力を復元することによって、任意の時刻のシステムの状態を復元したり、テスト時の操作入力を再現したりすることができるようにしたものが、例えば、特許文献２等に記載されて知られている。
特開平１０−２８７７６号公報特開平１１−２０３００２号広報

前述した従来技術は、いずれも、システムの異常原因を分析するために、記録した操作ログを解析したり、映像を１つ１つ視聴して異常発生箇所の情報を収集したりすることが必要であり、そのために大きな手間がかかり、特に、システムのテストを大人数で並行して行う場合に、特に大きな手間を要するという問題点を有している。

また、前述した従来技術は、映像システムのテスト作業中の映像や操作ログを記録しても、それらを１つ１つ解析することしかできず、同一の異常が複数箇所で発生していても、それらを比較して原因分析することができなかったという問題点を有している。

本発明の目的は、前述した従来技術の問題点を解決し、映像内のオブジェクトを操作可能な映像システムにおいて、映像システムから出力される映像内の移動体を検出し、この検出された移動体の情報を用い、映像システムのテスト作業中に見つかった異常について、同一の異常が発生している箇所の映像や操作ログを比較できるようにして、異常原因の分析をより容易に行うことができるようにした映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システムを提供することにある。

本発明によれば前記目的は、映像内に含まれている物体を操作することが可能な映像システムから出力される映像内に含まれる移動体を検出する映像内の移動体検出方法において、前記映像内に含まれている物体の移動を検出する移動体検出を行うステップと、前記映像システムに対する入力装置からの操作の入力内容を取得するステップと、前記移動体検出によって検出された移動体の移動方向と前記映像システムに対する入力装置からの操作の入力内容との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定するステップとを実行することにより、映像内に含まれる移動体を検出することにより達成される。

また、前記目的は、映像内に含まれている物体を操作することが可能な映像システムから出力される映像内に含まれる移動体を検出する映像内の移動体検出方法において、前記映像内に含まれている物体の移動を検出する移動体検出を行うステップと、前記映像システムに対する入力装置からの操作の入力内容を取得するステップと、前記移動体検出によって検出された移動体の位置を時間的に繋げた移動軌跡と、前記映像システムに対する入力装置からの操作の入力内容のうち、方向を示す入力を取り出して時間的に繋げた入力軌跡との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定するステップとを実行することにより、映像内に含まれる移動体を検出することにより達成される。

本発明によれば、映像内の移動体が操作入力により移動したものか否かを検出することができ、また、映像システムのテスト作業中に見つかった異常について、同一の異常が発生している箇所の映像や操作ログを比較することができるようにしているので、異常発生の原因分析をより容易に行うことができる。

以下、本発明による映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システムの実施形態を図面により詳細に説明する。

以下に説明する本発明の実施形態は、映像内のオブジェクトを操作可能な映像システムのテスト作業中に見つかる異常の発生原因の分析を容易に行うことができるようにするものである。そのため、本発明の実施形態は、映像システムに画像認識処理部や操作対象検出処理部等を接続して、テスト作業時の映像や操作ログや操作対象の画像等を記録し、さらに、記録したデータを検索して所望のデータのみをモニタに表示するように構成されている。

そして、本発明の実施形態は、映像システムのテスト作業時に、映像システムの出力映像とユーザの操作ログとを記録するだけでなく、異常発生内容を記録し、映像システムの出力映像内の移動体や映像の変化点等を画像認識処理で検出し、さらに、映像システムの出力映像内の移動体の移動方向とユーザの操作の方向との対応から移動体をユーザの操作対象と非操作対象とに分類して記録している。記録した各種のデータは、異常発生内容毎に分類して表示され、さらに、異常発生内容毎に分類した結果から異常発生場面や異常発生時の操作対象物体が一致するデータのみが表示される。これにより、異常発生原因を分析する作業者に同種の異常が発生している箇所に共通している要素や異なっている要素をわかり易く表示することができる。

なお、以下に説明する本発明の実施形態による異常発生原因分析支援システムは、ＰＣ等に代表されるＣＰＵ、主メモリ、ＨＤＤ等を備える情報処理装置内に構築され、異常発生原因分析支援システムを構成する各機能部は、ＨＤＤに格納されたプログラムとして構成され、プログラムが主メモリにロードされて、同様に主メモリにロードされたＯＳの制御の下にＣＰＵにより実行されることにより実現されるものである。

図１は本発明の一実施形態による映像システムの異常発生原因分析支援システムの構成を示すブロック図である。ここに示す本発明の実施形態は、映像システムのテスト作業時のデータを取得して表示するものである。図１において、１００はユーザ、１０１は入力装置、１０２は映像システム、１０３はモニタＡ、１０４は入力データ変換部、１０５は異常通知装置、１０６は画像認識処理部、１０７は操作対象検出処理部、１０８は映像等記録処理部、１０９は記憶装置、１１０は検索処理部、１１１はモニタＢ、１２０は異常原因分析支援システムである。

前述において、ユーザ１００は、テスト作業実施者であり、入力装置１０１を介して映像システム１０２を操作する。入力装置１０１は、ゲーム機等に利用されているものであり、ボタンを押すことにより操作入力を行う装置、音声認識技術を利用して音声を操作入力とする装置、光センサやジャイロ等のセンサの状態を操作入力とする装置等であってよい。映像システム１０２の出力映像はモニタＡ１０３に表示される。異常発生通知装置１０５は、ユーザ１００が映像システム１０２の異常を認識した際に、映像システム１０２に発生した異常の内容を入力して、映像等記録処理部１０８を介して記憶装置１０９に記録するために利用される。

異常原因分析支援システム１２０は、入力データ変換部１０４、画像認識処理部１０６、操作対象検出処理部１０７、映像等記録処理部１０８、記憶装置１０９、検索処理部１１０を備えて構成される。そして、入力データ変換部１０４、画像認識処理部１０６、操作対象検出処理部１０７、映像等記録処理部１０８によって、映像システム１０２のテスト作業中の各種のデータが収集されて記憶装置１０９に記録される。検索処理部１１０は、記憶装置１０９に記録されたデータを読み出し、モニタＢ１１１に表示することにより異常発生原因分析を支援する。

入力データ変換部１０４には、入力装置１０１の入力信号が映像システム１０２に届く前に分配して入力される。この入力信号は、分析や記録が可能な形式に変換され、操作対象検出処理部１０７と映像等記録処理部１０８とに送られる。映像システム１０２の出力映像は、モニタＡ１０３に届く前に分配されて、異常原因分析支援システム１２０に入力される。なお、映像システム１０２の出力映像は、異常原因分析支援システム１２０に入力される前に、アナログ−デジタル変換器等により映像信号の変換処理が施されてもよい。異常原因分析支援システム１２０は、映像信号を画像認識処理部１０６、操作対象検出処理部１０７、映像等記録処理部１０８へ送る。

画像認識処理部１０６は、映像システム１０２の出力映像の特徴量を計算し、映像の変化点の画像や映像内の移動体の検出、移動体の移動方向検出等の画像認識処理を行い、その処理結果を映像等記録処理部１０８に送る。操作対象検出処理部１０７は、入力データ変換部１０４からの操作入力データと画像認識処理部１０６の移動体の検出結果や移動方向との関係から、移動体がユーザ１００によって操作されている操作対象か、操作されていない非操作対象かを判定し、判定した結果を映像等記録処理部１０８に送る。なお、映像システム１０２の出力映像から移動体を検出する処理を操作対象検出処理部１０７で行ってもよい。映像等記録処理部１０８は、映像システム１０２の出力映像と、入力データ変換処理部１０４の入力データ変換結果と、異常通知装置１０５の異常内容と、画像認識処理部１０６の認識結果と、操作対象検出処理部１０７の検出結果とを、時間やユーザＩＤをキーにして記憶装置１０９に記録する。

前述したような処理動作により、映像システム１０２のテスト作業中のデータが記憶装置１０９に記録されることになる。

記憶装置１０９に記録されたテスト作業中のデータは、異常種別、異常発生場面、操作対象物体、非操作対象物体等をキーとして、検索処理部１１０を介して所望のデータだけが取り出されて、モニタＢ１１１へ出力される。なお、この検索処理は、図示しない別のキーボート、マウス等による入力装置からの解析者による指示に従って、テスト作業とは別に実行される。

なお、記憶装置１０９、検索処理部１１０をＰＣ等の別の情報処理装置内に構築して、映像等記録処理部１０８からの出力を別の情報処理装置内の記憶装置に格納するようにし、別の情報処理装置により検索処理を行うようにすることもできる。

前述の検索処理において、異常発生場面や操作対象物体等は画像データとなるが、画像認識技術の中の画像類似度判定技術を用いることにより、文章の検索を行う場合と同様に、同じような画像を検索することができる。異常原因分析のために注目したい異常種別のデータを検索して、全ての検索結果をモニタＢ１１１に表示することにより、注目している種別の異常に共通の要因を発見し易くなり、その異常を発生させる要因を分析し易くなる。また、注目した異常種別のデータだけを検索した結果から、さらに別の要因、例えば、異常発生場面や異常発生時の操作対象物体を指定して検索することにより、テスト作業中のデータをさらに絞り込んで分析することもできる。

図２は本発明の他の実施形態による映像システムの異常発生原因分析支援システムの構成を示すブロック図であり、図の符号は図１の場合と同一である。

図２に示す本発明の実施形態は、画像認識処理部１０６、操作対象検出処理部１０７が、一旦、記憶装置１０９に格納された映像を取り出して処理を行うように構成されている点で、図１に示した実施形態の相違するだけで、その他の構成は、図１の場合と同様である。

図１により説明した例は、映像システム１０２からの出力映像を画像認識処理部１０６や操作対象検出処理部１０７へ入力することとしている。映像システム１０２の出力映像は、その映像が通常のテレビの映像であるとすると１秒間に５０コマ〜６０コマの速さで送られてくるため、画像認識処理部１０６や操作対象検出処理部１０７の処理負荷が大きい場合、１秒間に５０コマ〜６０コマの映像を処理しきれない場合がある。

そこで、図２に示す本発明の他の実施形態は、映像等記録処理部１０８を介して、入力データ変換部１０４、映像システム１０２、異常通知装置１０５からのデータを記憶装置１０９に格納し、画像認識処理部１０６、操作対象検出処理部１０７が記憶装置１０９から映像を取り出して、その処理結果を記憶装置１０９へ記録する構成とした。図２に示す例は、記録された映像を元に画像認識処理部１０６や操作対象検出処理部１０７の処理を行うため、処理負荷が大きい場合でも実際の映像の長さ以上に時間をかけて、全ての映像データを処理することができる。

図３は記憶装置１０９に記録される映像システム１０２のテスト作業中のデータについて説明する図である。

テスト作業中のデータは、図３に示すように、ユーザＩＤ１００１、記録日時１００２、映像ファイル名１００３及び操作ログファイル名１００４の４つのデータを基本データとして構成され、これらの４つのデータに、異常発生場面の画像ファイル名１００５、操作対象の画像ファイル名１００６、非操作対象の画像ファイル名１００７、異常種別１００８、異常発生時刻１００９等の関連データが加えられて構成されて保存される。前述の関連データは、前記基本データに対して複数存在してもよい。例えば、図３に示す例では、ユーザＩＤがユーザＡである基本データに対して、ユーザＩＤがユーザＡである関連データが２つ記録されている。２つの関連データは、異常発生時刻１００９により区別することができる。

ユーザＩＤ１００１には、映像システム１０２のテスト作業を行ったユーザを識別するための情報を記録する。記録日時１００２には、映像システム１０２のテスト作業を行った日時を識別するための日時を記録する。映像ファイル名１００３には、映像システム１０２のテスト作業中の映像を記録した映像ファイルのファイル名を記録する。映像システム１０２のテスト作業中の映像をテープ媒体やＤＶＤ等に記録する場合、映像ファイル名でなくテープ媒体やＤＶＤ等の識別番号を記録してもよい。操作ログファイル名１００４には、映像システム１０２のテスト作業中のユーザ１００が入力装置１０１を介して映像システム１０２に加えた入力操作内容を記録したファイルのファイル名を記録する。前述の入力操作内容をテープ媒体やＤＶＤ等の記録する場合、操作ログファイル名でなくテープ媒体やＤＶＤ等の識別番号を記録してもよい。

異常発生場面の画像ファイル名１００５には、画像認識処理部１０６で検出された映像の変化点を記録する。異常が発生する直前の変化点を記録することにより、異常が発生した場面を特定することができる。操作対象の画像ファイル名１００６には、操作対象検出処理部１０７で検出されたユーザ１０１が操作している操作対象物体の画像を記録する。非操作対象の画像ファイル名１００７には、操作対象検出処理部１０７で検出されたユーザ１０１が操作していない非操作対象物体の画像を記録する。前述の非操作対象物体が複数存在する場合、非操作対象画像ファイル名１００７に複数の画像ファイル名を記録してもよい。異常種別１００８には、異常通知装置１０５で入力された異常内容の分類番号を記録する。分類番号と異常内容の詳細とを記録してもよい。異常発生時刻１００９には、テスト作業中に異常が発生した時刻を記録する。

図４は操作対象検出処理部１０７における操作対象検出の処理動作の例を説明するフローチャートであり、次に、これについて説明する。図４に示す処理の例は、移動体の移動方向とユーザの操作入力の方向との関係を、映像１コマずつ比較することにより操作対象の検出を行う処理である。

（１）処理が開始されると、まず、映像システム１０２の出力映像と入力データ変換部１０４からの操作入力データとから、映像２コマ分のフレーム画像と操作ログとを取得する（ステップ２００、２０１）。

（２）次に、得られた２コマ分のフレーム画像を元に映像内の移動体の検出処理を行い、映像内の移動体を全て検出し、移動体の移動方向をも求める（ステップ２０２）。

（３）ステップ２０２の処理で検出された全ての移動体に対して、移動方向と操作入力の方向との関係を調べ、移動体の移動方向と操作入力の方向とが一致するか否かを判定し、移動体の移動方向と操作入力の方向とが一致した場合、その移動体を操作対象候補に追加する。この処理は、映像内の移動体の数だけ繰り返し実行する（ステップ２０３、２０４）。

（４）ステップ２０３の判定で、移動体の移動方向と操作入力の方向とが一致しなかった場合、または、ステップ２０４の処理の後、前述までの処理で、操作対象候補が１つか、１つもないかを判定し、操作対象候補が１つか、または、１つもなかった場合、ここでの操作対象検出処理を終了する（ステップ２０５、２１０）。

（５）ステップ２０５の判定で、操作対象候補が２つ以上あった場合、映像システム１０２の出力映像と入力データ変換部１０４からの操作入力データとから、さらに、次の１コマ分のフレーム画像と操作ログとを取得し、取得したフレーム画像を元に画像認識処理を行い、操作対象候補の移動方向を求める（ステップ２０６、２０７）。

（６）操作対象候補の移動方向と操作入力の方向とが一致するか否かを判定し、操作対象候補の移動方向と操作入力の方向が一致しない場合、その移動体を操作対象候補から削除する。この処理は、映像内の操作対象候補の数だけ繰り返し実行する（ステップ２０８、２０９）。

（７）ステップ２０８の判定で操作対象候補の移動方向と操作入力の方向が一致した場合、または、ステップ２０９の処理の後、ステップ２０５からの処理に戻って、操作対象候補が１つ以下になるまで処理を繰り返してここでの操作対象検出処理を終了する（ステップ２１０）。

前述した処理の例では、ステップ２０５の処理で、操作対象候補が１つ以下であることを終了条件としたが、操作対象を２つ以上検出したい場合、終了条件を操作対象候補が２つ以下等としてもよい。

図５は操作対象検出処理部１０７における操作対象検出の処理動作の他の例を説明するフローチャートであり、次に、これについて説明する。図５に示す処理の例は、移動体の移動方向の時間的に連続した移動軌跡と操作入力の方向の時間的に連続した操作軌跡とが類似していることを検出して、操作対象の検出を行う処理である。

（１）処理が開始されると、まず、映像システム１０２の出力映像から移動体の移動軌跡を作成するため、映像内の指定された時間区間内の全ての映像に対して、フレーム画像を取得して移動体検出処理を行う（ステップ３００〜３０２）。

（２）指定された時間区間内の移動体の位置を繋ぎ合わせて移動体の移動軌跡を作成する。その際、検出された移動体が複数ある場合、移動体毎に移動軌跡を作成する（ステップ３０３）。

（３）次に、指定された時間区間内でのユーザの操作入力を繋ぎ合わせて、ユーザによる操作の操作方向の軌跡を作成する（ステップ３０４）。

（４）次に、前述までの処理で得られた移動体の移動軌跡と操作方向の軌跡とを元に、移動体の移動軌跡と操作方向の軌跡との類似度の判定処理を行う。なお、この処理の詳細については、図６により後述する（ステップ３０５）。

（５）次に、予め設定しておいた類似度のしきい値を参照して、移動体の移動軌跡と操作方向の軌跡との類似度が予め設定されていたしきい値より大きいか否かを判定し、類似度がしきい値以上である移動体を操作対象候補に追加し、ステップ３０５からの処理に戻って、検出された移動体の数だけ処理を繰り返す（ステップ３０６、３０７）。

（６）ステップ３０５の判定で、類似度がしきい値以上である移動体がなくなった場合、操作対象候補のうち、類似度が最も高い操作対象候補を操作対象として、ここでの操作対象検出処理を終了する（ステップ３０８、３０９）。

前述した処理において、操作対象を２つ以上にしたい場合、類似度の高い順に幾つかの移動体を操作対象とするようにしてもよい。

図６は図５に示すフローのステップ３０５での移動体の移動軌跡と操作方向の軌跡との類似度を判定する処理の詳細を説明するフローチャートであり、次に、これについて説明する。

（１）処理が開始されると、まず、移動体の移動軌跡と操作方向の軌跡との時間帯に重複があるか否かを判定し、開始・終了時間が一致しないか、あるいは、移動体の移動軌跡と操作方向の軌跡との開始・終了時間に重複がなかった場合、類似度を０としてここでの処理を終了する（ステップ４０１、４０６、４０７）。

（２）ステップ４０１の判定で、移動体の移動軌跡と操作方向の軌跡との時間帯に重複があった場合、重複している移動体の移動軌跡と操作方向の軌跡とが相似であるか否かを判定し、相似であった場合、類似度を最大としてここでの処理を終了する（ステップ４０２、４０３、４０７）。

（３）ステップ４０２の判定で、重複している移動体の移動軌跡と操作方向の軌跡とが相似でなかった場合、同じ時間の移動体の移動方向と操作方向とが一致するか否かを判定し、一致していた場合、繰り返し処理による前回の類似度（初期値＝０）に定数Ｎを加えて類似度を高くする。時間帯が重複している区間で、ここで説明した処理を繰り返して類似度を求め、ここでの処理を終了する。また、同じ時間の移動体の移動方向と操作方向とが一致するか否かの判定で、一致していなかった場合、類似度の更新を行わずに繰り返しの処理を行う（ステップ４０４、４０５、４０７）。

図７は記憶装置１０９に記録したテスト作業中のデータを検索処理部１１０により検索した結果の例を示す図である。図７に示す例では、テスト作業結果として、操作対象２００１、非操作対象２００２、場面２００３、異常発生画面２００４、操作パターン２００５、異常有無２００６を取り出している。画像データの検索は、画像認識の類似画像検索の技術を利用することができる。また、操作パターンの検索は、ボタンを押した順序やボタンを押した長さから類似度を求めて類似度の高い結果を検索結果とすること等により行うことができる。

検索を行う場合、例えば、ユーザＡのテスト作業結果で発生した異常について、異常の原因を操作入力の操作パターン１であるという予想を立てて、テスト作業結果から操作パターン１を持つテスト作業結果を検索する。この検索の結果、図７（ａ）として示すような結果が得られたものとする。図７（ａ）に示す結果を見ると、ユーザＢの結果では、操作パターン１の操作入力を行っているにもかかわらず、異常が起きていないことが判るため、操作パターン１だけが異常の原因ではないことが判る。そして、ユーザＢの結果とその他の結果とを比較して、操作対象の違いが異常発生の有無に影響するという予想を立てることができる。そこで、操作対象２００１の画像が☆型であるテスト作業結果を検索して異常原因を絞込んでいく。図７では、このような検索を行った結果、図７（ｂ）に示すような検索結果が得られたものであるとしている。

図８は図７（ｂ）に示す検索結果を表示した画面の例を示す図である。図７（ｂ）に示す検索結果では、異常発生時のテスト結果データの共通要因として、操作対象、非操作対象、操作パターンが挙げられ、これを表示すると図８の表示結果３０００、３００１として示すようなものとなる。

図８に示す例では、操作パターンが、右ボタン、左ボタン、Ａボタンが押された操作が、時間軸に沿って表示されている。このような表示結果３０００、３００１を見ると、操作対象と、非操作対象とは、画像を見ればひと目で一致・不一致の区別を行うことができる。しかし、操作パターンは、ボタンを押した順番や押した長さを比較することが難しい。そこで、本発明の実施形態では、図８に３０００、３００１として示すように、ユーザＡ、ユーザＣのテスト結果データを並べて表示するだけでなく、３００２として示すように、操作パターンについて、時間を基準にして操作内容が重複している部分を、帯状の表示領域の太さや色の濃さなどを変更して強調表示する。図８に示す例では、帯状の表示領域の太さで重複部分を強調している。また、検索結果に対応する映像ファイルをプレビュー映像２００７として表示し、異常発生場面の映像を視聴することもできる。

前述した本発明の実施形態での各処理は、プログラムにより構成し、本発明が備えるＣＰＵに実行させることができ、また、それらのプログラムは、ＦＤ、ＣＤＲＯＭ、ＤＶＤ等の記録媒体に格納して提供することができ、また、ネットワークを介してディジタル情報により提供することができる。

以上説明してきたように、本発明の実施形態によれば、画像認識の移動体検出処理で得られた移動体の移動方向とユーザの入力操作の操作方向との関係から、移動体をユーザの操作対象物体と、非操作対象物体とに分類することができる。

また、本発明の実施形態によれば、映像システムのテスト作業で発生した異常に関して、テスト作業時の映像やユーザの入力操作のログだけでなく、画像認識処理で得られた異常発生場面の画像データや、映像内の操作対象物体、非操作対象物体等の多くの情報を収集し、収集した情報を元に異常が発生した箇所の前後のテスト結果データを、注目したい情報をキーに検索することができ、検索結果をモニタに表示させることにより、異常を発生させる原因と考えられる要因を判り易く提示することができる。

前述したように、作成または取得した情報を提示することにより、映像システムで発生した異常の原因分析を支援することができる。

図９は本発明のさらに他の実施形態による映像システムの異常発生原因分析支援システムの構成を示すブロック図である。この本発明の実施形態は、前述した異常原因分析支援システムにおいて、異常通知装置１０５だけでなく映像検査処理部１１２を利用して映像システム１０２の異常内容を記録することができるようにした例である。

図９に示す本発明の実施形態は、図１に示して説明した映像システムの異常発生原因分析支援システム１２０内に、画像認識技術を用いた映像検査処理部１１２を加え、映像システム１０２の出力映像に映像自体の異常が見つかった際に、映像等記録処理部１０８を介して記憶装置１０９に映像システム１０２の出力映像に見つかった異常の内容を記録するようにしたものである。加えられた映像検査処理部１１２は、輝度変化の激しい点滅映像等の視聴する人に光過敏性発作を引き起こす原因とされる映像や、サブリミナル的映像等の人体の潜在意識に何らかの作用を与えるとされる映像等の好ましくない映像効果を検出するものである。また、映像検査処理部１１２は、暴力シーン等の教育上好ましくないとされる映像を検出するものであってもよい。

前述したように、異常原因分析支援システム１２０に映像検査処理部１１２を加えた本発明の実施形態によれば、映像システム１０２自体の異常だけでなく、映像システム１０２の出力映像に含まれる好ましくない映像効果も異常として記録することができ、映像効果の異常についても、ユーザ１００の操作内容や操作対象物体等の各種情報と関連付けた分析画面の表示が可能になる。そして、映像効果の異常とユーザ１００の操作内容等の各種情報とを関連付けた分析画面を表示することにより、映像効果の異常の原因分析作業を容易に行うことが可能となる。

本発明の実施形態によれば、映像システムが出力する映像内を移動する移動物体の移動方向とユーザの操作入力の方向との関係から、映像内の移動物体をユーザの操作対象物体と非操作対象物体とに分類することができ、それにより、映像システムで発生する異常を検索するキーとして、ユーザの操作対象物体や非操作対象物体を加えることができ、映像システムのテスト作業の結果を、より詳細に分類することができる。そして、映像システムのテスト作業の結果を、より詳細に分類することによって、同じ種別の異常に共通する要因や、逆に同じ要因があっても異常が発生しない条件などを発見する手助けになり、映像システムの異常の原因分析をより容易に行うことができる。

本発明は、家庭用または業務用のゲーム機やバーチャルリアリティ技術を利用した映像システム等のコンピュータグラフィックスを利用した映像システムの異常原因分析支援システムとして利用することができる。

また、本発明は、遠隔操作が可能なロボットやロボットアーム等の動きを映像から検出して、操作入力との関係を評価することにより、ロボットやロボットアームの異常原因分析支援システムとして利用することもできる。

本発明の一実施形態による映像システムの異常発生原因分析支援システムの構成を示すブロック図である。本発明の他の実施形態による映像システムの異常発生原因分析支援システムの構成を示すブロック図である。記憶装置に記録される映像システムのテスト作業中のデータについて説明する図である。操作対象検出処理部における操作対象検出の処理動作の例を説明するフローチャートである。操作対象検出処理部における操作対象検出の処理動作の他の例を説明するフローチャートである。図５に示すフローのステップ３０５での移動体の移動軌跡と操作方向の軌跡との類似度を判定する処理の詳細を説明するフローチャートである。記憶装置に記録したテスト作業中のデータを検索処理部により検索した結果の例を示す図である。図７（ｂ）に示す検索結果を表示した画面の例を示す図である。本発明のさらに他の実施形態による映像システムの異常発生原因分析支援システムの構成を示すブロック図である。

符号の説明

１００ユーザ
１０１入力装置
１０２映像システム
１０３モニタＡ
１０４入力データ変換部
１０５異常通知装置
１０６画像認識処理部
１０７操作対象検出処理部
１０８映像等記録処理部
１０９記憶装置
１１０検索処理部
１１１モニタＢ
１１２映像検査処理部
１２０異常原因分析支援システム

Claims

映像内に含まれている物体を操作することが可能な映像システムから出力される映像内に含まれる移動体を検出する映像内の移動体検出方法において、
前記映像内に含まれている物体の移動を検出する移動体検出を行うステップと、
前記映像システムに対する入力装置からの操作の入力内容を取得するステップと、
前記移動体検出によって検出された移動体の移動方向と前記映像システムに対する入力装置からの操作の入力内容との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定するステップとを実行することにより、映像内に含まれる移動体を検出することを特徴とする映像内の移動体検出方法。
映像内に含まれている物体を操作することが可能な映像システムから出力される映像内に含まれる移動体を検出する映像内の移動体検出方法において、
前記映像内に含まれている物体の移動を検出する移動体検出を行うステップと、
前記映像システムに対する入力装置からの操作の入力内容を取得するステップと、
前記移動体検出によって検出された移動体の位置を時間的に繋げた移動軌跡と、前記映像システムに対する入力装置からの操作の入力内容のうち、方向を示す入力を取り出して時間的に繋げた入力軌跡との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定するステップとを実行することにより、映像内に含まれる移動体を検出することを特徴とする映像内の移動体検出方法。
映像内に含まれている物体を操作することが可能な映像システムの異常発生原因分析支援方法において、
前記映像内に含まれている物体の移動を検出する移動体検出を行うステップと、
前記映像システムに対する入力装置からの操作の入力内容を取得するステップと、
前記移動体検出によって検出された移動体の移動方向と前記映像システムに対する入力装置からの操作の入力内容との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定するステップと、
前記映像システムに対する入力装置からの操作入力内容と、前記映像システムからの出力映像と、前記映像システムに何らかの異常が発生したことを通知する異常通知装置からの入力とを記録するステップと、
前記異常通知装置からの入力の種別、前記映像システムに対する入力装置からの操作の入力内容、前記映像システムの出力映像、及び、前記移動体の類似している画像の記録を検索するステップとを実行し、検索された情報をグループ化して表示することにより映像システムの異常発生の原因分析を支援することを特徴とする映像システムの異常発生原因分析支援方法。
映像内に含まれている物体を操作することが可能な映像システムの異常発生原因分析支援方法において、
前記映像内に含まれている物体の移動を検出する移動体検出を行うステップと、
前記映像システムに対する入力装置からの操作の入力内容を取得するステップと、
前記移動体検出によって検出された移動体の位置を時間的に繋げた移動軌跡と、前記映像システムに対する入力装置からの操作の入力内容のうち、方向を示す入力を取り出して時間的に繋げた入力軌跡との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定するステップと、
前記映像システムに対する入力装置からの操作の入力内容と、前記映像システムからの出力映像と、前記映像システムに何らかの異常が発生したことを通知する異常通知装置からの入力とを記録するステップと、
前記異常通知装置からの入力の種別、前記映像システムに対する入力装置からの操作の入力内容、前記映像システムの出力映像、及び、前記移動体の類似している画像の記録を検索するステップとを実行し、検索された情報をグループ化して表示することにより映像システムの異常発生の原因分析を支援することを特徴とする映像システムの異常発生原因分析支援方法。
請求項３または４記載の映像システムの異常発生原因分析支援方法において、
前記映像システムからの出力映像から画像認識技術で検出した映像自体の異常画像を記録するステップを実行し、前記映像の異常画像についても検索し、グループ化して表示することを特徴とする映像システムの異常発生原因分析支援方法。
映像内に含まれている物体を操作することが可能な映像システムの異常発生原因分析支援システムにおいて、
前記映像内に含まれている物体の移動を検出する移動体検出を行う手段と、
前記映像システムに対する入力装置からの操作の入力内容を取得する手段と、
前記移動体検出によって検出された移動体の移動方向と前記映像システムに対する入力装置からの操作の入力内容との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定する手段と、
前記映像システムに対する入力装置からの操作入力内容と、前記映像システムからの出力映像と、前記映像システムに何らかの異常が発生したことを通知する異常通知装置からの入力とを記録する手段と、
前記異常通知装置からの入力の種別、前記映像システムに対する入力装置からの操作の入力内容、前記映像システムの出力映像、及び、前記移動体の類似している画像の記録を検索する手段とを備え、検索された情報をグループ化して表示することにより映像システムの異常発生の原因分析を支援することを特徴とする映像システムの異常発生原因分析支援システム。
映像内に含まれている物体を操作することが可能な映像システムの異常発生原因分析支援システムにおいて、
前記映像内に含まれている物体の移動を検出する移動体検出を行う手段と、
前記映像システムに対する入力装置からの操作の入力内容を取得する手段と、
前記移動体検出によって検出された移動体の位置を時間的に繋げた移動軌跡と、前記映像システムに対する入力装置からの操作の入力内容のうち、方向を示す入力を取り出して時間的に繋げた入力軌跡との相関から、前記移動体検出のステップによって検出された移動体が、前記映像システムに対する入力装置からの入力に従って移動している移動体か、前記映像システムに対する入力装置からの入力とは無関係に移動している移動体かを判定する手段と、
前記映像システムに対する入力装置からの操作の入力内容と、前記映像システムからの出力映像と、前記映像システムに何らかの異常が発生したことを通知する異常通知装置からの入力とを記録する手段と、
前記異常通知装置からの入力の種別、前記映像システムに対する入力装置からの操作の入力内容、前記映像システムの出力映像、及び、前記移動体の類似している画像の記録を検索する手段とを備え、検索された情報をグループ化して表示することにより映像システムの異常発生の原因分析を支援することを特徴とする映像システムの異常発生原因分析支援システム。
請求項６または７記載の映像システムの異常発生原因分析支援システムにおいて、
前記映像システムからの出力映像から画像認識技術で検出した映像自体の異常画像を記録する手段を備え、前記映像の異常画像についても検索し、グループ化して表示することを特徴とする映像システムの異常発生原因分析支援システム。