JP2000293685A - シーン認識装置 - Google Patents
シーン認識装置Info
- Publication number
- JP2000293685A JP2000293685A JP11099092A JP9909299A JP2000293685A JP 2000293685 A JP2000293685 A JP 2000293685A JP 11099092 A JP11099092 A JP 11099092A JP 9909299 A JP9909299 A JP 9909299A JP 2000293685 A JP2000293685 A JP 2000293685A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- person
- action
- image
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像のシーン、さらには画像内の人物の行動
意図を自動認識する。 【解決手段】 画像処理部１２は、撮像部１０で取得し
た画像内のオブジェクトを抽出する。認知部１４は、抽
出したオブジェクトの属性（人物か否か、人物であれば
その行動、物体であればその名称）を決定する。シーン
認知部１８は、シーン候補の中からオブジェクトの属性
に基づいて最も確からしいシーンを選択する。推測部２
２は、認知されたシーンにおける人物オブジェクトの行
動属性に基づき、複数の可能な行動意図から最も合致す
る行動意図を特定する。
意図を自動認識する。 【解決手段】 画像処理部１２は、撮像部１０で取得し
た画像内のオブジェクトを抽出する。認知部１４は、抽
出したオブジェクトの属性（人物か否か、人物であれば
その行動、物体であればその名称）を決定する。シーン
認知部１８は、シーン候補の中からオブジェクトの属性
に基づいて最も確からしいシーンを選択する。推測部２
２は、認知されたシーンにおける人物オブジェクトの行
動属性に基づき、複数の可能な行動意図から最も合致す
る行動意図を特定する。
Description
【０００１】
【発明の属する技術分野】本発明はシーン認識装置、特
に画像内のシーンを自動認識する技術に関する。
に画像内のシーンを自動認識する技術に関する。
【０００２】
【従来の技術】日常生活では、人間の行動の意図を推測
しなければならない場面が少なくない。例えば、車両を
運転している場合には、歩行者が横断歩道の端に立って
いれば横断歩道を渡りたいという意思表示であると推測
されることから、歩行者を視認した場合にはその意図を
迅速に把握して車両を停止させる必要がある。一方、同
じ歩行者が立っていても、近くに横断歩道が存在しない
場合には、必ずしも道路を横断する意図があるとは言え
ない。
しなければならない場面が少なくない。例えば、車両を
運転している場合には、歩行者が横断歩道の端に立って
いれば横断歩道を渡りたいという意思表示であると推測
されることから、歩行者を視認した場合にはその意図を
迅速に把握して車両を停止させる必要がある。一方、同
じ歩行者が立っていても、近くに横断歩道が存在しない
場合には、必ずしも道路を横断する意図があるとは言え
ない。
【０００３】また、レストランで顧客が手を挙げた場
合、店員は顧客が手を挙げた意図を周囲状況から判断し
て適切な対応をとる必要がある。テーブル上に伝票があ
る場合には勘定を支払うという意図があり、伝票がない
場合には追加注文をする意図があると判断する等であ
る。
合、店員は顧客が手を挙げた意図を周囲状況から判断し
て適切な対応をとる必要がある。テーブル上に伝票があ
る場合には勘定を支払うという意図があり、伝票がない
場合には追加注文をする意図があると判断する等であ
る。
【０００４】さらに、ビルの警備では、警備員は監視カ
メラの画像内の人物の行動から不審人物であるか否かを
正確に判断する必要がある。
メラの画像内の人物の行動から不審人物であるか否かを
正確に判断する必要がある。
【０００５】
【発明が解決しようとする課題】しかしながら、推測結
果は推測者個人の経験や精神状態、体調などの条件に左
右されることがあり、常に一定の精度で行動意図を推測
することは困難である問題がある。例えば、経験が少な
い店員では顧客の行動の意図を正確に把握することは困
難であり、また２４時間の警備を行う場合には経験豊か
な警備員でも特に深夜から早朝にかけて判断力が低下す
ることもあり得る。
果は推測者個人の経験や精神状態、体調などの条件に左
右されることがあり、常に一定の精度で行動意図を推測
することは困難である問題がある。例えば、経験が少な
い店員では顧客の行動の意図を正確に把握することは困
難であり、また２４時間の警備を行う場合には経験豊か
な警備員でも特に深夜から早朝にかけて判断力が低下す
ることもあり得る。
【０００６】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、画像の意味するシ
ーンを機械的に自動認識でき、さらにそのシーンにおけ
る人物の行動意図を機械的に自動認識することができる
装置を提供することにある。
みなされたものであり、その目的は、画像の意味するシ
ーンを機械的に自動認識でき、さらにそのシーンにおけ
る人物の行動意図を機械的に自動認識することができる
装置を提供することにある。
【０００７】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、画像内のオブジェクトを抽出する抽出手
段と、抽出された前記オブジェクトの属性を認識する属
性認識手段と、前記オブジェクトの属性に基づいて前記
画像のシーンを認識するシーン認識手段とを有すること
を特徴とする。オブジェクトの属性とは、具体的にはオ
ブジェクトが人物であるか物体であるか、そして、人物
である場合にはどのような行動をしているか、物体であ
る場合にはその物体は何かを示すものであり、これらの
組み合わせに基づいて画像がどんなシーンであるかを認
識することができる。
に、本発明は、画像内のオブジェクトを抽出する抽出手
段と、抽出された前記オブジェクトの属性を認識する属
性認識手段と、前記オブジェクトの属性に基づいて前記
画像のシーンを認識するシーン認識手段とを有すること
を特徴とする。オブジェクトの属性とは、具体的にはオ
ブジェクトが人物であるか物体であるか、そして、人物
である場合にはどのような行動をしているか、物体であ
る場合にはその物体は何かを示すものであり、これらの
組み合わせに基づいて画像がどんなシーンであるかを認
識することができる。
【０００８】ここで、前記シーン認識装置で認識された
シーン及び前記オブジェクト内の人物オブジェクトの属
性に基づいて前記人物の行動を認識する行動認識手段を
さらに有することもできる。これにより、人物の行動意
図に応じた対応をとることが可能となる。
シーン及び前記オブジェクト内の人物オブジェクトの属
性に基づいて前記人物の行動を認識する行動認識手段を
さらに有することもできる。これにより、人物の行動意
図に応じた対応をとることが可能となる。
【０００９】前記行動認識手段は、前記シーン認識手段
で認識されたシーンに対する複数の可能な行動の中か
ら、前記人物オブジェクトの属性に合致する行動を選択
し、選択した行動から前記オブジェクト内の物体オブジ
ェクトに基づいて人物の行動意図を特定する。
で認識されたシーンに対する複数の可能な行動の中か
ら、前記人物オブジェクトの属性に合致する行動を選択
し、選択した行動から前記オブジェクト内の物体オブジ
ェクトに基づいて人物の行動意図を特定する。
【００１０】前記シーン認識手段は、シーンとオブジェ
クトの可能な組み合わせの中から、抽出された前記オブ
ジェクトを有するシーンを選択することによりシーンを
認識する。
クトの可能な組み合わせの中から、抽出された前記オブ
ジェクトを有するシーンを選択することによりシーンを
認識する。
【００１１】また、前記シーン認識手段は、シーン候補
が複数存在する場合には、前記シーン候補と前記オブジ
ェクト内の人物オブジェクトの属性に基づいてシーンを
選択する。
が複数存在する場合には、前記シーン候補と前記オブジ
ェクト内の人物オブジェクトの属性に基づいてシーンを
選択する。
【００１２】
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。
形態について説明する。
【００１３】図１には、本実施形態の構成ブロック図が
示されている。本実施形態の装置は、撮像部１０、画像
処理部１２、認知部１４、オブジェクトデータベース１
６、シーン認知部１８、真偽表データベース２０、推測
部２２及び行動データベース２４を含んで構成されてい
る。
示されている。本実施形態の装置は、撮像部１０、画像
処理部１２、認知部１４、オブジェクトデータベース１
６、シーン認知部１８、真偽表データベース２０、推測
部２２及び行動データベース２４を含んで構成されてい
る。
【００１４】撮像部１０は、ＣＣＤカメラなどで構成さ
れ、人物を含む画像を取得する。取得した画像は画像処
理部１２に供給される。もちろん、他の撮像部で得られ
た画像を記録メディアに記録し、記録メディアから読み
出して画像処理部１２に供給してもよい。撮像部１０は
必須の部材ではない。
れ、人物を含む画像を取得する。取得した画像は画像処
理部１２に供給される。もちろん、他の撮像部で得られ
た画像を記録メディアに記録し、記録メディアから読み
出して画像処理部１２に供給してもよい。撮像部１０は
必須の部材ではない。
【００１５】画像処理部１２は、入力した画像内に存在
する人物像や物体像（人物像と物体像をまとめてオブジ
ェクトと称する）を抽出して認知部１４に供給する。オ
ブジェクトの抽出は、例えばオブジェクト間の意図の違
いや輝度の違い（エッジ）に基づいて行うことができ
る。抽出したオブジェクトは人物と物体の区別なく、全
て認知部１４に供給される。
する人物像や物体像（人物像と物体像をまとめてオブジ
ェクトと称する）を抽出して認知部１４に供給する。オ
ブジェクトの抽出は、例えばオブジェクト間の意図の違
いや輝度の違い（エッジ）に基づいて行うことができ
る。抽出したオブジェクトは人物と物体の区別なく、全
て認知部１４に供給される。
【００１６】認知部１４は、オブジェクトデータベース
１６に記憶されている基準オブジェクトと入力されたオ
ブジェクトとを対比し（テンプレートマッチング）、入
力されたオブジェクトの属性、すなわち入力オブジェク
トが人物オブジェクトか物体オブジェクトか、人物オブ
ジェクトの場合にはどのような動作を行っているのか、
物体オブジェクトの場合にはその物体の名称はなにか、
を決定する。オブジェクトの属性を正確に決定するため
には、オブジェクトデータベース１６に予め記憶する基
準オブジェクトは可能な限り多種多様であることが好ま
しい。基準オブジェクトの例としては、人物に関して
は、立っている人物、座っている人物、腕を組んでいる
人物、手を挙げている人物、歌っている人物、踊ってい
る人物、歩いている人物、走っている人物等々であり、
物体に関しては、机、テーブル、いす、本、コンピュー
タ、棒、はし、飲食器、信号機等々である。認知したオ
ブジェクトは、その属性に基づいて人間群ファイルと物
体群ファイルに分けてシーン認知部１８に供給される。
１６に記憶されている基準オブジェクトと入力されたオ
ブジェクトとを対比し（テンプレートマッチング）、入
力されたオブジェクトの属性、すなわち入力オブジェク
トが人物オブジェクトか物体オブジェクトか、人物オブ
ジェクトの場合にはどのような動作を行っているのか、
物体オブジェクトの場合にはその物体の名称はなにか、
を決定する。オブジェクトの属性を正確に決定するため
には、オブジェクトデータベース１６に予め記憶する基
準オブジェクトは可能な限り多種多様であることが好ま
しい。基準オブジェクトの例としては、人物に関して
は、立っている人物、座っている人物、腕を組んでいる
人物、手を挙げている人物、歌っている人物、踊ってい
る人物、歩いている人物、走っている人物等々であり、
物体に関しては、机、テーブル、いす、本、コンピュー
タ、棒、はし、飲食器、信号機等々である。認知したオ
ブジェクトは、その属性に基づいて人間群ファイルと物
体群ファイルに分けてシーン認知部１８に供給される。
【００１７】シーン認知部１８は、人間群ファイルと物
体群ファイルに基づき、撮像部１０から供給された画像
がどんなシーンの画像であるかを認知する。シーンの認
知は、真偽表データベース２０に記憶されている真偽表
に基づき行われる。真偽表データベース２０は、可能な
シーンそれぞれについて種々のオブジェクトが存在する
か否かを○か×かで示したもので（そのシーンにそのオ
ブジェクトが存在する場合には○、存在しない場合には
×）、例えばレストランのシーンにおいては皿類やフォ
ークというオブジェクトは存在し得るので○、信号機は
存在し得ないので×、走っている人物も通常は存在しな
いので×等である。シーン認知部１８は、このような真
偽表に基づいて、入力したオブジェクトが最も数多く存
在し得るシーンを抽出し、画像のシーンであると認知す
る。認知したシーンは、推測部２２に供給される。
体群ファイルに基づき、撮像部１０から供給された画像
がどんなシーンの画像であるかを認知する。シーンの認
知は、真偽表データベース２０に記憶されている真偽表
に基づき行われる。真偽表データベース２０は、可能な
シーンそれぞれについて種々のオブジェクトが存在する
か否かを○か×かで示したもので（そのシーンにそのオ
ブジェクトが存在する場合には○、存在しない場合には
×）、例えばレストランのシーンにおいては皿類やフォ
ークというオブジェクトは存在し得るので○、信号機は
存在し得ないので×、走っている人物も通常は存在しな
いので×等である。シーン認知部１８は、このような真
偽表に基づいて、入力したオブジェクトが最も数多く存
在し得るシーンを抽出し、画像のシーンであると認知す
る。認知したシーンは、推測部２２に供給される。
【００１８】推測部２２は、認知したシーン及び認知部
１４からのオブジェクトの属性に基づいて、認識したシ
ーンにおける人物の行動意図を推測して出力する。行動
意図は、行動データベース２４に記憶されている、各シ
ーンにおいて考えられる行動の意図から最も合致する意
図を選択することにより推測される。
１４からのオブジェクトの属性に基づいて、認識したシ
ーンにおける人物の行動意図を推測して出力する。行動
意図は、行動データベース２４に記憶されている、各シ
ーンにおいて考えられる行動の意図から最も合致する意
図を選択することにより推測される。
【００１９】画像処理部１２、認知部１４、シーン認知
部１８、推測部２２はコンピュータで構成することがで
き、オブジェクトデータベース１６や真偽表データベー
ス２０、行動データベース２４は磁気テープや磁気ディ
スク、光ディスクなどの大容量メモリで構成することが
できる。
部１８、推測部２２はコンピュータで構成することがで
き、オブジェクトデータベース１６や真偽表データベー
ス２０、行動データベース２４は磁気テープや磁気ディ
スク、光ディスクなどの大容量メモリで構成することが
できる。
【００２０】以下、認知部１４、シーン認知部１８、推
測部２２の処理について、具体的な例を挙げて説明す
る。
測部２２の処理について、具体的な例を挙げて説明す
る。
【００２１】＜レストランのテーブルに座った人物が挙
手をしている画像が入力された場合＞このような画像が
入力された場合、画像処理部１２では、人物オブジェク
トと物体オブジェクトを抽出して認知部１４に供給す
る。認知部１４では、これらのオブジェクトの属性を判
別して人間群ファイルと物体群ファイルに分類する。
手をしている画像が入力された場合＞このような画像が
入力された場合、画像処理部１２では、人物オブジェク
トと物体オブジェクトを抽出して認知部１４に供給す
る。認知部１４では、これらのオブジェクトの属性を判
別して人間群ファイルと物体群ファイルに分類する。
【００２２】図２には、認知部１４の処理フローチャー
トが示されている。まず、画像処理部１２から抽出した
オブジェクトのファイルを入力し（Ｓ１０１）、順次オ
ブジェクトデータベース１６に記憶されている基準オブ
ジェクトと対比することにより人物オブジェクトか物体
オブジェクトかを判別する（Ｓ１０２）。そして、入力
オブジェクトが人物オブジェクトである場合には、さら
に基準オブジェクトとの対比からその人物がどういう行
動を行っているかを判別する（Ｓ１０３）。具体的に
は、その人物が座っているか、立っているか、挙手して
いるか、うつむいているか等である。そして、人物オブ
ジェクトである場合には、その行動属性とともに人間群
ファイルにまとめる（Ｓ１０４）。
トが示されている。まず、画像処理部１２から抽出した
オブジェクトのファイルを入力し（Ｓ１０１）、順次オ
ブジェクトデータベース１６に記憶されている基準オブ
ジェクトと対比することにより人物オブジェクトか物体
オブジェクトかを判別する（Ｓ１０２）。そして、入力
オブジェクトが人物オブジェクトである場合には、さら
に基準オブジェクトとの対比からその人物がどういう行
動を行っているかを判別する（Ｓ１０３）。具体的に
は、その人物が座っているか、立っているか、挙手して
いるか、うつむいているか等である。そして、人物オブ
ジェクトである場合には、その行動属性とともに人間群
ファイルにまとめる（Ｓ１０４）。
【００２３】一方、入力オブジェクトが物体オブジェク
トである場合には、さらにその物体の名称を基準オブジ
ェクトとの対比により特定する（Ｓ１０５）。具体的に
は、その物体がテーブルであるか、信号機であるか、時
計であるか、等である。オブジェクトの属性の決定精度
は、基準オブジェクトの数に依存するので、オブジェク
トデータベースのデータ量は十分確保する必要がある。
そして、物体オブジェクトは、その名称属性とともに物
体群ファイルにまとめる（Ｓ１０６）。以上のようにし
てオブジェクトの属性が認識されると、その結果をシー
ン認知部１８に出力する（Ｓ１０７）。
トである場合には、さらにその物体の名称を基準オブジ
ェクトとの対比により特定する（Ｓ１０５）。具体的に
は、その物体がテーブルであるか、信号機であるか、時
計であるか、等である。オブジェクトの属性の決定精度
は、基準オブジェクトの数に依存するので、オブジェク
トデータベースのデータ量は十分確保する必要がある。
そして、物体オブジェクトは、その名称属性とともに物
体群ファイルにまとめる（Ｓ１０６）。以上のようにし
てオブジェクトの属性が認識されると、その結果をシー
ン認知部１８に出力する（Ｓ１０７）。
【００２４】図３には、シーン認知部１８の処理フロー
チャートが示されている。まず、人間群ファイルと物体
群ファイルを入力すると（Ｓ２０１）、真偽表データベ
ース２０内の真偽表を用いて画像のシーン候補を抽出す
る（Ｓ２０２）。図３には、真偽表の一例が示されてお
り、行はオブジェクト、列はシーンを示している。そし
て、各シーンにおいてそのオブジェクトが存在し得る場
合には真（○）、存在し得ない場合には偽（×）が付さ
れている。例えば、レストランのシーンでは、皿類、フ
ォーク、食べるという行動、挙手という行動は存在し得
るので○、信号機や走るという行動、スライド映写機は
存在し得ないので×、横断歩道のシーンでは信号機や走
るという行動、挙手という行動は存在し得るので○、逆
に皿類やフォーク、食べるという行動は存在し得ないの
で×、会議室のシーンでは皿類やスライド映写機、挙手
という行動は存在し得るので○、フォークや信号機、走
るという行動、食べるという行動は存在し得ないので×
等である。このような真偽表を用いてそれぞれのシーン
に対して入力したオブジェクトの真偽を判定し、真
（○）の数の多いシーン候補を抽出していく。シーン候
補を高精度に抽出するためには、真偽表におけるシーン
の種類及びオブジェクトの種類を可能な限り多くしてお
くことが好適である。真偽表のオブジェクトは基準オブ
ジェクトと同一とすることができ、真偽表のシーンは認
知を希望する全てのシーンをカバーするのが好ましい。
チャートが示されている。まず、人間群ファイルと物体
群ファイルを入力すると（Ｓ２０１）、真偽表データベ
ース２０内の真偽表を用いて画像のシーン候補を抽出す
る（Ｓ２０２）。図３には、真偽表の一例が示されてお
り、行はオブジェクト、列はシーンを示している。そし
て、各シーンにおいてそのオブジェクトが存在し得る場
合には真（○）、存在し得ない場合には偽（×）が付さ
れている。例えば、レストランのシーンでは、皿類、フ
ォーク、食べるという行動、挙手という行動は存在し得
るので○、信号機や走るという行動、スライド映写機は
存在し得ないので×、横断歩道のシーンでは信号機や走
るという行動、挙手という行動は存在し得るので○、逆
に皿類やフォーク、食べるという行動は存在し得ないの
で×、会議室のシーンでは皿類やスライド映写機、挙手
という行動は存在し得るので○、フォークや信号機、走
るという行動、食べるという行動は存在し得ないので×
等である。このような真偽表を用いてそれぞれのシーン
に対して入力したオブジェクトの真偽を判定し、真
（○）の数の多いシーン候補を抽出していく。シーン候
補を高精度に抽出するためには、真偽表におけるシーン
の種類及びオブジェクトの種類を可能な限り多くしてお
くことが好適である。真偽表のオブジェクトは基準オブ
ジェクトと同一とすることができ、真偽表のシーンは認
知を希望する全てのシーンをカバーするのが好ましい。
【００２５】抽出したシーン候補が単一の場合には、そ
のシーン候補をもって入力画像のシーンであると認定す
ることが可能であるが、シーン候補が複数存在する場
合、つまり１つでも真（○）があるシーンが複数存在す
る場合には、これらのいずれであるかを特定する必要が
ある。
のシーン候補をもって入力画像のシーンであると認定す
ることが可能であるが、シーン候補が複数存在する場
合、つまり１つでも真（○）があるシーンが複数存在す
る場合には、これらのいずれであるかを特定する必要が
ある。
【００２６】そこで、真偽表を用いて真偽を判定した
後、シーン候補を真（○）の数の多い順に並べ替える
（Ｓ２０３）。本画像の場合、オブジェクトとして皿類
やフォーク、座る、挙手が抽出されるとすると、レスト
ランのシーン、会議室のシーン、横断歩道の順に真
（○）の数が多いので、１．レストラン、２．会議室、
３．横断歩道・・・というように順位付ける。
後、シーン候補を真（○）の数の多い順に並べ替える
（Ｓ２０３）。本画像の場合、オブジェクトとして皿類
やフォーク、座る、挙手が抽出されるとすると、レスト
ランのシーン、会議室のシーン、横断歩道の順に真
（○）の数が多いので、１．レストラン、２．会議室、
３．横断歩道・・・というように順位付ける。
【００２７】そして、人間群ファイルから人物オブジェ
クトの属性を入力し、順位付けたシーン候補のそれぞれ
に対して、そのシーン内で人物オブジェクトの行動属性
が適当か否か、つまり、そのシーンにおいてそのような
行動をとることがあり得るか否かを判定する（Ｓ２０
４）。例えば、Ｓ２０２で抽出したシーン候補として横
断歩道があるが、人物オブジェクトの属性が座っていて
挙手をしているものである場合、横断歩道では座って挙
手することは通常あり得ないので横断歩道をシーン候補
から削除する。この判定は、Ｓ２０２で用いた真偽表を
再度用いて行うことができる。以上の処理を順位の上位
から順次行うことで、最終的に１つのシーンを選択して
（複数残った場合には最も上位のシーン）画像のシーン
であると認知する。本画像の場合、最上位のレストラン
のシーンが選択される。認知されたシーンは、推測部２
２に出力する（Ｓ２０５）。
クトの属性を入力し、順位付けたシーン候補のそれぞれ
に対して、そのシーン内で人物オブジェクトの行動属性
が適当か否か、つまり、そのシーンにおいてそのような
行動をとることがあり得るか否かを判定する（Ｓ２０
４）。例えば、Ｓ２０２で抽出したシーン候補として横
断歩道があるが、人物オブジェクトの属性が座っていて
挙手をしているものである場合、横断歩道では座って挙
手することは通常あり得ないので横断歩道をシーン候補
から削除する。この判定は、Ｓ２０２で用いた真偽表を
再度用いて行うことができる。以上の処理を順位の上位
から順次行うことで、最終的に１つのシーンを選択して
（複数残った場合には最も上位のシーン）画像のシーン
であると認知する。本画像の場合、最上位のレストラン
のシーンが選択される。認知されたシーンは、推測部２
２に出力する（Ｓ２０５）。
【００２８】図４には、推測部２２の処理フローチャー
トが示されている。まず、シーン認知部１８からの情
報、すなわち認知したシーンを入力し（Ｓ３０１）、ま
た、認知部１４から人物オブジェクトの中で行動意図を
推測すべき人物オブジェクトの行動属性（本画像では、
挙手という行動属性）も入力して、認知したシーンにお
けるその人物の行動意図を推測する（Ｓ３０２）。行動
意図の推測には、行動データベース２４に記憶されてい
る推測カードを用いる。推測カードは、シーンにおける
可能な行動毎に分類されてデータベース化されており、
認知したシーン及び人物オブジェクトの行動属性に合致
するカード（この場合、レストランにおける挙手という
カード）を抽出する。すなわち、行動データベース内に
記憶されている、シーン毎、及びシーンにおける可能な
行動毎に階層的に分類されている推測カードから、認知
したシーン及び人物オブジェクトの行動属性を引数とし
て、最適の推測カードを抽出するのである。各推測カー
ドは、図に示すように、物品の有無とその組み合わせに
対応する行動意図候補がリスト化されて構成されてい
る。カード中の○はその物品が存在することを示し、×
は存在しないことを示している。そこで、抽出したカー
ド内において人物オブジェクトの回りに存在する物体オ
ブジェクトの有無が、カード内の有無のパターンと一致
するものを最終的な行動意図として推測する（Ｓ３０
３）。例えば、挙手をした人物の回りに皿オブジェクト
が存在し、メニューオブジェクトもレシート（伝票）オ
ブジェクトも存在しない場合には、推測カードの中から
「１．追加注文、２．料理催促」という行動意図候補を
特定する。これは、挙手をしている人物が、追加注文を
要求しているか、あるいは料理を催促しているかのいず
れかであることを意味する。また、挙手をした人物の回
りに皿オブジェクトとメニューオブジェクトとレシート
オブジェクトが存在する場合には、推測カードの中から
「１．会計、２．水催促」という行動意図候補を特定し
て出力する。これは、挙手をしている人物が、会計を要
求しているか、水を催促しているかのいずれかであるこ
とを意味している。そして、特定した行動意図を外部に
出力する（Ｓ３０４）。
トが示されている。まず、シーン認知部１８からの情
報、すなわち認知したシーンを入力し（Ｓ３０１）、ま
た、認知部１４から人物オブジェクトの中で行動意図を
推測すべき人物オブジェクトの行動属性（本画像では、
挙手という行動属性）も入力して、認知したシーンにお
けるその人物の行動意図を推測する（Ｓ３０２）。行動
意図の推測には、行動データベース２４に記憶されてい
る推測カードを用いる。推測カードは、シーンにおける
可能な行動毎に分類されてデータベース化されており、
認知したシーン及び人物オブジェクトの行動属性に合致
するカード（この場合、レストランにおける挙手という
カード）を抽出する。すなわち、行動データベース内に
記憶されている、シーン毎、及びシーンにおける可能な
行動毎に階層的に分類されている推測カードから、認知
したシーン及び人物オブジェクトの行動属性を引数とし
て、最適の推測カードを抽出するのである。各推測カー
ドは、図に示すように、物品の有無とその組み合わせに
対応する行動意図候補がリスト化されて構成されてい
る。カード中の○はその物品が存在することを示し、×
は存在しないことを示している。そこで、抽出したカー
ド内において人物オブジェクトの回りに存在する物体オ
ブジェクトの有無が、カード内の有無のパターンと一致
するものを最終的な行動意図として推測する（Ｓ３０
３）。例えば、挙手をした人物の回りに皿オブジェクト
が存在し、メニューオブジェクトもレシート（伝票）オ
ブジェクトも存在しない場合には、推測カードの中から
「１．追加注文、２．料理催促」という行動意図候補を
特定する。これは、挙手をしている人物が、追加注文を
要求しているか、あるいは料理を催促しているかのいず
れかであることを意味する。また、挙手をした人物の回
りに皿オブジェクトとメニューオブジェクトとレシート
オブジェクトが存在する場合には、推測カードの中から
「１．会計、２．水催促」という行動意図候補を特定し
て出力する。これは、挙手をしている人物が、会計を要
求しているか、水を催促しているかのいずれかであるこ
とを意味している。そして、特定した行動意図を外部に
出力する（Ｓ３０４）。
【００２９】行動意図の推測精度は、推測カードの量及
び各推測カードにおける可能な行動意図の量に依存して
決定されるので、可能な限り多数の推測カードをデータ
ベース化するのが好適である。以上のようにして、入力
画像からその画像のシーン及び人物の行動意図を自動的
に認識することができる。
び各推測カードにおける可能な行動意図の量に依存して
決定されるので、可能な限り多数の推測カードをデータ
ベース化するのが好適である。以上のようにして、入力
画像からその画像のシーン及び人物の行動意図を自動的
に認識することができる。
【００３０】＜オフィスのドアの前で棒を持った人物が
存在する画像が入力された場合＞このような画像が入力
された場合、画像処理部１２では、人物オブジェクトと
物体オブジェクトを抽出して認知部１４に供給する。認
知部１４では、これらのオブジェクトの属性を判別して
人間群ファイルと物体群ファイルに分類する。人物群フ
ァイルとしては、立って両手を挙手している人物、物体
群ファイルとしては、ドア、棒、ホワイトボード等であ
る。
存在する画像が入力された場合＞このような画像が入力
された場合、画像処理部１２では、人物オブジェクトと
物体オブジェクトを抽出して認知部１４に供給する。認
知部１４では、これらのオブジェクトの属性を判別して
人間群ファイルと物体群ファイルに分類する。人物群フ
ァイルとしては、立って両手を挙手している人物、物体
群ファイルとしては、ドア、棒、ホワイトボード等であ
る。
【００３１】図５には、シーン認知部１８の処理フロー
チャートが示されている。まず、人間群ファイルと物体
群ファイルを入力すると（Ｓ４０１）、真偽表データベ
ース２０内の真偽表を用いて画像のシーン候補を抽出す
る（Ｓ４０２）。図５には、真偽表の一例が示されてお
り、行はオブジェクト、列はシーンを示している。そし
て、各シーンにおいてそのオブジェクトが存在し得る場
合には真（○）、存在し得ない場合には偽（×）が付さ
れている。例えば、オフィスのシーンでは、ドア、ホワ
イトボード、棒、立位という行動は存在し得るので○、
食べるという行動は通常存在しないので×、廊下のシー
ンでは立位という行動は存在し得るので○、逆にドアや
棒は存在し得ないので×、給湯室のシーンではドアや食
べるという行動は存在し得るので○、ホワイトボードや
両手挙手という行動は存在し得ないので×等である。こ
のような真偽表を用いてそれぞれのシーンに対して入力
したオブジェクトの真偽を判定し、真（○）の数の多い
シーン候補を抽出していく。
チャートが示されている。まず、人間群ファイルと物体
群ファイルを入力すると（Ｓ４０１）、真偽表データベ
ース２０内の真偽表を用いて画像のシーン候補を抽出す
る（Ｓ４０２）。図５には、真偽表の一例が示されてお
り、行はオブジェクト、列はシーンを示している。そし
て、各シーンにおいてそのオブジェクトが存在し得る場
合には真（○）、存在し得ない場合には偽（×）が付さ
れている。例えば、オフィスのシーンでは、ドア、ホワ
イトボード、棒、立位という行動は存在し得るので○、
食べるという行動は通常存在しないので×、廊下のシー
ンでは立位という行動は存在し得るので○、逆にドアや
棒は存在し得ないので×、給湯室のシーンではドアや食
べるという行動は存在し得るので○、ホワイトボードや
両手挙手という行動は存在し得ないので×等である。こ
のような真偽表を用いてそれぞれのシーンに対して入力
したオブジェクトの真偽を判定し、真（○）の数の多い
シーン候補を抽出していく。
【００３２】抽出したシーン候補が単一の場合には、そ
のシーン候補をもって入力画像のシーンであると認定す
ることが可能であるが、シーン候補が複数存在する場
合、つまり１つでも真（○）があるシーンが複数存在す
る場合には、これらのいずれであるかを特定するため、
シーン候補を真（○）の数の多い順に並べ替える（Ｓ４
０３）。本画像の場合、オブジェクトとしてドアやホワ
イトボード、棒が抽出されるとすると、オフィス、給湯
室、廊下の順に真（○）の数が多いので、この順に順位
付ける。
のシーン候補をもって入力画像のシーンであると認定す
ることが可能であるが、シーン候補が複数存在する場
合、つまり１つでも真（○）があるシーンが複数存在す
る場合には、これらのいずれであるかを特定するため、
シーン候補を真（○）の数の多い順に並べ替える（Ｓ４
０３）。本画像の場合、オブジェクトとしてドアやホワ
イトボード、棒が抽出されるとすると、オフィス、給湯
室、廊下の順に真（○）の数が多いので、この順に順位
付ける。
【００３３】そして、人間群ファイルから人物オブジェ
クトの属性を入力し、順位付けたシーン候補のそれぞれ
に対して、そのシーン内で人物オブジェクトの行動属性
が適当か否か、つまり、そのシーンにおいてそのような
行動をとることがあり得るか否かを判定する（Ｓ４０
４）。例えば、Ｓ４０２で抽出したシーン候補として給
湯室があるが、人物オブジェクトの属性が立っていて両
手挙手をしているものである場合、給湯室ではこのよう
な行動は通常あり得ないので給湯室をシーン候補から削
除する。この判定は、Ｓ４０２で用いた真偽表を再度用
いて行うことができる。以上の処理を順位の上位から順
次行うことで、最終的に１つのシーンを選択して（複数
残った場合には最も上位のシーン）画像のシーンである
と認知する。本画像の場合、最上位のオフィスのシーン
が選択される。認知されたシーンは、推測部２２に出力
する（Ｓ４０５）。
クトの属性を入力し、順位付けたシーン候補のそれぞれ
に対して、そのシーン内で人物オブジェクトの行動属性
が適当か否か、つまり、そのシーンにおいてそのような
行動をとることがあり得るか否かを判定する（Ｓ４０
４）。例えば、Ｓ４０２で抽出したシーン候補として給
湯室があるが、人物オブジェクトの属性が立っていて両
手挙手をしているものである場合、給湯室ではこのよう
な行動は通常あり得ないので給湯室をシーン候補から削
除する。この判定は、Ｓ４０２で用いた真偽表を再度用
いて行うことができる。以上の処理を順位の上位から順
次行うことで、最終的に１つのシーンを選択して（複数
残った場合には最も上位のシーン）画像のシーンである
と認知する。本画像の場合、最上位のオフィスのシーン
が選択される。認知されたシーンは、推測部２２に出力
する（Ｓ４０５）。
【００３４】図６には、推測部２２の処理フローチャー
トが示されている。まず、シーン認知部１８からの情
報、すなわち認知したシーン（オフィス）を入力し（Ｓ
５０１）、また、認知部１４から人物オブジェクトの中
で行動意図を推測すべき人物オブジェクトの行動属性
（本画像では、両手挙手という行動属性）も入力して、
認知したシーンにおけるその人物の行動意図を推測する
（Ｓ５０２）。行動意図の推測には、行動データベース
２４に記憶されている推測カードを用いる。推測カード
は、シーンにおける可能な行動毎に分類されてデータベ
ース化されており、認知したシーン及び人物オブジェク
トの行動属性に合致するカード（この場合、オフィスに
おける両手挙手というカード）を抽出する。さらに、抽
出したカード内において人物オブジェクトの回りに存在
する物体オブジェクトの有無が、カード内の有無のパタ
ーンと一致するものを最終的な行動意図として推測する
（Ｓ５０３）。例えば、両手挙手をした人物の回りに鍵
オブジェクトが存在し、ＩＤカードも存在する場合に
は、推測カードの中から「ドア開閉」という行動意図候
補を選択する。また、両手挙手をした人物の回りに鍵オ
ブジェクトもＩＤカードオブジェクトも存在せず、棒オ
ブジェクトが存在する場合には、推測カードの中から
「ドア破壊」という行動意図候補を特定して出力する。
本画像の場合、「ドア破壊」が特定されることになる。
そして、特定した行動意図を外部に出力する（Ｓ５０
４）。
トが示されている。まず、シーン認知部１８からの情
報、すなわち認知したシーン（オフィス）を入力し（Ｓ
５０１）、また、認知部１４から人物オブジェクトの中
で行動意図を推測すべき人物オブジェクトの行動属性
（本画像では、両手挙手という行動属性）も入力して、
認知したシーンにおけるその人物の行動意図を推測する
（Ｓ５０２）。行動意図の推測には、行動データベース
２４に記憶されている推測カードを用いる。推測カード
は、シーンにおける可能な行動毎に分類されてデータベ
ース化されており、認知したシーン及び人物オブジェク
トの行動属性に合致するカード（この場合、オフィスに
おける両手挙手というカード）を抽出する。さらに、抽
出したカード内において人物オブジェクトの回りに存在
する物体オブジェクトの有無が、カード内の有無のパタ
ーンと一致するものを最終的な行動意図として推測する
（Ｓ５０３）。例えば、両手挙手をした人物の回りに鍵
オブジェクトが存在し、ＩＤカードも存在する場合に
は、推測カードの中から「ドア開閉」という行動意図候
補を選択する。また、両手挙手をした人物の回りに鍵オ
ブジェクトもＩＤカードオブジェクトも存在せず、棒オ
ブジェクトが存在する場合には、推測カードの中から
「ドア破壊」という行動意図候補を特定して出力する。
本画像の場合、「ドア破壊」が特定されることになる。
そして、特定した行動意図を外部に出力する（Ｓ５０
４）。
【００３５】＜厨房の中でコーヒーに塩を入れている画
像を入力した場合＞このような画像が入力された場合、
画像処理部１２では、人物オブジェクトと物体オブジェ
クトを抽出して認知部１４に供給する。認知部１４で
は、これらのオブジェクトの属性を判別して人間群ファ
イルと物体群ファイルに分類する。人物群ファイルとし
ては、座って保持している人物、物体群ファイルとして
は、コーヒー（コーヒーの容器）、ポット、カップ、塩
等である。
像を入力した場合＞このような画像が入力された場合、
画像処理部１２では、人物オブジェクトと物体オブジェ
クトを抽出して認知部１４に供給する。認知部１４で
は、これらのオブジェクトの属性を判別して人間群ファ
イルと物体群ファイルに分類する。人物群ファイルとし
ては、座って保持している人物、物体群ファイルとして
は、コーヒー（コーヒーの容器）、ポット、カップ、塩
等である。
【００３６】図７には、シーン認知部１８の処理フロー
チャートが示されている。まず、人間群ファイルと物体
群ファイルを入力すると（Ｓ６０１）、真偽表データベ
ース２０内の真偽表を用いて画像のシーン候補を抽出す
る（Ｓ６０２）。図７には、真偽表の一例が示されてお
り、行はオブジェクト、列はシーンを示している。そし
て、各シーンにおいてそのオブジェクトが存在し得る場
合には真（○）、存在し得ない場合には偽（×）が付さ
れている。例えば、厨房のシーンでは、コーヒー、ポッ
ト、座位という行動、食べるという行動は存在し得るの
で○、信号機や歌うという行動は通常存在しないので
×、交差点のシーンでは信号機は存在し得るので○、逆
にコーヒーや座位という行動は存在し得ないので×、浴
室のシーンでは座位や歌うという行動は存在し得るので
○、コーヒーや食べるという行動は存在し得ないので×
等である。このような真偽表を用いてそれぞれのシーン
に対して入力したオブジェクトの真偽を判定し、真
（○）の数の多いシーン候補を抽出していく。
チャートが示されている。まず、人間群ファイルと物体
群ファイルを入力すると（Ｓ６０１）、真偽表データベ
ース２０内の真偽表を用いて画像のシーン候補を抽出す
る（Ｓ６０２）。図７には、真偽表の一例が示されてお
り、行はオブジェクト、列はシーンを示している。そし
て、各シーンにおいてそのオブジェクトが存在し得る場
合には真（○）、存在し得ない場合には偽（×）が付さ
れている。例えば、厨房のシーンでは、コーヒー、ポッ
ト、座位という行動、食べるという行動は存在し得るの
で○、信号機や歌うという行動は通常存在しないので
×、交差点のシーンでは信号機は存在し得るので○、逆
にコーヒーや座位という行動は存在し得ないので×、浴
室のシーンでは座位や歌うという行動は存在し得るので
○、コーヒーや食べるという行動は存在し得ないので×
等である。このような真偽表を用いてそれぞれのシーン
に対して入力したオブジェクトの真偽を判定し、真
（○）の数の多いシーン候補を抽出していく。
【００３７】抽出したシーン候補が単一の場合には、そ
のシーン候補をもって入力画像のシーンであると認定す
ることが可能であるが、シーン候補が複数存在する場
合、つまり１つでも真（○）があるシーンが複数存在す
る場合には、これらのいずれであるかを特定するため、
シーン候補を真（○）の数の多い順に並べ替える（Ｓ６
０３）。本画像の場合、オブジェクトとしてコーヒーや
ポット、座位、物体保持が抽出されるとすると、厨房、
浴室、交差点の順に真（○）の数が多いので、この順に
順位付ける。
のシーン候補をもって入力画像のシーンであると認定す
ることが可能であるが、シーン候補が複数存在する場
合、つまり１つでも真（○）があるシーンが複数存在す
る場合には、これらのいずれであるかを特定するため、
シーン候補を真（○）の数の多い順に並べ替える（Ｓ６
０３）。本画像の場合、オブジェクトとしてコーヒーや
ポット、座位、物体保持が抽出されるとすると、厨房、
浴室、交差点の順に真（○）の数が多いので、この順に
順位付ける。
【００３８】そして、人間群ファイルから人物オブジェ
クトの属性を入力し、順位付けたシーン候補のそれぞれ
に対して、そのシーン内で人物オブジェクトの行動属性
が適当か否か、つまり、そのシーンにおいてそのような
行動をとることがあり得るか否かを判定する（Ｓ６０
４）。例えば、Ｓ６０２で抽出したシーン候補として交
差点があるが、人物オブジェクトの属性が座っている
（座位）ものである場合、交差点ではこのような行動は
通常あり得ないので交差点をシーン候補から削除する。
この判定は、Ｓ６０２で用いた真偽表を再度用いて行う
ことができる。以上の処理を順位の上位から順次行うこ
とで、最終的に１つのシーンを選択して（複数残った場
合には最も上位のシーン）画像のシーンであると認知す
る。本画像の場合、最上位の厨房のシーンが選択され
る。認知されたシーンは、推測部２２に出力する（Ｓ６
０５）。
クトの属性を入力し、順位付けたシーン候補のそれぞれ
に対して、そのシーン内で人物オブジェクトの行動属性
が適当か否か、つまり、そのシーンにおいてそのような
行動をとることがあり得るか否かを判定する（Ｓ６０
４）。例えば、Ｓ６０２で抽出したシーン候補として交
差点があるが、人物オブジェクトの属性が座っている
（座位）ものである場合、交差点ではこのような行動は
通常あり得ないので交差点をシーン候補から削除する。
この判定は、Ｓ６０２で用いた真偽表を再度用いて行う
ことができる。以上の処理を順位の上位から順次行うこ
とで、最終的に１つのシーンを選択して（複数残った場
合には最も上位のシーン）画像のシーンであると認知す
る。本画像の場合、最上位の厨房のシーンが選択され
る。認知されたシーンは、推測部２２に出力する（Ｓ６
０５）。
【００３９】図８には、推測部２２の処理フローチャー
トが示されている。まず、シーン認知部１８からの情
報、すなわち認知したシーン（厨房）を入力し（Ｓ７０
１）、また、認知部１４から人物オブジェクトの中で行
動意図を推測すべき人物オブジェクトの行動属性（本画
像では、座位で物体を保持している行動属性）も入力し
て、認知したシーンにおけるその人物の行動意図を推測
する（Ｓ７０２）。行動意図の推測には、行動データベ
ース２４に記憶されている推測カードを用いる。推測カ
ードは、シーンにおける可能な行動毎に分類されてデー
タベース化されており、認知したシーン及び人物オブジ
ェクトの行動属性に合致するカード（この場合、厨房に
おける座位で物体保持というカード）を抽出する。な
お、カードを抽出する際に、保持している物体に応じて
抽出するのが好適である。そして、抽出したカード内に
おいて人物オブジェクトの回りに存在する物体オブジェ
クトの有無が、カード内の有無のパターンと一致するも
のを最終的な行動意図として推測する（Ｓ７０３）。例
えば、座って塩を保持している人物の回りにコーヒーオ
ブジェクトとスプーンオブジェクトが存在する場合に
は、推測カードの中から「コーヒーに塩を入れようとし
ている」という行動意図候補を選択する。また、座って
塩を保持している人物の回りにコーヒーオブジェクトが
存在せず、スプーンオブジェクトやカップオブジェクト
が存在する場合には、推測カードの中から「コーヒーカ
ップに塩を入れようとしている」という行動意図候補を
特定して出力する。本画像の場合、「コーヒーに塩を入
れようとしている」が特定されることになる。そして、
特定した行動意図を外部に出力する（Ｓ７０４）。
トが示されている。まず、シーン認知部１８からの情
報、すなわち認知したシーン（厨房）を入力し（Ｓ７０
１）、また、認知部１４から人物オブジェクトの中で行
動意図を推測すべき人物オブジェクトの行動属性（本画
像では、座位で物体を保持している行動属性）も入力し
て、認知したシーンにおけるその人物の行動意図を推測
する（Ｓ７０２）。行動意図の推測には、行動データベ
ース２４に記憶されている推測カードを用いる。推測カ
ードは、シーンにおける可能な行動毎に分類されてデー
タベース化されており、認知したシーン及び人物オブジ
ェクトの行動属性に合致するカード（この場合、厨房に
おける座位で物体保持というカード）を抽出する。な
お、カードを抽出する際に、保持している物体に応じて
抽出するのが好適である。そして、抽出したカード内に
おいて人物オブジェクトの回りに存在する物体オブジェ
クトの有無が、カード内の有無のパターンと一致するも
のを最終的な行動意図として推測する（Ｓ７０３）。例
えば、座って塩を保持している人物の回りにコーヒーオ
ブジェクトとスプーンオブジェクトが存在する場合に
は、推測カードの中から「コーヒーに塩を入れようとし
ている」という行動意図候補を選択する。また、座って
塩を保持している人物の回りにコーヒーオブジェクトが
存在せず、スプーンオブジェクトやカップオブジェクト
が存在する場合には、推測カードの中から「コーヒーカ
ップに塩を入れようとしている」という行動意図候補を
特定して出力する。本画像の場合、「コーヒーに塩を入
れようとしている」が特定されることになる。そして、
特定した行動意図を外部に出力する（Ｓ７０４）。
【００４０】以上、本発明の実施形態について説明した
が、本実施形態の装置は任意の装置ないしシステムと組
み合わせることが可能である。例えば、本装置を車両に
適用した場合、歩行者の行動意図を自動的に推測して自
車と衝突の可能性がある場合には危険信号を発したり、
ブレーキを作動させるなどの態様が可能である。また、
本装置をレストランでのサービスに利用した場合、客の
行動意図を自動推測して客のもとに速やかに店員を配置
することも可能となる。また、不審者の検出を目的とし
た警備システム、あるいは調理講習を目的とした調理教
示システムへ利用することも可能となる。また、本装置
はシーンを自動的に認識するので、そのシーンに特有の
初期設定を行うことなく人物の行動意図を推測できると
いう汎用性も有する。
が、本実施形態の装置は任意の装置ないしシステムと組
み合わせることが可能である。例えば、本装置を車両に
適用した場合、歩行者の行動意図を自動的に推測して自
車と衝突の可能性がある場合には危険信号を発したり、
ブレーキを作動させるなどの態様が可能である。また、
本装置をレストランでのサービスに利用した場合、客の
行動意図を自動推測して客のもとに速やかに店員を配置
することも可能となる。また、不審者の検出を目的とし
た警備システム、あるいは調理講習を目的とした調理教
示システムへ利用することも可能となる。また、本装置
はシーンを自動的に認識するので、そのシーンに特有の
初期設定を行うことなく人物の行動意図を推測できると
いう汎用性も有する。
【００４１】
【発明の効果】以上説明したように、本発明によれば、
画像の意味するシーンを機械的に自動認識でき、さらに
そのシーンにおける人物の行動意図を機械的に自動認識
することができる。
画像の意味するシーンを機械的に自動認識でき、さらに
そのシーンにおける人物の行動意図を機械的に自動認識
することができる。
【図１】 本発明の実施形態の構成ブロック図である。
【図２】 図１における認知部の処理フローチャートで
ある。
ある。
【図３】 図１におけるシーン認知部の処理フローチャ
ートである。
ートである。
【図４】 図１における推測部の処理フローチャートで
ある。
ある。
【図５】 図１におけるシーン認知部の他の処理フロー
チャートである。
チャートである。
【図６】 図１における推測部の他の処理フローチャー
トである。
トである。
【図７】 図１におけるシーン認知部のさらに他の処理
フローチャートである。
フローチャートである。
【図８】 図１における推測部のさらに他の処理フロー
チャートである。
チャートである。
１０ 撮像部、１２ 画像処理部、１４ 認知部、１６
オブジェクトデータベース、１８ シーン認知部、２
０ 真偽表データベース、２２ 推測部、２４行動デー
タベース。
オブジェクトデータベース、１８ シーン認知部、２
０ 真偽表データベース、２２ 推測部、２４行動デー
タベース。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 信次 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内 (72)発明者 原 佳子 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内 Ｆターム(参考） 5L096 BA02 CA02 DA05 FA19 FA72 HA09 HA13 JA16 KA17
Claims (5)
- 【請求項１】 画像内のオブジェクトを抽出する抽出手
段と、 抽出された前記オブジェクトの属性を認識する属性認識
手段と、 前記オブジェクトの属性に基づいて前記画像のシーンを
認識するシーン認識手段と、 を有することを特徴とするシーン認識装置。 - 【請求項２】 請求項１記載の装置において、さらに、 前記シーン認識装置で認識されたシーン及び前記オブジ
ェクト内の人物オブジェクトの属性に基づいて前記人物
の行動を認識する行動認識手段を有することを特徴とす
るシーン認識装置。 - 【請求項３】 請求項２記載の装置において、 前記行動認識手段は、前記シーン認識手段で認識された
シーンに対する複数の可能な行動の中から、前記人物オ
ブジェクトの属性に合致する行動を選択し、選択した行
動から前記オブジェクト内の物体オブジェクトに基づい
て人物の行動意図を特定することを特徴とするシーン認
識装置。 - 【請求項４】 請求項１〜３のいずれかに記載の装置に
おいて、 前記シーン認識手段は、シーンとオブジェクトの可能な
組み合わせの中から、抽出された前記オブジェクトを有
するシーンを選択することによりシーンを認識すること
を特徴とするシーン認識装置。 - 【請求項５】 請求項１〜４のいずれかに記載の装置に
おいて、 前記シーン認識手段は、シーン候補が複数存在する場合
には、前記シーン候補と前記オブジェクト内の人物オブ
ジェクトの属性に基づいて選択することを特徴とするシ
ーン認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11099092A JP2000293685A (ja) | 1999-04-06 | 1999-04-06 | シーン認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11099092A JP2000293685A (ja) | 1999-04-06 | 1999-04-06 | シーン認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000293685A true JP2000293685A (ja) | 2000-10-20 |
Family
ID=14238252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11099092A Pending JP2000293685A (ja) | 1999-04-06 | 1999-04-06 | シーン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000293685A (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206177A (ja) * | 2002-12-24 | 2004-07-22 | Casio Comput Co Ltd | 注文品確認システム並びにプログラム |
| JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
| WO2005088542A1 (ja) * | 2004-03-17 | 2005-09-22 | Matsushita Electric Industrial Co., Ltd. | 食材調理操作認識システム及び食材調理操作認識プログラム |
| JP2006059053A (ja) * | 2004-08-19 | 2006-03-02 | Hitachi Ltd | 施設内情報提供システム及び施設内情報提供方法 |
| JP2010170212A (ja) * | 2009-01-20 | 2010-08-05 | Sogo Keibi Hosho Co Ltd | 行動推定装置および方法 |
| WO2013089041A1 (ja) * | 2011-12-15 | 2013-06-20 | 日本電気株式会社 | 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム |
| US8509523B2 (en) | 2004-07-26 | 2013-08-13 | Tk Holdings, Inc. | Method of identifying an object in a visual scene |
| JP2013157875A (ja) * | 2012-01-31 | 2013-08-15 | Canon Inc | 映像撮影装置及び映像撮影方法 |
| CN106864368A (zh) * | 2015-12-11 | 2017-06-20 | 罗伯特·博世有限公司 | 应用于车辆的警示方法及系统 |
| WO2018042959A1 (ja) * | 2016-08-29 | 2018-03-08 | 京セラドキュメントソリューションズ株式会社 | 動画データ解析装置及び動画データ解析方法 |
| WO2018163555A1 (ja) * | 2017-03-07 | 2018-09-13 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| KR20200054277A (ko) * | 2017-11-03 | 2020-05-19 | 알리바바 그룹 홀딩 리미티드 | 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치 |
| JP2021034015A (ja) * | 2019-08-20 | 2021-03-01 | 富士通株式会社 | ターゲット検索装置及び方法、電子機器 |
| WO2021095351A1 (ja) * | 2019-11-13 | 2021-05-20 | アイシースクウェアパートナーズ株式会社 | 監視装置、監視方法、及びプログラム |
| US11481558B2 (en) | 2018-09-12 | 2022-10-25 | Samsung Electroncis Co., Ltd. | System and method for a scene builder |
| JP2023098505A (ja) * | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| JP2023098506A (ja) * | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| WO2024004209A1 (ja) * | 2022-07-01 | 2024-01-04 | 日本電信電話株式会社 | 推定装置、学習装置、方法およびプログラム |
| WO2024236779A1 (ja) * | 2023-05-17 | 2024-11-21 | 日本電信電話株式会社 | 行動認識装置、方法およびプログラム |
| WO2025142822A1 (ja) * | 2023-12-25 | 2025-07-03 | パナソニックＩｐマネジメント株式会社 | 学習データ生成装置、学習データ生成方法、及びプログラム |
-
1999
- 1999-04-06 JP JP11099092A patent/JP2000293685A/ja active Pending
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206177A (ja) * | 2002-12-24 | 2004-07-22 | Casio Comput Co Ltd | 注文品確認システム並びにプログラム |
| US8094881B2 (en) | 2004-01-15 | 2012-01-10 | Canon Kabushiki Kaisha | Action recognition apparatus and method, moving-object recognition apparatus and method, device control apparatus and method, and program |
| JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
| WO2005088542A1 (ja) * | 2004-03-17 | 2005-09-22 | Matsushita Electric Industrial Co., Ltd. | 食材調理操作認識システム及び食材調理操作認識プログラム |
| US7454390B2 (en) | 2004-03-17 | 2008-11-18 | Panasonic Corporation | Ingredient cooking-operation recognition system and computer-readable recording medium which is recorded with ingredient cooking-operation recognition program |
| CN100538742C (zh) * | 2004-03-17 | 2009-09-09 | 松下电器产业株式会社 | 食品材料烹调操作识别系统及食品材料烹调操作识别方法 |
| US9330321B2 (en) | 2004-07-26 | 2016-05-03 | Tk Holdings, Inc. | Method of processing an image of a visual scene |
| US8509523B2 (en) | 2004-07-26 | 2013-08-13 | Tk Holdings, Inc. | Method of identifying an object in a visual scene |
| US8594370B2 (en) | 2004-07-26 | 2013-11-26 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
| JP2006059053A (ja) * | 2004-08-19 | 2006-03-02 | Hitachi Ltd | 施設内情報提供システム及び施設内情報提供方法 |
| JP2010170212A (ja) * | 2009-01-20 | 2010-08-05 | Sogo Keibi Hosho Co Ltd | 行動推定装置および方法 |
| WO2013089041A1 (ja) * | 2011-12-15 | 2013-06-20 | 日本電気株式会社 | 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム |
| JP2013157875A (ja) * | 2012-01-31 | 2013-08-15 | Canon Inc | 映像撮影装置及び映像撮影方法 |
| CN106864368A (zh) * | 2015-12-11 | 2017-06-20 | 罗伯特·博世有限公司 | 应用于车辆的警示方法及系统 |
| WO2018042959A1 (ja) * | 2016-08-29 | 2018-03-08 | 京セラドキュメントソリューションズ株式会社 | 動画データ解析装置及び動画データ解析方法 |
| WO2018163555A1 (ja) * | 2017-03-07 | 2018-09-13 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| KR20200054277A (ko) * | 2017-11-03 | 2020-05-19 | 알리바바 그룹 홀딩 리미티드 | 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치 |
| KR102256895B1 (ko) | 2017-11-03 | 2021-05-31 | 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. | 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치 |
| US10990813B2 (en) | 2017-11-03 | 2021-04-27 | Advanced New Technologies Co., Ltd. | Method and apparatus for recognizing illegal behavior in unattended scenario |
| KR102429739B1 (ko) | 2017-11-03 | 2022-08-04 | 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. | 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치 |
| KR20210057838A (ko) * | 2017-11-03 | 2021-05-21 | 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. | 무인 시나리오에서의 불법 행위를 인식하기 위한 방법 및 장치 |
| US11481558B2 (en) | 2018-09-12 | 2022-10-25 | Samsung Electroncis Co., Ltd. | System and method for a scene builder |
| JP7491057B2 (ja) | 2019-08-20 | 2024-05-28 | 富士通株式会社 | ターゲット検索装置及び方法、電子機器 |
| JP2021034015A (ja) * | 2019-08-20 | 2021-03-01 | 富士通株式会社 | ターゲット検索装置及び方法、電子機器 |
| JP2021077295A (ja) * | 2019-11-13 | 2021-05-20 | 尚範 伊達 | 監視装置、監視方法、及びプログラム |
| WO2021095351A1 (ja) * | 2019-11-13 | 2021-05-20 | アイシースクウェアパートナーズ株式会社 | 監視装置、監視方法、及びプログラム |
| JP2023098505A (ja) * | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| JP2023098506A (ja) * | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| JP7771747B2 (ja) | 2021-12-28 | 2025-11-18 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| JP7800134B2 (ja) | 2021-12-28 | 2026-01-16 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| WO2024004209A1 (ja) * | 2022-07-01 | 2024-01-04 | 日本電信電話株式会社 | 推定装置、学習装置、方法およびプログラム |
| JPWO2024004209A1 (ja) * | 2022-07-01 | 2024-01-04 | ||
| JP7754316B2 (ja) | 2022-07-01 | 2025-10-15 | Ｎｔｔ株式会社 | 推定装置、学習装置、方法およびプログラム |
| WO2024236779A1 (ja) * | 2023-05-17 | 2024-11-21 | 日本電信電話株式会社 | 行動認識装置、方法およびプログラム |
| WO2025142822A1 (ja) * | 2023-12-25 | 2025-07-03 | パナソニックＩｐマネジメント株式会社 | 学習データ生成装置、学習データ生成方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000293685A (ja) | シーン認識装置 | |
| US8438084B1 (en) | Method and system for inventory verification | |
| CN100380392C (zh) | 台面式信息终端 | |
| CN106547812B (zh) | 商业信息提供系统以及商业信息提供方法 | |
| US20060186197A1 (en) | Method and apparatus for wireless customer interaction with the attendants working in a restaurant | |
| JP2019145022A (ja) | 店舗情報提供システム、サーバ、店舗情報提供方法、及びプログラム | |
| JPWO2017022306A1 (ja) | 情報処理システム、及び情報処理方法 | |
| CN105635515B (zh) | 图像处理装置、图像处理装置的控制方法、图像处理系统 | |
| US20200167850A1 (en) | System and method for distribution of customized orders | |
| Engles | " Who Are You, Literally?": Fantasies of the White Self in White Noise | |
| US20070034694A1 (en) | Interactive display system with indicia reader | |
| CN110796017A (zh) | 物品遗落的确定方法和装置、模型训练方法和装置 | |
| KR20200123069A (ko) | 급식관리 시스템 및 이의 운영방법 | |
| KR20180083784A (ko) | 식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법 | |
| US12200352B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| CN111985985B (zh) | 门店信息的提取方法及装置、存储介质、电子装置 | |
| WO2018020608A1 (ja) | 在庫管理システム、在庫管理方法、および在庫管理プログラム | |
| JPH10176362A (ja) | 健康管理装置 | |
| JP2004133904A (ja) | 飲食店用マーケティングデータ収集システム | |
| US20100164865A1 (en) | Information providing system and information providing method | |
| JP4884069B2 (ja) | オーダリングシステム | |
| JP2004139141A (ja) | 飲食店用マーケティングデータ収集システム | |
| JP2002304455A (ja) | 飲食店の利用状況提供方法 | |
| JP2015220597A (ja) | 電子機器及びプログラム | |
| JP7771247B2 (ja) | 混雑状況表示システム、混雑状況表示方法、及びプログラム |