WO2012172629A1 - 歩行者動作予測装置 - Google Patents

歩行者動作予測装置 Download PDF

Info

Publication number
WO2012172629A1
WO2012172629A1 PCT/JP2011/063515 JP2011063515W WO2012172629A1 WO 2012172629 A1 WO2012172629 A1 WO 2012172629A1 JP 2011063515 W JP2011063515 W JP 2011063515W WO 2012172629 A1 WO2012172629 A1 WO 2012172629A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
shape
prediction device
motion prediction
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/063515
Other languages
English (en)
French (fr)
Inventor
小川　雅弘
金道　敏樹
船山　竜士
匡章 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to DE112011105330.4T priority Critical patent/DE112011105330T5/de
Priority to US14/125,862 priority patent/US9507998B2/en
Priority to PCT/JP2011/063515 priority patent/WO2012172629A1/ja
Priority to JP2013520341A priority patent/JP5737397B2/ja
Publication of WO2012172629A1 publication Critical patent/WO2012172629A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a pedestrian motion prediction device.
  • an edge image is generated from image data input from an external sensor, the opening W of the left and right legs of the pedestrian candidate is detected, and the head of the pedestrian candidate is estimated, and this head
  • the height H of the pedestrian candidate is estimated according to the position of the part, and the ratio (W / H) of the leg W to the height H is greater than or equal to a predetermined value ⁇ based on the height H of the pedestrian candidate and the opening W of the leg.
  • a pedestrian recognition device is disclosed that determines whether or not there is a possibility that a pedestrian candidate crosses the course of the host vehicle.
  • Patent Documents 2 to 4 can be cited as other prior art documents.
  • Patent Document 2 the time series change of the position and moving speed of the pedestrian existing in front of the own vehicle and the peripheral information are acquired, and the time series change of the acquired position and moving speed and the pedestrian jumps out on the roadway.
  • Patent Document 3 includes a database for storing two-dimensional shape data for detecting a pedestrian, estimates a first three-dimensional model based on the detected pedestrian imaging data, and based on the first three-dimensional model.
  • a vehicle pedestrian detection device for estimating the future motion of a pedestrian is disclosed.
  • a representative point of a pedestrian (head, neck, hip joint, knee joint, ankle joint, etc.) is identified from image data, and a straight line connecting the identified representative points is parallel to the ground surface.
  • a pedestrian recognition support device that calculates angle information of each part of a pedestrian based on a straight line or the like and determines a movement state of the pedestrian based on the calculated angle information.
  • This invention is made in view of said situation, Comprising: Before a pedestrian actually starts jumping out, providing the pedestrian movement prediction apparatus which can predict the possibility of jumping out accurately. With the goal.
  • the present invention is characterized by predicting pedestrian jumping based on a result of collating the detected pedestrian shape with a pedestrian shape prepared in advance having a possibility of jumping out.
  • it is good also as a structure which estimates popping-out of a pedestrian based on the combination of the said pedestrian shape detected at a certain time and the said pedestrian shape detected after the said certain time.
  • the detected pedestrian shape is recorded in time series, the periodicity of the recorded time series of the pedestrian shape is analyzed, and pedestrian jumping is predicted based on the analyzed change in periodicity. It is good also as a structure.
  • the detected pedestrian shape is recorded in time series, and it is determined whether or not the speed of the pedestrian is continuous based on the recorded time series of the pedestrian shape, and based on the result of the determination.
  • the present invention predicts the pedestrian's popping out based on the result of collating the detected pedestrian shape with a pedestrian shape prepared in advance with the possibility of popping out, the pedestrian actually starts popping out Before, there is an effect that the possibility of popping out can be accurately predicted.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a pedestrian motion prediction apparatus according to the first embodiment.
  • FIG. 2 is a flowchart illustrating an example of an operation executed by the pedestrian motion prediction device according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur.
  • FIG. 4 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur.
  • FIG. 5 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur.
  • FIG. 6 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the pedestrian motion prediction apparatus according to the second embodiment.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a pedestrian motion prediction apparatus according to the first embodiment.
  • FIG. 2 is a flowchart illustrating an example of an operation executed by the pedestrian motion prediction device according to the first embodiment.
  • FIG. 8 is a flowchart illustrating an example of an operation executed by the pedestrian motion prediction device according to the second embodiment.
  • FIG. 9 is a block diagram illustrating an example of the configuration of the pedestrian motion prediction apparatus according to the third embodiment.
  • FIG. 10 is a flowchart illustrating an example of an operation executed by the pedestrian motion prediction device according to the third embodiment.
  • FIG. 11 is a diagram illustrating an example of a periodic change in pedestrian shape.
  • FIG. 1 is a block diagram showing an example of the configuration of the pedestrian motion prediction apparatus according to the first embodiment.
  • the pedestrian motion prediction device 1 is configured using, for example, a general-purpose personal computer, and is connected to a camera 2 mounted on a vehicle so as to be communicable.
  • the camera 2 is a device that captures the periphery of the host vehicle and generates image data in which the periphery of the host vehicle is projected.
  • the pedestrian motion prediction device 1 includes a control unit 12 and a storage unit 14.
  • the control unit 12 is for comprehensively controlling the pedestrian motion prediction device 1 and is, for example, a CPU (Central Processing Unit).
  • the storage unit 14 is for storing data, and is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), or a hard disk.
  • the storage unit 14 includes a collation data storage unit 14a.
  • the collation data storage unit 14a stores the shape of a pedestrian that is likely to occur in various changing traffic environments (for example, forward tilt, body orientation, leg opening in the front-rear direction, or leg opening in the left-right direction). ) Is stored, or a learned classifier group or a pedestrian recognition template (image) group is stored.
  • the control unit 12 includes a detection unit 12a, an acquisition unit 12b, and a prediction unit 12c.
  • the detection unit 12 a detects a pedestrian from the image data input from the camera 2.
  • the acquisition unit 12b acquires the shape of the pedestrian detected by the detection unit 12a.
  • the prediction unit 12c predicts a pedestrian's action (for example, a pedestrian's jump-out) based on the shape of the pedestrian acquired by the acquisition unit 12b.
  • FIG. 2 is a flowchart showing an example of an operation executed by the pedestrian motion prediction device 1.
  • the detection part 12a detects a pedestrian from the image data input from the camera 2, and cuts out the part where the detected pedestrian is projected from the image data (step SA1).
  • the acquisition unit 12b uses the learned classifier group or the pedestrian recognition template stored in the collation data storage unit 14a as the shape of the pedestrian copied in the partial image data cut out in step SA1.
  • the shape is classified (step SA2).
  • the acquisition unit 12b extracts a feature vector (feature amount) from the partial image data, identifies the extracted feature vector on the identification plane formed by the learned classifier, and is copied to the partial image data.
  • Class of pedestrian shape for example, forward tilt posture class as shown in FIG. 3, upper body orientation class as shown in FIG. 4, leg forward and backward opening class as shown in FIG. 5 , And the like, the class of opening of the leg in the left-right direction as shown in FIG. 6 is determined.
  • the acquisition unit 12b collates the shape of the pedestrian projected in the partial image data with the shape of the pedestrian in the template for pedestrian recognition, so that the pedestrian projected in the partial image data Determine the shape class.
  • the classes of pedestrian shapes can also be divided into classes such as “normal walking motion” and “other than that”.
  • the prediction unit 12c predicts a pedestrian's movement (for example, the direction in which the pedestrian jumps out) based on the classification result obtained in step SA2 (step SA3). For example, the predicting unit 12c predicts that the pedestrian jumps in the forward tilt direction (the arrow direction in FIG. 3) when the classification result relates to the class of the forward tilt posture. Further, for example, when the result of classification is related to the class of the upper body direction, the prediction unit 12c jumps in the direction in which the upper body is facing (the arrow direction in FIG. 4). Predict. For example, the prediction unit 12c predicts that the pedestrian jumps forward (in the direction of the arrow in FIG.
  • the prediction unit 12c predicts that the pedestrian jumps out in the left direction (the arrow direction in FIG. 6) when the result of the classification is related to the opening class of the leg in the left-right direction. To do.
  • the class of the pedestrian shape is divided into the “normal walking motion” class and the “other than that” class, only the presence or absence of the jump is predicted.
  • FIG. 7 is a block diagram showing an example of the configuration of the pedestrian motion prediction apparatus according to the second embodiment.
  • the control unit 12 further includes an accumulation unit 12d in addition to the detection unit 12a, the acquisition unit 12b, and the prediction unit 12c described in the first embodiment.
  • the storage unit 14 further includes a shape data storage unit 14b in addition to the collation data storage unit 14a described in the first embodiment.
  • the accumulation unit 12d accumulates the shape of the pedestrian acquired by the acquisition unit 12b in the shape data storage unit 14b.
  • the prediction unit 12c predicts a pedestrian's action (for example, a pedestrian's pop-out) based on a combination of pedestrian shapes accumulated in the shape data storage unit 14b.
  • the shape data storage unit 14b is for storing data relating to the shape of the pedestrian.
  • FIG. 8 is a flowchart showing an example of an operation executed by the pedestrian motion prediction device according to the second embodiment.
  • the detection unit 12a detects a pedestrian from the image data input from the camera 2, and cuts out a portion where the detected pedestrian is projected from the image data (step SB1).
  • the acquisition unit 12b uses the learned classifier group or pedestrian recognition template stored in the collation data storage unit 14a as the shape of the pedestrian copied in the partial image data cut out in step SB1. By matching with the group, the shape is classified (step SB2).
  • the accumulating unit 12d accumulates the classification result obtained in Step SB2 in the shape data storage unit 14b (Step SB3).
  • the prediction unit 12c predicts a pedestrian's action (for example, a pedestrian's jumping direction or a pedestrian's jumping speed) based on a combination of classification results accumulated in the shape data storage unit 14b.
  • a pedestrian's action for example, a pedestrian's jumping direction or a pedestrian's jumping speed
  • the classification result regarding the shape of the pedestrian projected in the partial image data at a certain time point relates to the class of the body orientation, and the time point after the certain time point
  • the classification result for the shape of the pedestrian projected in the partial image data is related to the forward leaning posture class, the pedestrian's posture starts to move from the state where it is about to move. Assuming that it has changed, it is predicted that the pedestrian will jump forward.
  • FIG. 9 is a block diagram showing an example of the configuration of the pedestrian motion prediction apparatus according to the third embodiment.
  • the control unit 12 includes a recording unit 12e and an analysis unit 12f in addition to the detection unit 12a, the acquisition unit 12b, and the prediction unit 12c described in the first embodiment.
  • the storage unit 14 further includes a shape data storage unit 14b in addition to the collation data storage unit 14a described in the first embodiment.
  • the recording unit 12e records the pedestrian shape acquired by the acquisition unit 12b in the shape data storage unit 14b in time series. Based on the time-series pedestrian shape recorded in the shape data storage unit 14b, the analysis unit 12f analyzes the periodicity of the shape (for example, a periodic change in the shape of the pedestrian). The prediction unit 12c predicts a pedestrian's action (for example, a pedestrian's jump-out) based on the analysis result of the analysis unit 12f.
  • the shape data storage unit 14b is for storing data relating to the shape of the pedestrian in time series.
  • FIG. 10 is a flowchart illustrating an example of an operation executed by the pedestrian motion prediction device according to the third embodiment.
  • the detection part 12a detects a pedestrian from the image data input from the camera 2, and cuts out the part where the detected pedestrian is projected from the image data (step SC1).
  • the acquisition unit 12b uses the learned classifier group or pedestrian recognition template stored in the collation data storage unit 14a as the shape of the pedestrian copied in the partial image data cut out in step SC1.
  • the shape is classified by collating with the group (step SC2).
  • the feature amount itself is held as the shape of the pedestrian.
  • the recording unit 12e records the classification result obtained in step SC2 or the feature quantity itself in the shape data storage unit 14b in time series (step SC3).
  • the analysis unit 12f analyzes the periodicity of the shape of the pedestrian based on the time-series classification result recorded in the shape data storage unit 14b or the feature amount itself (step SC4). For example, the analysis unit 12f detects periodic breakage from the periodic change shown in FIG. 11 regarding the leg width of the pedestrian obtained from the result of the time-series classification. Alternatively, a certain distance or something equivalent to it, for example, the amount of Kullback-Leibler information, is calculated in the feature amount space, the similarity with n frames before is calculated, and the periodicity breakage is detected.
  • the prediction unit 12 c determines the pedestrian movement (for example, the direction in which the pedestrian jumps out or the speed at which the pedestrian jumps out). Prediction is made (step SC5). For example, when the periodicity break is detected in step SC4, the prediction unit 12c predicts that the pedestrian jumps out at the time of the break (see FIG. 11). Further, for example, as shown in FIG. 11, the prediction unit 12 c is based on the change amount of the leg width of the pedestrian before and after the time when the periodicity is broken, and at a speed corresponding to the change amount. Predict that will jump out.
  • the prediction unit 12c determines the speed of pedestrian movement (the direction and speed of movement) based on the time-series pedestrian shape (result of time-series classification) recorded in the shape data storage unit 14b. ) Is continuous, and the pedestrian jumping direction and the jumping speed may be predicted based on the determination result.
  • the pedestrian jumps out of the road by predicting the posture or motion change that is a precursor to jumping out on the road.
  • the pedestrian shape detected by the sensor is collated with pedestrian shape information related to the precursor behavior of the pedestrian who has a possibility of jumping out, and the jump of the pedestrian is predicted based on the collation result. Thereby, before the pedestrian actually starts to jump out, the possibility of jumping out can be accurately predicted.
  • the pedestrian's pop-up is predicted by a combination of the pedestrian shape detected at a certain moment and the pedestrian shape detected after that, the prediction of the possibility of pop-out is performed. Accuracy can be improved.
  • the time series information of the detected pedestrian shape is recorded, the periodicity of the pedestrian shape is analyzed based on the time series information, and the pedestrian shape obtained by the analysis Since the pedestrian's popping out is predicted based on the change in the periodicity, the prediction accuracy of the popping out possibility can be improved.
  • the time series information of the detected pedestrian shape is recorded, the continuity of the pedestrian speed is analyzed based on the time series information, and the pedestrian speed obtained by the analysis is recorded.
  • the prediction accuracy of the possibility of pop-out can be improved. Further, according to the above-described embodiment, as the pedestrian shape, at least one of a pedestrian's forward tilt posture, an upper body orientation, a leg opening in the front-rear direction, and a leg opening in the left-right direction is acquired. Therefore, the prediction accuracy of the possibility of popping out can be improved.
  • the pedestrian motion prediction apparatus is useful in the automobile manufacturing industry, and is particularly suitable for predicting pop-up of pedestrians around a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　実際に歩行者が飛び出しを開始する前に、飛び出しの可能性を精度良く予測することができる歩行者動作予測装置を提供することを課題とする。本実施形態によれば、入力された画像データから歩行者を検出し、検出した歩行者が写し出されている部分を当該画像データから切り出し、切り出された部分画像データに写し出されている歩行者の形状を学習済み識別器群または歩行者認識用テンプレート群と照合することで当該形状のクラス分けを行い、得られたクラス分けの結果に基づいて歩行者の飛び出しを予測する。

Description

歩行者動作予測装置
　本発明は歩行者動作予測装置に関する。
　特許文献１には、外界センサから入力される画像データからエッジ画像を生成し、歩行者候補の左右の脚部の開度Ｗを検出すると共に、歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の身長Ｈを推定し、歩行者候補の身長Ｈおよび脚部の開度Ｗに基づき、身長Ｈに対する脚部Ｗの比率（Ｗ／Ｈ）が所定値α以上であるか否かを判定することにより、歩行者候補が自車両の進路を横断する可能性があるか否かを判定する歩行者認識装置が開示されている。
　なお、その他の先行技術文献としては、特許文献２から４が挙げられる。特許文献２には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得した位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンとを比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。特許文献３には、歩行者を検出するための２次元形状データを記憶するデータベースを備え、検出された歩行者の撮像データに基づき第１立体モデルを推定し、この第１立体モデルに基づいて歩行者の将来動作を推定する車両の歩行者検出装置が開示されている。特許文献４には、画像のデータから歩行者の代表点（頭部、首部、股関節、膝関節、及び足首関節等）を特定し、特定された代表点同士を結ぶ直線及び地表面と平行な直線等に基づいて歩行者の各部位の角度情報を算出し、算出した角度情報に基づいて歩行者の移動状態を判定する歩行者認識支援装置が開示されている。
特開２００７－２６４７７８号公報 特開２０１０－１０２４３７号公報 特開２０１０－０７９６３９号公報 特開２０１０－１６５００３号公報
　しかしながら、身長Ｈに対する脚部の開度Ｗの比率で歩行者行動を予測するため、歩行者が横断を開始して（具体的には、歩行者が飛び出しの一歩目を踏み出して）からしか横断の可能性を判定することができないという問題点があった。また、身長Ｈに対する脚部の開度Ｗの比率で歩行者行動を予測するため、小さい歩幅で飛び出す歩行者に対しては判定精度が悪くなるという問題点があった。
　本発明は、上記の事情に鑑みてなされたものであって、実際に歩行者が飛び出しを開始する前に、飛び出しの可能性を精度良く予測することができる歩行者動作予測装置を提供することを目的とする。
　本発明は、検出された歩行者形状を、飛び出す可能性を持つ予め用意された歩行者形状と照合した結果に基づいて、歩行者の飛び出しを予測すること、を特徴とする。なお、ある時点に検出された前記歩行者形状と当該ある時点後に検出された前記歩行者形状との組み合わせに基づいて、歩行者の飛び出しを予測するという構成としても良い。また、検出された前記歩行者形状を時系列で記録し、記録した時系列の前記歩行者形状の周期性を解析し、解析した当該周期性の変化に基づいて歩行者の飛び出しを予測するという構成としても良い。また、検出された前記歩行者形状を時系列で記録し、記録した時系列の前記歩行者形状に基づいて歩行者の速度が連続であるか否かを判定し、当該判定の結果に基づいて歩行者の飛び出しを予測するという構成としても良い。また、歩行者の、前傾姿勢、上体の向き、脚の前後方向への開き、および脚の左右方向への開きのうち少なくとも１つを前記歩行者形状として取得するという構成としても良い。
　本発明は、検出された歩行者形状を、飛び出す可能性を持つ予め用意された歩行者形状と照合した結果に基づいて、歩行者の飛び出しを予測するので、実際に歩行者が飛び出しを開始する前に、飛び出しの可能性を精度良く予測することができるという効果を奏する。
図１は、第１実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。 図２は、第１実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。 図３は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図４は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図５は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図６は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図７は、第２実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。 図８は、第２実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。 図９は、第３実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。 図１０は、第３実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。 図１１は、歩行者形状の周期的変化の一例を示す図である。
　以下に、本発明にかかる歩行者動作予測装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
〔第１実施形態〕
　第１実施形態にかかる歩行者動作予測装置の構成および当該歩行者動作予測装置で実行される動作について、図１から図６を参照して詳細に説明する。
　図１は、第１実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。歩行者動作予測装置１は、例えば汎用のパーソナルコンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。
　歩行者動作予測装置１は、制御部１２および記憶部１４を備えている。制御部１２は、歩行者動作予測装置１を統括的に制御するためのものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、またはハードディスクなどである。
　記憶部１４は、照合用データ記憶部１４ａを備えている。照合用データ記憶部１４ａには、変化する様々な交通環境において起こり易い歩行者の形状（例えば、前傾、上体の向き、脚の前後方向への開き、または脚の左右方向への開き等）を検出し易い学習済み識別器群または歩行者認識用テンプレート（画像）群が格納されている。
　制御部１２は、検出部１２ａ、取得部１２ｂ、および予測部１２ｃを備えている。検出部１２ａは、カメラ２から入力された画像データから歩行者を検出する。取得部１２ｂは、検出部１２ａで検出された歩行者の形状を取得する。予測部１２ｃは、取得部１２ｂで取得された歩行者の形状に基づいて歩行者の動作（例えば歩行者の飛び出しなど）を予測する。
　図２は、歩行者動作予測装置１で実行される動作の一例を示すフローチャートである。まず、検出部１２ａは、カメラ２から入力された画像データから歩行者を検出し、検出した歩行者が写し出されている部分を当該画像データから切り出す（ステップＳＡ１）。
　つぎに、取得部１２ｂは、ステップＳＡ１で切り出された部分画像データに写し出されている歩行者の形状を、照合用データ記憶部１４ａに格納されている学習済み識別器群または歩行者認識用テンプレート群と照合することで、当該形状のクラス分けを行う（ステップＳＡ２）。例えば、取得部１２ｂは、部分画像データから特徴ベクトル（特徴量）を抽出し、抽出された特徴ベクトルを学習済み識別器で形成される識別面で識別することにより、部分画像データに写し出されている歩行者の形状のクラス（例えば、図３に示すような前傾姿勢のクラス、図４に示すような上体の向きのクラス、図５に示すような脚の前後方向への開きのクラス、図６に示すような脚の左右方向への開きのクラスなど）を決定する。特徴量としては、ＳＩＦＴやＨＯＧなどのようなエッジに基づくものや、色に基づくもの、頭や手など特徴的なものの位置を符号化したものなどが考えられる。また、例えば、取得部１２ｂは、部分画像データに写し出されている歩行者の形状と歩行者認識用テンプレートの歩行者の形状とを照合することで、部分画像データに写し出されている歩行者の形状のクラスを決定する。歩行者形状のクラスとしては、図３、４、５、６に示すもの以外にも、“通常歩行動作”と“それ以外”のクラスなどに分けることもできる。
　つぎに、予測部１２ｃは、ステップＳＡ２で得られたクラス分けの結果に基づいて、歩行者の動作（例えば歩行者の飛び出す方向など）を予測する（ステップＳＡ３）。例えば、予測部１２ｃは、クラス分けの結果が前傾姿勢のクラスに関するものであった場合には、歩行者が前傾方向（図３の矢印方向）に飛び出すと予測する。また、例えば、予測部１２ｃは、クラス分けの結果が上体の向きのクラスに関するものであった場合には、歩行者がその上体の向いている方向（図４の矢印方向）に飛び出すと予測する。また、例えば、予測部１２ｃは、クラス分けの結果が脚の前後方向への開きのクラスに関するものであった場合には、歩行者が前方向（図５の矢印方向）に飛び出すと予測する。また、例えば、予測部１２ｃは、クラス分けの結果が脚の左右方向への開きのクラスに関するものであった場合には、歩行者が自身の左方向（図６の矢印方向）に飛び出すと予測する。歩行者形状のクラスとして、“通常歩行動作”と“それ以外”のクラスに分けた場合は、飛び出しが“ある”か“ない”かのみを予測する。
〔第２実施形態〕
　第２実施形態にかかる歩行者動作予測装置の構成および当該歩行者動作予測装置で実行される動作について、図７および図８を参照して詳細に説明する。なお、第１実施形態で説明した内容と重複するものについては省略する場合がある。
　図７は、第２実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。制御部１２は、第１実施形態で説明した検出部１２ａ、取得部１２ｂ、および予測部１２ｃに加え、さらに蓄積部１２ｄを備えている。記憶部１４は、第１実施形態で説明した照合用データ記憶部１４ａに加え、さらに形状データ記憶部１４ｂを備えている。
　蓄積部１２ｄは、取得部１２ｂで取得された歩行者の形状を形状データ記憶部１４ｂに蓄積する。予測部１２ｃは、形状データ記憶部１４ｂに蓄積されている歩行者の形状の組み合わせに基づいて、歩行者の動作（例えば歩行者の飛び出しなど）を予測する。形状データ記憶部１４ｂは、歩行者の形状に関するデータを格納するためのものである。
　図８は、第２実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。まず、検出部１２ａは、カメラ２から入力された画像データから歩行者を検出し、検出した歩行者が写し出されている部分を当該画像データから切り出す（ステップＳＢ１）。
　つぎに、取得部１２ｂは、ステップＳＢ１で切り出された部分画像データに写し出されている歩行者の形状を、照合用データ記憶部１４ａに格納されている学習済み識別器群または歩行者認識用テンプレート群と照合することで、当該形状のクラス分けを行う（ステップＳＢ２）。
　つぎに、蓄積部１２ｄは、ステップＳＢ２で得られたクラス分けの結果を、形状データ記憶部１４ｂに蓄積する（ステップＳＢ３）。
　つぎに、予測部１２ｃは、形状データ記憶部１４ｂに蓄積されているクラス分けの結果の組み合わせに基づいて、歩行者の動作（例えば歩行者の飛び出す方向または歩行者の飛び出す速さなど）を予測する（ステップＳＢ４）。例えば、予測部１２ｃは、或る時点の部分画像データに写し出されている歩行者の形状についてのクラス分けの結果が上体の向きのクラスに関するものであり、且つ当該或る時点後の時点の部分画像データに写し出されている歩行者の形状についてのクラス分けの結果が前傾姿勢のクラスに関するものであった場合には、歩行者の姿勢が動き出そうとしている状態から動き出し始めた状態に変化したと見做して、歩行者が前傾方向に飛び出すと予測する。
〔第３実施形態〕
　第３実施形態にかかる歩行者動作予測装置の構成および当該歩行者動作予測装置で実行される動作について、図９から図１１を参照して詳細に説明する。なお、第１実施形態または第２実施形態で説明した内容と重複するものについては省略する場合がある。
　図９は、第３実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。制御部１２は、第１実施形態で説明した検出部１２ａ、取得部１２ｂ、および予測部１２ｃに加え、さらに記録部１２ｅおよび解析部１２ｆを備えている。記憶部１４は、第１実施形態で説明した照合用データ記憶部１４ａに加え、さらに形状データ記憶部１４ｂを備えている。
　記録部１２ｅは、取得部１２ｂで取得された歩行者の形状を、形状データ記憶部１４ｂに時系列で記録する。解析部１２ｆは、形状データ記憶部１４ｂに記録されている時系列の歩行者の形状に基づいて、当該形状の周期性（例えば歩行者の形状の周期的変化など）を解析する。予測部１２ｃは、解析部１２ｆでの解析結果に基づいて、歩行者の動作（例えば歩行者の飛び出しなど）を予測する。形状データ記憶部１４ｂは、歩行者の形状に関するデータを時系列で格納するためのものである。
　図１０は、第３実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。まず、検出部１２ａは、カメラ２から入力された画像データから歩行者を検出し、検出した歩行者が写し出されている部分を当該画像データから切り出す（ステップＳＣ１）。
　つぎに、取得部１２ｂは、ステップＳＣ１で切り出された部分画像データに写し出されている歩行者の形状を、照合用データ記憶部１４ａに格納されている学習済み識別器群または歩行者認識用テンプレート群と照合することで、当該形状のクラス分けを行う（ステップＳＣ２）。または、歩行者の形状として、特徴量そのものを保持する。
　つぎに、記録部１２ｅは、ステップＳＣ２で得られたクラス分けの結果、または特徴量そのものを、形状データ記憶部１４ｂに時系列で記録する（ステップＳＣ３）。
　つぎに、解析部１２ｆは、形状データ記憶部１４ｂに記録されている時系列のクラス分けの結果、または特徴量そのものに基づいて、歩行者の形状の周期性を解析する（ステップＳＣ４）。例えば、解析部１２ｆは、時系列のクラス分けの結果から得られる、歩行者の脚幅に関する図１１に示す周期的変化から、周期性の破れを検出する。または、特徴量空間の中に、何らかの距離、またはそれに準ずるもの、例えば、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ情報量など、を入れ、ｎフレーム前との類似度を計算し、その周期性の破れを検出する。
　つぎに、予測部１２ｃは、ステップＳＣ４で得られた周期性の解析結果（周期性の変化）に基づいて、歩行者の動作（例えば歩行者の飛び出す方向または歩行者の飛び出す速さなど）を予測する（ステップＳＣ５）。例えば、予測部１２ｃは、ステップＳＣ４で周期性の破れが検出された場合には、当該破れがあった時点（図１１参照）で歩行者が飛び出すと予測する。また、例えば、予測部１２ｃは、図１１に示すように、周期性の破れがあった時点前後での歩行者の脚幅の変化量に基づいて、当該変化量に応じた速さで歩行者が飛び出すと予測する。なお、予測部１２ｃは、形状データ記憶部１４ｂに記録されている時系列の歩行者の形状（時系列のクラス分けの結果）に基づいて、歩行者の移動の速度（移動の方向と速さ）が連続であるか否かを判定し、当該判定結果に基づいて歩行者の飛び出し方向と飛び出しの速さを予測してもよい。
〔実施形態のまとめ〕
　以上、上述した実施形態によれば、歩行者が道路に飛び出す前兆となる姿勢または動作変化を捉え、歩行者の飛び出しを予測する。具体的には、センサにより検出した歩行者形状を、飛び出す可能性を持つ歩行者の前兆行動に関する歩行者形状情報と照合し、照合した結果に基づいて歩行者の飛び出しを予測する。これにより、実際に歩行者が飛び出しを開始する前に、飛び出しの可能性を精度良く予測することができる。
　また、上述した実施形態によれば、或る瞬間に検出された歩行者形状と、その後に検出された歩行者形状との組み合わせにより、歩行者の飛び出しを予測するので、飛び出しの可能性の予測精度を向上させることができる。また、上述した実施形態によれば、検出された歩行者形状の時系列情報を記録し、当該時系列情報に基づいて歩行者形状の周期性を解析し、当該解析で得られた歩行者形状の周期性の変化に基づいて歩行者の飛び出しを予測するので、飛び出しの可能性の予測精度を向上させることができる。また、上述した実施形態によれば、検出された歩行者形状の時系列情報を記録し、当該時系列情報に基づいて歩行者速度の連続性を解析し、当該解析で得られた歩行者速度の連続性の変化に基づいて歩行者の飛び出しを予測するので、飛び出しの可能性の予測精度を向上させることができる。また、上述した実施形態によれば、歩行者形状として、歩行者の前傾姿勢、上体の向き、脚の前後方向への開き、および脚の左右方向への開きのうち少なくとも１つを取得するので、飛び出しの可能性の予測精度を向上させることができる。
　以上のように、本発明にかかる歩行者動作予測装置は、自動車製造産業において有用であり、特に、車両周辺の歩行者の飛び出し予測に適している。
　１　歩行者動作予測装置
　　　１２　制御部
　　　　　　１２ａ　検出部
　　　　　　１２ｂ　取得部
　　　　　　１２ｃ　予測部
　　　　　　１２ｄ　蓄積部
　　　　　　１２ｅ　記録部
　　　　　　１２ｆ　解析部
　　　１４　記憶部
　　　　　　１４ａ　照合用データ記憶部
　　　　　　１４ｂ　形状データ記憶部
　２　カメラ

Claims (5)

  1. 　検出された歩行者形状を、飛び出す可能性を持つ予め用意された歩行者形状と照合した結果に基づいて、歩行者の飛び出しを予測すること、
    　を特徴とする歩行者動作予測装置。
  2. 　請求項１に記載の歩行者動作予測装置において、
    　ある時点に検出された前記歩行者形状と当該ある時点後に検出された前記歩行者形状との組み合わせに基づいて、歩行者の飛び出しを予測すること、
    　を特徴とする歩行者動作予測装置。
  3. 　請求項１に記載の歩行者動作予測装置において、
    　検出された前記歩行者形状を時系列で記録し、記録した時系列の前記歩行者形状の周期性を解析し、解析した当該周期性の変化に基づいて歩行者の飛び出しを予測すること、
    　を特徴とする歩行者動作予測装置。
  4. 　請求項１に記載の歩行者動作予測装置において、
    　検出された前記歩行者形状を時系列で記録し、記録した時系列の前記歩行者形状に基づいて歩行者の速度が連続であるか否かを判定し、当該判定の結果に基づいて歩行者の飛び出しを予測すること、
    　を特徴とする歩行者動作予測装置。
  5. 　請求項１に記載の歩行者動作予測装置において、
    　歩行者の、前傾姿勢、上体の向き、脚の前後方向への開き、および脚の左右方向への開きのうち少なくとも１つを前記歩行者形状として取得すること、
    　を特徴とする歩行者動作予測装置。
PCT/JP2011/063515 2011-06-13 2011-06-13 歩行者動作予測装置 Ceased WO2012172629A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112011105330.4T DE112011105330T5 (de) 2011-06-13 2011-06-13 Fußgängerbewegungsvorhersagegerät
US14/125,862 US9507998B2 (en) 2011-06-13 2011-06-13 Pedestrian motion predicting device
PCT/JP2011/063515 WO2012172629A1 (ja) 2011-06-13 2011-06-13 歩行者動作予測装置
JP2013520341A JP5737397B2 (ja) 2011-06-13 2011-06-13 歩行者動作予測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/063515 WO2012172629A1 (ja) 2011-06-13 2011-06-13 歩行者動作予測装置

Publications (1)

Publication Number Publication Date
WO2012172629A1 true WO2012172629A1 (ja) 2012-12-20

Family

ID=47356656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/063515 Ceased WO2012172629A1 (ja) 2011-06-13 2011-06-13 歩行者動作予測装置

Country Status (4)

Country Link
US (1) US9507998B2 (ja)
JP (1) JP5737397B2 (ja)
DE (1) DE112011105330T5 (ja)
WO (1) WO2012172629A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162538A1 (ja) * 2013-04-03 2014-10-09 トヨタ自動車株式会社 検出装置、検出方法、運転支援装置及び運転支援方法
CN104933893A (zh) * 2013-08-02 2015-09-23 本田技研工业株式会社 用于车辆与行人通信的系统和方法
JP2016051247A (ja) * 2014-08-29 2016-04-11 マツダ株式会社 車両用歩行者検出装置
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019053647A (ja) * 2017-09-19 2019-04-04 富士ゼロックス株式会社 行動推定装置及び行動推定プログラム
US11011062B2 (en) 2016-07-07 2021-05-18 Denso Corporation Pedestrian detection apparatus and pedestrian detection method
JPWO2022024212A1 (ja) * 2020-07-28 2022-02-03
JP2023156709A (ja) * 2022-04-13 2023-10-25 トヨタ自動車株式会社 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786178B1 (en) 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US9786177B2 (en) 2015-04-10 2017-10-10 Honda Motor Co., Ltd. Pedestrian path predictions
JP6171046B1 (ja) * 2016-04-26 2017-07-26 京セラ株式会社 電子機器、制御方法、及び制御プログラム
US9989966B2 (en) 2016-05-20 2018-06-05 Delphi Technologies, Inc. Intersection cross-walk navigation system for automated vehicles
JP6334604B2 (ja) 2016-05-24 2018-05-30 京セラ株式会社 車載装置、車両、報知システム、及び報知方法
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
DE102016220450A1 (de) 2016-10-19 2018-04-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, Fortbewegungsmittel und Verfahren zur Abschätzung einer Kollisionswahrscheinlichkeit zwischen einem Fortbewegungsmittel und einem Umgebungsobjekt
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10272876B2 (en) * 2016-12-19 2019-04-30 Peiker Acustic GmbH & Co. KG, Valeo Peiker Telematics Product Line Method of operating an ad hoc network to protect a passenger-as-a-pedestrian and system to protect a passenger-as-a-pedestrian
CN106515578A (zh) * 2016-12-22 2017-03-22 百度在线网络技术（北京）有限公司 无人车驾驶状态的识别装置、识别方法及无人车
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US10579788B2 (en) 2017-08-17 2020-03-03 Waymo Llc Recognizing assigned passengers for autonomous vehicles
JP7347405B2 (ja) * 2020-11-30 2023-09-20 トヨタ自動車株式会社 運転支援システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029346A (ja) * 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2007257459A (ja) * 2006-03-24 2007-10-04 Honda Motor Co Ltd 姿勢判別装置
JP2007264778A (ja) * 2006-03-27 2007-10-11 Honda Motor Co Ltd 歩行者認識装置
JP2007279808A (ja) * 2006-04-03 2007-10-25 Honda Motor Co Ltd 車両周辺監視装置
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
JP2009244985A (ja) * 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc 運転支援装置及び歩行者検出装置
JP2010102437A (ja) * 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc 歩行者飛び出し予測装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004029659A2 (en) * 2002-06-14 2004-04-08 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
WO2005050565A1 (ja) 2003-11-20 2005-06-02 Matsushita Electric Industrial Co., Ltd. 移動物体検出装置及び移動物体検出方法
JP2009012521A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 車両の走行支援システム及び走行支援方法
JP4470067B2 (ja) 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両
JP2010079639A (ja) 2008-09-26 2010-04-08 Mazda Motor Corp 車両の歩行者検出装置
JP2010165003A (ja) 2009-01-13 2010-07-29 Toyota Central R&D Labs Inc 歩行者認識支援装置および歩行者認識支援方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029346A (ja) * 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2007257459A (ja) * 2006-03-24 2007-10-04 Honda Motor Co Ltd 姿勢判別装置
JP2007264778A (ja) * 2006-03-27 2007-10-11 Honda Motor Co Ltd 歩行者認識装置
JP2007279808A (ja) * 2006-04-03 2007-10-25 Honda Motor Co Ltd 車両周辺監視装置
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
JP2009244985A (ja) * 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc 運転支援装置及び歩行者検出装置
JP2010102437A (ja) * 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc 歩行者飛び出し予測装置及びプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5983865B2 (ja) * 2013-04-03 2016-09-06 トヨタ自動車株式会社 検出装置及び運転支援装置
WO2014162538A1 (ja) * 2013-04-03 2014-10-09 トヨタ自動車株式会社 検出装置、検出方法、運転支援装置及び運転支援方法
CN104933893B (zh) * 2013-08-02 2019-04-05 本田技研工业株式会社 用于车辆与行人通信的系统和方法
CN104933893A (zh) * 2013-08-02 2015-09-23 本田技研工业株式会社 用于车辆与行人通信的系统和方法
JP2016051247A (ja) * 2014-08-29 2016-04-11 マツダ株式会社 車両用歩行者検出装置
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置
JPWO2016098238A1 (ja) * 2014-12-19 2017-09-21 株式会社日立製作所 走行制御装置
US10493985B2 (en) 2014-12-19 2019-12-03 Hitachi, Ltd. Travel control device
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017056382A1 (ja) * 2015-09-29 2018-08-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10949656B2 (en) 2015-09-29 2021-03-16 Sony Corporation Information processing apparatus and information processing method
US11915522B2 (en) 2015-09-29 2024-02-27 Sony Corporation Information processing apparatus and information processing method
US11011062B2 (en) 2016-07-07 2021-05-18 Denso Corporation Pedestrian detection apparatus and pedestrian detection method
JP2019053647A (ja) * 2017-09-19 2019-04-04 富士ゼロックス株式会社 行動推定装置及び行動推定プログラム
JP7110568B2 (ja) 2017-09-19 2022-08-02 富士フイルムビジネスイノベーション株式会社 行動推定装置及び行動推定プログラム
JPWO2022024212A1 (ja) * 2020-07-28 2022-02-03
WO2022024212A1 (ja) * 2020-07-28 2022-02-03 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP7420261B2 (ja) 2020-07-28 2024-01-23 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
US12555381B2 (en) 2020-07-28 2026-02-17 Nec Corporation Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP2023156709A (ja) * 2022-04-13 2023-10-25 トヨタ自動車株式会社 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム

Also Published As

Publication number Publication date
JP5737397B2 (ja) 2015-06-17
US9507998B2 (en) 2016-11-29
JPWO2012172629A1 (ja) 2015-02-23
DE112011105330T5 (de) 2014-03-06
US20140112538A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
JP5737397B2 (ja) 歩行者動作予測装置
JP5780307B2 (ja) 対象物変化検出装置および対象物変化検出方法
JP5786947B2 (ja) 歩行者行動予測装置および歩行者行動予測方法
JP5197679B2 (ja) 対象物検出装置及びプログラム
US7139411B2 (en) Pedestrian detection and tracking with night vision
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
US10474884B2 (en) Action determination device
JP2011065338A (ja) 対象物追跡装置及びプログラム
JP6776719B2 (ja) 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
JP5838940B2 (ja) 画像処理装置及び車両制御システム
JP2012221162A (ja) 対象物検出装置及びプログラム
JP2013205410A (ja) 車両用外界認識装置およびそれを用いた車両システム
JP2012118683A (ja) 歩行者認識装置
JP5832089B2 (ja) 映像処理装置、映像処理方法およびプログラム
JP2016015043A (ja) 対象物認識装置
JP2013008315A (ja) 歩行者認識装置
JP5258651B2 (ja) 物体検出装置、物体検出方法、及び、プログラム
KR101492366B1 (ko) 차량 사고 감지 방법 및 그 장치
KR20140114650A (ko) 이동 로봇의 경로계획 생성 장치 및 방법
JP5692024B2 (ja) 対象物変化検出装置および対象物変化検出方法
JP5811951B2 (ja) 対象物変化検出装置
KR101756916B1 (ko) 행위 인식 장치 및 방법
JP2019191869A (ja) 走行場面学習装置、走行場面推定装置、および走行場面推定システム
JP5686119B2 (ja) 対象物変化検出装置および対象物変化検出方法
Ansari et al. ETLNet: An Efficient TCN-BiLSTM Network for Road Anomaly Detection Using Smartphone Sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11867830

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013520341

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14125862

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120111053304

Country of ref document: DE

Ref document number: 112011105330

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11867830

Country of ref document: EP

Kind code of ref document: A1