WO2014171212A1 - 状態推定装置、プログラムおよび集積回路 - Google Patents

状態推定装置、プログラムおよび集積回路 Download PDF

Info

Publication number
WO2014171212A1
WO2014171212A1 PCT/JP2014/055571 JP2014055571W WO2014171212A1 WO 2014171212 A1 WO2014171212 A1 WO 2014171212A1 JP 2014055571 W JP2014055571 W JP 2014055571W WO 2014171212 A1 WO2014171212 A1 WO 2014171212A1
Authority
WO
WIPO (PCT)
Prior art keywords
probability distribution
likelihood
data
observation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/055571
Other languages
English (en)
French (fr)
Inventor
哲一 生駒
長谷川　弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
MegaChips Corp
Original Assignee
Kyushu Institute of Technology NUC
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC, MegaChips Corp filed Critical Kyushu Institute of Technology NUC
Priority to EP14785984.7A priority Critical patent/EP2975577A4/en
Publication of WO2014171212A1 publication Critical patent/WO2014171212A1/ja
Priority to US14/881,652 priority patent/US9911191B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Definitions

  • the present invention relates to a technique for estimating the state of an observable event using a time series filter, for example, a technique for tracking an object on a moving image using a time series filter.
  • Time The series filter, the internal state of the object at time t and state vector x t, when the observed feature at time t and the observation vector y t, from the observed observation vector y t, the object that can not be directly observed a method of estimating the internal state x t.
  • the time series filter is the following state space model: System model: x t to f (x t
  • the system model of the target internal state and the observation model when the target is observed can be expressed as follows.
  • y 1: t ) at time t is
  • x t ) is a likelihood (probability of obtaining an observation vector y t in the state x t )
  • y 1: t ⁇ 1 ) is a probability prior distribution.
  • the probability distribution of the internal state to be observed is expressed as a particle distribution, and the posterior probability distribution of the state at the current time is set as the prior probability distribution of the state at the next time.
  • the particle filter then observes a template (predicted sample) estimated from the state of particles representing the prior probability distribution (a sample set generated according to the prior probability distribution) and an actual image (actual observation) at the next time. ) And the likelihood is obtained.
  • the posterior probability distribution of the particle is estimated from the obtained likelihood and the prior probability distribution.
  • the state of the observation object (for example, the tracking object) that dynamically changes is sequentially estimated in the particle filter.
  • the following processes (1) to (4) are performed.
  • Particle generation forecast for the first term
  • a predicted sample at time t is generated for each sample (each particle) by processing corresponding to the following mathematical formula. That is, the probability distribution predicted by the system model (state transition function) is acquired from the posterior probability distribution at time t-1 (probability distribution of the internal state to be observed at time t-1).
  • the system model f each sample (each particle) at time t ⁇ 1 is transitioned to generate a predicted sample.
  • xa t (i) ⁇ f ( x t
  • xa t ⁇ xa t (1 ), xa t (2), xa t (3), ⁇ , xa t (M) ⁇ xa t : prediction (estimation) of state vector x t by state transition function f () vector (2) weight calculation (likelihood calculation)
  • a weight (likelihood) is calculated for each prediction sample generated in process (1) by a process corresponding to the following equation. That is, according to the observation model h, to estimate the probability of obtaining observation vector y t (likelihood).
  • the particle filter estimates the parameter that represents the state of the observation target that changes from time to time by repeatedly predicting the prior probability distribution of the parameter that represents the state of the observation target and calculating the posterior probability distribution. To do.
  • a particle filter is used for tracking the position of an object (object) on a moving image, for example.
  • the parameter indicating the state of the tracking target is, for example, a parameter indicating the position of the object.
  • the particle filter calculates the likelihood by comparing the observation (predicted sample) estimated from the parameter representing the position of the object and the actual observation (for example, an image captured by a camera or the like), By performing resampling of the particles based on the calculated likelihood, a posterior probability distribution of a parameter representing the state of the observation target can be acquired (for example, JP 2012-234466 A).
  • the feature of the object to be tracked is determined, and the image feature value detection image obtained by detecting the feature value of the object is acquired from the image (moving image) captured by the camera or the like, and the acquired image feature value detection is performed. It is conceivable to calculate likelihood using an image. For example, if the characteristic of an object to be tracked is a yellow object having a size of W ⁇ H (W: width, H: height), the size is determined from an image (moving image) captured by a camera or the like. Is an image area where WxH (W: width, H: height) and the higher the degree of yellow is, the larger the pixel value of the pixels included in the image area is. A feature amount detection image is acquired.
  • the likelihood calculation can be performed with a small amount of calculation.
  • a particle filter process for example, an object tracking process
  • the a posteriori probability distribution is calculated using the likelihood obtained from a single observation, and therefore the internal state of the observation target cannot be estimated appropriately depending on the situation.
  • the likelihood obtained from a single observation is used. For example, when tracking an object whose size changes, When tracking a plurality of objects having different values, it is difficult to accurately track these objects.
  • the present invention can appropriately estimate the internal state of an observation target by obtaining likelihood from a plurality of observations.
  • an object whose size changes on a moving image Another object of the present invention is to realize a state estimation device, a program, and an integrated circuit capable of accurately tracking an object even when tracking a plurality of objects having different sizes.
  • a first invention is a state estimation device including an observation acquisition unit, an observation selection unit, a likelihood acquisition unit, a posterior probability distribution estimation unit, and a prior probability distribution output unit. is there.
  • the observation acquisition unit acquires multiple observation data obtained from observable events at arbitrary time intervals.
  • the observation selection unit selects one observation data from the plurality of observation data acquired by the observation acquisition unit based on the posterior probability distribution data acquired at the previous time t-1.
  • the likelihood acquisition unit acquires likelihood data based on one observation data selected by the observation selection unit and post-prediction probability distribution data acquired by performing prediction processing on the posterior probability distribution data. .
  • the posterior probability distribution estimation unit estimates the posterior probability distribution data of the event state from the predicted probability distribution data acquired by the likelihood acquisition unit and the likelihood data.
  • the prior probability distribution output unit outputs prior probability distribution data based on the posterior probability distribution data estimated by the posterior probability distribution estimation unit as prior probability distribution data at the next time t + 1.
  • the observation acquisition unit acquires a plurality of observations (observation data), and the observation selection unit selects more appropriate observation data according to the internal state of the observation target (for example, the tracking target). The Then, in this state estimation device, likelihood data is calculated based on the selected observation data, and posterior probability distribution data is acquired using the calculated likelihood data. Therefore, in this state estimation device, appropriate posterior probability distribution data can be acquired even when the state of the observation target (for example, the tracking target) changes. As a result, this state estimation device can appropriately estimate the internal state of the observation target. For example, when tracking an object whose size changes or a plurality of objects having different sizes on a moving image, Even if it exists, an object can be tracked accurately.
  • time is a concept including, for example, a time based on a time interval for sampling an observation target, and time t ⁇ 1 indicates a sampling time immediately before sampling at time t.
  • observation data may be data obtained by extracting (detecting) a predetermined feature amount indicating the feature to be observed.
  • 2nd invention is a state estimation apparatus provided with an observation acquisition part, likelihood calculation part, likelihood acquisition part, posterior probability distribution estimation part, and prior probability distribution output part.
  • the observation acquisition unit acquires multiple observation data obtained from observable events at arbitrary time intervals.
  • the likelihood calculating unit is a plurality of observation data acquired by the observation acquiring unit based on the predicted probability distribution data acquired by performing prediction processing on the posterior probability distribution data acquired at the previous time t-1. Each time, likelihood data is calculated.
  • the likelihood acquisition unit derives one likelihood data based on the plurality of likelihood data calculated for each of the plurality of observation data acquired by the likelihood calculation unit, and the derived one likelihood data Obtained as decision likelihood data.
  • the posterior probability distribution estimation unit estimates the posterior probability distribution data of the event state based on the predicted probability distribution data and the decision likelihood data.
  • the prior probability distribution output unit outputs prior probability distribution data based on the posterior probability distribution data estimated by the posterior probability distribution estimation unit as prior probability distribution data at the next time t + 1.
  • the observation acquisition unit acquires a plurality of observations (observation data), and the likelihood calculation unit calculates likelihood data for each of the plurality of observations. And in this state estimation apparatus, more suitable likelihood data is derived
  • the posterior probability distribution data is acquired using the derived likelihood data. Therefore, in the state estimation device, appropriate posterior probability distribution data can be acquired even when the state of the observation target (for example, the tracking target) changes. As a result, this state estimation device can appropriately estimate the internal state of the observation target. For example, when tracking an object whose size changes or a plurality of objects having different sizes on a moving image, Even if it exists, an object can be tracked accurately.
  • 3rd invention is 2nd invention, Comprising: A likelihood acquisition part acquires one likelihood data selected from several likelihood data as decision likelihood data.
  • the posterior probability distribution data can be acquired using one likelihood data selected from a plurality of likelihood data.
  • 4th invention is 2nd invention, Comprising: A likelihood acquisition part acquires the likelihood data derived
  • This state estimation device acquires posterior probability distribution data using likelihood data derived by weighted sum of a plurality of likelihood data. Therefore, in this state estimation apparatus, appropriate posterior probability distribution data can be acquired even when the state of the observation target (for example, the tracking target) changes rapidly. In other words, when the state of the tracking target changes suddenly, if one of the observations is selected and processed, the posterior probability distribution data that is acquired also changes suddenly when the selection target is switched. State estimation processing (for example, tracking processing), but in this state estimation device, processing is executed with the likelihood data derived from the weighted sum of a plurality of likelihood data. Even if there is a change, it is possible to appropriately suppress the abrupt change in the acquired posterior probability distribution data. As a result, this state estimation device can realize natural state estimation processing (for example, tracking processing).
  • 5th invention is 4th invention, Comprising: A likelihood calculation part, likelihood acquisition part, posterior probability distribution estimation part, and prior probability distribution output part perform the process by a particle filter.
  • the weighting coefficient of the likelihood data is a function representing the internal state of the particle.
  • the likelihood data can be acquired using the weighting coefficient acquired by the function representing the internal state of the particle.
  • a sixth invention is any one of the second to fifth inventions, wherein the likelihood calculation unit, the likelihood acquisition unit, the posterior probability distribution estimation unit, and the prior probability distribution output unit perform processing by a particle filter. Execute.
  • the seventh invention is the first invention, wherein the observation selection unit, the likelihood acquisition unit, the posterior probability distribution estimation unit, and the prior probability distribution output unit execute processing by a particle filter.
  • An eighth invention is a program for causing a computer to execute a state estimation method comprising an observation acquisition step, an observation selection step, a likelihood acquisition step, a posterior probability distribution estimation step, and a prior probability distribution output step. is there.
  • the observation acquisition step acquires a plurality of observation data obtained from observable events at arbitrary time intervals.
  • the observation selection step selects one observation data from the plurality of observation data acquired by the observation acquisition step based on the posterior probability distribution data acquired at the previous time t-1.
  • the likelihood acquisition step acquires likelihood data based on one observation data selected in the observation selection step and post-prediction probability distribution data acquired by performing prediction processing on the posterior probability distribution data. .
  • the posterior probability distribution estimation step estimates the posterior probability distribution data of the event state from the predicted probability distribution data acquired by the likelihood acquisition step and the likelihood data.
  • the prior probability distribution output step outputs prior probability distribution data based on the posterior probability distribution data estimated by the posterior probability distribution estimation step as prior probability distribution data at the next time t + 1.
  • a ninth invention is a program for causing a computer to execute a state estimation method comprising an observation acquisition step, a likelihood calculation step, a likelihood acquisition step, a posterior probability distribution estimation step, and a prior probability distribution output step It is.
  • the observation acquisition step acquires a plurality of observation data obtained from observable events at arbitrary time intervals.
  • the likelihood calculation step includes a plurality of observation data acquired by the observation acquisition step based on the post-prediction probability distribution data acquired by performing prediction processing on the posterior probability distribution data acquired at the previous time t-1. Each time, likelihood data is calculated.
  • one likelihood data is derived based on a plurality of likelihood data calculated for each of a plurality of observation data acquired in the likelihood calculation step, and the derived one likelihood data is Obtained as decision likelihood data.
  • the posterior probability distribution estimation step estimates the posterior probability distribution data of the event state based on the predicted probability distribution data and the decision likelihood data.
  • the prior probability distribution output step outputs prior probability distribution data based on the posterior probability distribution data estimated by the posterior probability distribution estimation step as prior probability distribution data at the next time t + 1.
  • a tenth invention is an integrated circuit used in a state estimation device including an observation acquisition unit that acquires a plurality of observation data obtained from observable events at arbitrary time intervals, and includes an observation selection unit, a likelihood An acquisition unit, a posterior probability distribution estimation unit, and a prior probability distribution output unit are provided.
  • the observation selection unit selects one observation data from the plurality of observation data acquired by the observation acquisition unit based on the posterior probability distribution data acquired at the previous time t-1.
  • the likelihood acquisition unit acquires likelihood data based on one observation data selected by the observation selection unit and post-prediction probability distribution data acquired by performing prediction processing on the posterior probability distribution data. .
  • the posterior probability distribution estimation unit estimates the posterior probability distribution data of the event state from the predicted probability distribution data acquired by the likelihood acquisition unit and the likelihood data.
  • the prior probability distribution output unit outputs prior probability distribution data based on the posterior probability distribution data estimated by the posterior probability distribution estimation unit as prior probability distribution data at the next time t + 1.
  • An eleventh invention is an integrated circuit used in a state estimation device including an observation acquisition unit that acquires a plurality of observation data obtained from observable events at arbitrary time intervals, and includes a likelihood calculation unit, a likelihood A degree acquisition unit, a posterior probability distribution estimation unit, and a prior probability distribution output unit.
  • the likelihood calculating unit is a plurality of observation data acquired by the observation acquiring unit based on the predicted probability distribution data acquired by performing prediction processing on the posterior probability distribution data acquired at the previous time t-1. Each time, likelihood data is calculated.
  • the likelihood acquisition unit derives one likelihood data based on the plurality of likelihood data calculated for each of the plurality of observation data acquired by the likelihood calculation unit, and the derived one likelihood data Obtained as decision likelihood data.
  • the posterior probability distribution estimation unit estimates the posterior probability distribution data of the event state based on the predicted probability distribution data and the decision likelihood data.
  • the prior probability distribution output unit outputs prior probability distribution data based on the posterior probability distribution data estimated by the posterior probability distribution estimation unit as prior probability distribution data at the next time t + 1.
  • the present invention it is possible to appropriately estimate the internal state of an observation target by obtaining likelihood from a plurality of observations. For example, an object whose size changes on a moving image or a size is different. Even when a plurality of objects are tracked, a state estimation device, a program, and an integrated circuit that can accurately track an object can be realized.
  • FIG. 1 is a schematic configuration diagram of a state estimation system 1000 according to a first embodiment.
  • the schematic block diagram of the state estimation system 2000 which concerns on 2nd Embodiment.
  • the schematic block diagram of the observation acquisition part 1A and observation selection part 2A which concern on other embodiment.
  • the schematic block diagram of observation acquisition part 1A, likelihood calculation part 7A, and likelihood acquisition part 3B which concern on other embodiment.
  • the schematic block diagram of the observation acquisition part 1B which concerns on other embodiment.
  • FIG. 1 is a schematic configuration diagram of a state estimation system 1000 according to the first embodiment.
  • the state estimation system 1000 includes an observation acquisition unit 1, an observation selection unit 2, a likelihood acquisition unit 3, a posterior probability distribution estimation unit 4, a prior probability distribution output unit 5, and an initial state.
  • a setting unit 6 6.
  • the observation acquisition unit 1 acquires a plurality of observations (observation data) and outputs the acquired plurality of observations (observation data) to the observation selection unit 2. As shown in FIG. 1, the observation acquisition unit 1 includes a first observation acquisition unit 11 and a second observation acquisition unit 12.
  • the first observation acquisition unit 11 acquires the first observation (first observation data), and outputs the acquired first observation (first observation data) to the observation selection unit 2.
  • the first observation acquisition unit 11 includes a first video input unit 111 and a first object detection unit 112.
  • the first video input unit 111 acquires a video signal (moving image signal) by, for example, imaging a subject. Then, the first video input unit 111 outputs the acquired video signal (moving image signal) to the first object detection unit 112.
  • the first object detection unit 112 inputs a video signal (moving image signal) output from the first video input unit 111.
  • the first object detection unit 112 acquires an object detection image from the input image (image that forms a moving image).
  • the first object detection unit 112 acquires an object detection image (object detection image signal) obtained by extracting (detecting) an image feature amount of the object to be tracked, and acquires the acquired object detection image
  • object detection image signal is output to the observation selection unit 2 as the first observation (first observation data).
  • the second observation acquisition unit 12 acquires the second observation (second observation data), and outputs the acquired second observation (second observation data) to the observation selection unit 2.
  • the second observation acquisition unit 12 includes a second video input unit 121 and a second object detection unit 122.
  • the second video input unit 121 acquires a video signal (moving image signal) by, for example, imaging a subject. Then, the second video input unit 121 outputs the acquired video signal (moving image signal) to the second object detection unit 122.
  • the second object detection unit 122 inputs a video signal (moving image signal) output from the second video input unit 121.
  • the second object detection unit 122 acquires an object detection image from the input image (image that forms a moving image).
  • the second object detection unit 122 acquires an object detection image (object detection image signal) obtained by extracting (detecting) an image feature amount of the object to be tracked, and acquires the acquired object detection image
  • object detection image signal is output to the observation selection unit 2 as the second observation (second observation data).
  • observation acquisition unit 1 includes two observation acquisition units (a first observation acquisition unit 11 and a second observation acquisition unit 12)
  • the number of observation acquisition units included in is not limited to two, and may be three or more.
  • the observation acquisition unit 1 outputs N observations (N observation data) to the observation selection unit 2.
  • the observation selection unit 2 inputs a plurality of observations (observation data) output from the observation acquisition unit 1 and a prior probability distribution (prior probability distribution data) output from the prior probability distribution output unit 5.
  • the observation selection unit 2 selects one observation (observation data) from a plurality of observations (observation data) based on the prior probability distribution (prior probability distribution data), and the selected observation (observation data) is a likelihood. Output to the acquisition unit 3.
  • the likelihood acquisition unit 3 inputs the observation (observation data) output from the observation selection unit 2 and the prior probability distribution (prior probability distribution data) output from the prior probability distribution output unit 5.
  • the likelihood acquisition unit 3 performs a prediction process on the prior probability distribution (prior probability distribution data) and acquires a post-prediction probability distribution (post-prediction probability distribution data). Then, the likelihood acquisition unit 3 calculates the likelihood based on the observation (observation data) and the predicted probability distribution (predicted probability distribution data). Then, the likelihood acquisition unit 3 outputs the calculated likelihood (likelihood data) and the post-prediction probability distribution (post-prediction probability distribution data) to the posterior probability distribution estimation unit 4.
  • the posterior probability distribution estimation unit 4 inputs the likelihood (likelihood data) output from the likelihood acquisition unit 3 and the post-prediction probability distribution (post-prediction probability distribution data).
  • the posterior probability distribution estimation unit 4 estimates (acquires) the posterior probability distribution (posterior probability distribution data) based on the likelihood (likelihood data) and the predicted probability distribution (predicted probability distribution data). Then, the posterior probability distribution estimation unit 4 outputs the acquired posterior probability distribution (a posteriori probability distribution data) to the prior probability distribution output unit 5.
  • the prior probability distribution output unit 5 inputs the initial state setting data output from the initial state setting unit 6 and the posterior probability distribution (post-probability distribution data) output from the posterior probability distribution estimation unit 4. In the initial state, the prior probability distribution output unit 5 generates a prior probability distribution (prior probability distribution data) based on the initial state setting data output from the initial state setting unit 6, and generates the generated prior probability distribution (prior (Probability distribution data) is output to the observation selection unit 2 and the likelihood acquisition unit 3.
  • the prior probability distribution output unit 5 outputs the posterior probability distribution (posterior probability distribution data) at time t output from the posterior probability distribution estimation unit 4 in a state other than the initial state at the next time t + 1. It outputs to the observation selection part 2 and the likelihood acquisition part 3 as distribution (prior probability distribution data).
  • the initial state setting unit 6 holds data (initial values) for generating a prior probability distribution (prior probability distribution) in the initial state, and outputs the data (initial values) to the prior probability distribution output unit 5. .
  • FIG. 3 is a diagram schematically showing an object moving on the moving image.
  • the horizontal axis is the X axis
  • the vertical axis is the Y axis.
  • Time t0 >> Object: B0, Center position: (X0, Y0), Width: W0, Height: H0 ⁇ Time t1 >> Object: B1, Center position: (X1, Y1), Width: W1, Height: H1 ⁇ Time t2 >> Object: B2, Center position: (X2, Y2), Width: W2, Height: H2 ⁇ Time t3 >> Object: B3, Center position: (X3, Y3), Width: W3, Height: H3 Further, it is assumed that the following relationship holds.
  • a state vector indicating the internal state of the observation target (tracking target) at time t is x t
  • a feature observed at time t is an observation vector y t
  • t ⁇ 1 ⁇ s t
  • t is the coordinate position (Xt (i) , Yt ) on the image of the i-th sample (particle). (I) ), and vector data having internal variables of the width Wt (i) and the height Ht (i) of the image area centered on the coordinate position. That is, the sample (particle) s t
  • t (i) (Xt (i) , Yt (i) , Wt (i) , Ht (i) ) Suppose that
  • the first observation is an image signal (object detection image signal) indicating a result of detecting a yellow object having a width W0 and a height H0. That is, in the image acquired by the first video input unit 111, the first object detection unit 112 increases the pixel value of the pixel in the image region as the image region is closer to the yellow image region having the width W0 and the height H0. An image (detected image) having a large value (a value indicating a high degree of yellow image area having a width W0 and a height H0) is generated.
  • the second observation is an image signal (object detection image signal) indicating a result of detecting a yellow object having a width (2 ⁇ W0) and a height (2 ⁇ H0).
  • the second object detection unit 122 is closer to a yellow image region having a width (2 ⁇ W0) and a height (2 ⁇ H0).
  • the initial state setting unit 6 outputs an initial value for setting the initial state of the tracking target state to the prior probability distribution output unit 5.
  • the prior probability distribution output unit 5 generates a set of samples (particles) S t
  • t ⁇ 1 (t t0) indicating the initial state of the tracking target based on the initial value input from the initial state setting unit 6. .
  • the prior probability distribution (prior probability distribution data) at time t0 generated by the prior probability distribution output unit 5 is output to the observation selection unit 2 and the likelihood acquisition unit 3.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) and the observation acquisition unit 1
  • the second observation data acquired by the second observation acquisition unit 12 (the detection result (object detection image) of the yellow image region having the width 2 ⁇ W0 and the height 2 ⁇ H0) is output to the observation selection unit 2.
  • the observation selection unit 2 outputs both the first observation data and the second observation data to the likelihood acquisition unit 3 until the tracking target is found (specified), or the object detection result is remarkable.
  • One observation data for example, an image (observation data) having a higher average value of pixel values of all the pixels of the object detection result image
  • FIG. 4 is a diagram schematically showing the first observation data (object detection image), the second observation data (object detection image), and the state of the object B0 on the image at time t0. Note that the first observation data (object detection image) and the second observation data (object detection image) on the left side of FIG. 4 are shown by reducing the same image area as the diagram showing the state of the right object B0. (The same applies to FIGS. 5, 7, and 8).
  • the observation selection unit 2 outputs the first observation data to the likelihood acquisition unit 3.
  • the likelihood acquisition unit 3 performs a prediction process based on a set of particles s t ⁇ 1
  • the likelihood is calculated based on the set of particles s t
  • the likelihood is the first observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood wa t calculated by the likelihood acquisition unit 3 the predicted posterior probability distribution data
  • with (set s t of after prediction processing particle data relating t-1) is output to the posterior probability distribution estimation unit 4
  • Posterior The probability distribution estimation unit 4, (to extract the particle xa t (i)) to a rate that is proportional to the likelihood wa t (i) to recover extracted M particles (particles).
  • t generated according to the posterior probability distribution p (x t
  • t ⁇ s t
  • FIG. 4 shows an average value (X t
  • t- 1_ave) indicates a region R_pred_ave.
  • FIG. 4 shows an average value (X t
  • t_ave) are indicated as R_after_ave.
  • FIG. 5 is a diagram schematically showing the first observation data (object detection image), the second observation data (object detection image), and the state of the object B1 on the image at time t1.
  • the prior probability distribution output unit 5 uses the posterior probability distribution (posterior probability distribution data) at time t0 as the prior probability distribution (prior probability distribution data) at time t1, and the likelihood selection unit 2 and the likelihood acquisition unit. 3 and output.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) and the observation acquisition unit 1
  • the second observation data acquired by the second observation acquisition unit 12 (the detection result (object detection image) of the yellow image region having the width 2 ⁇ W0 and the height 2 ⁇ H0) is output to the observation selection unit 2.
  • the observation selection unit 2 determines whether to select the first observation data or the second observation data based on the prior probability distribution data output from the prior probability distribution output unit 5.
  • the observation selection unit 2 uses the average value (X) of the sample set (particle set) S t ⁇ 1
  • t- 1_ave) Decide which of the two observation data to select.
  • the observation selection unit 2 calculates the average value of the particle set S t ⁇ 1
  • t- 1_ave) indicates the size of the image region (width W0 ⁇ height H0) as the detection target by the first observation acquisition unit 11.
  • the second observation acquisition unit 12 compares the first observation data and the first observation data by comparing with a predetermined threshold Th between the size (2 ⁇ width W0 ⁇ 2 ⁇ height H0) of the image region to be detected. Decide which of the two observation data to select.
  • Th 2 ⁇ WO ⁇ H0, and the average value of the particle set S t ⁇ 1
  • the observation selection unit 2 selects the first observation data.
  • the selected first observation data is output to the likelihood acquisition unit 3.
  • the likelihood acquisition unit 3 performs a prediction process based on a set of particles s t ⁇ 1
  • v t (i) is a system noise that follows a Gaussian distribution
  • t ⁇ 1 (i) f (s t ⁇ 1
  • the internal state of the i-th particle according to the prior probability distribution (prior probability distribution data) at time t1 is (X t-1
  • t (i) X t ⁇ 1
  • t (i) Y t ⁇ 1
  • t (i) W t ⁇ 1
  • FIG. 5 shows an image region R_pred_ave based on the average value of the set of particles s t
  • the likelihood acquisition unit 3 calculates the likelihood based on the set of particles s t
  • the likelihood is the first observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood wa t calculated by the likelihood acquisition unit 3 the predicted posterior probability distribution data
  • with (set s t of after prediction processing particle data relating t-1) is output to the posterior probability distribution estimation unit 4
  • Posterior The probability distribution estimation unit 4 (to extract the particle xa t (i)) to a rate that is proportional to the likelihood wa t (i) to recover extracted M particles (particles).
  • t generated according to the a posteriori probability distribution p (x t
  • t ⁇ s t
  • FIG. 5 shows an average value (X t
  • t_ave) are indicated as R_after_ave.
  • t_ave are W t
  • t _ave 1.6 ⁇ W0 H t
  • t _ave 1.4 ⁇ H0 It shall be acquired as.
  • FIG. 6 is a diagram for explaining prediction processing and likelihood calculation by the likelihood acquisition unit 3 and interest sampling by the posterior probability distribution estimation unit 4 at time t1, and an image around the object B1 in FIG. It is the figure which extracted and showed the area
  • t ⁇ 1 according to the post-prediction probability distribution is obtained by executing the prediction process on the particle set s t ⁇ 1
  • the likelihood of the particle whose center position is included in the image region of the object B1 is a large value.
  • particles having a large likelihood are indicated by large circles.
  • the posterior probability distribution estimation unit 4 restores and extracts M particles (particles) at a rate proportional to the likelihood. Therefore, as shown in FIG. 6, particles with a large likelihood are restored to a plurality of particles. Thus, a sample set (particle set) S t
  • t according to the posterior probability distribution at time t1 is the region R_after_ave in FIG. (Processing at time t2): Next, the process at time t2 will be described.
  • FIG. 7 is a diagram schematically showing the first observation data (object detection image), the second observation data (object detection image), and the state of the object B2 on the image at time t2.
  • the prior probability distribution output unit 5 uses the posterior probability distribution (posterior probability distribution data) at time t1 as the prior probability distribution (prior probability distribution data) at time t2, and the observation selection unit 2 and the likelihood acquisition unit. 3 and output.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) and the observation acquisition unit 1
  • the second observation data acquired by the second observation acquisition unit 12 (the detection result (object detection image) of the yellow image region having the width 2 ⁇ W0 and the height 2 ⁇ H0) is output to the observation selection unit 2.
  • the observation selection unit 2 determines whether to select the first observation data or the second observation data based on the prior probability distribution data output from the prior probability distribution output unit 5.
  • the observation selection unit 2 calculates the average value (X) of the sample set (particle set) S t ⁇ 1
  • t- 1_ave) Decide which of the two observation data to select.
  • t-1 (X t-1
  • the size of the image area indicated by ( t- 1_ave) is W t ⁇ 1
  • t ⁇ 1 _ave W t
  • t _ave 1.6 ⁇ W0 H t ⁇ 1
  • t ⁇ 1 _ave H t
  • t _ave 1.4 ⁇ H0
  • 1.6 ⁇ W0 ⁇ 1.4 ⁇ H0 2.24 ⁇ W0 ⁇ H0> 2 ⁇ W0 ⁇ H0 It is.
  • the observation selection unit 2 selects the second observation data.
  • the selected second observation data is output to the likelihood acquisition unit 3.
  • the likelihood acquisition unit 3 performs a prediction process based on a set of particles s t ⁇ 1
  • v t (i) is a system noise that follows a Gaussian distribution
  • t ⁇ 1 (i) f (s t ⁇ 1
  • the internal state of the i-th particle according to the prior probability distribution (prior probability distribution data) at time t2 is (X t-1
  • t (i) X t ⁇ 1
  • t (i) Y t ⁇ 1
  • t (i) W t ⁇ 1
  • FIG. 7 shows the image region R_pred_ave based on the average value of the set of particles s t
  • the likelihood acquisition unit 3 calculates the likelihood based on the set of particles s t
  • the likelihood is the second observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the second observation data has a better detection result of the region of the object B2 than the first observation data. For this reason, the likelihood of the particle contained in the image area
  • the likelihood wa t calculated by the likelihood acquisition unit 3 the predicted posterior probability distribution data
  • with (set s t of after prediction processing particle data relating t-1) is output to the posterior probability distribution estimation unit 4
  • Posterior The probability distribution estimation unit 4, (to extract the particle xa t (i)) to a rate that is proportional to the likelihood wa t (i) to recover extracted M particles (particles).
  • t generated according to the posterior probability distribution p (x t
  • t ⁇ s t
  • a region R_before_ave showing average value of the particles according to the prior probability distribution at time t2 (2) obtained by the above process, a set of predicted posterior probability distribution (after prediction process particle s t
  • FIG. 7 shows an average value (X t
  • t_ave) are indicated as R_after_ave.
  • FIG. 8 is a diagram schematically showing the first observation data (object detection image), the second observation data (object detection image), and the state of the object B3 on the image at time t3.
  • the prior probability distribution output unit 5 uses the posterior probability distribution (posterior probability distribution data) at time t2 as the prior probability distribution (prior probability distribution data) at time t3, and the observation selection unit 2 and likelihood acquisition unit. 3 and output.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) and the observation acquisition unit 1
  • the second observation data acquired by the second observation acquisition unit 12 (the detection result (object detection image) of the yellow image region having the width 2 ⁇ W0 and the height 2 ⁇ H0) is output to the observation selection unit 2.
  • the observation selection unit 2 determines whether to select the first observation data or the second observation data based on the prior probability distribution data output from the prior probability distribution output unit 5.
  • the observation selection unit 2 calculates the average value (X) of the sample set (particle set) S t ⁇ 1
  • t- 1_ave) Decide which of the two observation data to select.
  • the observation selection unit 2 selects the second observation data.
  • the selected second observation data is output to the likelihood acquisition unit 3.
  • the likelihood acquisition unit 3 performs a prediction process based on a set of particles s t ⁇ 1
  • v t (i) is a system noise that follows a Gaussian distribution
  • t ⁇ 1 (i) f (s t ⁇ 1
  • the internal state of the i-th particle according to the prior probability distribution (prior probability distribution data) at time t3 is (X t-1
  • t (i) X t ⁇ 1
  • t (i) Y t ⁇ 1
  • t (i) W t ⁇ 1
  • FIG. 8 shows the image region R_pred_ave based on the average value of the set of particles s t
  • the likelihood acquisition unit 3 calculates the likelihood based on the set of particles s t
  • the likelihood is the second observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the second observation data has a better detection result of the region of the object B3 than the first observation data. For this reason, the likelihood of the particle contained in the image area
  • region of object B3 can be enlarged by calculating likelihood using 1st observation data. As a result, the number of particles included in the image area of the object B3 can be increased in the posterior probability distribution. Therefore, the object tracking process can be executed more appropriately by calculating the likelihood using the second observation selected by the observation selection unit 2 at time t3.
  • the likelihood wa t calculated by the likelihood acquisition unit 3 the predicted posterior probability distribution data
  • with (set s t of after prediction processing particle data relating t-1) is output to the posterior probability distribution estimation unit 4
  • Posterior The probability distribution estimation unit 4, (to extract the particle xa t (i)) to a rate that is proportional to the likelihood wa t (i) to recover extracted M particles (particles).
  • t generated according to the posterior probability distribution p (x t
  • t ⁇ s t
  • a region R_before_ave showing average value of the particles according to the prior probability distribution at time t2 (2) obtained by the above process, a set of predicted posterior probability distribution (after prediction process particle s t
  • FIG. 8 shows an average value (X t
  • t_ave) are indicated as R_after_ave.
  • the object tracking process can be performed by the state estimation system 1000 by continuing the above processing.
  • the observation acquisition unit 1 acquires a plurality of observations (observation data), and the observation selection unit 2 responds to the state to be tracked (the size of the object in the present embodiment).
  • more appropriate observation data is selected.
  • likelihood is calculated based on the selected observation data, and resampling is executed using the calculated likelihood. Therefore, the state estimation system 1000 acquires appropriate posterior probability distribution data even when the state of the tracking target has changed (in this embodiment, even when the size of the object has changed). Can do.
  • the state estimation system 1000 can appropriately estimate the internal state of the observation target. For example, in the case of tracking an object whose size changes or a plurality of objects having different sizes on a moving image. Even if it exists, an object can be tracked accurately.
  • FIG. 9 is a schematic configuration diagram of a state estimation system 2000 according to the second embodiment.
  • the state estimation system 2000 includes an observation acquisition unit 1, a likelihood calculation unit 7, a likelihood acquisition unit 3A, a posterior probability distribution estimation unit 4, a prior probability distribution output unit 5, and an initial value.
  • the observation acquisition unit 1 the posterior probability distribution estimation unit 4, the prior probability distribution output unit 5, and the initial state setting unit 6 are the same as those in the state estimation system 1000 of the first embodiment. is there.
  • the prior probability distribution output unit 5 differs from the first embodiment only in the output destination. That is, the prior probability distribution output unit 5 of the state estimation system 2000 outputs the generated prior probability distribution (prior probability distribution data) to the likelihood calculating unit 7 and the likelihood acquiring unit 3A.
  • the likelihood calculation unit 7 includes a first likelihood calculation unit 71 and a second likelihood calculation unit 72, as shown in FIG.
  • the first likelihood calculation unit 71 includes a first observation (first observation data) output from the first observation acquisition unit 11 and a prior probability distribution (prior probability distribution data) output from the prior probability distribution output unit 5. ).
  • the 1st likelihood calculation part 71 performs a prediction process with respect to a prior probability distribution (prior probability distribution data), and acquires a post prediction probability distribution (post prediction probability distribution data). Then, the first likelihood calculating unit 71 calculates the likelihood (first likelihood) based on the first observation (first observation data) and the predicted probability distribution (predicted probability distribution data). To do. Then, the first likelihood calculating unit 71 uses the first likelihood (first likelihood data) calculated using the first observation data and the predicted probability distribution (predicted probability distribution data) as a likelihood acquiring unit. Output to 3A.
  • the second likelihood calculation unit 72 includes a second observation (second observation data) output from the second observation acquisition unit 12 and a prior probability distribution (prior probability distribution data) output from the prior probability distribution output unit 5. ).
  • the second likelihood calculating unit 72 performs a prediction process on the prior probability distribution (prior probability distribution data), and obtains a predicted probability distribution (predicted probability distribution data). Then, the second likelihood calculating unit 72 calculates the likelihood (second likelihood) based on the second observation (second observation data) and the predicted probability distribution (predicted probability distribution data). To do. Then, the second likelihood calculating unit 72 uses the second likelihood (first likelihood data) calculated using the second observation data and the predicted probability distribution (predicted probability distribution data) as a likelihood acquiring unit. Output to 3A.
  • the prediction processing for the prior probability distribution may be executed by only one of the first likelihood calculating unit 71 and the second likelihood calculating unit 72.
  • the post-prediction probability distribution (post-prediction probability distribution data) acquired by one of the first likelihood calculation unit 71 and the second likelihood calculation unit 72 is output to the other.
  • the post-prediction probability distribution (post-prediction probability distribution data) acquired by one of the first likelihood calculation unit 71 and the second likelihood calculation unit 72 is output to the likelihood acquisition unit 3A.
  • likelihood calculation part has shown two structures, it is not limited to this, Three or more likelihood calculation parts may be sufficient.
  • the likelihood acquisition unit 3A includes a first likelihood output from the first likelihood calculation unit 71, a second likelihood output from the second likelihood calculation unit 72, the first likelihood calculation unit 71, and the first likelihood calculation unit 71.
  • a post-prediction probability distribution (pre-prediction probability distribution data) output from one (or both) of the two likelihood calculation units 72 and a prior probability distribution (pre-probability distribution data) output from the prior probability distribution output unit 5 input.
  • the likelihood acquisition unit 3A based on the prior probability distribution (prior probability distribution data), selects one likelihood (likelihood from a plurality of likelihoods (first likelihood and second likelihood in the case of FIG. 9)). Data) is selected, and the selected likelihood (likelihood data) is output to the posterior probability distribution estimation unit 4.
  • the first observation is an image signal (object detection image signal) indicating a result of detecting a yellow object having a width W0 and a height H0.
  • the first object detection unit 112 increases the pixel value of the pixel in the image region as the image region is closer to the yellow image region having the width W0 and the height H0.
  • An image (detected image) having a large value (a value indicating a high degree of yellow image area having a width W0 and a height H0) is generated.
  • the second observation is an image signal (object detection image signal) indicating a result of detecting a yellow object having a width (2 ⁇ W0) and a height (2 ⁇ H0).
  • the second object detection unit 122 is closer to a yellow image region having a width (2 ⁇ W0) and a height (2 ⁇ H0).
  • the initial state setting unit 6 outputs an initial value for setting the initial state of the tracking target state to the prior probability distribution output unit 5.
  • the prior probability distribution output unit 5 generates a set of samples (particles) S t
  • t ⁇ 1 (t t0) indicating the initial state of the tracking target based on the initial value input from the initial state setting unit 6. .
  • the prior probability distribution (prior probability distribution data) at time t0 generated by the prior probability distribution output unit 5 is output to the likelihood calculation unit 7, the likelihood acquisition unit 3A, and the posterior probability distribution estimation unit 4.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) is the likelihood calculation unit 7. Is output to the first likelihood calculating unit 71.
  • the second observation data acquired by the second observation acquisition unit 12 of the observation acquisition unit 1 (detection result (object detection image) of a yellow image region having a width of 2 ⁇ W0 and a height of 2 ⁇ H0) is calculated as a likelihood. This is output to the second likelihood calculating unit 72 of the unit 7.
  • t ⁇ 1 according to the prior probability distribution (prior probability distribution data) at the time t 0 generated by the prior probability distribution output unit 5. Based on this, a prediction process is performed to obtain a set of particles s t
  • the likelihood is the first observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood w1a t (first likelihood) calculated by the first likelihood calculating unit 71 is the likelihood together with the predicted probability distribution data (data regarding the set of particles s t
  • the second likelihood calculating unit 72 of the likelihood calculating unit 7 the set of particles s t
  • the likelihood (second likelihood) is calculated based on the output second observation data (actual observation).
  • the likelihood is the second observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the second likelihood calculator 72 likelihood w2a t calculated by (second likelihood) is output to the likelihood acquisition unit 3A.
  • the likelihood acquisition unit 3A refers to both the first observation data and the second observation data until the tracking target is found (specified), and outputs either the first likelihood or the second likelihood. Decide what to do. In the case of time t0, as shown in FIG. 4, since the detection result appears remarkably in the first observation data (object detection image), the likelihood acquisition unit 3A selects and selects the first likelihood. The first likelihood is output to the posterior probability distribution estimation unit 4.
  • posterior probability distribution estimation unit 4 to restore extracting M particles (particles) at a rate proportional to the first likelihood w1a t (i) (to extract the particle xa t (i)).
  • t generated according to the posterior probability distribution p (x t
  • t ⁇ s t
  • area R_after_ave showing the t _ave) becomes the same as that shown in FIG.
  • the first observation data (object detection image) and the second observation data (object detection image) at time t1 and the state of the object B1 on the image are the same as in FIG.
  • the prior probability distribution output unit 5 uses the posterior probability distribution (posterior probability distribution data) at time t0 as the prior probability distribution (prior probability distribution data) at time t1, and the likelihood calculation unit 7 and likelihood acquisition. To the unit 3A.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) is the likelihood calculation unit 7. Is output to the first likelihood calculating unit 71.
  • the second observation data acquired by the second observation acquisition unit 12 of the observation acquisition unit 1 (detection result (object detection image) of a yellow image region having a width of 2 ⁇ W0 and a height of 2 ⁇ H0) is calculated as a likelihood. This is output to the second likelihood calculating unit 72 of the unit 7.
  • t ⁇ 1 according to the prior probability distribution (prior probability distribution data) at the time t 1 generated by the prior probability distribution output unit 5 Based on this, a prediction process is performed to obtain a set of particles s t
  • the likelihood is the first observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood w1a t (first likelihood) calculated by the first likelihood calculating unit 71 is the likelihood together with the predicted probability distribution data (data regarding the set of particles s t
  • the second likelihood calculating unit 72 of the likelihood calculating unit 7 the set of particles s t
  • the likelihood (second likelihood) is calculated based on the output second observation data (actual observation).
  • the likelihood is the second observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood w2a t (second likelihood) calculated by the second likelihood calculation unit 72 is output to the likelihood acquisition unit 3A.
  • the likelihood acquisition unit 3A determines whether to select the first likelihood or the second likelihood based on the prior probability distribution data output from the prior probability distribution output unit 5.
  • the likelihood acquisition unit 3A calculates the average value of the sample set (particle set) S t ⁇ 1
  • the likelihood acquisition unit 3A determines the average value of the particle set S t ⁇ 1
  • Th 2 ⁇ WO ⁇ H0, and the average value of the particle set S t ⁇ 1
  • the likelihood acquisition unit 3A selects the first likelihood.
  • the selected first likelihood is output to the posterior probability distribution estimation unit 4.
  • posterior probability distribution estimation unit 4 to restore extracting M particles (particles) at a rate proportional to the first likelihood w1a t (i) (to extract the particle xa t (i)).
  • t generated according to the a posteriori probability distribution p (x t
  • t ⁇ s t
  • t_ave) is the same as the region R_after_ave in FIG.
  • the first observation data (object detection image) and the second observation data (object detection image) at time t2 and the state of the object B2 on the image are the same as in FIG.
  • the prior probability distribution output unit 5 uses the posterior probability distribution (posterior probability distribution data) at time t1 as the prior probability distribution (prior probability distribution data) at time t2, and the likelihood calculation unit 7 and likelihood acquisition. To the unit 3A.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) is the likelihood calculation unit 7. Is output to the first likelihood calculating unit 71.
  • the second observation data acquired by the second observation acquisition unit 12 of the observation acquisition unit 1 (detection result (object detection image) of a yellow image region having a width of 2 ⁇ W0 and a height of 2 ⁇ H0) is calculated as a likelihood. This is output to the second likelihood calculating unit 72 of the unit 7.
  • t ⁇ 1 according to the prior probability distribution (prior probability distribution data) at the time t2 generated by the prior probability distribution output unit 5 is obtained. Based on this, a prediction process is performed to obtain a set of particles s t
  • the likelihood is the first observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood w1a t (first likelihood) calculated by the first likelihood calculating unit 71 is the likelihood together with the predicted probability distribution data (data regarding the set of particles s t
  • the second likelihood calculating unit 72 of the likelihood calculating unit 7 the set of particles s t
  • the likelihood (second likelihood) is calculated based on the output second observation data (actual observation).
  • the likelihood is the second observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood w2a t (second likelihood) calculated by the second likelihood calculation unit 72 is output to the likelihood acquisition unit 3A.
  • the likelihood acquisition unit 3A determines whether to select the first likelihood or the second likelihood based on the prior probability distribution data output from the prior probability distribution output unit 5.
  • the likelihood acquisition unit 3A calculates the average value of the sample set (particle set) S t ⁇ 1
  • t- 1_ave) Decide which of the two likelihoods to select.
  • the likelihood acquisition unit 3A determines the average value of the particle set S t ⁇ 1
  • t ⁇ 1 _ave W t
  • t _ave 1.6 ⁇ W0 H t ⁇ 1
  • t ⁇ 1 _ave H t
  • the likelihood acquisition unit 3A selects the second likelihood.
  • the selected second likelihood is output to the posterior probability distribution estimation unit 4.
  • the posterior probability distribution estimation unit 4 restores and extracts M particles (particles xa t (i) at a rate proportional to the second likelihood w2a t (i) ).
  • t generated according to the posterior probability distribution p (x t
  • t ⁇ s t
  • area R_after_ave showing the t _ave) is the same as FIG.
  • the first observation data (object detection image), the second observation data (object detection image), and the state of the object B2 on the image at time t3 are the same as in FIG.
  • the prior probability distribution output unit 5 uses the posterior probability distribution (posterior probability distribution data) at time t2 as the prior probability distribution (prior probability distribution data) at time t3, and the likelihood calculation unit 7 and likelihood acquisition. To the unit 3A.
  • the first observation data acquired by the first observation acquisition unit 11 of the observation acquisition unit 1 (the detection result (object detection image) of the yellow image region having the width W0 and the height H0) is the likelihood calculation unit 7. Is output to the first likelihood calculating unit 71.
  • the second observation data acquired by the second observation acquisition unit 12 of the observation acquisition unit 1 (detection result (object detection image) of a yellow image region having a width of 2 ⁇ W0 and a height of 2 ⁇ H0) is calculated as a likelihood. This is output to the second likelihood calculating unit 72 of the unit 7.
  • t ⁇ 1 according to the prior probability distribution (prior probability distribution data) at the time t3 generated by the prior probability distribution output unit 5 is set. Based on this, a prediction process is performed to obtain a set of particles s t
  • the likelihood is the first observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood w1a t (first likelihood) calculated by the first likelihood calculating unit 71 is the likelihood together with the predicted probability distribution data (data regarding the set of particles s t
  • the second likelihood calculating unit 72 of the likelihood calculating unit 7 the set of particles s t
  • the likelihood (second likelihood) is calculated based on the output second observation data (actual observation).
  • the likelihood is the second observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel values of the object detection image.
  • the likelihood w2a t (second likelihood) calculated by the second likelihood calculation unit 72 is output to the likelihood acquisition unit 3A.
  • the likelihood acquisition unit 3A determines whether to select the first likelihood or the second likelihood based on the prior probability distribution data output from the prior probability distribution output unit 5.
  • the likelihood acquisition unit 3A determines the average value of the sample set (particle set) S t ⁇ 1
  • the likelihood acquisition unit 3A determines the average value of the particle set S t ⁇ 1
  • t ⁇ 1 _ave W t
  • t _ave 2.3 ⁇ W0 H t ⁇ 1
  • t ⁇ 1 _ave H t
  • the likelihood acquisition unit 3A selects the second likelihood.
  • the selected second likelihood is output to the posterior probability distribution estimation unit 4.
  • the posterior probability distribution estimation unit 4 restores and extracts M particles (particles xa t (i) at a rate proportional to the second likelihood w2a t (i) ).
  • t generated according to the posterior probability distribution p (x t
  • t ⁇ s t
  • a t-1 _ave) region indicating the R_pred_ave is 8 It is the same.
  • t_ave) is the same as the region R_after_ave in FIG.
  • the object tracking process can be performed by the state estimation system 2000 by continuing the above processing.
  • the observation acquisition unit 1 acquires a plurality of observations (observation data), and the likelihood calculation unit 7 calculates the likelihood for each of the plurality of observations.
  • a more appropriate likelihood is obtained from the plurality of likelihoods calculated by the likelihood calculating unit 7 according to the state of the tracking target (the size of the object in the present embodiment). Selected.
  • resampling is executed using the selected likelihood. Therefore, the state estimation system 2000 acquires appropriate posterior probability distribution data even when the state of the tracking target has changed (in this embodiment, even when the size of the object has changed). Can do.
  • the state estimation system 2000 can appropriately estimate the internal state of the observation target. For example, in the case of tracking an object whose size changes or a plurality of objects having different sizes on a moving image. Even if it exists, an object can be tracked accurately.
  • the state estimation system of this modification has the same configuration as the state estimation system 2000 of the second embodiment.
  • the likelihood acquisition unit 3A has selected one of the first likelihood and the second likelihood, but in this modification, the likelihood acquisition unit 3A A combined likelihood obtained by combining the first likelihood and the second likelihood is acquired, and the acquired combined likelihood is output to the posterior probability distribution estimation unit 4. In this modification, only this point is different from the second embodiment.
  • the likelihood acquisition unit 3A determines a ratio for combining the first likelihood and the second likelihood based on the prior probability distribution data output from the prior probability distribution output unit 5.
  • the likelihood acquisition unit 3A determines the average value of the particle set S t ⁇ 1
  • the combined likelihood is calculated, and the calculated combined likelihood is output to the posterior probability distribution estimation unit 4.
  • the state estimation system of the present modification resampling is performed using the combined likelihood obtained by weighting and combining the first likelihood and the second likelihood. Even in the case of changing to, appropriate posterior probability distribution data can be acquired. In other words, when the state of the tracking target changes suddenly, if one of the observations is selected and processed, the posterior probability distribution data that is acquired also changes suddenly when the selection target is switched. However, in the state estimation system according to the present modification, the process is executed with the combined likelihood obtained by weighting and combining the first likelihood and the second likelihood. Even if there is a significant change, it is possible to appropriately suppress the abrupt change in the acquired posterior probability distribution data. As a result, a natural tracking process can be realized in the state estimation system of the present modification.
  • a nonlinear function for example, an average value of a set of particles S t ⁇ 1
  • the likelihood acquired by the likelihood calculation part 7 may be three or more.
  • the threshold value is based on the area of the image region.
  • the threshold is set based on the width or the height, and the particle set S t ⁇ 1
  • the selection processing of the first observation data and the second observation data, or the selection processing of the first likelihood and the second likelihood may be executed by threshold processing using the height as a comparison target.
  • the object whose first observation data has a width of 16 pixels is detected most prominently.
  • the object detection image is an object detection image that most significantly detects an object having a width of 32 pixels as the second observation data
  • an intermediate value “24” is set as a threshold value.
  • the state indicated by the particle is determined by the center coordinate (X, Y) of the particle and the width W and height H centered on the coordinate (X, Y).
  • the processing is performed using the state vector (X, Y, W, H) indicating the rectangular area.
  • the state indicated by the particle is, for example, a state vector indicating an elliptical area determined by the center coordinate (X, Y) of the particle and the major axis 2A and the minor axis 2B centered on the coordinate (X, Y) Processing may be performed using X, Y, A, B).
  • the likelihood is the first observation data in the image region indicated by the internal variable of each particle, that is, the integrated value of the pixel value of the object detection image.
  • the present invention is not limited to this.
  • the first region in the set image region for example, an image region that is larger than the W ⁇ H image region by a predetermined ratio.
  • Observation data that is, the integrated value of the pixel values of the object detection image, the weighted integrated value (the integrated value of the values weighted by the distance from the particle center coordinates), the average value, the weighted average value (by the distance from the particle center coordinates) It may be an average value of weighted values).
  • the observation is an observation that reacts to a yellow object.
  • the observation does not depend on this, for example, an object detector using a neural network has a different size. It may be a plurality of observations that detect the object.
  • the observation acquisition unit 1 an image input from the camera is input to a detector using a neural network, and a detection signal is output as a gray scale image as a detection result.
  • This is an input to the likelihood calculating unit 7.
  • the likelihood calculation process the region indicated by the particle state vector (X, Y, W, H) is extracted, and the pixel values are added to all the pixels of the gray image in the extracted region. What is necessary is just to calculate a degree.
  • the present invention is not limited to this. Processing for tracking the object may be executed.
  • the selection process of the first observation data and the second observation data or the selection process of the first likelihood and the second likelihood is executed for each image region occupied by the plurality of tracking target objects, and Similar processing may be applied.
  • the yellow object is the tracking target.
  • the tracking target is not limited to this, and the tracking target may have other characteristics.
  • the RGB values of each pixel of the image (video) acquired by the first video input unit 111 and the second video input unit 121 are R, G, and B (8 bits each).
  • Ye (255 ⁇ B) ⁇ R ⁇ G / (1 + R + G + B)
  • the degree of yellow may be detected by using the detected result as an object detection image.
  • a process for extracting the other color component may be executed in the same manner as described above, and the detected result may be used as an object detection image.
  • the 1st observation acquisition part 11 and the 2nd observation acquisition part 12 are respectively the video input parts (the 1st video input part 111 and the 1st video input part).
  • the present invention is not limited to this.
  • the observation acquisition unit 1 has one video input unit, and the output of the video input unit is the first object. It may be configured to be input to the detection unit 112 and the second object detection unit 122.
  • the observation acquisition unit 1 may be replaced with the observation acquisition unit 1A illustrated in FIG. 10, and the observation selection unit 2 may be replaced with the observation selection unit 2A illustrated in FIG. .
  • the observation acquisition unit 1A includes one video input and N object detection units. That is, the observation acquisition unit 1A includes a video input unit 111A, a first object detection unit 112A, a second object detection unit 112B, ..., an Nth object detection unit 112N.
  • the first object detection unit 112A, the second object detection unit 112B,..., The Nth object detection unit 112N each input the moving image (moving image signal) acquired by the video input unit 111A.
  • the first to Nth object detection images are acquired from the obtained moving image (moving image signal), and the acquired first to Nth object detection images (first to Nth observation data) are output to the observation selection unit 2A. To do.
  • the observation selection unit 2 is based on the prior probability distribution (prior probability distribution data) output from the prior probability distribution output unit 5 out of the first to Nth object detection images (first to Nth observation data). Thus, one observation (observation data) is selected from a plurality of observations (observation data).
  • the subsequent processing is the same as in the first embodiment.
  • the same processing as in the first embodiment may be performed using a plurality of observation data (for example, a plurality of object detection result images).
  • the observation acquisition unit 1 is replaced with the observation acquisition unit 1A shown in FIG. 11
  • the likelihood calculation unit 7 is replaced with the likelihood calculation unit 7A shown in FIG.
  • the likelihood obtaining unit 3A may be replaced with a likelihood obtaining unit 3B illustrated in FIG.
  • the observation acquisition unit 1A includes one video input and N object detection units. That is, the observation acquisition unit 1A includes a video input unit 111A, a first object detection unit 112A, a second object detection unit 112B, ..., an Nth object detection unit 112N.
  • the first object detection unit 112A, the second object detection unit 112B,..., The Nth object detection unit 112N each input the moving image (moving image signal) acquired by the video input unit 111A.
  • the first to Nth object detection images are acquired from the obtained moving images (moving image signals), and the acquired first to Nth object detection images (first to Nth observation data) are input to the likelihood calculating unit 7A. Output.
  • the likelihood calculating unit 7A includes a first likelihood calculating unit 71A, a second likelihood calculating unit 71B,..., And an Nth likelihood calculating unit 71N.
  • the first likelihood calculating unit 71A, the second likelihood calculating unit 71B,..., And the Nth likelihood calculating unit 71N of the likelihood calculating unit 7A are respectively first to Nth object detection images (first to Nth objects).
  • (Nth observation data) is input, and the same processing (described in the above embodiment) as described in the above embodiment is performed on the first to Nth object detection images (first to Nth observation data).
  • the first to Nth likelihoods (first to Nth likelihood data) are obtained by performing the same processing as the first likelihood calculating unit 71 and the like.
  • the Nth likelihood calculating unit 71N respectively obtain the acquired first to Nth likelihoods (first to Nth likelihoods). Data) is output to the likelihood acquisition unit 3B.
  • the likelihood acquisition unit 3B is configured to select one likelihood from a plurality of likelihoods (first to Nth likelihoods) based on the prior probability distribution (prior probability distribution data) output from the prior probability distribution output unit 5. (Likelihood data) is selected.
  • Subsequent processing is the same as in the second embodiment.
  • the same processing as in the second embodiment may be performed using a plurality of observation data (for example, a plurality of object detection images) and a plurality of likelihoods (likelihood data).
  • observation acquisition unit (1, A) may be replaced with the observation acquisition unit 1B shown in FIG.
  • the observation acquisition unit 1B includes two video input units (first video input unit 111A and second video input unit 111B) and N object detection units.
  • the output of the first video input unit 111A is input to the first to Kth object detection units, and the output of the second video input unit 111B is input to the K + 1st to Nth object detection units. Entered.
  • processing similar to that in the above embodiment may be applied using a plurality of observation data (for example, a plurality of object detection images). Good.
  • the state estimation system can execute more accurate state estimation (for example, object tracking processing).
  • object tracking processing when object tracking processing is performed, the first to Nth object detection units respectively obtain detection results (object detection images) of objects of different sizes, and the detection results (object detection images).
  • the object tracking process with higher accuracy can be realized by executing the process using ().
  • the first to Nth object detection units respectively obtain detection results (object detection images) of objects of different sizes, and the detection results (object detection images). ) To obtain a plurality of likelihoods, and execute the process using the obtained plurality of likelihoods, thereby realizing a more accurate object tracking process.
  • the combined likelihood is calculated by the internal division process, and the calculated combined likelihood is used to calculate the combined likelihood.
  • each block may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or the whole.
  • LSI LSI
  • IC system LSI
  • super LSI ultra LSI depending on the degree of integration
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • part or all of the processing of each functional block in each of the above embodiments may be realized by a program.
  • a part or all of the processing of each functional block in each of the above embodiments is performed by a central processing unit (CPU) in the computer.
  • a program for performing each processing is stored in a storage device such as a hard disk or a ROM, and is read out and executed in the ROM or the RAM.
  • each process of the above embodiment may be realized by hardware, or may be realized by software (including a case where it is realized together with an OS (operating system), middleware, or a predetermined library). Further, it may be realized by mixed processing of software and hardware.
  • OS operating system
  • middleware middleware
  • predetermined library predetermined library
  • execution order of the processing methods in the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order can be changed without departing from the gist of the invention.
  • a computer program that causes a computer to execute the above-described method and a computer-readable recording medium that records the program are included in the scope of the present invention.
  • the computer-readable recording medium include a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, large-capacity DVD, next-generation DVD, and semiconductor memory. .
  • the computer program is not limited to the one recorded on the recording medium, but may be transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

複数の観測から尤度を求めることによって、観測対象の内部状態を適切に推定することができる状態推定システムを実現することを目的とする。状態推定システム（１０００）の観測取得部（１）は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。観測選択部（２）は、前時刻ｔ－１に取得された事後確率分布データに基づいて、観測取得部（１）により取得された複数の観測データの中から、１つの観測データを選択する。尤度取得部（３）は、観測選択部（２）により選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。事後確率分布推定部（４）は、尤度取得部（３）により取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。事前確率分布出力部（５）は、事後確率分布推定部（４）により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。

Description

状態推定装置、プログラムおよび集積回路
　本発明は、時系列フィルタを用いて観測可能な事象の状態推定を行う技術に関し、例えば、時系列フィルタを用いて動画像上の物体を追跡する技術に関する。
　時々刻々変化する観測対象の内部状態を推定する技術として、時系列フィルタを用いた技術がある。時系列フィルタとは、時刻ｔにおける対象の内部状態を状態ベクトルｘｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙｔとしたとき、観測された観測ベクトルｙｔから、直接観測できない対象の内部状態ｘｔを推定する手法である。
　つまり、時系列フィルタとは、以下の状態空間モデル、すなわち、
　　システムモデル：ｘｔ～ｆ（ｘｔ｜ｘｔ－１）
　　観測モデル：ｙｔ～ｈ（ｙｔ｜ｘｔ）
から、観測系列（時刻ｔまでの観測ベクトルの集合）ｙ１：ｔ＝｛ｙ１，ｙ２，・・・，ｙｔ｝が与えられたとき、状態系列ｘ０：ｔ＝｛ｘ０，ｘ１，・・・，ｘｔ｝の条件付確率分布ｐ（ｘｔ｜ｙ１：ｔ）を求める手法である。
　システムノイズをｖｔとし、観測ノイズをｗｔとすると、対象の内部状態のシステムモデルおよび対象を観測した時の観測モデルは、以下のように表すことができる。
　　対象の内部状態のシステムモデル:ｘｔ＝ｆ（ｘｔ－１，ｖｔ）
　　対象を観測した時の観測モデル:ｙｔ＝ｈ（ｘｔ，ｗｔ）
　　ｆ（ｘｔ－１，ｖｔ）：時刻ｔ－１と時刻ｔとの状態変化を表す状態遷移関数
　　ｈ（ｘｔ，ｗｔ）：状態ｘｔのときに得られる観測ベクトルを表す関数
　このとき、１期先予測は、
Figure JPOXMLDOC01-appb-M000001
であり、ベイズ則により、時刻tにおける事後確率分布ｐ（ｘｔ｜ｙ１：ｔ）は、
Figure JPOXMLDOC01-appb-M000002
となる。なお、ｈ（ｙｔ｜ｘｔ）は尤度（状態ｘｔのときに、観測ベクトルｙｔを得る確率）であり、ｐ（ｘｔ｜ｙ１：ｔ－１）は確率事前分布である。
　時系列フィルタの実装の一手法としてパーティクルフィルタがある。パーティクルフィルタでは、観測対象の内部状態の確率分布をパーティクルの分布で表現し、現時刻における状態の事後確率分布を次時刻における状態の事前確率分布とする。そして、パーティクルフィルタでは、当該事前確率分布を表すパーティクル（当該事前確率分布に従って生成されたサンプル集合）の状態から推定されたテンプレートの観測（予測サンプル）と、次時刻における実際の画像（実際の観測）とを比較することで尤度を求める。
　そして、パーティクルフィルタでは、求めた尤度と事前確率分布とからパーティクルの事後確率分布を推定する。
　次時刻以降、前述の処理を繰り返すことで、パーティクルフィルタでは、動的に変化する観測対象（例えば、追跡対象）の状態が逐次的に推定される。
　パーティクルフィルタでは、粒子数（パーティクルの数）をＭ（Ｍ：自然数）とし、１≦ｉ≦Ｍ（ｉ：整数）としたとき、以下の（１）～（４）の処理を行う。
（１）粒子生成(１期先予測)
　以下の数式に相当する処理により、各サンプル（各パーティクル）について、時刻ｔにおける予測サンプルを生成する。つまり、時刻ｔ－１の事後確率分布（時刻ｔ－１の観測対象の内部状態の確率分布）から、システムモデル（状態遷移関数）により予測した確率分布を取得する。具体的には、システムモデルｆに従って、時刻ｔ－１の各サンプル（各パーティクル）を遷移させて予測サンプルを生成する。
　　ｘａｔ （ｉ）～ｆ（ｘｔ｜ｘｔ－１ （ｉ））
　　ｘａｔ＝｛ｘａｔ （１），ｘａｔ （２），ｘａｔ （３），・・・，ｘａｔ （Ｍ）｝
　　ｘａｔ：状態遷移関数ｆ（）による状態ベクトルｘｔの予測（推定）ベクトル
（２）重みの計算（尤度計算）
　以下の数式に相当する処理により、処理（１）で生成された各予測サンプルについて、重み（尤度）を算出する。つまり、観測モデルｈに従って、観測ベクトルｙｔを得る確率（尤度）を推定する。
　　ｗａｔ （ｉ）～ｈ（ｙｔ｜ｘａｔ （ｉ））
　　ｗａｔ＝｛ｗａｔ （１），ｗａｔ （２），ｗａｔ （３），・・・，ｗａｔ （Ｍ）｝
　　ｗａｔ：関数ｈ（）による重み（尤度）ｗｔの予測（推定）ベクトル（尤度の予測値の集合）
（３）リサンプリング
　　重み（尤度）ｗａｔ （ｉ）に比例する割合でＭ個の粒子を復元抽出する（粒子ｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個の粒子の分布から、時刻ｔの事後確率分布（時刻ｔの観測対象の内部状態の確率分布）を取得する。
（４）時刻ｔを進めて（１）に戻る。このとき、処理（３）で取得した事後確率分布（時刻ｔでの事後確率分布）を、次の時刻（時刻ｔ＋１）の事前確率分布とする。
　このように、パーティクルフィルタとは、観測対象の状態を表すパラメータの事前確率分布の予測と、事後確率分布の計算とを繰り返し行うことで、時々刻々変化する、観測対象の状態を表すパラメータを推定するものである。このようなパーティクルフィルタは、例えば、動画像上の物体（オブジェクト）の位置の追跡に利用される。パーティクルフィルタを用いて物体（オブジェクト）の位置追跡処理を行う場合、追跡対象（観測対象の一例）の状態を表すパラメータは、例えば、物体の位置を表すパラメータである。この場合、パーティクルフィルタでは、物体の位置を表すパラメータから推定される観測（予測サンプル）と、実際の観測（例えば、カメラ等により撮像される画像）とを比較することによって尤度を算出し、算出した尤度に基づいて、粒子のリサンプリングを行うことで、観測対象の状態を表すパラメータの事後確率分布を取得することができる（例えば、特開２０１２－２３４４６６号公報）。
　ところで、パーティクルフィルタにより物体の追跡処理を行う場合、実際の観測をカメラ等により撮像される画像（動画像）とすると、追跡対象とする物体の画像特徴量を抽出しながら、尤度を計算する必要がある。このため、尤度を計算するときの演算量が多くなる。
　そこで、追跡対象とする物体の特徴を決定しておき、カメラ等により撮像される画像（動画像）から、物体の特徴量を検出した画像特徴量検出画像を取得し、取得した画像特徴量検出画像を用いて尤度を計算することが考えられる。例えば、追跡対象とする物体の特徴を、大きさがＷ×Ｈ（Ｗ：幅、Ｈ：高さ）である黄色の物体とすると、カメラ等により撮像される画像（動画像）から、大きさがＷ×Ｈ（Ｗ：幅、Ｈ：高さ）であり、かつ、黄色の度合いが高い画像領域である程、当該画像領域に含まれる画素の画素値が大きな画素値となるようにした画像特徴量検出画像を取得する。そして、当該画像特徴量検出画像を用いて尤度を計算することで、少ない演算量で尤度計算を行うことができる。これにより、演算量の増加を抑えつつ、適切に観測対象の内部状態を推定するパーティクルフィルタ処理（例えば、物体の追跡処理）を実現することができる。
　しかしながら、上記パーティクルフィルタ処理では、単一の観測から取得された尤度を用いて、事後確率分布の計算を行っているので、状況によっては、観測対象の内部状態を適切に推定することができない場合がある。例えば、上記パーティクルフィルタ処理により、動画像上の物体を追跡する場合、単一の観測から取得された尤度を用いているので、例えば、大きさが変化する物体を追跡する場合や、大きさが異なる複数の物体を追跡する場合、これらの物体を正確に追跡することは困難である。
　そこで、本発明は、上記問題点に鑑み、複数の観測から尤度を求めることによって、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる状態推定装置、プログラムおよび集積回路を実現することを目的とする。
　上記課題を解決するために、第１の発明は、観測取得部と、観測選択部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える状態推定装置である。
　観測取得部は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
　観測選択部は、前時刻ｔ－１に取得された事後確率分布データに基づいて、観測取得部により取得された複数の観測データの中から、１つの観測データを選択する。
　尤度取得部は、観測選択部により選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。
　事後確率分布推定部は、尤度取得部により取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。
　事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
　この状態推定装置では、観測取得部により、複数の観測（観測データ）が取得され、観測選択部より、観測対象（例えば、追跡対象）の内部状態に応じて、より適切な観測データが選択される。そして、この状態推定装置では、選択された観測データに基づいて、尤度データが算出され、算出された尤度データを用いて、事後確率分布データが取得される。したがって、この状態推定装置では、観測対象（例えば、追跡対象）の状態が変化した場合であっても、適切な事後確率分布データを取得することができる。その結果、この状態推定装置では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
　なお、「時刻」とは、例えば、観測対象をサンプリングする時間間隔に基づく時刻を含む概念であり、時刻ｔ－１は、時刻ｔのサンプリングの１つ前のサンプリング時刻を示す。
　また、「観測データ」は、観測対象の特徴を示す所定の特徴量を抽出（検出）したデータであってもよい。
　第２の発明は、観測取得部と、尤度算出部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える状態推定装置である。
　観測取得部は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
　尤度算出部は、前時刻ｔ－１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する。
　尤度取得部は、尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。
　事後確率分布推定部は、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。
　事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
　この状態推定装置では、観測取得部により、複数の観測（観測データ）が取得され、尤度算出部より、複数の観測のそれぞれに対して尤度データが算出される。そして、この状態推定装置では、尤度算出部により算出された複数の尤度データの中から、観測対象（例えば、追跡対象）の状態に応じて、より適切な尤度データが導出される。そして、この状態推定装置では、導出された尤度データを用いて、事後確率分布データが取得される。したがって、状態推定装置では、観測対象（例えば、追跡対象）の状態が変化した場合であっても、適切な事後確率分布データを取得することができる。その結果、この状態推定装置では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
　第３の発明は、第２の発明であって、尤度取得部は、複数の尤度データから選択した１つの尤度データを決定尤度データとして取得する。
　これにより、この状態推定装置では、複数の尤度データから選択した１つの尤度データを用いて、事後確率分布データを取得することができる。
　第４の発明は、第２の発明であって、尤度取得部は、複数の尤度データの重み付け和により導出した尤度データを、決定尤度データとして取得する。
　この状態推定装置では、複数の尤度データの重み付け和により導出した尤度データを用いて、事後確率分布データを取得する。したがって、この状態推定装置では、観測対象（例えば、追跡対象）の状態が急激に変化する場合であっても、適切な事後確率分布データを取得することができる。つまり、追跡対象の状態が急激に変化する場合、複数の観測のいずれかを選択して処理を行うと、選択対象が切り替わるときに、取得される事後確率分布データも急激に変化し、不自然な状態推定処理（例えば、追跡処理）になることがあるが、この状態推定装置では、複数の尤度データの重み付け和により導出した尤度データにより処理が実行されるので、観測対象に急激な変化があった場合であっても、取得される事後確率分布データが急激に変化することを適切に抑制できる。その結果、この状態推定装置では、自然な状態推定処理（例えば、追跡処理）を実現することができる。
　第５の発明は、第４の発明であって、尤度算出部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。
　尤度データの重み付け係数は、パーティクルの内部状態を表す関数である。
　これにより、パーティクルの内部状態を表す関数により取得された重み付け係数を用いて、尤度データを取得することができる。
　第６の発明は、第２から第５のいずれかの発明であって、尤度算出部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。
　これにより、パーティクルフィルタにより処理が実行される状態推定装置を実現することができる。
　第７の発明は、第１の発明であって、観測選択部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。
　これにより、パーティクルフィルタにより処理が実行される状態推定装置を実現することができる。
　第８の発明は、観測取得ステップと、観測選択ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出ステップと、を備える状態推定方法をコンピュータに実行させるためのプログラムである。
　観測取得ステップは、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
　観測選択ステップは、前時刻ｔ－１に取得された事後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データの中から、１つの観測データを選択する。
　尤度取得ステップは、観測選択ステップにより選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。
　事後確率分布推定ステップは、尤度取得ステップにより取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。
　事前確率分布出ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
　これにより、第１の発明と同様の効果を奏する状態推定方法をコンピュータに実行させるためのプログラムを実現することができる。
　第９の発明は、観測取得ステップと、尤度算出ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出ステップと、を備える状態推定方法をコンピュータに実行させるためのプログラムである。
　観測取得ステップは、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
　尤度算出ステップは、前時刻ｔ－１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データごとに、尤度データを算出する。
　尤度取得ステップは、尤度算出ステップにより取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。
　事後確率分布推定ステップは、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。
　事前確率分布出ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
　これにより、第２の発明と同様の効果を奏する状態推定方法をコンピュータに実行させるためのプログラムを実現することができる。
　第１０の発明は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、観測選択部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。
　観測選択部は、前時刻ｔ－１に取得された事後確率分布データに基づいて、観測取得部により取得された複数の観測データの中から、１つの観測データを選択する。
　尤度取得部は、観測選択部により選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。
　事後確率分布推定部は、尤度取得部により取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。
　事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
　これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
　第１１の発明は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、尤度算出部と、尤度取得部と、事後確率分布推定部と、事前確率分布出力部と、を備える。
　尤度算出部は、前時刻ｔ－１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する。
　尤度取得部は、尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。
　事後確率分布推定部は、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。
　事前確率分布出力部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
　これにより、第２の発明と同様の効果を奏する集積回路を実現することができる。
　本発明によれば、複数の観測から尤度を求めることによって、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる状態推定装置、プログラムおよび集積回路を実現することができる。
第１実施形態に係る状態推定システム１０００の概略構成図。 第１実施形態の観測取得部１の概略構成図。 動画像上で移動する物体を模式的に示した図。 時刻ｔ０における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ０の状態とを模式的に示す図。 時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とを模式的に示す図。 時刻ｔ１における、尤度取得部３による予測処理および尤度計算と、事後確率分布推定部４による利サンプリングとを説明するための図。 時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図。 時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ３の状態とを模式的に示す図。 第２実施形態に係る状態推定システム２０００の概略構成図。 他の実施形態に係る観測取得部１Ａおよび観測選択部２Ａの概略構成図。 他の実施形態に係る観測取得部１Ａ、尤度算出部７Ａ、および、尤度取得部３Ｂの概略構成図。 他の実施形態に係る観測取得部１Ｂの概略構成図。
　［第１実施形態］
　第１実施形態について、図面を参照しながら、以下、説明する。
　＜１．１：状態推定システムの構成＞
　図１は、第１実施形態に係る状態推定システム１０００の概略構成図である。
　状態推定システム１０００は、図１に示すように、観測取得部１と、観測選択部２と、尤度取得部３と、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６と、を備える。
　観測取得部１は、複数の観測（観測データ）を取得し、取得した複数の観測（観測データ）を観測選択部２に出力する。観測取得部１は、図１に示すように、第１観測取得部１１と、第２観測取得部１２とを備える。
　第１観測取得部１１は、第１の観測（第１の観測データ）を取得し、取得した第１の観測（第１の観測データ）を観測選択部２に出力する。第１観測取得部１１は、例えば、図２に示すように、第１映像入力部１１１と、第１物体検出部１１２とを備える。
　第１映像入力部１１１は、例えば、被写体を撮像することで映像信号（動画像信号）を取得する。そして、第１映像入力部１１１は、取得した映像信号（動画像信号）を第１物体検出部１１２に出力する。
　第１物体検出部１１２は、第１映像入力部１１１から出力される映像信号（動画像信号）を入力する。第１物体検出部１１２は、入力された画像（動画像を形成する画像）から、物体検出画像を取得する。
　物体を追跡する処理を行う場合、第１物体検出部１１２は、追跡対象とする物体の画像特徴量を抽出（検出）した物体検出画像（物体検出画像信号）を取得し、取得した物体検出画像（物体検出画像信号）を第１の観測（第１の観測データ）として観測選択部２に出力する。
　第２観測取得部１２は、第２の観測（第２の観測データ）を取得し、取得した第２の観測（第２の観測データ）を観測選択部２に出力する。第２観測取得部１２は、例えば、図２に示すように、第２映像入力部１２１と、第２物体検出部１２２とを備える。
　第２映像入力部１２１は、例えば、被写体を撮像することで映像信号（動画像信号）を取得する。そして、第２映像入力部１２１は、取得した映像信号（動画像信号）を第２物体検出部１２２に出力する。
　第２物体検出部１２２は、第２映像入力部１２１から出力される映像信号（動画像信号）を入力する。第２物体検出部１２２は、入力された画像（動画像を形成する画像）から、物体検出画像を取得する。
　物体を追跡する処理を行う場合、第２物体検出部１２２は、追跡対象とする物体の画像特徴量を抽出（検出）した物体検出画像（物体検出画像信号）を取得し、取得した物体検出画像（物体検出画像信号）を第２の観測（第２の観測データ）として観測選択部２に出力する。
　なお、本実施形態では、説明便宜のため、観測取得部１が、２つの観測取得部（第１観測取得部１１および第２観測取得部１２）を備える場合について説明するが、観測取得部１が備える観測取得部の数は、２つに限定されることはなく、３以上であってもよい。観測取得部１が、Ｎ個（Ｎ：自然数）の観測取得部を備える場合、観測取得部１は、Ｎ個の観測（Ｎ個の観測データ）を観測選択部２に出力する。
　観測選択部２は、観測取得部１から出力される複数の観測（観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。観測選択部２は、事前確率分布（事前確率分布データ）に基づいて、複数の観測（観測データ）の中から１つの観測（観測データ）を選択し、選択した観測（観測データ）を尤度取得部３に出力する。
　尤度取得部３は、観測選択部２から出力される観測（観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。尤度取得部３は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、尤度取得部３は、観測（観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度を算出する。そして、尤度取得部３は、算出した尤度（尤度データ）と予測後確率分布（予測後確率分布データ）とを事後確率分布推定部４に出力する。
　事後確率分布推定部４は、尤度取得部３から出力される尤度（尤度データ）と、予測後確率分布（予測後確率分布データ）とを入力する。事後確率分布推定部４は、尤度（尤度データ）と予測後確率分布（予測後確率分布データ）とに基づいて、事後確率分布（事後確率分布データ）を推定（取得）する。そして、事後確率分布推定部４は、取得した事後確率分布（事後確率分布データ）を、事前確率分布出力部５に出力する。
　事前確率分布出力部５は、初期状態設定部６から出力される初期状態の設定データと、事後確率分布推定部４から出力される事後確率分布（事後確率分布データ）とを入力する。事前確率分布出力部５は、初期状態では、初期状態設定部６から出力される初期状態の設定データに基づいて、事前確率分布（事前確率分布データ）を生成し、生成した事前確率分布（事前確率分布データ）を観測選択部２と、尤度取得部３とに出力する。
　また、事前確率分布出力部５は、初期状態以外の状態では、事後確率分布推定部４から出力される、時刻ｔにおける事後確率分布（事後確率分布データ）を、次の時刻ｔ＋１において、事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
　初期状態設定部６は、初期状態における事前確率分布（事前確率分布）を生成するためのデータ（初期値）を保持しており、当該データ（初期値）を事前確率分布出力部５に出力する。
　＜１．２：状態推定システムの動作＞
　以上のように構成された状態推定システム１０００の動作について、以下、説明する。
　なお、以下では、大きさが変化する黄色の物体を追跡する処理を例に説明する。具体的には、図３に示すように、大きさを変化させながら移動する黄色の物体を追跡する場合について、説明する。なお、図３は、動画像上で移動する物体を模式的に示した図であり、図３において、横軸がＸ軸であり、縦軸がＹ軸であるものとする。そして、物体は、時刻ｔ０～ｔ３において、Ｂ０～Ｂ３に大きさを変化させながら移動するものとする。各時刻における、物体Ｂ０～Ｂ３の中心位置、幅（Ｘ軸方向の大きさ）、高さ（Ｙ軸方向の大きさ）は、以下の通りであるものとする。
　≪時刻ｔ０≫　物体：Ｂ０、中心位置：（Ｘ０，Ｙ０）、幅：Ｗ０、高さ：Ｈ０
　≪時刻ｔ１≫　物体：Ｂ１、中心位置：（Ｘ１，Ｙ１）、幅：Ｗ１、高さ：Ｈ１
　≪時刻ｔ２≫　物体：Ｂ２、中心位置：（Ｘ２，Ｙ２）、幅：Ｗ２、高さ：Ｈ２
　≪時刻ｔ３≫　物体：Ｂ３、中心位置：（Ｘ３，Ｙ３）、幅：Ｗ３、高さ：Ｈ３
　また、以下の関係が成り立つものとする。
　　Ｗ０＜Ｗ１＜Ｗ２＜Ｗ３
　　Ｈ０＜Ｈ１＜Ｈ２＜Ｈ３
　　Ｗ３＝２×Ｗ０
　　Ｈ３＝２×Ｈ０
　また、観測対象（追跡対象）の時刻ｔの内部状態を示す状態ベクトルをｘｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙｔとし、事前確率分布ｐ（ｘｔ｜ｙｔ－１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ－１を
　　Ｓｔ｜ｔ－１＝｛ｓｔ｜ｔ－１ （１），ｓｔ｜ｔ－１ （２），・・・，ｓｔ｜ｔ－１ （Ｍ）｝
とし、事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔを
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
とする。
　また、サンプル集合（パーティクルの集合）Ｓｔ｜ｔのｉ番目のサンプル（パーティクル）ｓｔ｜ｔ （ｉ）は、ｉ番目のサンプル（パーティクル）の画像上の座標位置（Ｘｔ（ｉ），Ｙｔ（ｉ））と、当該座標位置を中心とする画像領域の幅Ｗｔ（ｉ）および高さＨｔ（ｉ）を内部変数とするベクトルデータであるものとする。つまり、サンプル（パーティクル）ｓｔ｜ｔ （ｉ）は、
　　ｓｔ｜ｔ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるものとする。
　また、第１の観測（第１の観測データ）は、幅Ｗ０、高さＨ０である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第１物体検出部１１２は、第１映像入力部１１１が取得した画像において、幅Ｗ０、高さＨ０の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅Ｗ０、高さＨ０である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
　また、第２の観測（第２の観測データ）は、幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第２物体検出部１２２は、第２映像入力部１２１が取得した画像において、幅（２×Ｗ０）、高さ（２×Ｈ０）の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
（時刻ｔ０の処理）：
　まず、時刻ｔ０の処理について、説明する。
　時刻ｔ０において、初期状態設定部６は、追跡対象の状態の初期状態を設定するための初期値を事前確率分布出力部５に出力する。
　事前確率分布出力部５は、初期状態設定部６から入力された初期値に基づいて、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ－１（ｔ＝ｔ０）を生成する。
　なお、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ－１（ｔ＝ｔ０）の生成処理は、例えば、可能性のある全ての状態を表すパーティクルの集合が、初期状態を示すパーティクルの集合として生成されるように実行すればよい。
　事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）は、観測選択部２、および、尤度取得部３に出力される。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
　観測選択部２では、追跡対象を発見（特定）するまで、第１の観測データと第２の観測データの両方のデータを尤度取得部３に出力する、あるいは、物体検出結果が顕著である方の観測データ（例えば、物体検出結果画像の全画素の画素値の平均値が高い方の画像（観測データ））を尤度取得部３に出力するようにする。
　図４は、時刻ｔ０における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ０の状態とを模式的に示す図である。なお、図４の左側の第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）は、右側の物体Ｂ０の状態を示す図と同じ画像領域を縮小して示している（図５、図７、図８において同様）。
　図４に示すように、時刻ｔ０では、第１の観測（物体検出画像）のみに検出画像領域があるので、観測選択部２は、第１の観測データを尤度取得部３に出力するものとする。
　尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　そして、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、観測選択部２から出力された第１の観測データ（実際の観測）とに基づいて、尤度を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ （ｉ）とする。
　そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、事後確率分布推定部４に出力される。
　事後確率分布推定部４では、尤度ｗａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、図４に、上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅを示す。
　また、図４に、上記処理により取得された、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
　なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
　　Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
　　Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ１の処理）：
　次に、時刻ｔ１の処理について、説明する。
　図５は、時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とを模式的に示す図である。
　時刻ｔ１において、事前確率分布出力部５は、時刻ｔ０における事後確率分布（事後確率分布データ）を、時刻ｔ１における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
　観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
　つまり、観測選択部２は、時刻ｔ１の事前確率分布ｐ（ｘｔ－１｜ｙｔ－１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
　具体的には、観測選択部２は、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさを、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）と、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）との間の所定の閾値Ｔｈと比較することで、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。なお、本実施形態では、Ｔｈ＝２×ＷＯ×Ｈ０とし、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさが閾値Ｔｈよりも小さい場合、第１の観測データを選択するものとする。
　パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、
　　Ｗｔ－１｜ｔ－１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
　　Ｈｔ－１｜ｔ－１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
　　１．４×Ｗ０×１．４×Ｈ０＝１．９６×Ｗ０×Ｈ０＜２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも小さいので、観測選択部２は、第１の観測データを選択する。
　そして、選択された第１の観測データは、尤度取得部３に出力される。
　尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　例えば、時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。つまり、ｖｔ （ｉ）がガウス分布に従うシステムノイズとし、
　　ｓｔ｜ｔ－１ （ｉ）＝ｆ（ｓｔ－１｜ｔ－１ （ｉ），ｖｔ （ｉ））
　　ｆ（）：時刻ｔ－１と時刻ｔとの状態変化を表す状態遷移関数
　　ｖｔ （ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　具体的には、時刻ｔ１における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘｔ－１｜ｔ－１ （ｉ），Ｙｔ－１｜ｔ－１ （ｉ），Ｗｔ－１｜ｔ－１ （ｉ），Ｈｔ－１｜ｔ－１ （ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘｔ｜ｔ－１ （ｉ），Ｙｔ｜ｔ－１ （ｉ），Ｗｔ｜ｔ－１ （ｉ），Ｈｔ｜ｔ－１ （ｉ））であるので、
　　Ｘｔ－１｜ｔ （ｉ）＝Ｘｔ－１｜ｔ－１ （ｉ）＋ΔＸ（ｉ）
　　Ｙｔ－１｜ｔ （ｉ）＝Ｙｔ－１｜ｔ－１ （ｉ）＋ΔＹ（ｉ）
　　Ｗｔ－１｜ｔ （ｉ）＝Ｗｔ－１｜ｔ－１ （ｉ）＋ΔＷ（ｉ）
　　Ｈｔ－１｜ｔ （ｉ）＝Ｈｔ－１｜ｔ－１ （ｉ）＋ΔＨ（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。なお、ΔＸ（ｉ）、ΔＹ（ｉ）、ΔＷ（ｉ）、ΔＨ（ｉ）は、それぞれ、ガウス分布に従う。
　このようにして取得した予測処理後のパーティクルの集合ｓｔ｜ｔ－１の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図５に示す。
　そして、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、観測選択部２から出力された第１の観測データ（実際の観測）とに基づいて、尤度を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ （ｉ）とする。
　そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、事後確率分布推定部４に出力される。
　事後確率分布推定部４では、尤度ｗａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、図５に、（１）時刻ｔ１における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。
　また、図５に、上記処理により取得された、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
　なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
　　Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
　　Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
　図６は、時刻ｔ１における、尤度取得部３による予測処理および尤度計算と、事後確率分布推定部４による利サンプリングとを説明するための図であり、図５の物体Ｂ１の周辺の画像領域を抽出して示した図である。なお、図６では、Ｙ軸方向のパーティクルのみを模式的に示している。
　図６に示すように、時刻ｔ１の事前確率分布に従うパーティクル集合ｓｔ－１｜ｔ－１に対して予測処理を実行することで、予測後確率分布に従うパーティクル集合ｓｔ｜ｔ－１が取得される。そして、予測後確率分布に従うパーティクル集合ｓｔ｜ｔ－１の中で、その中心位置が、物体Ｂ１の画像領域内に含まれるパーティクルの尤度は、大きな値となる。図６では、尤度が大きなパーティクルを大きな円で示している。
　そして、事後確率分布推定部４では、尤度に比例する割合でＭ個のパーティクル（粒子）を復元抽出するので、図６に示すように、尤度の大きなパーティクルが複数個のパーティクルに復元されることで、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔが取得される。
　そして、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値を算出することで、Ｙ軸の平均位置が、図６のＹ＿ａｖｅとなり、高さの平均値が、図６のＨ＿ａｖｅとなる。
　Ｘ軸方向についても、同様に処理を実行し、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値を算出することで、Ｘ軸の平均位置が、図６のＸ＿ａｖｅとなり、幅の平均値が、図６のＷ＿ａｖｅとなる。
　これにより、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値により決定される画像領域が、図６の領域Ｒ＿ａｆｔｅｒ＿ａｖｅとなる。
（時刻ｔ２の処理）：
　次に、時刻ｔ２の処理について、説明する。
　図７は、時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図である。
　時刻ｔ２において、事前確率分布出力部５は、時刻ｔ１における事後確率分布（事後確率分布データ）を、時刻ｔ２における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
　観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
　つまり、観測選択部２は、時刻ｔ２の事前確率分布ｐ（ｘｔ－１｜ｙｔ－１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
　パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、
　　Ｗｔ－１｜ｔ－１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
　　Ｈｔ－１｜ｔ－１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
　　１．６×Ｗ０×１．４×Ｈ０＝２．２４×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、観測選択部２は、第２の観測データを選択する。
　そして、選択された第２の観測データは、尤度取得部３に出力される。
　尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　例えば、時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。つまり、ｖｔ （ｉ）がガウス分布に従うシステムノイズとし、
　　ｓｔ｜ｔ－１ （ｉ）＝ｆ（ｓｔ－１｜ｔ－１ （ｉ），ｖｔ （ｉ））
　　ｆ（）：時刻ｔ－１と時刻ｔとの状態変化を表す状態遷移関数
　　ｖｔ （ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　具体的には、時刻ｔ２における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘｔ－１｜ｔ－１ （ｉ），Ｙｔ－１｜ｔ－１ （ｉ），Ｗｔ－１｜ｔ－１ （ｉ），Ｈｔ－１｜ｔ－１ （ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘｔ｜ｔ－１ （ｉ），Ｙｔ｜ｔ－１ （ｉ），Ｗｔ｜ｔ－１ （ｉ），Ｈｔ｜ｔ－１ （ｉ））であるので、
　　Ｘｔ－１｜ｔ （ｉ）＝Ｘｔ－１｜ｔ－１ （ｉ）＋ΔＸ（ｉ）
　　Ｙｔ－１｜ｔ （ｉ）＝Ｙｔ－１｜ｔ－１ （ｉ）＋ΔＹ（ｉ）
　　Ｗｔ－１｜ｔ （ｉ）＝Ｗｔ－１｜ｔ－１ （ｉ）＋ΔＷ（ｉ）
　　Ｈｔ－１｜ｔ （ｉ）＝Ｈｔ－１｜ｔ－１ （ｉ）＋ΔＨ（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。なお、ΔＸ（ｉ）、ΔＹ（ｉ）、ΔＷ（ｉ）、ΔＨ（ｉ）は、それぞれ、ガウス分布に従う。
　このようにして取得した予測処理後のパーティクルの集合ｓｔ｜ｔ－１の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図７に示す。
　そして、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、観測選択部２から出力された第２の観測データ（実際の観測）とに基づいて、尤度を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ （ｉ）とする。
　ここで、図７に示すように、第２の観測データは、第１の観測データよりも、物体Ｂ２の領域の検出結果が良好である。このため、第１の観測データを用いて、尤度を計算することで、物体Ｂ２の画像領域に含まれるパーティクルの尤度を大きくすることができる。その結果、事後確率分布において、物体Ｂ２の画像領域に含まれるパーティクルの数を多くすることができる。したがって、時刻ｔ２において、観測選択部２により選択された第２の観測を用いて、尤度の算出を行うことで、より適切に物体の追跡処理が実行できる。
　そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、事後確率分布推定部４に出力される。
　事後確率分布推定部４では、尤度ｗａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、図７に、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。
　また、図７に、上記処理により取得された、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
　なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
　　Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
　　Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
として取得されたものとする。
（時刻ｔ３の処理）：
　次に、時刻ｔ３の処理について、説明する。
　図８は、時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ３の状態とを模式的に示す図である。
　時刻ｔ３において、事前確率分布出力部５は、時刻ｔ２における事後確率分布（事後確率分布データ）を、時刻ｔ３における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
　観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
　つまり、観測選択部２は、時刻ｔ２の事前確率分布ｐ（ｘｔ－１｜ｙｔ－１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
　パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、
　　Ｗｔ－１｜ｔ－１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
　　Ｈｔ－１｜ｔ－１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
であり、
　　２．３×Ｗ０×１．６×Ｈ０＝３．６８×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、観測選択部２は、第２の観測データを選択する。
　そして、選択された第２の観測データは、尤度取得部３に出力される。
　尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　例えば、時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。つまり、ｖｔ （ｉ）がガウス分布に従うシステムノイズとし、
　　ｓｔ｜ｔ－１ （ｉ）＝ｆ（ｓｔ－１｜ｔ－１ （ｉ），ｖｔ （ｉ））
　　ｆ（）：時刻ｔ－１と時刻ｔとの状態変化を表す状態遷移関数
　　ｖｔ （ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　具体的には、時刻ｔ３における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘｔ－１｜ｔ－１ （ｉ），Ｙｔ－１｜ｔ－１ （ｉ），Ｗｔ－１｜ｔ－１ （ｉ），Ｈｔ－１｜ｔ－１ （ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘｔ｜ｔ－１ （ｉ），Ｙｔ｜ｔ－１ （ｉ），Ｗｔ｜ｔ－１ （ｉ），Ｈｔ｜ｔ－１ （ｉ））であるので、
　　Ｘｔ－１｜ｔ （ｉ）＝Ｘｔ－１｜ｔ－１ （ｉ）＋ΔＸ（ｉ）
　　Ｙｔ－１｜ｔ （ｉ）＝Ｙｔ－１｜ｔ－１ （ｉ）＋ΔＹ（ｉ）
　　Ｗｔ－１｜ｔ （ｉ）＝Ｗｔ－１｜ｔ－１ （ｉ）＋ΔＷ（ｉ）
　　Ｈｔ－１｜ｔ （ｉ）＝Ｈｔ－１｜ｔ－１ （ｉ）＋ΔＨ（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。なお、ΔＸ（ｉ）、ΔＹ（ｉ）、ΔＷ（ｉ）、ΔＨ（ｉ）は、それぞれ、ガウス分布に従う。
　このようにして取得した予測処理後のパーティクルの集合ｓｔ｜ｔ－１の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図８に示す。
　そして、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、観測選択部２から出力された第２の観測データ（実際の観測）とに基づいて、尤度を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ （ｉ）とする。
　ここで、図８に示すように、第２の観測データは、第１の観測データよりも、物体Ｂ３の領域の検出結果が良好である。このため、第１の観測データを用いて、尤度を計算することで、物体Ｂ３の画像領域に含まれるパーティクルの尤度を大きくすることができる。その結果、事後確率分布において、物体Ｂ３の画像領域に含まれるパーティクルの数を多くすることができる。したがって、時刻ｔ３において、観測選択部２により選択された第２の観測を用いて、尤度の算出を行うことで、より適切に物体の追跡処理が実行できる。
　そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、事後確率分布推定部４に出力される。
　事後確率分布推定部４では、尤度ｗａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、図８に、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。
　また、図８に、上記処理により取得された、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
　以上の処理を継続させることで、状態推定システム１０００により、物体の追跡処理を行うことができる。
　このように、状態推定システム１０００では、観測取得部１により、複数の観測（観測データ）が取得され、観測選択部２より、追跡対象の状態（本実施形態では、物体の大きさ）に応じて、より適切な観測データが選択される。そして、状態推定システム１０００では、選択された観測データに基づいて、尤度が算出され、算出された尤度を用いて、リサンプリングが実行される。したがって、状態推定システム１０００では、追跡対象の状態が変化した場合であっても（本実施形態では、物体の大きさが変化した場合であっても）、適切な事後確率分布データを取得することができる。その結果、状態推定システム１０００では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
　［第２実施形態］
　次に、第２実施形態について、説明する。
　＜２．１：状態推定システムの構成＞
　図９は、第２実施形態に係る状態推定システム２０００の概略構成図である。
　状態推定システム２０００は、図９に示すように、観測取得部１と、尤度算出部７と、尤度取得部３Ａと、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６と、を備える。
　状態推定システム２０００において、観測取得部１と、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６とは、第１実施形態の状態推定システム１０００のものと同様である。
　なお、事前確率分布出力部５は、第１実施形態とは出力先だけが異なる。つまり、状態推定システム２０００の事前確率分布出力部５は、生成した事前確率分布（事前確率分布データ）を尤度算出部７と、尤度取得部３Ａとに出力する。
　本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
　尤度算出部７は、図９に示すように、第１尤度算出部７１と、第２尤度算出部７２とを備える。
　第１尤度算出部７１は、第１観測取得部１１から出力される第１の観測（第１の観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。第１尤度算出部７１は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、第１尤度算出部７１は、第１の観測（第１の観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度（第１尤度）を算出する。そして、第１尤度算出部７１は、第１の観測データを用いて算出した第１尤度（第１尤度データ）と予測後確率分布（予測後確率分布データ）とを尤度取得部３Ａに出力する。
　第２尤度算出部７２は、第２観測取得部１２から出力される第２の観測（第２の観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。第２尤度算出部７２は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、第２尤度算出部７２は、第２の観測（第２の観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度（第２尤度）を算出する。そして、第２尤度算出部７２は、第２の観測データを用いて算出した第２尤度（第１尤度データ）と予測後確率分布（予測後確率分布データ）とを尤度取得部３Ａに出力する。
　なお、事前確率分布（事前確率分布データ）に対する予測処理は、第１尤度算出部７１および第２尤度算出部７２のいずれか一方のみで実行されるものであってもよい。この場合、第１尤度算出部７１および第２尤度算出部７２のいずれか一方で取得された予測後確率分布（予測後確率分布データ）は、他方に出力される。また、第１尤度算出部７１および第２尤度算出部７２のいずれか一方で取得された予測後確率分布（予測後確率分布データ）は、尤度取得部３Ａに出力される。
　なお、図９では、尤度算出部が２つの構成を示しているが、これに限定されることはなく、尤度算出部は、３つ以上であってもよい。
　尤度取得部３Ａは、第１尤度算出部７１から出力される第１尤度と、第２尤度算出部７２から出力される第２尤度と、第１尤度算出部７１および第２尤度算出部７２の一方（または両方）から出力される予測後確率分布（予測後確率分布データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。尤度取得部３Ａは、事前確率分布（事前確率分布データ）に基づいて、複数の尤度（図９の場合、第１尤度と第２尤度）の中から１つの尤度（尤度データ）を選択し、選択した尤度（尤度データ）を事後確率分布推定部４に出力する。
　＜２．２：状態推定システムの動作＞
　以上のように構成された状態推定システム２０００の動作について、以下、説明する。
　なお、以下では、第１実施形態と同様に、大きさが変化する黄色の物体を追跡する処理を例に説明する。
　また、第１実施形態と同様に、第１の観測（第１の観測データ）は、幅Ｗ０、高さＨ０である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第１物体検出部１１２は、第１映像入力部１１１が取得した画像において、幅Ｗ０、高さＨ０の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅Ｗ０、高さＨ０である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
　また、第２の観測（第２の観測データ）は、幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第２物体検出部１２２は、第２映像入力部１２１が取得した画像において、幅（２×Ｗ０）、高さ（２×Ｈ０）の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
（時刻ｔ０の処理）：
　まず、時刻ｔ０の処理について、説明する。
　時刻ｔ０において、初期状態設定部６は、追跡対象の状態の初期状態を設定するための初期値を事前確率分布出力部５に出力する。
　事前確率分布出力部５は、初期状態設定部６から入力された初期値に基づいて、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ－１（ｔ＝ｔ０）を生成する。
　なお、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ－１（ｔ＝ｔ０）の生成処理は、例えば、可能性のある全ての状態を表すパーティクルの集合が、初期状態を示すパーティクルの集合として生成されるように実行すればよい。
　事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）は、尤度算出部７、尤度取得部３Ａ、および、事後確率分布推定部４に出力される。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
　尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　そして、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ （ｉ）とする。
　そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、尤度取得部３Ａに出力される。
　また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ （ｉ）とする。
　そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
　尤度取得部３Ａでは、追跡対象が発見（特定）されるまで、第１の観測データと第２の観測データの両方のデータを参照し、第１尤度および第２尤度のどちらを出力するかを決定する。時刻ｔ０の場合、図４に示すように、第１の観測データ（物体検出画像）に検出結果が顕著に現れているので、尤度取得部３Ａは、第１尤度を選択し、選択した第１尤度を事後確率分布推定部４に出力する。
　事後確率分布推定部４では、第１尤度ｗ１ａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅは、図４に示したものと同様のものとなる。
　また、上記処理により取得された、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図４に示したものと同様のものとなる。
　なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
　　Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
　　Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ１の処理）：
　次に、時刻ｔ１の処理について、説明する。
　時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とは、図５と同様である。
　時刻ｔ１において、事前確率分布出力部５は、時刻ｔ０における事後確率分布（事後確率分布データ）を、時刻ｔ１における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
　尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　そして、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ （ｉ）とする。
　そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、尤度取得部３Ａに出力される。
　また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ （ｉ）とする。
　そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
　尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
　つまり、尤度取得部３Ａは、時刻ｔ１の事前確率分布ｐ（ｘｔ－１｜ｙｔ－１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
　具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさを、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）と、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）との間の所定の閾値Ｔｈと比較することで、第１尤度と第２尤度のどちらの尤度を選択するか決定する。なお、本実施形態では、Ｔｈ＝２×ＷＯ×Ｈ０とし、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさが閾値Ｔｈよりも小さい場合、第１尤度を選択するものとする。
　パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、
　　Ｗｔ－１｜ｔ－１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
　　Ｈｔ－１｜ｔ－１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
　　１．４×Ｗ０×１．４×Ｈ０＝１．９６×Ｗ０×Ｈ０＜２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも小さいので、尤度取得部３Ａは、第１尤度を選択する。
　そして、選択された第１尤度は、事後確率分布推定部４に出力される。
　事後確率分布推定部４では、第１尤度ｗ１ａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、（１）時刻ｔ１における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図５と同様である。
　また、上記処理により取得された、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図５と同様である。
　なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
　　Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
　　Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ２の処理）：
　次に、時刻ｔ２の処理について、説明する。
　時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とは、図７と同様である。
　時刻ｔ２において、事前確率分布出力部５は、時刻ｔ１における事後確率分布（事後確率分布データ）を、時刻ｔ２における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
　尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　そして、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ （ｉ）とする。
　そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、尤度取得部３Ａに出力される。
　また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ （ｉ）とする。
　そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
　尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
　つまり、尤度取得部３Ａは、時刻ｔ２の事前確率分布ｐ（ｘｔ－１｜ｙｔ－１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
　具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、
　　Ｗｔ－１｜ｔ－１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
　　Ｈｔ－１｜ｔ－１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
　　１．６×Ｗ０×１．４×Ｈ０＝２．２４×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、尤度取得部３Ａは、第２尤度を選択する。
　そして、選択された第２尤度は、事後確率分布推定部４に出力される。
　事後確率分布推定部４では、第２尤度ｗ２ａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図７と同様である。
　また、上記処理により取得された、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図７と同様である。
　なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
　　Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
　　Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
として取得されたものとする。
（時刻ｔ３の処理）：
　次に、時刻ｔ３の処理について、説明する。
　時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とは、図８と同様である。
　時刻ｔ３において、事前確率分布出力部５は、時刻ｔ２における事後確率分布（事後確率分布データ）を、時刻ｔ３における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。
　また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
　尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ－１｜ｔ－１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ－１を取得する。
　そして、予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ （ｉ）とする。
　そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）とともに、尤度取得部３Ａに出力される。
　また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ－１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
　なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
　つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
　　ｓｔ｜ｔ－１ （ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ （ｉ）とする。
　そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
　尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
　つまり、尤度取得部３Ａは、時刻ｔ３の事前確率分布ｐ（ｘｔ－１｜ｙｔ－１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
　具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、
　　Ｗｔ－１｜ｔ－１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
　　Ｈｔ－１｜ｔ－１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
であり、
　　２．３×Ｗ０×１．６×Ｈ０＝３．６８×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、尤度取得部３Ａは、第２尤度を選択する。
　そして、選択された第２尤度は、事後確率分布推定部４に出力される。
　事後確率分布推定部４では、第２尤度ｗ２ａｔ （ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ （ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
　　Ｓｔ｜ｔ＝｛ｓｔ｜ｔ （１），ｓｔ｜ｔ （２），・・・，ｓｔ｜ｔ （Ｍ）｝
を取得する。
　なお、（１）時刻ｔ３における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ－１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ－１＿ａｖｅ，Ｙｔ｜ｔ－１＿ａｖｅ，Ｗｔ｜ｔ－１＿ａｖｅ，Ｈｔ｜ｔ－１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図８と同様である。
　また、上記処理により取得された、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図８と同様である。
　以上の処理を継続させることで、状態推定システム２０００により、物体の追跡処理を行うことができる。
　このように、状態推定システム２０００では、観測取得部１により、複数の観測（観測データ）が取得され、尤度算出部７より、複数の観測のそれぞれに対して尤度が算出される。そして、状態推定システム２０００では、尤度算出部７により算出された複数の尤度の中から、追跡対象の状態（本実施形態では、物体の大きさ）に応じて、より適切な尤度が選択される。そして、状態推定システム２０００では、選択された尤度を用いて、リサンプリングが実行される。したがって、状態推定システム２０００では、追跡対象の状態が変化した場合であっても（本実施形態では、物体の大きさが変化した場合であっても）、適切な事後確率分布データを取得することができる。その結果、状態推定システム２０００では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
　≪変形例≫
　次に、第２実施形態の変形例について、説明する。
　本変形例の状態推定システムは、第２実施形態の状態推定システム２０００と同様の構成を有している。
　第２実施形態の状態推定システム２０００では、尤度取得部３Ａが、第１尤度および第２尤度のいずれか一方を選択していたが、本変形例では、尤度取得部３Ａは、第１尤度および第２尤度を合成した合成尤度を取得し、取得した合成尤度を事後確率分布推定部４に出力する。本変形例において、この点のみが、第２実施形態と相違する。
　以下では、本変形例に特有の部分について、説明する。
　尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度とを合成する比率を決定する。
　具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の大きさをＡ１とし、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）をＤ１とし、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）Ｄ２とし、Ｄ１＜Ａ１＜Ｄ２であるとすると、
　　α＝（Ａ１―Ｄ１）／（Ｄ２－Ｄ１）
　　０≦α≦１
により、内分比αを取得する。そして、尤度取得部３Ａは、
　　（合成尤度）＝（第１尤度）×（１－α）＋（第２尤度）×α
により、合成尤度を算出し、算出した合成尤度を事後確率分布推定部４に出力する。
　このように、本変形例の状態推定システムでは、第１尤度と第２尤度とを重み付けして合成した合成尤度を用いて、リサンプリングが実行されるので、追跡対象の状態が急激に変化する場合であっても、適切な事後確率分布データを取得することができる。つまり、追跡対象の状態が急激に変化する場合、複数の観測のいずれかを選択して処理を行うと、選択対象が切り替わるときに、取得される事後確率分布データも急激に変化し、不自然な追跡処理になることがあるが、本変形例の状態推定システムでは、第１尤度と第２尤度とを重み付けして合成した合成尤度により処理が実行されるので、このような急激な変化があった場合であっても、取得される事後確率分布データが急激に変化することを適切に抑制できる。その結果、本変形例の状態推定システムでは、自然な追跡処理を実現することができる。
　なお、上記では、内分により合成尤度を算出する場合について説明したが、これに限定されることはなく、外分等の他の重み付けにより、合成尤度を取得するようにしてもよい。
　また、非線形な関数（例えば、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の幅および高さを変数とする非線形関数）により、合成尤度を取得するようにしてもよい。
　また、上記では、尤度算出部７で取得される尤度の数が２つである場合について、説明したが、これに限定されることはなく、尤度算出部７で取得される尤度の数は３以上であってもよい。
　［他の実施形態］
　上記実施形態（変形例を含む）では、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理において、画像領域の面積に基づいて、閾値Ｔｈを設定する場合について、説明したがこれに限定されることはない。例えば、追跡対象の物体の高さＨと幅Ｗのアスペクト比が固定値である場合、閾値を幅または高さに基づいて、閾値を設定し、パーティクルの集合Ｓｔ－１｜ｔ－１の平均値（Ｘｔ－１｜ｔ－１＿ａｖｅ，Ｙｔ－１｜ｔ－１＿ａｖｅ，Ｗｔ－１｜ｔ－１＿ａｖｅ，Ｈｔ－１｜ｔ－１＿ａｖｅ）が示す画像領域の幅または高さを比較対象として、閾値処理することで、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理を実行するようにしてもよい。
　例えば、追跡対象の物体の高さＨと幅Ｗのアスペクト比がＨ：Ｗ＝１：２で固定である場合であって、第１観測データが幅１６画素である物体を最も顕著に検出する物体検出画像であり、第２観測データが幅３２画素である物体を最も顕著に検出する物体検出画像である場合、例えば、中間値の「２４」を閾値とする。そして、
（１）Ｗ≦２４のとき、第１観測データを選択し、
（２）Ｗ＞２４のとき、第２観測データを選択する
ことで、第１の観測データおよび第２観測データの選択処理を実行し、
（１）Ｗ≦２４のとき、第１尤度を選択し、
（２）Ｗ＞２４のとき、第２尤度を選択する
ことで、第１尤度および第２尤度の選択処理を実行するようにしてもよい。
　また、上記実施形態（変形例を含む）では、パーティクルの示す状態は、パーティクルの中心座標(Ｘ，Ｙ)と、座標（Ｘ，Ｙ）を中心とする幅Ｗ、高さＨとにより決定される矩形領域を示す状態ベクトル（Ｘ，Ｙ，Ｗ，Ｈ）を用いて処理を行う場合について説明したが、これに限定されることはない。例えば、パーティクルの示す状態は、例えば、パーティクルの中心座標(Ｘ，Ｙ)と、座標（Ｘ，Ｙ）を中心とする長軸２Ａ、短軸２Ｂとにより決定される楕円領域を示す状態ベクトル（Ｘ，Ｙ，Ａ，Ｂ）を用いて処理を行うようにしてもよい。
　また、上記実施形態（変形例を含む）では、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値としたが、これに限定されることはなく、例えば、各パーティクルの内部変数に基づいて、設定される画像領域（例えば、Ｗ×Ｈの画像領域より所定の割合だけ大きい画像領域等）内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値、重み付け積算値（パーティクルの中心座標からの距離により重み付けした値の積算値）、平均値、重み付け平均値（パーティクルの中心座標からの距離により重み付けした値の平均値）等であってもよい。
　また、上記実施形態（変形例を含む）では、観測は、黄色物体に反応するような観測であったが、観測はこれによらず、例えば、ニューラルネットを用いた物体検出器で、異なる大きさの物体を検出するような複数の観測であってもよい。この場合、観測取得部１では、カメラから入力された画像がニューラルネットワークを用いた検出器に入力され、検出結果として検出信号がグレースケールの画像として出力され、この画像が、観測選択部２あるいは尤度算出部７の入力となる。そして、尤度を算出処理において、パーティクルの状態ベクトル(Ｘ，Ｙ，Ｗ，Ｈ)が示す領域を抽出し、抽出した領域内の上記グレー画像のすべての画素について画素値を加算することにより尤度を算出すればよい。
　また、上記実施形態（変形例を含む）では、大きさが変化する１つの物体を追跡する場合について説明したが、これに限定されることはなく、状態推定システムにおいて、大きさが変化する複数の物体を追跡する処理を実行するようにしてもよい。この場合、複数の追跡対象物体が占有する画像領域ごとに、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理を実行し、上記と同様の処理を適用すればよい。
　また、上記実施形態（変形例を含む）では、黄色の物体を追跡対象としたが、これに限定さされることはなく、追跡対象は、他の特徴を有するものであってもよい。
　黄色の物体を追跡対象とする場合、第１映像入力部１１１、第２映像入力部１２１で取得される画像（映像）の各画素のＲＧＢ値をＲ，Ｇ，Ｂ(各８ビット)とすると、たとえば、
　　Ｙｅ＝(２５５－Ｂ)×Ｒ×Ｇ／(１＋Ｒ＋Ｇ＋Ｂ)
により黄色度合いを検出し、検出した結果を物体検出画像とすればよい。
　また、他の色の物体を追跡対象とする場合、上記と同様に、当該他の色成分を抽出する処理を実行し、検出した結果を物体検出画像とすればよい。
　また、上記実施形態（変形例を含む）では、図３に示すように、第１観測取得部１１と第２観測取得部１２とが、それぞれ、映像入力部（第１映像入力部１１１と第２映像入力部１２１）を有する構成としたが、これに限定されることはなく、例えば、観測取得部１は、１つの映像入力部を有し、その映像入力部の出力が、第１物体検出部１１２および第２物体検出部１２２の入力となるように構成されるものであってもよい。
　また、第１実施形態の状態推定システムにおいて、観測取得部１を、図１０に示す観測取得部１Ａに置換し、観測選択部２を図１０に示す観測選択部２Ａに置換した構成としてもよい。
　この場合、図１０に示すように、観測取得部１Ａは、１つの映像入力とＮ個の物体検出部
とを備える。つまり、観測取得部１Ａは、映像入力部１１１Ａと、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎとを備える。
　そして、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎは、それぞれ、映像入力部１１１Ａが取得した動画像（動画像信号）を入力し、入力された動画像（動画像信号）から第１～第Ｎの物体検出画像を取得し、取得した第１～第Ｎの物体検出画像（第１～第Ｎの観測データ）を観測選択部２Ａに出力する。
　観測選択部２は、第１～第Ｎの物体検出画像（第１～第Ｎの観測データ）の中から、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）に基づいて、複数の観測（観測データ）の中から１つの観測（観測データ）を選択する。
　以降の処理は、第１実施形態と同様である。このように、複数の観測データ（例えば、複数の物体検出結果画像）を用いて、第１実施形態と同様の処理を行うようにしてもよい。
　また、第２実施形態の状態推定システムにおいて、観測取得部１を、図１１に示す観測取得部１Ａに置換し、尤度算出部７を、図１１に示す尤度算出部７Ａに置換し、尤度取得部３Ａを、図１１に示す尤度取得部３Ｂに置換した構成としてもよい。
　この場合、図１１に示すように、観測取得部１Ａは、１つの映像入力とＮ個の物体検出部
とを備える。つまり、観測取得部１Ａは、映像入力部１１１Ａと、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎとを備える。
　そして、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎは、それぞれ、映像入力部１１１Ａが取得した動画像（動画像信号）を入力し、入力された動画像（動画像信号）から第１～第Ｎの物体検出画像を取得し、取得した第１～第Ｎの物体検出画像（第１～第Ｎの観測データ）を尤度算出部７Ａに出力する。
　図１１に示すように、尤度算出部７Ａは、第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎを備える。
　尤度算出部７Ａの第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎは、それぞれ、第１～第Ｎの物体検出画像（第１～第Ｎの観測データ）を入力し、第１～第Ｎの物体検出画像（第１～第Ｎの観測データ）に対して、上記実施形態で説明したのと同様の処理（上記実施形態で説明した第１尤度算出部７１等と同様の処理）を行い、第１～第Ｎ尤度（第１～第Ｎ尤度データ）を取得する。そして、第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎは、それぞれ、取得した第１～第Ｎ尤度（第１～第Ｎ尤度データ）を尤度取得部３Ｂに出力する。
　尤度取得部３Ｂは、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）に基づいて、複数の尤度（第１～第Ｎ尤度）の中から１つの尤度（尤度データ）を選択する。
　以降の処理は、第２実施形態と同様である。このように、複数の観測データ（例えば、複数の物体検出画像）、複数の尤度（尤度データ）を用いて、第２実施形態と同様の処理を行うようにしてもよい。
　また、上記実施形態（変形例）および図１０、図１１に示した構成において、観測取得部（１、Ａ）を、図１２に示す観測取得部１Ｂに置換した構成にしてもよい。
　観測取得部１Ｂは、図１２に示すように、２つの映像入力部（第１映像入力部１１１Ａ、第２映像入力部１１１Ｂ）と、Ｎ個の物体検出部を備える。
　そして、図１２に示すように、第１映像入力部１１１Ａの出力は、第１～第Ｋ物体検出部に入力され、第２映像入力部１１１Ｂの出力は、第Ｋ＋１～第Ｎ物体検出部に入力される。
　このように、複数の映像入力部と、複数の物体検出部とを用いて、複数の観測データ（例えば、複数の物体検出画像）により、上記実施形態と同様の処理を適用するようにしてもよい。
　なお、映像入力部の数と、物体検出部の数とは、例えば、図１２に示すように、同じ数でなくてもよい。
　上記のように、複数の観測（複数の観測データ）、および／または、複数の尤度（複数の尤度データ）を用いて、上記実施形態（変形例も含む）と同様の処理を適用させることで、状態推定システムでは、より精度の高い状態推定（例えば、物体追跡処理）を実行することができる。例えば、状態推定システムにおいて、物体追跡処理を行う場合、第１～第Ｎ物体検出部が、それぞれ、異なる大きさの物体の検出結果（物体検出画像）を取得し、その検出結果（物体検出画像）を用いて、処理を実行することで、より精度の高い物体追跡処理を実現することができる。
　また、状態推定システムにおいて、物体追跡処理を行う場合、第１～第Ｎ物体検出部が、それぞれ、異なる大きさの物体の検出結果（物体検出画像）を取得し、その検出結果（物体検出画像）を用いて複数の尤度を取得し、取得した複数の尤度を用いて処理を実行することで、より精度の高い物体追跡処理を実現することができる。
　さらに、取得した複数の尤度を用いて、第２実施形態で説明したのと同様に、内分処理により、合成尤度を算出し、算出した合成尤度を用いて、第２実施形態と同様の処理を行うことで、より精度の高い物体追跡処理を実現することができる。
　また、上記実施形態で説明した状態推定システムにおいて、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
　なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
　また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
　また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
　前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
　なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
１０００、２０００　状態推定システム
１　観測取得部
１１　第１観測取得部
１２　第２観測取得部
２　観測選択部
３、３Ａ　尤度取得部
４　事後確率分布推定部
５　事前確率分布出力部
６　初期状態設定部
７　尤度算出部
７１　第１尤度算出部
７２　第２尤度算出部

Claims (11)

  1. 　観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部と、
    　前時刻ｔ－１に取得された事後確率分布データに基づいて、前記観測取得部により取得された前記複数の観測データの中から、１つの観測データを選択する観測選択部と、
    　前記観測選択部により選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得部と、
    　前記尤度取得部により取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
    　前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
    を備える状態推定装置。
  2. 　観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部と、
    　前時刻ｔ－１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する尤度算出部と、
    　前記尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得部と、
    　前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
    　前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
    を備える状態推定装置。
  3. 　前記尤度取得部は、前記複数の尤度データから選択した１つの尤度データを前記決定尤度データとして取得する、
    　請求項２に記載の状態推定装置。
  4. 　前記尤度取得部は、前記複数の尤度データの重み付け和により導出した尤度データを、前記決定尤度データとして取得する、
    　請求項２に記載の状態推定装置。
  5. 　前記尤度算出部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行し、
    　前記尤度データの重み付け係数は、パーティクルの内部状態を表す関数である、
    　請求項４に記載の状態推定装置。
  6. 　前記尤度算出部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行する、
    　請求項２から５のいずれかに記載の状態推定装置。
  7. 　前記観測選択部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行する、
    　請求項１に記載の状態推定装置。
  8. 　観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得ステップと、
    　前時刻ｔ－１に取得された事後確率分布データに基づいて、前記観測取得ステップにより取得された前記複数の観測データの中から、１つの観測データを選択する観測選択ステップと、
    　前記観測選択ステップにより選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得ステップと、
    　前記尤度取得ステップにより取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
    　前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出ステップと、
    を備える状態推定方法をコンピュータに実行させるためのプログラム。
  9. 　観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得ステップと、
    　前時刻ｔ－１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データごとに、尤度データを算出する尤度算出ステップと、
    　前記尤度算出ステップにより取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得ステップと、
    　前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
    　前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出ステップと、
    を備える状態推定方法をコンピュータに実行させるためのプログラム。
  10. 　観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、
    　前時刻ｔ－１に取得された事後確率分布データに基づいて、前記観測取得部により取得された前記複数の観測データの中から、１つの観測データを選択する観測選択部と、
    　前記観測選択部により選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得部と、
    　前記尤度取得部により取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
    　前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
    を備える集積回路。
  11. 　観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、
    　前時刻ｔ－１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する尤度算出部と、
    　前記尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得部と、
    　前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
    　前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出力部と、
    を備える集積回路。
PCT/JP2014/055571 2013-04-15 2014-03-05 状態推定装置、プログラムおよび集積回路 Ceased WO2014171212A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14785984.7A EP2975577A4 (en) 2013-04-15 2014-03-05 CONDITIONING DEVICE, PROGRAM AND INTEGRATED CIRCUIT
US14/881,652 US9911191B2 (en) 2013-04-15 2015-10-13 State estimation apparatus, state estimation method, and integrated circuit with calculation of likelihood data and estimation of posterior probability distribution data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-085014 2013-04-15
JP2013085014A JP6194450B2 (ja) 2013-04-15 2013-04-15 状態推定装置、プログラムおよび集積回路

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/881,652 Continuation US9911191B2 (en) 2013-04-15 2015-10-13 State estimation apparatus, state estimation method, and integrated circuit with calculation of likelihood data and estimation of posterior probability distribution data

Publications (1)

Publication Number Publication Date
WO2014171212A1 true WO2014171212A1 (ja) 2014-10-23

Family

ID=51731171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/055571 Ceased WO2014171212A1 (ja) 2013-04-15 2014-03-05 状態推定装置、プログラムおよび集積回路

Country Status (4)

Country Link
US (1) US9911191B2 (ja)
EP (1) EP2975577A4 (ja)
JP (1) JP6194450B2 (ja)
WO (1) WO2014171212A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3032496A1 (en) * 2014-12-11 2016-06-15 Megachips Corporation State estimation apparatus, program, and integrated circuit

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6295122B2 (ja) * 2014-03-27 2018-03-14 株式会社メガチップス 状態推定装置、プログラムおよび集積回路
JP6366999B2 (ja) * 2014-05-22 2018-08-01 株式会社メガチップス 状態推定装置、プログラムおよび集積回路
WO2016025507A1 (en) * 2014-08-12 2016-02-18 Joseph Cole Harper System and method for accurately analyzing sensed data
JP6571552B2 (ja) * 2016-02-04 2019-09-04 日本電信電話株式会社 予測装置および予測方法
US11222438B2 (en) * 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
US11132611B2 (en) * 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
US10481379B1 (en) * 2018-10-19 2019-11-19 Nanotronics Imaging, Inc. Method and system for automatically mapping fluid objects on a substrate
JP7107246B2 (ja) * 2019-02-21 2022-07-27 日本電信電話株式会社 推定装置、推定方法、及びプログラム
WO2020261447A1 (ja) * 2019-06-26 2020-12-30 日本電信電話株式会社 パラメタ推定装置、パラメタ推定方法、及びパラメタ推定プログラム
JP7381330B2 (ja) * 2019-12-24 2023-11-15 京セラ株式会社 情報処理システム、情報処理装置及び情報処理方法
JP7725938B2 (ja) * 2021-08-25 2025-08-20 沖電気工業株式会社 追尾装置、追尾システム、追尾方法および追尾方法のプログラム
JP7729117B2 (ja) * 2021-08-30 2025-08-26 沖電気工業株式会社 追尾装置、追尾システム、追尾方法および追尾方法のプログラム
JP2024008347A (ja) * 2022-07-08 2024-01-19 株式会社熊谷組 データ抽出方法及びデータ抽出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328746A (ja) * 2006-06-09 2007-12-20 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法
JP2009199363A (ja) * 2008-02-21 2009-09-03 Toshiba Corp パーティクルフィルタを使用する追跡システム
JP2012234466A (ja) 2011-05-09 2012-11-29 Nippon Telegr & Teleph Corp <Ntt> 状態追跡装置、方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020198681A1 (en) * 2001-06-13 2002-12-26 Kouritzin Michael A. Flexible efficient branching particle tracking algorithms
WO2006105094A2 (en) * 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
US8463461B2 (en) * 2005-03-30 2013-06-11 The Boeing Company Trajectory prediction based on state transitions and lantencies
JP4686663B2 (ja) * 2006-07-10 2011-05-25 国立大学法人京都大学 歩行者トラッキング方法及び歩行者トラッキング装置
CN101975575B (zh) * 2010-10-15 2012-03-28 西安电子科技大学 基于粒子滤波的被动传感器多目标跟踪方法
US8452535B2 (en) * 2010-12-13 2013-05-28 GM Global Technology Operations LLC Systems and methods for precise sub-lane vehicle positioning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328746A (ja) * 2006-06-09 2007-12-20 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法
JP2009199363A (ja) * 2008-02-21 2009-09-03 Toshiba Corp パーティクルフィルタを使用する追跡システム
JP2012234466A (ja) 2011-05-09 2012-11-29 Nippon Telegr & Teleph Corp <Ntt> 状態追跡装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2975577A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3032496A1 (en) * 2014-12-11 2016-06-15 Megachips Corporation State estimation apparatus, program, and integrated circuit
CN105701839A (zh) * 2014-12-11 2016-06-22 株式会社巨晶片 状态估计装置、状态估计方法以及集成电路
JP2016114988A (ja) * 2014-12-11 2016-06-23 株式会社メガチップス 状態推定装置、プログラムおよび集積回路
US10375360B2 (en) 2014-12-11 2019-08-06 Megachips Corporation State estimation apparatus, state estimation method, integrated circuit, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
EP2975577A4 (en) 2016-06-15
JP6194450B2 (ja) 2017-09-13
US20160035098A1 (en) 2016-02-04
US9911191B2 (en) 2018-03-06
EP2975577A1 (en) 2016-01-20
JP2014206907A (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
JP6194450B2 (ja) 状態推定装置、プログラムおよび集積回路
JP4955616B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN112927279B (zh) 一种图像深度信息生成方法、设备及存储介质
TWI520078B (zh) Optical flow tracking method and device
JP6482844B2 (ja) 状態推定装置、プログラムおよび集積回路
WO2019093152A1 (ja) 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法
JP6366999B2 (ja) 状態推定装置、プログラムおよび集積回路
CN108876813B (zh) 用于视频中物体检测的图像处理方法、装置及设备
EP2352128A1 (en) Mobile body detection method and mobile body detection apparatus
JP2014206907A5 (ja)
CN102129695A (zh) 基于遮挡物建模的有遮挡情况下的目标跟踪方法
CN119540553A (zh) 一种基于WKA-Unet的MRI图像分割方法
CN118644526B (zh) 声纳图像的目标追踪方法、目标追踪系统和计算装置
CN116740126A (zh) 目标跟踪方法、高速相机及存储介质
JP2010055252A (ja) 動きベクトル検出装置および画像処理装置
JP2010219934A (ja) 目標追尾装置
JP6452324B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112017113A (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
CN119295326A (zh) 一种基于伪噪声和卷积神经网络的红外图像增强方法
WO2020044866A1 (ja) 変位計測装置及び変位計測方法
CN116342988A (zh) 一种基于显著性特征信息融合的弱小目标智能检测系统
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
CN106920249A (zh) 空间机动目标的快速追踪方法
JP2012118923A (ja) 領域分割装置及び領域分割方法
Wang et al. Algorithm and architecture for object tracking using particle filter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14785984

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014785984

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE