WO2020021949A1 - 鉄道車両用撮像システム - Google Patents

鉄道車両用撮像システム Download PDF

Info

Publication number
WO2020021949A1
WO2020021949A1 PCT/JP2019/025429 JP2019025429W WO2020021949A1 WO 2020021949 A1 WO2020021949 A1 WO 2020021949A1 JP 2019025429 W JP2019025429 W JP 2019025429W WO 2020021949 A1 WO2020021949 A1 WO 2020021949A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
area
railway vehicle
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/025429
Other languages
English (en)
French (fr)
Inventor
広幸 小林
雄介 高橋
拓也 二神
勝大 堀江
直人 瀬戸
世支明 山崎
陽平 服部
博章 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to EP19840166.3A priority Critical patent/EP3829155B1/en
Priority to CN201980048961.0A priority patent/CN112470456B/zh
Priority to SG11202012917RA priority patent/SG11202012917RA/en
Publication of WO2020021949A1 publication Critical patent/WO2020021949A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K9/00—Railway vehicle profile gauges; Detecting or indicating overheating of components; Apparatus on locomotives or cars to indicate bad track sections; General design of track recording vehicles
    • B61K9/08—Measuring installations for surveying permanent way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Definitions

  • the embodiment of the present invention relates to an imaging system for a railway vehicle.
  • an imaging apparatus for imaging a region in a traveling direction of a railway vehicle for the purpose of inspecting a railway line and detecting an obstacle (a gazing object that requires gazing) existing in the railway line while the railway vehicle is traveling.
  • Various systems using a stereo camera have been proposed.
  • Such a stereo camera is mainly used for assisting detection of an obstacle and determination of whether or not the obstacle affects the operation of the railway vehicle in a railway vehicle on which a driver actually rides and actually drives. By doing so, it is used as a system for improving the safety of operation.
  • the railway vehicle imaging system includes a first imaging unit and a second imaging unit.
  • the first imaging unit is provided at the front end of the leading railway vehicle, and can acquire a stereo image in a first area in the traveling direction of the railway vehicle.
  • the second imaging unit is provided at the front end, is capable of imaging at least a second region including a region farther than the first region, and is capable of acquiring a high-resolution image with a higher resolution than the first imaging unit.
  • FIG. 1 is an exemplary and schematic diagram illustrating a configuration of a leading portion of a railway vehicle including the railway vehicle imaging system according to the embodiment.
  • FIG. 2 illustrates a positional relationship between a first camera and a second camera as a first imaging unit and a third camera as a second imaging unit included in the imaging unit in the railway vehicle imaging system according to the embodiment.
  • FIG. 2 is an exemplary schematic diagram for performing the operation.
  • FIG. 3 is an exemplary and schematic block diagram for explaining the configuration of the railway vehicle imaging system according to the embodiment.
  • FIG. 4 is a diagram illustrating a positional relationship between a first region imaged by the first imaging unit and a second region imaged by the second imaging unit in the railway vehicle imaging system according to the embodiment.
  • FIG. 3 is an exemplary and schematic diagram of FIG.
  • FIG. 5 is an exemplary and schematic flowchart showing a flow of a detection process of an obstacle or the like in the railway vehicle imaging system according to the embodiment.
  • FIG. 6 is an exemplary schematic flow chart showing
  • FIG. 1 is an exemplary schematic diagram showing a configuration of the railway vehicle imaging system 100 according to the embodiment.
  • the railway vehicle imaging system 100 is mounted on a railway vehicle RV that travels along a traveling direction D on a track R formed by a pair of rails.
  • the railway vehicle imaging system 100 includes an imaging unit 10, a camera control unit 12, an image processing unit 14, and an output unit 16.
  • the imaging unit 10 is provided at a front end portion of the railway vehicle RV (for example, a driver's seat of the leading railway vehicle RV) and captures an image of a region in the traveling direction D (front region) of the railway vehicle RV.
  • the line R is included in the captured image obtained by the imaging unit 10.
  • the imaging unit 10 of the present embodiment includes a first imaging unit 18 (stereo camera) capable of acquiring a stereo image in a first area in the traveling direction D of the railway vehicle RV, and at least an area farther than the first area.
  • a second imaging unit 20 single camera capable of imaging the second region including the second region.
  • FIG. 2 is a diagram schematically illustrating an example of an arrangement relationship between the first imaging unit 18 and the second imaging unit 20 included in the imaging unit 10.
  • the first imaging unit 18 and the second imaging unit 20 are fixed by, for example, a support member 22 (a support plate, a storage box, or the like) so that the mutual positional relationship does not change due to vibration or the like of the railroad vehicle RV during traveling. ing.
  • the first imaging unit 18 includes a first camera 10a and a second camera 10b that are arranged at a predetermined interval in the vehicle width direction of the railway vehicle RV.
  • the first camera 10a and the second camera 10b are digital cameras having built-in image pickup devices such as a CCD (Charge Coupled Device) and a CIS (CMOS image sensor), for example, so-called “HD image quality” moving image data (captured image data). ) Can be output at a predetermined frame rate.
  • CCD Charge Coupled Device
  • CIS CMOS image sensor
  • the second imaging unit 20 is, for example, a first camera 10a and a second camera 10b that are arranged in the vehicle width direction.
  • a first imaging unit 20 is disposed above an intermediate position between the first camera 10a and the second camera 10b.
  • the image pickup section 18 (the first camera 10a and the second camera 10b) includes a third camera 10c capable of capturing a high-resolution image with a higher resolution.
  • the third camera 10c is, for example, a digital camera having a built-in image sensor such as a CCD or CIS, and can output so-called “4K image quality” moving image data (captured image data) at a predetermined frame rate.
  • FIG. 3 is an exemplary and schematic block diagram for explaining the configuration of the railway vehicle imaging system 100.
  • the functional modules such as the camera control unit 12 and the image processing unit 14 can be configured as a computer having hardware such as a processor and a memory. More specifically, each functional module is realized by the processor of the railway vehicle imaging system 100 reading and executing a program stored in a memory such as a storage unit. Note that functional modules such as the camera control unit 12 and the image processing unit 14 may be realized by dedicated hardware (circuit).
  • the first camera 10a, the second camera 10b, and the third camera 10c are controlled by the camera control unit 12.
  • the camera control unit 12 provides, for example, a signal for controlling the exposure, shutter speed, white balance, and the like to the first camera 10a, the second camera 10b, and the third camera 10c, in addition to a synchronization signal. I do.
  • FIG. 4 shows a first region 24 imaged by the first imaging unit 18 (first camera 10a, second camera 10b) and a second area imaged by the second imaging unit 20 (third camera 10c).
  • FIG. 3 is an exemplary and schematic diagram for explaining a positional relationship of a region 26 of FIG.
  • FIG. 4 shows a state in which a railroad vehicle RV (not shown) traveling on the track R is heading for the platform 28 of the station located ahead.
  • the first imaging unit 18 captures a part of the second area 26 captured by the second imaging unit 20.
  • the directions of the optical axes of the first imaging unit 18 and the second imaging unit 20 are set so as to overlap a part of the first region 24.
  • the second area 26 includes the far area 26 a (far area) farther than the first area 24 that is not included in the first area 24 in the imaging range, and the first area 26 is located in front of the far area.
  • the near area 26b (near area) overlapping with 24 is also included in the imaging range.
  • the image processing unit 14 performs various types of image processing on captured image data (image signals) acquired from the first camera 10a, the second camera 10b, and the third camera 10c. Then, the image processing unit 14 detects the line R included in the first area 24, detects the presence or absence of an attention object (obstacle, etc.) within a predetermined range on or around the line R, and detects the presence of the attention object. The distance is detected. Similarly, the image processing unit 14 detects the line R included in the distant region 26 a of the second region 26, detects the presence or absence of a target object (obstacle, etc.) within a predetermined range on or around the line R, and An object detection process such as a process of estimating the distance to the attention target object is executed.
  • the first camera 10a and the second camera 10b are arranged so as to be separated from each other in the vehicle width direction of the railroad vehicle RV, are set so that the first region 24 is set as an imaging range, and are synchronized by a synchronization signal. It is configured to execute imaging of the same first region 24 (the same object included in the first region 24) at the same timing.
  • the image processing unit 14 can acquire a stereo image (first stereo image) of the same scene by the first camera 10a and the second camera 10b. Therefore, the image processing unit 14 can calculate the distance to the object included in the first region 24 based on the parallax of the acquired first stereo image using a well-known stereo matching technique or triangulation technique. it can.
  • the first area 24 is, for example, a processing target range up to about 200 m ahead of the railway vehicle RV. Distance measurement that can withstand practical use.
  • the image processing unit 14 can detect the line R from the image captured by the first camera 10a or the second camera 10b by using a known line R detection technique. For example, the image processing unit 14 divides the captured image into a plurality of pixel groups (detection areas, search areas), and for each of the pixel groups, a feature amount (for example, The line R is detected based on the characteristic relating to the luminance.
  • the fixed positions of the first camera 10a and the second camera 10b in the railcar RV are known. Further, the railway vehicle RV runs on the track R. Therefore, the position of the track R in the first region 24 imaged by the first camera 10a and the second camera 10b can be estimated.
  • the image processing unit 14 may generate a distance image reflecting the distance information based on the stereo images acquired from the first camera 10a and the second camera 10b. Then, the image processing unit 14 may set a detection area with respect to the generated distance image and detect the track R.
  • the third camera 10c includes the first area 24 in the imaging area, it functions as a single camera, and therefore cannot calculate the distance to the attention target included in the distant area 26a, but exists in the distant area 26a.
  • the presence of the attention target object can be recognized.
  • the third camera 10c is a “4K camera” capable of capturing images with “4K image quality”
  • the distant area 26a of the second area 26 is practically usable, for example, in a range up to about 400 m in front of the railway vehicle RV. It is possible to realize the detection of an object to be noted (hereinafter, referred to as an “obstacle or the like”).
  • accurate distance information can be obtained in the first region 24 imaged by the first camera 10a and the second camera 10b. Then, for example, the distance to the object M existing in the farthest part 30 in the first area 24 and the size of the object M can be accurately obtained.
  • the size of the object N existing in the nearest part 32 in the far area 26 a contacting the farthest part 30 is substantially the same as the size of the object M.
  • the size of the object of interest existing in the distant region 26a for example, the size of an obstacle or the like existing around the track R is known.
  • the sizes of power transmission poles installed along the line R and structures around the line R are known.
  • the length (size) corresponding to one pixel in the far area 26a can be calculated. That is, the first distance to the first position (for example, the object M) existing in the first area is calculated, and based on this first distance, the second area 26 (distant area 26a) is set. It is possible to estimate a second distance to an existing second position (object P). In this case, since the third camera 10c is the captured image data of 4K image quality, it is possible to sufficiently secure the reliability of the distance estimation based on the number of pixels.
  • the image processing unit 14 detects a target object (an obstacle such as an object M or an object P) in the first area 24 and the second area 26 (distant area 26a) by detecting a well-known pattern matching or the like. This is possible by applying the method to the line R and the area around the line R.
  • a substantial detection range of an obstacle or the like can be expanded.
  • the braking distance is, for example, about 400 m or less.
  • the braking force in the high-speed region increases as the maximum speed of the railway vehicle RV increases, so that the braking distance when the initial braking speed is 100 km / h is further reduced. Therefore, when the position of an obstacle or the like up to 400 m ahead of the railway vehicle RV can be estimated, or when an obstacle or the like exists, braking control can be performed from, for example, about 400 m before the obstacle or the like.
  • the railway vehicle imaging system 100 can be applied to obstacle detection and automatic braking control in an automatically traveling railway vehicle RV.
  • the image processing unit 14 obtains a first stereo image using the first camera 10a and the second camera 10b, and calculates a distance to an obstacle or the like in the first area 24.
  • the second area 26 which is the imaging range of the third camera 10c partially overlaps the first area 24 which is the imaging range of the first camera 10a and the second camera 10b. Therefore, the image processing unit 14 uses the second camera 10b and the third camera 10c to capture a stereo image (second image) of the overlapping area of the first area 24 and the second area 26, for example, using the second camera 10b and the third camera 10c. Stereo image).
  • the image processing unit 14 uses the third camera 10c and the first camera 10a, for example, to obtain a stereo image (second image) of the overlapping area of the first area 24 and the second area 26 using the third camera 10c and the first camera 10a. 3 stereo images). Therefore, distance measurement can be performed on obstacles and the like in the overlapping area for which distance measurement has been performed using the first stereo image, using the second stereo image and the third stereo image.
  • the distance measurement result based on the first stereo image, the distance measurement result based on the second stereo image, and the distance measurement result based on the third stereo image for example, by using an average value or the like of each distance measurement result.
  • the distance accuracy to an obstacle or the like in the overlapping area can be improved. That is, the distance measurement accuracy when the railway vehicle RV approaches an obstacle or the like can be improved. Further, the accuracy of distance estimation to an obstacle or the like in the distant region 26a can be improved.
  • FIG. 5 and FIG. 6 are flow charts showing the detection processing of a target object (for example, an obstacle) by the railway vehicle imaging system 100, that is, the flow of stereo image processing. It will be described using FIG. It is assumed that the processing of the flowchart shown in FIG. 5 is repeatedly executed at a predetermined processing cycle.
  • a target object for example, an obstacle
  • the camera control unit 12 of the railway vehicle imaging system 100 captures an image of the first area 24 by the first camera 10a and the second camera 10b when the railway vehicle RV is in an operable state (for example, when the power is on). Then, an image of the second area 26 is taken by the third camera 10c (S100).
  • the camera control unit 12 controls the exposure, shutter speed, white balance, and the like, in addition to the synchronization signal, so that the first camera 10a, the second camera 10b, and the third camera 10c capture the same scene under the same conditions. Provide a signal.
  • the first camera 10a, the second camera 10b, and the third camera 10c are configured to individually receive a control signal, a power supply, and the like. Therefore, even if a failure occurs in any one of the cameras, the configuration is such that normal imaging of the camera and output of the captured image data are not affected.
  • the image processing unit 14 executes the stereo image processing when the captured image data of all the cameras (the first camera 10a, the second camera 10b, and the third camera 10c) are sequentially obtained (Yes in S102). (S104). Details of the stereo image processing will be described with reference to the flowchart in FIG.
  • the image processing unit 14 determines that the captured images (first stereo images) captured by the first camera 10a and the second camera 10b have not been processed (No in S200), the first camera 10a and the second camera 10a A parallel equalization conversion process is performed on the captured image of 10b (S202). That is, the image processing unit 14 sets the first stereo image to a state where parallax detection by stereo matching processing is possible. Then, the image processing unit 14 generates a first distance image including distance information based on the captured images (first stereo images) captured by the first camera 10a and the second camera 10b based on the detected parallax (S204). ).
  • the image processing unit 14 applies a known technique for detecting the line R to the first distance image by using features related to luminance and the like, and detects the line R (S206). Note that, as described above, the location of the track R in the captured image is substantially determined. Therefore, the processing load on the image processing unit 14 can be reduced by setting the detection area of the track R to an expected existing position. Subsequently, the image processing unit 14 sets a recognition area for detecting an obstacle or the like on the detected track R (S208). Then, the image processing unit 14 performs detection of an obstacle or the like using a known detection technique (for example, pattern matching or the like) in the set recognition area (S210). The purpose of detecting an obstacle or the like is mainly to ensure safe traveling of the railway vehicle RV.
  • the obstacle or the like is set in a limited range of a predetermined range on and around the line R.
  • the processing load of the image processing unit 14 for detecting an obstacle or the like can be reduced.
  • the image processing unit 14 returns to the processing of S200.
  • the image processing unit 14 has processed the captured images (first stereo images) captured by the first camera 10a and the second camera 10b (Yes in S200), and captures the images of the second camera 10b and the third camera 10c. If it is determined that the captured image (second stereo image) has not been processed (No in S214), parallel equalization conversion processing is performed on the captured images of the second camera 10b and the third camera 10c (S216). That is, the image processing unit 14 sets the second stereo image in a state where parallax detection by stereo matching processing is possible. Then, the image processing unit 14 generates a second distance image including distance information based on the captured images (second stereo images) captured by the second camera 10b and the third camera 10c based on the detected parallax (S218). ).
  • the image processing unit 14 detects the line R for the second distance image in the same manner as the processing for the first distance image (S206), and sets the recognition area (S208). Then, the image processing unit 14 executes detection of an obstacle or the like in the recognition area set in the second distance image (S210). In S212, whether the detection of the obstacle or the like by the combination of the cameras has been completed again. It is determined whether or not it is (S212).
  • the image processing unit 14 detects the line R for the third distance image in the same manner as the processing for the first distance image and the second distance image (S206), and sets the recognition area (S208). Then, the image processing unit 14 detects an obstacle or the like in the recognition area set in the third distance image (S210), and again determines in S212 whether the detection of the obstacle or the like by the combination of the cameras has been completed. It is determined whether or not it is (S212).
  • step S212 the image processing unit 14 detects an obstacle or the like by each combination of the first camera 10a, the second camera 10b, and the third camera 10c (detection of the first distance image, the second distance image, and the third distance image). If it is determined that the processing has been completed (Yes in S212), the distance to the obstacle or the like, which is the object of attention, is corrected based on each detection result, and the obstacle detection position is corrected (increase in distance accuracy). ) Is performed (S224). Then, the image processing unit 14 determines the detected obstacle or the like and the distance to the obstacle or the like as the detection result of the near area (the first area 24 or the overlapping area of the first area 24 and the second area 26). Is temporarily stored in the storage unit (S226).
  • the distance measurement to an obstacle or the like is individually performed by the three stereo cameras in which the first camera 10a, the second camera 10b, and the third camera 10c are combined and reflected on the obstacle detection position.
  • the accuracy of distance measurement to an obstacle or the like in an area where the first area 24 and the second area 26 overlap can be improved.
  • the first camera 10a, the second camera 10b, and the third camera 10c operate normally (when the captured image data is normally output)
  • the second distance image, the second The generation of the three-distance image may be omitted.
  • distance measurement to an obstacle or the like in a near area can be realized by distance measurement based on a stereo image.
  • the process returns to the flowchart of FIG. 5, and the image processing unit 14 adds the distant area 26a captured by the third camera 10c to the near area, thereby detecting the track R (Setting of an extended recognition area) is performed (S106). Then, the image processing unit 14 detects an obstacle or the like in the extended recognition area (S108). Prior to the detection of an obstacle or the like in the extended recognition area, the image processing unit 14 applies a well-known technique for detecting the line R using features related to luminance and the like, similarly to the first area 24. May be detected to set a detection area such as an obstacle.
  • the line R in the distant region 26a is located on the extension of the line R detected in the first region 24. May be regarded as existing, and an obstacle or the like may be detected in the extension area.
  • the image processing unit 14 performs distance estimation in the extended area (far area 26a) (S110).
  • the size of the object M at the farthest part 30 in the near area (the first area 24) and the size of the object N at the closest part 32 of the distant area 26a substantially match, and the distance to the object M is: It can be obtained with high accuracy by processing the stereo image in the first area 24. Therefore, based on a comparison between the size of the object N in the distant area 26a and an obstacle or the like existing farther from the distant area 26a, and based on the distance to the object M (the object N), an obstacle or the like detected in the distant area 26a. (Distance to an obstacle or the like) can be estimated.
  • the process of S110 may be omitted. In this case, the processing load on the image processing unit 14 in the distant region 26a can be reduced.
  • the image processing unit 14 outputs the detection result of the obstacle or the like to the output unit 16 (S112), and temporarily ends the processing around the processing. That is, when an obstacle or the like is detected in the first area 24 (or the overlapping area of the first area 24 and the second area 26) in the stereo image processing of S104, the image processing unit 14 The presence / absence and the position (distance) of the railway vehicle RV are provided to the traveling system of the railway vehicle RV and an external system that manages and monitors the traveling of the railway vehicle RV via the output unit 16 and are reflected in the control of the railway vehicle RV. Let it.
  • the image processing unit 14 when an obstacle or the like is detected in the distant area 26a, the image processing unit 14 outputs information indicating that the obstacle is detected via the output unit 16 to the traveling system of the railway vehicle RV or an external system. To be reflected in the control of the railway vehicle RV. When the position (distance) is estimated when an obstacle or the like is detected in the distant area 26a, the image processing unit 14 may output the information via the output unit 16 together. When providing the detected obstacle or the like to an external system (monitoring center) or the like via the output unit 16, the image processing unit 14 may add an emphasis signal or an alarm signal for emphasizing the obstacle or the like. .
  • the image processing unit 14 performs the detection of the line R by applying a known detection technique of the line R to the generated distance image by using a characteristic related to luminance or the like (S122). Subsequently, the image processing unit 14 sets a recognition area for detecting an obstacle or the like on the detected track R (S124). Then, the image processing unit 14 executes detection of an obstacle or the like using a known detection technique (for example, pattern matching or the like) in the set recognition area (S126). The image processing unit 14 outputs the detection result of the obstacle or the like in the near area via the output unit 16 (S128), and temporarily ends the processing around the processing. That is, the image processing unit 14 detects an obstacle or the like using two cameras that can output normal captured image data at present.
  • a known detection technique for example, pattern matching or the like
  • the detection area for obstacles and the like is limited to the first area 24 where normal imaging by the first camera 10a and the second camera 10b is possible.
  • the second camera 10b or the second camera 10b it is possible to detect the presence or absence and the position of an obstacle or the like in the overlapping area of the first area 24 and the second area 26.
  • the image processing unit 14 when there are no two cameras that can normally output captured image data (No in S114), the image processing unit 14 cannot detect the position (distance) even if an obstacle or the like exists. It is determined that there is, and error processing is executed (S130). That is, the image processing unit 14 provides the error information to the traveling system of the railway vehicle RV or an external system via the output unit 16 and reflects the error information in the traveling control of the railway vehicle RV. For example, a temporary traveling stop process or the like is executed.
  • the first camera 10a, the second camera 10b, and the third camera 10c capture a stereo image of the same scene, thereby capturing an attention target object such as an obstacle.
  • the detection range can be expanded.
  • the possibility that a plurality of camera malfunctions occur at the same time is generally low, and the railway vehicle imaging system 100 is configured to be able to acquire a stereo image by at least two cameras. It is possible to avoid a situation where the vehicle RV cannot be automatically driven.
  • the first imaging unit 18 includes two HD cameras (the first camera 10a and the second camera 10b), and the second imaging unit 20 includes one 4K camera.
  • the example constituted by the camera (the third camera 10c) is shown.
  • the imaging unit 10 may be configured by four or more cameras, and similar effects can be obtained.
  • the railway vehicle imaging system 100 may be applied to a railway vehicle on which a driver can board (regardless of whether or not the driver drives), and similar effects can be obtained.
  • the output unit 16 displays an image as shown in FIG. 4 on a display device installed in a driver's seat or the like, displays a detection result of an obstacle or the like, and outputs a voice message or a warning corresponding to the result. A sound may be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

鉄道車両用撮像システムは、第一の撮像部と、第二の撮像部と、を備える。第一の撮像部は、先頭の鉄道車両の前端部に設けられて、鉄道車両の進行方向の第一の領域におけるステレオ画像を取得可能である。第二の撮像部は、前端部に設けられ、少なくとも第一の領域より遠方領域を含む第二の領域を撮像可能で、第一の撮像部より高解像度の高解像度画像を取得可能である。

Description

鉄道車両用撮像システム
　本発明の実施形態は、鉄道車両用撮像システムに関する。
　従来から、鉄道車両の走行中に、線路の検査や、当該線路内に存在する障害物（注視が必要な注視物）の検出などを目的として、鉄道車両の進行方向の領域を撮像する撮像装置として、ステレオカメラを用いたシステムが種々提案されている。このようなステレオカメラは、主として、運転士が搭乗して実際に運転を行う鉄道車両において、補助的に障害物の検出やその障害物が鉄道車両の運行に影響するか否か等の判定を行うことで、運行の安全性向上を図るシステムとして利用されている。
特開２００１－２４２５２１号公報
　近年、鉄道車両においても自動走行を実現するための検討が種々行われている。そのため、障害物検出を確実に、かつより遠方の領域まで行える鉄道車両用撮像システムが提供できれば、有意義である。
　実施形態にかかる鉄道車両用撮像システムは、第一の撮像部と、第二の撮像部と、を備える。第一の撮像部は、先頭の鉄道車両の前端部に設けられて、鉄道車両の進行方向の第一の領域におけるステレオ画像を取得可能である。第二の撮像部は、前端部に設けられ、少なくとも第一の領域より遠方領域を含む第二の領域を撮像可能で、第一の撮像部より高解像度の高解像度画像を取得可能である。
図１は、実施形態にかかる鉄道車両用撮像システムを含む鉄道車両の先頭部の構成を示した例示的かつ模式的な図である。 図２は、実施形態にかかる鉄道車両用撮像システムにおける撮像ユニットに含まれる第一の撮像部としての第１カメラと第２カメラ、および第二の撮像部としての第３カメラの位置関係を説明するための例示的かつ模式的な図である。 図３は、実施形態にかかる鉄道車両用撮像システムの構成を説明するための例示的かつ模式的なブロック図である。 図４は、実施形態にかかる鉄道車両用撮像システムにおける、第一の撮像部によって撮像される第一の領域と、第二の撮像部によって撮像される第二の領域の位置関係を説明するための例示的かつ模式的な図である。 図５は、実施形態にかかる鉄道車両用撮像システムにおける、障害物等の検知処理の流れを示した例示的かつ模式的なフローチャートである。 図６は、図５のフローチャートにおけるステレオ画像処理の流れを示した例示的かつ模式的なフローチャートである。
　以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。
　図１は、実施形態にかかる鉄道車両用撮像システム１００の構成を示した例示的かつ模式的な図である。図１に示されるように、鉄道車両用撮像システム１００は、一対のレールにより構成される線路Ｒ上を進行方向Ｄに沿って走行する鉄道車両ＲＶに搭載されている。
　また、図１に示されるように、鉄道車両用撮像システム１００は、撮像ユニット１０と、カメラ制御部１２と、画像処理部１４と、出力部１６と、を有している。
　撮像ユニット１０は、鉄道車両ＲＶの前端部（例えば先頭の鉄道車両ＲＶの運転席等）に設けられ、鉄道車両ＲＶの進行方向Ｄの領域（前方領域）を撮像する。撮像ユニット１０によって得られる撮像画像には、線路Ｒが含まれる。本実施形態の撮像ユニット１０は、鉄道車両ＲＶの進行方向Ｄの第一の領域におけるステレオ画像を取得可能な第一の撮像部１８（ステレオカメラ）と、この第一の領域より遠方領域を少なくとも含む第二の領域を撮像可能な第二の撮像部２０（単カメラ）と、で構成されている。
　図２は、撮像ユニット１０に含まれる第一の撮像部１８および第二の撮像部２０の配置関係の一例を模式的に示した図である。第一の撮像部１８および第二の撮像部２０は、例えば、支持部材２２（支持プレートや収納ボックス等）によって相互の位置関係が鉄道車両ＲＶの走行時の振動等によって変化しないように固定されている。
　本実施形態において、第一の撮像部１８は、一例として鉄道車両ＲＶの車幅方向に所定の間隔を隔てて配置された第１カメラ１０ａと第２カメラ１０ｂとで構成されている。第１カメラ１０ａおよび第２カメラ１０ｂは、例えば、ＣＣＤ（Charge　Coupled　Device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラで、いわゆる、「ＨＤ画質」の動画データ（撮像画像データ）を所定のフレームレートで出力することができる。
　第二の撮像部２０は、車幅方向に並ぶ第１カメラ１０ａおよび第２カメラ１０ｂに対して、例えば、第１カメラ１０ａと第２カメラ１０ｂの中間位置の上方に配置された、第一の撮像部１８（第１カメラ１０ａおよび第２カメラ１０ｂ）より高解像度の高解像度画像が撮像可能な第３カメラ１０ｃで構成されている。第３カメラ１０ｃは、例えば、ＣＣＤやＣＩＳ等の撮像素子を内蔵するデジタルカメラで、いわゆる、「４Ｋ画質」の動画データ（撮像画像データ）を所定のフレームレートで出力することができる。
　図３は、鉄道車両用撮像システム１００の構成を説明するための例示的かつ模式的なブロック図である。カメラ制御部１２、画像処理部１４等の機能モジュールは、例えば、プロセッサやメモリなどといったハードウェアを有したコンピュータとして構成されうる。より具体的には、鉄道車両用撮像システム１００のプロセッサが記憶部等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。なお、カメラ制御部１２や画像処理部１４等の機能モジュールは、専用のハードウェア（回路）によって実現されてもよい。
　第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃは、カメラ制御部１２によって制御されている。カメラ制御部１２は、撮像を行う場合、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃに対して、例えば、同期信号の他、露出やシャッタースピード、ホワイトバランス等を制御する信号を提供する。
　図４は、第一の撮像部１８（第１カメラ１０ａ、第２カメラ１０ｂ）によって撮像される第一の領域２４と、第二の撮像部２０（第３カメラ１０ｃ）によって撮像される第二の領域２６の位置関係を説明するための例示的かつ模式的な図である。図４は、線路Ｒ上を走行する鉄道車両ＲＶ（不図示）が前方に存在する駅のプラットホーム２８に向かっている状態を示している。なお、図４に示されるように、本実施形態の鉄道車両用撮像システム１００の場合、第二の撮像部２０が撮像する第二の領域２６の一部は、第一の撮像部１８が撮像する第一の領域２４の一部と重複するように、第一の撮像部１８および第二の撮像部２０の光軸の方向が設定されている。すなわち、第二の領域２６は、第一の領域２４には含まれない第一の領域２４より遠方の遠方領域２６ａ（遠エリア）を撮像範囲に含むと共に、遠方領域より手前で第一の領域２４と重複する手前領域２６ｂ（近エリア）も撮像範囲に含んでいる。
　画像処理部１４は、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃから取得した各撮像画像データ（画像信号）に対して各種画像処理を施す。そして、画像処理部１４は、第一の領域２４に含まれる線路Ｒの検出および線路Ｒ上または線路Ｒ周辺の所定範囲以内の注意対象物体（障害物等）の有無検知やその注意対象物体までの距離検知を行う。同様に、画像処理部１４は、第二の領域２６の遠方領域２６ａに含まれる線路Ｒの検出および線路Ｒ上または線路Ｒ周辺の所定範囲以内の注意対象物体（障害物等）の有無検知およびその注意対象物体までの距離の推定処理等の物体検出処理を実行する。
　上述したように、第１カメラ１０ａおよび第２カメラ１０ｂは、鉄道車両ＲＶの車幅方向に隔てられて配置され、第一の領域２４を撮像範囲とするように設定されるとともに、同期信号により同じタイミングで同じ第一の領域２４（第一の領域２４に含まれる同じ対象物）の撮像を実行するように構成されている。その結果、画像処理部１４は、第１カメラ１０ａおよび第２カメラ１０ｂにより同じシーンのステレオ画像（第１ステレオ画像）が取得可能である。したがって、画像処理部１４は、周知のステレオマッチング技術や三角測量技術を用いて、取得した第１ステレオ画像の視差に基づき、第一の領域２４に含まれる対象物までの距離を算出することができる。例えば、第１カメラ１０ａ、第２カメラ１０ｂが、「ＨＤ画質」で撮像可能な「ＨＤカメラ」の場合、第一の領域２４は、例えば、鉄道車両ＲＶの前方２００ｍ程度までを処理対象範囲とする実用に耐え得る距離測定を実行することができる。
　画像処理部１４は、周知の線路Ｒの検出技術を用いて、第１カメラ１０ａまたは第２カメラ１０ｂで撮像された撮像画像から線路Ｒを検出することができる。画像処理部１４は、例えば、撮像画像を複数の画素群（検知エリア、探索エリア）に分割し、この画素群ごとに、所定の基準に基づく線路Ｒらしさを表す尺度となり得る特徴量（例えば、輝度に関する特徴）に基づき、線路Ｒを検出する。なお、鉄道車両ＲＶにおける第１カメラ１０ａや第２カメラ１０ｂの固定位置は既知である。また、鉄道車両ＲＶは線路Ｒ上を走行している。したがって、第１カメラ１０ａや第２カメラ１０ｂが撮像する第一の領域２４における線路Ｒの位置は、推定可能である。つまり、第一の領域２４上で線路Ｒが存在すると推定される領域に検知エリアを設定することで、第一の領域２４内で効率的かつ軽負荷で線路Ｒの検出が可能になる。なお、画像処理部１４は、第１カメラ１０ａと第２カメラ１０ｂとから取得したステレオ画像に基づき、距離情報が反映された距離画像を生成してもよい。そして、画像処理部１４は、生成した距離画像に対して、検知エリアを設定し、線路Ｒの検出を行うようにしてもよい。
　一方、第３カメラ１０ｃは、第一の領域２４を撮像領域に含むものの、単カメラとして機能するため、遠方領域２６ａに含まれる注意対象物体までの距離の算出はできないものの、遠方領域２６ａに存在する注意対象物体の存在は認識することができる。例えば、第３カメラ１０ｃが、「４Ｋ画質」で撮像可能な「４Ｋカメラ」の場合、第二の領域２６の遠方領域２６ａは、例えば、鉄道車両ＲＶの前方４００ｍ程度までの範囲で実用に耐え得る注意対象物体（以下、「障害物等」という）検知を実現することができる。
　上述したように、第１カメラ１０ａと第２カメラ１０ｂで撮像される第一の領域２４内では、正確な距離情報の取得ができる。そして、例えば、第一の領域２４における最遠部３０に存在する物体Ｍまでの距離および物体Ｍの大きさは正確に取得可能である。この場合、最遠部３０に接する遠方領域２６ａにおける最近部３２に存在する物体Ｎの大きさは物体Ｍの大きさと概ね同じである。そして、遠方領域２６ａに存在する注意対象物体、例えば、線路Ｒの周辺に存在する障害物等の大きさは既知である。例えば、線路Ｒに沿って設置される送電用の電柱や線路Ｒの周辺の構造物の大きさは既知である。したがって、遠方領域２６ａにおける１画素に対応する長さ（大きさ）が算出可能となる。つまり、前記第一の領域に存在する第一の位置（例えば、物体Ｍ）までの第一の距離を算出し、この第一の距離に基づき、第二の領域２６（遠方領域２６ａ）内に存在する第二の位置（物体Ｐ）までの第二の距離を推定することが可能となる。この場合、第３カメラ１０ｃは、４Ｋ画質の撮像画像データなので、画素の数に基づく距離推定の信頼性の確保は十分に可能となる。
　また、画像処理部１４は、第一の領域２４、第二の領域２６（遠方領域２６ａ）における注意対象物体（物体Ｍや物体Ｐ等の障害物）の検出は、周知のパターンマッチング等を検出した線路Ｒおよびその周囲の領域に適用することにより可能である。
　このように、第一の撮像部１８で撮像した撮像画像データと、第二の撮像部２０で撮像した撮像画像データとを組み合わせることにより、障害物等の実質的な検知範囲の拡大が可能になる。例えば、鉄道車両ＲＶの制動初速が１００ｋｍ／ｈの場合、制動距離は例えば約４００ｍ以下である。この場合、鉄道車両ＲＶの最高速度が高いほど高速域での制動力が増加されるので、制動初速が１００ｋｍ／ｈの場合の制動距離はさらに短くなる。したがって、鉄道車両ＲＶの前方４００ｍまでの障害物等の位置が推定できる場合、障害物等が存在する場合、障害物等の例えば約４００ｍ手前から制動制御が可能となる。さらに、障害物等が鉄道車両ＲＶの前方例えば２００ｍ以内の近エリアまでに接近した場合には、正確な距離測定が可能になる。その結果、鉄道車両ＲＶの前方例えば４００ｍで検出した障害物等と接触する前に鉄道車両ＲＶの停止が可能となるとともに、例えば２００ｍ以内の領域では、詳細な制動制御によるスムーズな減速が実現できる。その結果、鉄道車両用撮像システム１００は、自動走行する鉄道車両ＲＶにおける障害物検知および自動制動制御に適用することができる。
　上述した例では、画像処理部１４は、第１カメラ１０ａと第２カメラ１０ｂとによって、第１ステレオ画像を取得し、第一の領域２４内の障害物等までの距離算出を行った。上述したように、第３カメラ１０ｃが撮像範囲とする第二の領域２６は第１カメラ１０ａおよび第２カメラ１０ｂが撮像範囲とする第一の領域２４と一部重複している。したがって、画像処理部１４は、第一の領域２４と第二の領域２６の重複領域について、例えば、第２カメラ１０ｂと第３カメラ１０ｃとを用いて、同じシーンを撮像したステレオ画像（第２ステレオ画像）が取得可能である。同様に、画像処理部１４は、第一の領域２４と第二の領域２６の重複領域について、例えば、第３カメラ１０ｃと第１カメラ１０ａとを用いて、同じシーンを撮像したステレオ画像（第３ステレオ画像）が取得可能である。したがって、第１ステレオ画像を用いて距離測定を行った重複領域内の障害物等に対して、第２ステレオ画像および第３ステレオ画像を用いても距離測定を行うことができる。その結果、第１ステレオ画像に基づく距離測定結果、第２ステレオ画像に基づく距離測定結果、第３ステレオ画像に基づく距離測定結果を用いて、例えば各距離測定結果の平均値等を採用することにより、重複領域内の障害物等までの距離精度を向上することができる。つまり、鉄道車両ＲＶが障害物等に接近した場合の距離測定精度を向上することができる。また、遠方領域２６ａにおける障害物等までの距離推定の精度向上も可能になる。
　なお、この場合、ＨＤカメラである第１カメラ１０ａおよび第２カメラ１０ｂの解像度と４Ｋカメラである第３カメラ１０ｃの解像度が異なるため、第３カメラ１０ｃの撮像画像データに処理を加え、第１カメラ１０ａまたは第２カメラ１０ｂの解像度と整合させる等の処理を施せば、ステレオ画像の処理が可能になる。
　ところで、従来、ステレオカメラを用いた障害物検知および距離測定に基づいて、鉄道車両ＲＶの自動走行を実施しようとする場合、ステレオカメラを構成するカメラのうち一方に不具合（例えばカメラの故障や配線不良等）が生じた場合、障害物等までの距離測定が不能となる。その結果、自動走行が中止されてしまう場合がある。一方、本実施形態の鉄道車両用撮像システム１００によれば、上述のように、第１カメラ１０ａと第２カメラ１０ｂのいずれかに不都合が生じた場合でも、不都合を起こした第１カメラ１０ａまたは第２カメラ１０ｂに代えて、第３カメラ１０ｃを用いてステレオカメラを構成し、障害物等までの距離測定（検出）処理を継続して行うことができる。つまり、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃのいずれかに不具合が生じた場合でも、自動走行を継続することができる。
　このように構成される鉄道車両用撮像システム１００による注意対象物体（例えば、障害物等）の検出処理、つまり、ステレオ画像処理の流れを図５、図６に示す例示的かつ模式的なフローチャートを用いて説明する。なお、図５に示すフローチャートの処理は、所定の処理周期で繰り返し実行されるものとする。
　鉄道車両用撮像システム１００のカメラ制御部１２は、鉄道車両ＲＶが動作可能状態の場合（例えば、電源ＯＮの場合等）に、第１カメラ１０ａおよび第２カメラ１０ｂによる第一の領域２４の撮像、第３カメラ１０ｃによる第二の領域２６の撮像を実行させる（Ｓ１００）。カメラ制御部１２は、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃに対して同じシーンを同じ条件で撮像させるために、同期信号の他、露出やシャッタースピード、ホワイトバランス等を制御する信号を提供する。なお、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃは、制御信号や電源等をそれぞれ個別に受け付けるように構成されている。したがって、いずれかのカメラに不具合が生じた場合でも、正常なカメラの撮像および撮像画像データの出力に影響しないように構成されている。
　そして、画像処理部１４は、全カメラ（第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃ）の各撮像画像データの逐次取得に成功した場合（Ｓ１０２のＹｅｓ）、ステレオ画像処理を実行する（Ｓ１０４）。ステレオ画像処理の詳細は、図６のフローチャートを用いて説明する。
　まず、画像処理部１４が、第１カメラ１０ａ、第２カメラ１０ｂの撮像した撮像画像（第１ステレオ画像）に関して処理済みでないと判定した場合（Ｓ２００のＮｏ）、第１カメラ１０ａ、第２カメラ１０ｂの撮像画像に対して平行等位化変換処理を施す（Ｓ２０２）。つまり、画像処理部１４は、第１ステレオ画像をステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、第１カメラ１０ａ、第２カメラ１０ｂの撮像した撮像画像（第１ステレオ画像）に基づき、距離情報を含む第１距離画像を生成する（Ｓ２０４）。
　画像処理部１４は、第１距離画像に対し、輝度に関する特徴等を用いて周知の線路Ｒの検知技術を適用し、線路Ｒの検知を実行する（Ｓ２０６）。なお、前述したように、撮像画像内で線路Ｒの存在位置は、概ね決まっている。したがって、線路Ｒの検知エリアを予想される存在位置に設定することにより、画像処理部１４の処理負荷の軽減が可能になる。続いて、画像処理部１４は、検知した線路Ｒに対して障害物等を検知する認識エリアの設定を行う（Ｓ２０８）。そして、画像処理部１４は、設定した認識エリア内で、周知の検知技術（例えば、パターンマッチング等）を用いて障害物等の検知を実行する（Ｓ２１０）。なお、障害物等の検知は、主として鉄道車両ＲＶの安全な走行を確保することを目的とする。そのため、基本的には、障害物等は、線路Ｒ上および線路Ｒの周囲の所定範囲の限定された範囲に設定されれば十分である。認識エリアを限定的に設定することにより、画像処理部１４の障害物等検知の処理負荷の軽減ができる。
　画像処理部１４は、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃの各組合せによる障害物等検知が完了していない場合（Ｓ２１２のＮｏ）、Ｓ２００の処理に戻る。
　Ｓ２００において、画像処理部１４が、第１カメラ１０ａ、第２カメラ１０ｂの撮像した撮像画像（第１ステレオ画像）に関して処理済みで（Ｓ２００のＹｅｓ）、第２カメラ１０ｂ、第３カメラ１０ｃの撮像した撮像画像（第２ステレオ画像）に関して処理済みでないと判定した場合（Ｓ２１４のＮｏ）、第２カメラ１０ｂ、第３カメラ１０ｃの撮像画像に対して平行等位化変換処理を施す（Ｓ２１６）。つまり、画像処理部１４は、第２ステレオ画像をステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、第２カメラ１０ｂ、第３カメラ１０ｃの撮像した撮像画像（第２ステレオ画像）に基づき、距離情報を含む第２距離画像を生成する（Ｓ２１８）。
　その後、画像処理部１４は、第１距離画像に対する処理と同様に第２距離画像に対して線路Ｒの検知を実行し（Ｓ２０６）、認識エリアの設定を行う（Ｓ２０８）。そして、画像処理部１４は、第２距離画像で設定した認識エリア内で障害物等の検知を実行し（Ｓ２１０）、再度、Ｓ２１２において、各カメラの組合せによる障害物等検知が完了しているか否かの判定を実行する（Ｓ２１２）。
　また、Ｓ２１４において、画像処理部１４が、第２カメラ１０ｂ、第３カメラ１０ｃの撮像した撮像画像（第２ステレオ画像）に関して処理済みであると判定した場合（Ｓ２１４のＹｅｓ）、第３カメラ１０ｃ、第１カメラ１０ａの撮像画像に対して平行等位化変換処理を施す（Ｓ２２０）。つまり、画像処理部１４は、第３ステレオ画像をステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、第３カメラ１０ｃ、第１カメラ１０ａの撮像した撮像画像（第３ステレオ画像）に基づき、距離情報を含む第３距離画像を生成する（Ｓ２２２）。
　その後、画像処理部１４は、第１距離画像、第２距離画像に対する処理と同様に第３距離画像に対して線路Ｒの検知を実行し（Ｓ２０６）、認識エリアの設定を行う（Ｓ２０８）。そして、画像処理部１４は、第３距離画像で設定した認識エリア内で障害物等の検知を実行し（Ｓ２１０）、再度、Ｓ２１２において、各カメラの組合せによる障害物等検知が完了しているか否かの判定を実行する（Ｓ２１２）。
　画像処理部１４は、Ｓ２１２において、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃの各組合せによる障害物等の検知処理（第１距離画像、第２距離画像、第３距離画像に対する検知処理）が完了したと判定した場合（Ｓ２１２のＹｅｓ）、各検知結果に基づき、注意対象物体である障害物等までの距離を修正して、障害物検知位置の修正（距離精度の高精度化）を行う（Ｓ２２４）。そして、画像処理部１４は、検知した障害物等およびその障害物等までの距離を近エリア（第一の領域２４または第一の領域２４と第二の領域２６との重複領域）の検知結果として一旦記憶部に保存する（Ｓ２２６）。
　このように、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃを組み合わせた、３系統のステレオカメラによって、障害物等までの距離測定を個々に実行し、障害物検知位置に反映させることで、第一の領域２４と第二の領域２６とが重なる領域における障害物等までの距離測定精度の向上ができる。なお、別の実施形態では、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃが正常に動作している場合（正常に撮像画像データを出力している場合）、第２距離画像、第３距離画像の生成を省略してもよい。この場合、画像処理部１４の負荷の軽減を図りつつ、ステレオ画像に基づく距離測定により近エリアにおける障害物等までの距離測定が実現できる。
　近エリアにおける障害物等の検知処理が完了すると、図５のフローチャートに戻り、画像処理部１４は、近エリアに第３カメラ１０ｃで撮像した遠方領域２６ａを追加することで、線路Ｒの検知エリアの拡張（拡張認識エリアの設定）を実行する（Ｓ１０６）。そして、画像処理部１４は、拡張認識エリア内で障害物等の検知を実行する（Ｓ１０８）。なお、画像処理部１４は、拡張認識エリア内で障害物等の検知に先立ち、第一の領域２４と同様に、輝度に関する特徴等を用いて周知の線路Ｒの検知技術を適用して線路Ｒを検知して障害物等の検知領域を設定してもよい。また、別の実施形態では、線路Ｒが第一の領域２４および遠方領域２６ａにおいて連続していることに着目し、第一の領域２４で検知した線路Ｒの延長上に遠方領域２６ａにおける線路Ｒも存在すると見なし、その延長領域内で障害物等を検知するようにしてもよい。
　続いて、画像処理部１４は、拡張エリア（遠方領域２６ａ）における距離推定を実行する（Ｓ１１０）。前述したように、近エリア（第一の領域２４）の最遠部３０の物体Ｍと遠方領域２６ａの最近部３２の物体Ｎとの大きさは、概ね一致し、物体Ｍまでの距離は、第一の領域２４におけるステレオ画像の処理により高精度に取得できる。したがって、遠方領域２６ａの物体Ｎとそれより遠方に存在する障害物等との大きさの比較および、物体Ｍ（物体Ｎ）までの距離とに基づき、遠方領域２６ａ内で検知された障害物等の位置（障害物等までの距離）を推定することができる。なお、鉄道車両ＲＶの走行安全性を確保する場合、第一の領域２４における障害物等の存在や位置および遠方領域２６ａにおける障害物等の存在が検知できれば、鉄道車両ＲＶの安全な走行を実現できる。したがって、別の実施形態では、Ｓ１１０の処理を省略してもよい。この場合、遠方領域２６ａにおける画像処理部１４の処理負荷を軽減することができる。
　そして、画像処理部１４は、障害物等の検知結果を出力部１６に出力して（Ｓ１１２）、この処理周囲の処理を一旦終了する。すなわち、画像処理部１４は、Ｓ１０４のステレオ画像処理で第一の領域２４（または第一の領域２４と第二の領域２６との重複領域）において障害物等が検知された場合は、障害物等の有無および位置（距離）を出力部１６を介して、鉄道車両ＲＶの走行システムや、鉄道車両ＲＶの走行を管理および監視している外部のシステムに提供して鉄道車両ＲＶの制御に反映させる。同様に画像処理部１４は、遠方領域２６ａで障害物等が検知された場合には、障害物が検知されたことを示す情報を出力部１６を介して鉄道車両ＲＶの走行システムや外部のシステムに提供して鉄道車両ＲＶの制御に反映させる。なお、画像処理部１４は、遠方領域２６ａにおいて障害物等が検知された場合に位置（距離）を推定している場合は、その情報も併せて出力部１６を介して出力してもよい。画像処理部１４は、検知した障害物等を出力部１６を介して、外部のシステム（監視センター）等に提供する場合、障害物等を強調する強調信号や警報信号等を付加してもよい。
　Ｓ１０２において、画像処理部１４は、全カメラ（第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃ）の各撮像画像データの逐次取得に成功していないと判定した場合（Ｓ１０２のＮｏ）、正常なカメラの数を確認する（Ｓ１１４）。第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃのうち正常に撮像画像データを出力し、画像処理部１４が撮像画像データを取得しているカメラが２台の場合（Ｓ１１４のＹｅｓ）、その２台のカメラを用いたステレオ画像を取得する（Ｓ１１６）。つまり、画像処理部１４は、第１ステレオ画像または、第２ステレオ画像または、第３ステレオ画像のいずれかを取得する。そして、取得したステレオ画像に対して、平行等位化変換処理を施す（Ｓ１１８）。つまり、画像処理部１４は、取得できたステレオ画像を、ステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、ステレオ画像に基づく距離画像を生成する（Ｓ１２０）。
　画像処理部１４は、生成した距離画像に対し、輝度に関する特徴等を用いて周知の線路Ｒの検知技術を適用して線路Ｒの検知を実行する（Ｓ１２２）。続いて、画像処理部１４は、検知した線路Ｒに対して障害物等を検知する認識エリアの設定を行う（Ｓ１２４）。そして、画像処理部１４は、設定した認識エリア内で、周知の検知技術（例えば、パターンマッチング等）を用いて障害物等の検知を実行する（Ｓ１２６）。画像処理部１４は、近エリアにおける障害物等の検知結果を出力部１６を介して出力し（Ｓ１２８）、この処理周囲の処理を一旦終了する。すなわち、画像処理部１４は、現在、正常な撮像画像データを出力可能な２台のカメラを用いて、障害物等の検知を行う。なお、第３カメラ１０ｃに不都合が生じている場合、障害物等の検出領域は、第１カメラ１０ａと第２カメラ１０ｂで撮像が正常に行える第一の領域２４に限定した障害物等の検知となる。一方、第２カメラ１０ｂまたは第２カメラ１０ｂのいずれか一方に不具合が生じた場合、第一の領域２４と第二の領域２６の重複領域における障害物等の有無および位置の検知が可能であるとともに、遠方領域２６ａにおける障害物等の検知が可能となる。
　なお、Ｓ１１４において、正常に撮像画像データを出力可能なカメラが２台存在しない場合（Ｓ１１４のＮｏ）、画像処理部１４は、障害物等が存在する場合でもその位置（距離）検出が不能であると判定し、エラー処理を実行する（Ｓ１３０）。すなわち、画像処理部１４は、出力部１６を介してエラー情報を鉄道車両ＲＶの走行システムや外部のシステムに提供して、鉄道車両ＲＶの走行制御に反映させる。例えば、一時的な走行停止処理等を実行させる。
　このように、鉄道車両用撮像システム１００によれば、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃにより同じシーンを撮像したステレオ画像を撮像することにより、障害物等の注意対象物体の検知範囲を拡大することができる。また、複数のカメラの不具合が同時に発生する可能性は一般的に低く、鉄道車両用撮像システム１００は、少なくとも２台のカメラによりステレオ画像が取得できる構成としているので、カメラの不具合により、直ちに鉄道車両ＲＶの自動運転ができなくなる事態を回避することができる。
　なお、本実施形態では、撮像ユニット１０の一例として、第一の撮像部１８を二つのＨＤカメラ（第１カメラ１０ａ、第２カメラ１０ｂ）で構成し、第二の撮像部２０を一つの４Ｋカメラ（第３カメラ１０ｃ）で構成した例を示した。この場合、最小限の構成で障害物等の検知領域の拡張および、カメラに不都合が生じた場合の対策を実現することができる。別の実施形態では、４台以上のカメラで撮像ユニット１０を構成してもよく、同様な効果を得ることができる。
　また、本実施形態では、鉄道車両用撮像システム１００を自動走行可能な鉄道車両ＲＶに適用する例を説明した。他の実施形態では、運転士が搭乗可能な鉄道車両（運転士による運転の有無は問わない）に、鉄道車両用撮像システム１００を適用してもよく、同様な効果を得ることができる。この場合、出力部１６は、運転席等に設置された表示装置に図４に示すような、画像を表示し、障害物等の検知結果を表示したり、その結果に対応する音声メッセージや警告音を出力したりするようにしてもよい。
　以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (5)

  1. 　先頭の鉄道車両の前端部に設けられて、前記鉄道車両の進行方向の第一の領域におけるステレオ画像を取得可能な第一の撮像部と、
    　前記前端部に設けられて、少なくとも前記第一の領域より遠方領域を含む第二の領域を撮像可能で、前記第一の撮像部より高解像度の高解像度画像を取得可能な第二の撮像部と、
    　を備える、鉄道車両用撮像システム。
  2. 　前記第二の撮像部が撮像する前記第二の領域の一部は、前記遠方領域より手前の前記第一の領域と重複している、請求項１に記載の鉄道車両用撮像システム。
  3. 　前記第一の撮像部が取得する前記ステレオ画像に基づき、前記第一の領域に存在する第一の位置までの第一の距離を算出し、前記第一の距離に基づき前記第二の領域内に存在する第二の位置までの第二の距離を推定する画像処理部を備える、請求項１または請求項２に記載の鉄道車両用撮像システム。
  4. 　前記第一の撮像部は、第１カメラおよび第２カメラを含み、
    　前記第二の撮像部は、第３カメラを含み、
    　前記第１カメラと前記第２カメラとにより前記第一の領域における第１ステレオ画像を取得させ、前記第２カメラと前記第３カメラとにより前記第一の領域の少なくとも一部を含む第２ステレオ画像を取得させ、前記第３カメラと前記第１カメラとにより前記第一の領域の少なくとも一部を含む第３ステレオ画像を取得させるカメラ制御部と、
    　前記第１ステレオ画像と前記第２ステレオ画像と前記第３ステレオ画像とに基づき、前記第一の領域における物体検出処理を実行する画像処理部と、
    　を備える、請求項１から請求項３のいずれか１項に記載の鉄道車両用撮像システム。
  5. 　前記画像処理部は、前記第１カメラと前記第２カメラと前記第３カメラとのうち、いずれか二つのカメラを用いて、ステレオ画像の取得を継続させる、請求項４に記載の鉄道車両用撮像システム。
PCT/JP2019/025429 2018-07-24 2019-06-26 鉄道車両用撮像システム Ceased WO2020021949A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19840166.3A EP3829155B1 (en) 2018-07-24 2019-06-26 Imaging system for railway vehicle
CN201980048961.0A CN112470456B (zh) 2018-07-24 2019-06-26 铁路车辆用摄像系统
SG11202012917RA SG11202012917RA (en) 2018-07-24 2019-06-26 Imaging system for railway vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018138596A JP7150508B2 (ja) 2018-07-24 2018-07-24 鉄道車両用撮像システム
JP2018-138596 2018-07-24

Publications (1)

Publication Number Publication Date
WO2020021949A1 true WO2020021949A1 (ja) 2020-01-30

Family

ID=69180463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025429 Ceased WO2020021949A1 (ja) 2018-07-24 2019-06-26 鉄道車両用撮像システム

Country Status (5)

Country Link
EP (1) EP3829155B1 (ja)
JP (1) JP7150508B2 (ja)
CN (1) CN112470456B (ja)
SG (1) SG11202012917RA (ja)
WO (1) WO2020021949A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486783A (zh) * 2021-07-02 2021-10-08 浙江省交通投资集团有限公司智慧交通研究分公司 轨道交通车辆的障碍物检测方法及系统
JP2025019899A (ja) * 2023-07-28 2025-02-07 株式会社東芝 情報処理装置、情報処理システム、および情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242521A (ja) 2000-02-28 2001-09-07 Fuji Heavy Ind Ltd カメラの組み立て構造、カメラの調整方法、および調整用治具
JP2010165142A (ja) * 2009-01-15 2010-07-29 Nissan Motor Co Ltd 車両用道路標示認識装置および車両用道路標示認識方法
JP2016192109A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 障害物検知方法およびその装置
WO2017056266A1 (ja) * 2015-09-30 2017-04-06 株式会社小松製作所 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10318805A (ja) * 1997-05-15 1998-12-04 Toshiba Fa Syst Eng Kk 移動点検システム
JP2008196891A (ja) * 2007-02-09 2008-08-28 Mitsubishi Precision Co Ltd 多眼カメラ
JP5030983B2 (ja) * 2009-02-10 2012-09-19 株式会社日立製作所 列車の停止検知システム並びに列車の移動速度及び位置検出システム
JP2010271143A (ja) * 2009-05-20 2010-12-02 Ricoh Co Ltd 撮像装置、距離測定装置、及び車外監視装置、並びに撮像方法
JP5407898B2 (ja) * 2010-01-25 2014-02-05 株式会社豊田中央研究所 対象物検出装置及びプログラム
JP5472328B2 (ja) * 2010-02-02 2014-04-16 コニカミノルタ株式会社 ステレオカメラ
US9720089B2 (en) * 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
CN105636853B (zh) * 2013-07-31 2018-04-24 铁路视像有限公司 用于障碍物识别和避开的系统和方法
DE102013110615B3 (de) * 2013-09-26 2014-11-27 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
JPWO2015045501A1 (ja) * 2013-09-27 2017-03-09 日立オートモティブシステムズ株式会社 外界認識装置
US20170359565A1 (en) * 2015-02-20 2017-12-14 Sony Corporation Image pickup device and image pickup method
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
JP6660751B2 (ja) * 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242521A (ja) 2000-02-28 2001-09-07 Fuji Heavy Ind Ltd カメラの組み立て構造、カメラの調整方法、および調整用治具
JP2010165142A (ja) * 2009-01-15 2010-07-29 Nissan Motor Co Ltd 車両用道路標示認識装置および車両用道路標示認識方法
JP2016192109A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 障害物検知方法およびその装置
WO2017056266A1 (ja) * 2015-09-30 2017-04-06 株式会社小松製作所 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3829155A4

Also Published As

Publication number Publication date
EP3829155C0 (en) 2025-04-23
EP3829155A1 (en) 2021-06-02
EP3829155A4 (en) 2022-04-20
JP7150508B2 (ja) 2022-10-11
JP2020017824A (ja) 2020-01-30
CN112470456B (zh) 2022-04-26
SG11202012917RA (en) 2021-02-25
CN112470456A (zh) 2021-03-09
EP3829155B1 (en) 2025-04-23

Similar Documents

Publication Publication Date Title
JP6060282B2 (ja) 車載カメラ画像処理装置
US20160227098A1 (en) Information Presentation System
TWI530409B (zh) 自動追蹤防撞警示系統及其方法
JP2014222429A (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
JP2001216519A (ja) 交通監視装置
JP6221464B2 (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
JP2009239664A (ja) 車両用環境認識装置および先行車追従制御システム
JP2009169776A (ja) 検出装置
US10974719B2 (en) Mobile object control system, mobile object control method, and program
JP6447289B2 (ja) 撮像装置、撮像方法、プログラム、車両制御システム、および車両
EP3193134B1 (en) Image processing device
JP7278846B2 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP5261752B2 (ja) ドライブレコーダ
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
WO2020021949A1 (ja) 鉄道車両用撮像システム
JP6899673B2 (ja) 物体距離検出装置
JP6891082B2 (ja) 物体距離検出装置
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
CN104002730A (zh) 立体物检测装置、驾驶支援装置以及立体物检测方法
JP2024152819A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
JP5580062B2 (ja) 障害物検知警報装置
TW201542409A (zh) 行車距離提示裝置及其方法
JP2008021069A (ja) 周辺監視システム
WO2023089834A1 (ja) 映像表示システム、映像表示方法、および映像表示装置
JP4797441B2 (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19840166

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019840166

Country of ref document: EP

Effective date: 20210224

WWG Wipo information: grant in national office

Ref document number: 2019840166

Country of ref document: EP