WO2022054345A1 - 安全監視装置、安全監視方法、及び、プログラム - Google Patents

安全監視装置、安全監視方法、及び、プログラム Download PDF

Info

Publication number
WO2022054345A1
WO2022054345A1 PCT/JP2021/019575 JP2021019575W WO2022054345A1 WO 2022054345 A1 WO2022054345 A1 WO 2022054345A1 JP 2021019575 W JP2021019575 W JP 2021019575W WO 2022054345 A1 WO2022054345 A1 WO 2022054345A1
Authority
WO
WIPO (PCT)
Prior art keywords
safety monitoring
monitoring device
event
unit
safety
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/019575
Other languages
English (en)
French (fr)
Inventor
将則 吉澤
秀樹 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to EP21866306.0A priority Critical patent/EP4213123A4/en
Priority to JP2022547397A priority patent/JP7666514B2/ja
Priority to US18/021,398 priority patent/US12243403B2/en
Publication of WO2022054345A1 publication Critical patent/WO2022054345A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19669Event triggers storage or change of storage policy
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound

Definitions

  • the present invention relates to a safety monitoring device, a safety monitoring method, and a program.
  • Patent Document 1 uses an object detection sensor to arbitrarily apply various known image processing methods, machine learning-based classifiers, and the like to detect a person.
  • the technique described in Patent Document 2 is to obtain the distance between a person and a mobile crane in a three-dimensional space.
  • the technique described in Patent Document 2 divides a moving object into a plurality of cubes (cuboids) by depth map data, and subtracts the radius of the circumscribed sphere of each cube from the distance between the center points of the two cubes. The distance between cubes.
  • the technique described in Patent Document 2 obtains the minimum value of the combination of distances between all cubes as the shortest distance between objects (the shortest distance between a person and a mobile crane).
  • Patent Documents 1 and 2 has been required to have a good grasp of the relationship between a person and an object.
  • Patent Document 1 does not describe a specific human detection technology, so that it is not convenient and it is not easy to construct a system. Therefore, the technique described in Patent Document 1 has been required to have a good grasp of the relationship between a person and an object.
  • the technique described in Patent Document 2 may not be able to detect a danger even when a person is directly under the crane vehicle, for example, if the distance between the person and the crane vehicle is larger than a predetermined distance. There was sex. In other words, if a person is directly under the mobile crane, it is possible that the person has entered the dangerous area. In this case, even if the distance between the person and the mobile crane is larger than the predetermined distance, it may not be safe. The technique described in Patent Document 2 may be overlooked as unsafe in such a case. Therefore, it has been requested that the technology described in Patent Document 2 have a good grasp of the relationship between a person and an object so that it is not overlooked that it is not safe.
  • the present invention has been made in view of the above-mentioned problems of the prior art, and an object of the present invention is a safety monitoring device, a safety monitoring method, and a safety monitoring method capable of satisfactorily grasping the relationship between a person and an object. To provide a program.
  • An area setting unit that is a safety monitoring device and can set a plurality of alarm target areas for the detection target area of the safety sensor, and an arbitrary alarm function for each of the alarm target areas.
  • a safety monitoring device having an alarm type setting unit capable of setting a type and a moving object recognition analysis unit that recognizes the movement of a moving object based on sensor data measured by the safety sensor.
  • the alarm type setting unit has a function of issuing a warning to all moving objects, a function of issuing a warning only to a person, and a distance between a person and a large object larger than a person within a certain distance.
  • a function to issue a warning when a person enters a function to issue a warning when a person enters in the direction of travel of the large object, a function to issue a warning only to a moving object having a certain speed or higher, and a moving object having a constant speed or less.
  • a function that issues a warning only to a warning a function that combines any two or more functions to obtain a logical sum, or a function that combines any two or more functions to create a logical product.
  • the safety monitoring device according to (1) or (2) above, wherein two or more of them can be selected as the type of the alarm function.
  • the moving object recognition analysis unit extracts point cloud data representing a moving object from the three-dimensional data measured by the rider as the safety sensor, and creates a bounding box of a size required to enclose the point cloud data. Create and use any one or more or all of the five data of the width, depth and height of the bounding box, as well as the height of the bottom surface and the height of the top surface of the bounding box, as the size of each person.
  • the minimum value and the maximum value are determined, and it is a human judgment condition that the size of the moving body is within the determined range, and the size of the moving body continuously meets the judgment condition for a certain period of time arbitrarily determined.
  • the safety monitoring device according to any one of (1) to (4) above, which identifies the moving object as a person when the moving object is used.
  • the moving object recognition analysis unit uses one or more or all of five data of the width, depth, and height of the bounding box, and the height of the bottom surface and the height of the top surface of the bounding box. , Identifying a large object larger than a person and from the minimum distance between the center of the bottom or top surface of the person's bounding box and each side of the bottom or top surface of the large object's bounding box. The distance obtained by subtracting the radius of the circumscribing circle on the bottom surface or the top surface of the above is calculated as the distance between the person and the large object, and the distance between the person and the large object is smaller than an arbitrarily determined constant distance.
  • the safety monitoring device according to (5) above, which issues a warning when the error occurs.
  • the moving object recognition analysis unit issues a warning to the above (6) when the time when the distance between the person and the large object becomes smaller than the fixed distance continues for an arbitrarily set fixed time.
  • the moving object recognition analysis unit stops the warning when the time when the distance between the person and the large object becomes larger than the fixed distance continues for a certain period or more arbitrarily determined (6). Or the safety monitoring device according to (7).
  • the safety monitoring device according to any one of (1) to (11) above, which has a video processing unit that superimposes the position of a moving object detected by the safety sensor on video data.
  • an event list includes a record management unit that records and manages video data obtained by capturing all or part of the detection target area in a storage unit, and an event including the alarm data when a warning is issued. It has an event list processing unit that is added to and managed in the event list, and the recording management unit constantly records the video data in the storage unit, and an arbitrary alarm location is designated from the event list.
  • the safety monitoring device according to any one of (1) to (12) above, wherein the event list processing unit displays video data for a certain period of time before and after the designated alarm location on the display unit.
  • the record management unit has a record management unit that records and manages the video data of the detection target area in the storage unit, and the record management unit has an event to be warned according to the type of the alarm function.
  • the safety monitoring device according to any one of (1) to (12) above, which records the video data before and after the base point in the storage unit with the time point of occurrence as the base point.
  • the alarm type setting unit can specify a process of detecting the characteristics of the moving object from the video data of the detection target area as the alarm function according to any one of (1) to (15) above.
  • the described safety monitoring device can specify a process of detecting the characteristics of the moving object from the video data of the detection target area as the alarm function according to any one of (1) to (15) above.
  • the safety monitoring device is one of the above (1) to (17), which notifies the warning data detected by the set alarm function to an external device equipped with a program for performing camera image processing.
  • the event list has a recording management unit that divides video data into files at predetermined time intervals and records them in a storage unit, and an event list processing unit that creates and manages an event list that can be selected for each event.
  • the processing unit controls not to automatically delete the file containing the video within the video playback time range of the event for the event selected by the safety observer, or saves the file in another area of the storage unit.
  • the safety monitoring device according to any one of (1) to (24) above, which performs any of the re-controls.
  • the event list processing unit has a function of automatically deleting the file based on a predetermined rule, and the predetermined rule secures a certain amount of free space of the recording means or is constant.
  • the safety monitoring device according to (25) above which is either the passage of time.
  • the event list processing unit acquires sensor data including one or both of the start time and the end time of the event generated in the detection target area from the safety sensor, and the video reproduction time range of the event list.
  • the safety monitoring device according to (25) or (26) above.
  • the display screen including the video playback time range of the specified event is displayed on the display unit.
  • the event list processing unit starts from a certain time before the start time of the event for which no automatic deletion is selected and the event to which the important mark is added in advance at the timing of selecting whether or not to automatically delete the file.
  • the safety monitoring device according to (31) above which controls not to automatically delete a file including a period up to a certain time later.
  • the event list processing unit is concerned when the event for which no automatic erasure is selected is selected and changed to with automatic erasure, or when the important mark is removed from the event to which the important mark is added in advance.
  • the event list processing unit deletes an event of the file from the event list when automatically deleting a file for which a predetermined time has elapsed since it was recorded, and selects whether or not to automatically delete the file.
  • the safety monitoring according to any one of (31) to (33) above, which controls not to delete the event for which no automatic deletion is selected at the timing and the event to which the important mark is added in advance from the event list. Device.
  • the safety monitoring unit has a safety monitoring unit that monitors the entry of the object into the monitoring area of the safety sensor, and the safety monitoring unit uses the time when the object enters the monitoring area as the start time of the event.
  • the time when the object leaves the monitoring area or a time when a certain time has elapsed from the start time of the event is set as the end time of the event, and the start time and end time of the event are notified to the event list processing unit (25).
  • the safety monitoring device according to any one of (34).
  • a safety monitoring method including a notification type setting step in which a type can be set, and a moving object recognition analysis step of recognizing the movement of a moving object based on sensor data measured by the safety sensor.
  • the relationship between a person and an object can be grasped well.
  • L-Shape shape data point cloud data
  • FIG. 1 is a configuration diagram of a safety monitoring system S including a safety monitoring device 10 according to the present embodiment.
  • FIG. 2 is a configuration diagram of the safety monitoring device 10.
  • the safety monitoring system S includes one or more safety monitoring devices 10, one or more riders 51, one or more surveillance cameras 61, and one or more Web terminals 62. I have.
  • the safety monitoring device 10 is a device that monitors the safety of the detection target area (measurement space) of the safety sensor.
  • the safety monitoring device 10 is composed of a personal computer (PC) or the like.
  • the rider 51 is a three-dimensional sensor that is installed around the measurement space to be used as a safety sensor and detects an object.
  • the surveillance camera 61 is an imaging unit that is opposed to the periphery of the measurement space and photographs the measurement space. Like the surveillance camera 61z, the surveillance camera 61 may have a setting receiving unit 61a, a setting processing unit 61b, and a notification unit 61c.
  • the surveillance camera 61z is an external device equipped with a program (not shown) for processing camera images.
  • the setting receiving unit 61a is a means for receiving settings for camera image processing.
  • the setting processing unit 61b is a means for executing camera image processing received by the setting reception unit 61a on the video data.
  • the setting processing unit 61b may be set so as to determine the safety of the measurement space.
  • the notification unit 61c is a means for notifying the safety monitoring device 10 and the Web terminal 62 of the image processed by the camera image and the determination result of the safety of the measurement space.
  • the Web terminal 62 is an external device equipped with a program (not shown) for performing camera image processing. In the present embodiment, it is assumed that the Web terminal 62 has the notification acquisition unit 62a.
  • the notification acquisition unit 62a is a means for acquiring the safety determination result of the image processed by the camera image and the measurement space from the safety monitoring device 10 and the monitoring camera 61z.
  • the safety monitoring device 10 includes a control unit 11, a storage unit 30, and a communication unit 39. Further, the safety monitoring device 10 includes an operation unit 41, a display 42 (display unit), a warning lamp 43, and a speaker 44 (sound alarm unit).
  • the control unit 11 includes an area setting unit 12, an alarm type setting unit 13, a video acquisition unit 14, a rider data acquisition unit 15, a moving object recognition analysis unit 16, a result output unit 17, and a video processing unit 18. It has a record management unit 19, a video display processing unit 20, a safety sensor input unit 21, a safety monitoring unit 22, and an event list processing unit 23.
  • the area setting unit 12 is a means for setting an area having an arbitrary attribute (for example, a report target area described later, a report exclusion area, etc.) with respect to the detection target area (measurement space) of the rider 51 which is a safety sensor.
  • the alerting type setting unit 13 is a means for setting an arbitrary alerting function type for each area.
  • the image acquisition unit 14 is a means for acquiring image data in the measurement space.
  • the rider data acquisition unit 15 is a sensor data acquisition unit that acquires sensor data from the rider 51 as a safety sensor arranged around the measurement space.
  • the moving body recognition analysis unit 16 extracts a moving body from the three-dimensional data based on the sensor data measured by the safety sensor (rider 51 in this embodiment), recognizes the movement of the moving body, analyzes the traveling direction, and issues a warning. It is a means to emit.
  • the moving object recognition analysis unit 16 includes a foreground data extraction unit 16a, a clustering processing unit 16b, a bounding box generation unit 16c, an angle smoothing unit 16d, an image recognition unit 16e, and an alarm analysis unit 16f. There is.
  • the foreground data extraction unit 16a is a means for extracting foreground data from the input three-dimensional data.
  • the clustering processing unit 16b is a means for grouping data based on the degree of similarity between the data in unsupervised learning.
  • the bounding box generation unit 16c is a means for generating a bounding box.
  • the "bounding box” means the smallest rectangular or rectangular parallelepiped area surrounding an object.
  • the angle smoothing portion 16d is a means for performing averaging processing with a predetermined number of frames or a processing method.
  • the image recognition unit 16e is a means for recognizing an image from video data.
  • the image recognition unit 16e is a means for performing person determination, gender determination, posture determination, and the like by identifying faces.
  • the alarm analysis unit 16f is a means for issuing a warning by performing processing according to the type of the alarm function using the result of the moving object detected by the clustering process.
  • the result output unit 17 is a means for transmitting a warning issued by detecting a moving object by the moving object recognition analysis unit 16 to the video processing unit 18 as event data.
  • the image processing unit 18 is a means for creating a display screen to be displayed on the display 42.
  • the video processing unit 18 can perform processing such as superimposing event data on the video data.
  • the image processing unit 18 can perform arbitrary camera image processing such as superimposing a human detection frame on a camera image.
  • the record management unit 19 is a means for recording and managing video data in a storage unit.
  • the image display processing unit 20 is a means for processing a file divided into predetermined time intervals to create an image and displaying it on the display 42.
  • the safety sensor input unit 21 is a means for inputting a signal output from a safety sensor such as a rider, a camera, a motion sensor, and a touch sensor.
  • the safety monitoring unit 22 is a means for monitoring the entry of an object into the monitoring area.
  • the event list processing unit 23 is a means for creating and managing an event list that can be selected for each event.
  • the event list includes issue data, custom data, and the like as events.
  • the storage unit 30 stores the control program Pr, the setting recording data 31, the video recording data 32, and the processed image data 33.
  • the control program Pr is a program that causes the computer to function as the safety monitoring device 10.
  • the setting record data 31 is data set in the safety monitoring device 10 via the user interface.
  • the video recording data 32 is video data taken by the surveillance camera 61.
  • the processed image data 33 is image data obtained by performing arbitrary processing on the video data.
  • FIG. 3 is an explanatory diagram of a notification target area and a notification exclusion area.
  • the area setting unit 12 of the safety monitoring device 10 sets the alarm target area and the alarm exclusion area for the detection target area (measurement space).
  • the detection target area is a measurement space in which an object is measured by the rider 51.
  • the detection target area is an area in which the movement of a moving object existing within the detectable range of the rider 51 is monitored by the safety monitoring device 10.
  • the area subject to notification is an area where an event is issued (warning is issued) when an intruder is detected.
  • An event is data indicating that a warning has been issued.
  • the safety monitoring device 10 continues to issue a warning while an intruder is present in the alarm target area. Further, the safety monitoring device 10 does not issue a warning even if it detects a moving object outside the alarm target area. Multiple reporting areas can be set.
  • the setting of the alarm target area is valid only within the detection target area. When the alarm target area is set to overlap with the alarm exclusion area, the alert exclusion area has priority, so that the safety monitoring device 10 does not issue a warning.
  • the alert exclusion area is an area where an event is not issued (warning issuance) even if an intruder is detected.
  • the alert exclusion area is specified when the detection of moving objects is intentionally excluded from the monitoring target.
  • the safety monitoring device 10 detects an intruder and issues an event (warning issuance) even if it is within the detection target area or the alarm target area, as long as it is within the range designated as the alarm exclusion area. Do not do. For example, if there is a tree in the detection target area and there is a possibility that the tree will be erroneously detected as an intruder due to the tree shaking due to the wind, the area around the tree can be set as the alarm exclusion area.
  • the safety monitoring device 10 can prevent erroneous detection. Multiple notification exclusion areas can be set.
  • the area setting unit 12 can set a plurality of alarm target areas for one detection target area (measurement space).
  • two alarm target areas A61a and A61b are set for the detection target area (measurement space) indicated by the alternate long and short dash line.
  • only one alarm exclusion area A62 is set, but the area setting unit 12 sets a plurality of alarm exclusion areas for one detection target area (measurement space). be able to.
  • the place where the walking path R11 and the alarm exclusion area A62 overlap is set as the exclusion place B62. Then, a portion where the walking path R11 and the alarm target area A61a overlap and do not overlap with the alarm exclusion area A62 is set as the alert location B61a. Further, a portion where the walking path R11 and the alarm target area A61b overlap is set as the alarm location B61b.
  • the safety monitoring device 10 issues an event (warning issuance) when a person enters or is entering the warning points B61a and B61b.
  • FIGS. 4A to 4C show an example of area setting.
  • 4A to 4C are explanatory views of the display screen 100 of the safety monitoring device 10, respectively.
  • the safety monitoring device 10 displays the display screen 100 on the display 42 and accepts the setting of the area by the safety monitoring person.
  • the "safety observer" means a person who monitors the safety of each measurement space by the safety monitoring device 10.
  • the display screen 100 is configured to include a 3D viewer unit 101, a setting unit 102, a rider selection unit 103, an alarm target area tab 104, and the like.
  • the 3D viewer unit 101 is a column for displaying an image of the measurement space taken by the surveillance camera 61 and an image processed by processing the image.
  • the setting unit 102 is a column for making various settings such as an area and a type of alarm function.
  • the rider selection unit 103 is an instruction unit that selects three-dimensional data (distance measuring data) acquired by an arbitrary rider 51.
  • the notification target area tab 104 is a tab for setting the notification target area.
  • the screen of the alert target area tab 104 includes a block tab 104a, a valid check box 104b, an area selection unit 104c, a display color setting unit 104d, and the like.
  • the block tab 104a is a tab for setting the specifications of the bounding box to be added to the object to be notified.
  • the "bounding box” means the smallest rectangular or rectangular parallelepiped area surrounding an object.
  • the valid check box 104b is a field for designating that a bounding box is added to the object to be notified.
  • the area selection unit 104c is a column for selecting an area to be set as a notification target area.
  • the display color setting unit 104d is a column for setting the alarm target area frame 101a (see FIG. 4C) displayed on the 3D viewer unit 101.
  • the safety observer selects (designates) an arbitrary area with the area selection unit 104c, and the safety monitoring device 10 sets the selected area as the alarm target area. At this time, the safety monitoring device 10 changes the color of the alarm target area frame 101a (see FIG. 4C) displayed on the 3D viewer unit 101 to the color set by the display color setting unit 104d.
  • the safety monitoring device 10 has various types of alarm functions.
  • a case where the safety monitoring device 10 uses the following three types of alarm functions will be described as an example.
  • FIG. 5 is an explanatory diagram showing an example of the area.
  • FIG. 6 is an explanatory diagram showing an example of selection of an alarm function by a user interface.
  • the first area is an empty area. Therefore, the safety observer can set an arbitrary alarm function for the first area according to the operation. Therefore, for example, the safety observer can set "(1) approach detection” for the first area and set the first area so that all moving objects are targeted for detection.
  • the second area is a forklift workshop, which is a dangerous area when people enter. Therefore, the safety observer sets "(2) Entry detection (person)" for the second area.
  • the third area is a crane work site, which is an area where it is dangerous for a person to approach the crane by a certain distance R or less. Therefore, the safety observer sets "(3) Proximity detection" for the third area in order to issue a warning to a person who is closer than a certain distance R from the crane.
  • the display screen 100 (see FIG. 4A) of the safety monitoring device 10 has a configuration in which one of these three types of alarm functions can be selected by the setting unit 102. Further, the display screen 100 (see FIG. 4A) of the safety monitoring device 10 has a configuration in which a plurality of alarm target areas (no entry areas) can be selected, and each area can be independently set as an area of an arbitrary attribute. ..
  • FIG. 7 is an explanatory diagram showing an example of the point cloud data of the bus and the bounding box.
  • FIG. 8 is an explanatory diagram showing an example of the coordinates and configuration of the bounding box.
  • FIG. 9 is an explanatory diagram showing an example of the bottom surface of the bounding box.
  • 10A to 10C are explanatory views of a method for obtaining a rectangle of the (x, z) plane which is the bottom surface of the bounding box, respectively.
  • FIG. 7 shows an example of a point cloud data (L-Shape shape data) of a bus measured by a rider 51 and a rectangular bounding box formed so as to surround the point cloud data.
  • FIG. 8 shows an example of the coordinates and configuration of a rectangular parallelepiped bounding box formed along the three-dimensional shape of the bus.
  • the horizontal plane is (x, z) and the height direction is the y coordinate.
  • a bounding box consists of the smallest rectangular or rectangular parallelepiped area that surrounds an object.
  • the length of the bottom surface in the long direction is defined as the width W
  • the length in the narrow direction is defined as the depth D
  • the length from the bottom surface to the top surface is defined as the height H.
  • FIG. 9 shows an example of the bottom surface of a bus bounding box arranged at an angle with respect to the X axis.
  • the angle formed with the X axis is shown as an angle ⁇ .
  • FIGS. 10A to 10C show a method for obtaining a rectangle of the (x, z) plane which is the bottom surface of the bounding box, respectively.
  • the pixel points indicated by black circles represent each pixel of the clustered point cloud.
  • FIGS. 10A to 10C first, a straight line with a slope of an angle ⁇ is drawn through each black circle pixel point, and the outermost straight line is defined as two straight lines in the X-axis direction of the bounding box at an angle ⁇ .
  • a straight line with an angle ⁇ + 90 ° is drawn passing through each black circle pixel point, and the outermost straight line is defined as two straight lines in the Z-axis direction of the bounding box at the angle ⁇ .
  • the rectangle surrounded by these four straight lines is used as a bounding box at an angle ⁇ .
  • FIG. 11 is an explanatory diagram showing an example of a bounding box.
  • FIG. 12 is an explanatory diagram showing an example of determination conditions for a person (Person) and a large object (Large Object).
  • FIG. 13A is an explanatory diagram showing an example of an attribute (in the case of a large object) considering the classification result of the detected moving object and the continuity.
  • FIG. 13B is an explanatory diagram showing an example of an attribute (in the case of a person) considering the classification result of the detected moving object and the continuity.
  • the safety monitoring device 10 detects the moving body 105 with the rider 51, and a bounding box in the shape of a rectangular parallelepiped region (rectangular parallelepiped region) so as to just surround the moving body 105 (surround it with the minimum volume). Generate a 105 box.
  • the safety monitoring device 10 determines from the size (width, depth, height) of the bounding box 105 box whether the moving body 105 surrounded by the bounding box 105 box is a human being or a large object larger than a human being. The determination is performed based on, for example, the determination conditions shown in FIG.
  • the height H is the distance from the upper surface to the lower surface of the bounding box 105box.
  • the height Ht is the distance from the ground G to the upper surface of the bounding box 105box.
  • the height Hb is the distance from the ground G to the lower surface of the bounding box 105box.
  • Width W Range from a minimum value of 0.3 [m] to a maximum value of 1.2 [m].
  • Depth D A range from a minimum value of 0.2 [m] to a maximum value of 1.0 [m].
  • Height H Range from a minimum value of 0.5 [m] to a maximum value of 2.3 [m].
  • Height Ht Range from a minimum value of 0.5 [m] to a maximum value of 3.0 [m].
  • Height Hb Range from minimum value -1.0 [m] to maximum value 0.8 [m].
  • all the values of each item are in the following range in the width W, depth D, height H, Ht, and Hb of the moving body 105 reflected in a certain frame in a series of video data. If it is inside, this moving body 105 is classified as a "person".
  • the safety monitoring device 10 is, for example, when the respective values of the width W, depth D, height H, Ht, and Hb of the moving body 105 meet the determination conditions of the "large object" shown below. ,
  • the moving body 105 is classified as a "large object".
  • the following range is only an example and can be changed depending on the operation. (Judgment condition for "large object")
  • all of the items are equal to or more than the minimum value of "person", and one or more items are equal to or more than the maximum value of "person”. ..
  • the values of each item are the following first conditions and second conditions in the width W, depth D, height H, Ht, and Hb of the moving body 105 of a certain frame (bounding box 105 box). When the condition is satisfied, the moving body 105 is classified as a "large object”.
  • First condition All values of each item must meet the following conditions. 0.3 [m] ⁇ width W 0.2 [m] ⁇ depth D 0.5 [m] ⁇ height H 0.5 [m] ⁇ height Ht -1.0 [m] ⁇ height Hb (Second condition)
  • the value of any one or more items satisfies the following conditions. 1.2 [m] ⁇ width W 1.0 [m] ⁇ depth D 2.3 [m] ⁇ height H 3.0 [m] ⁇ height Ht 0.8 [m] ⁇ height Hb
  • the safety monitoring device 10 determines that the moving body 105 does not meet the judgment conditions of a person and the judgment conditions of a large object in each of the items of width W, depth D, height H, Ht, and Hb of the moving body 105. Is classified as unknown (other).
  • the safety monitoring device 10 preferably has a large threshold value in consideration of the case where a plurality of people are detected as one object. Further, the safety monitoring device 10 may preferably set a large threshold value in consideration of a case where the moving body 105 appears to float from the ground, such as when only the upper body of a person is visible.
  • the safety monitoring device 10 can be classified into three types, "person”, “large object”, and “unknown (other)” for each frame.
  • the moving object detected by the rider 51 may be split or its size may fluctuate during the clustering process due to variations in measurement. Therefore, a large object may momentarily become a human-sized mass. This can result in large objects being classified as "humans”. Therefore, for example, as shown in FIG. 13A, the safety monitoring device 10 preferably sets the attribute of the moving body 105 to "a large object (large moving body)" when the size of the moving body 105 is continuously maintained for a plurality of frames arbitrarily determined. ) ”. Thereby, the safety monitoring device 10 can prevent a large object from being classified as a "person”.
  • the safety monitoring device 10 classifies the attribute of the moving body 105 into a "large object (large moving body)" when the size of the moving body 105 is maintained for three consecutive frames. After that, the safety monitoring device 10 maintains the attribute of the moving body 105 as a "large object (large moving body)” unless the frames of another attribute (for example, "person") size are continuous for three frames.
  • a moving body 501 classified as a "human” may momentarily become a mass larger than a human (or a mass smaller than a human) due to the influence of some noise.
  • the attributes of the moving body 501 should be reviewed only when a plurality of arbitrarily determined frames (for example, 3 frames) are continuous. You should do it.
  • the time of one frame is 0.1 seconds, so three frames correspond to 0.3 seconds.
  • the case where three frames are continuous has been described, but the optimum number of frames may be selected according to the site.
  • the safety monitoring device 10 provides a warning target area (entry prohibited area) within the measurement range of the rider 51, and warns only when the moving object 501 identified as a "person" enters the notification target area. It may be emitted.
  • FIG. 14 is a flowchart showing an operation at the time of detecting / issuing a person.
  • step S101 the safety observer operates the safety monitoring device 10 while looking at the display screen 100 (see FIG. 4A) to set an area having an arbitrary attribute for the measurement space.
  • the area setting unit 12 of the safety monitoring device 10 sets one or more alarm target areas and one or more alarm exclusion areas for one measurement space.
  • step S102 the safety observer operates the safety monitoring device 10 while looking at the display screen 100 (see FIG. 4A) to specify the type of the alarm function for each alarm target area.
  • the alarm type setting unit 13 of the safety monitoring device 10 sets the type of the alarm function for each alarm target area.
  • the safety observer operates the safety monitoring device 10 to instruct the safety monitoring device 10 to start monitoring the measurement space.
  • step S103 the video acquisition unit 14 of the safety monitoring device 10 acquires video data of each measurement space from each monitoring camera 61.
  • step S105 the rider data acquisition unit 15 of the safety monitoring device 10 acquires ranging data ( ⁇ (i), ⁇ (j), R) as three-dimensional data (sensor data) from the rider 51.
  • step S110 the foreground data extraction unit 16a of the motion recognition analysis unit 16 of the safety monitoring device 10 extracts the foreground data from the three-dimensional data by the background subtraction method. That is, the foreground data extraction unit 16a extracts the foreground data by calculating (three-dimensional data-reference background data).
  • step S115 the clustering processing unit 16b of the moving object recognition analysis unit 16 of the safety monitoring device 10 obtains a mass of point cloud data (moving object) from the foreground data based on the distance data of the point cloud detected by the three-dimensional data. Extract and perform clustering processing.
  • step S120 the bounding box generation unit 16c of the moving object recognition analysis unit 16 of the safety monitoring device 10 creates a rectangular parallelepiped region necessary for surrounding the clustered point cloud data (moving object) mass. Create a bounding box.
  • step S125 the alarm analysis unit 16f of the moving object recognition analysis unit 16 of the safety monitoring device 10 determines whether or not the moving object conforms to the human determination condition based on the size (width, depth, height) of the bounding box. To confirm. When it is confirmed that the moving object conforms to the determination condition of a person, the alarm analysis unit 16f adds (sets) a flag (human flag) representing the person to the moving object. As a result, the safety monitoring device 10 recognizes a person with respect to the moving object.
  • step S130 the alarm analysis unit 16f of the moving object recognition analysis unit 16 of the safety monitoring device 10 detects the size of the same moving object in the next frame. Then, when the size of the moving body continuously matches the size of the person for the specified number of frames, the alarm analysis unit 16f sets the attribute of the moving body to "person".
  • step S135 the alarm analysis unit 16f of the motion recognition analysis unit 16 of the safety monitoring device 10 checks whether or not the motion has entered the alert target area. Then, when there is a moving object that has entered and the attribute of the moving object that has entered is "human", the alarm analysis unit 16f issues a warning.
  • FIG. 15 is an explanatory diagram showing an example of the distance between a “person” and a “large object” as seen from above.
  • the safety monitoring device 10 can obtain (calculate) the distance between the classified "person” and the "large object” as follows.
  • the safety monitoring device 10 sets the circumscribed circle surrounding the bounding box 106 box in the area of the person 106.
  • the coordinates of the center point 106o of the bounding box 106box of the person 106 can be expressed as (ADx, ADz). Then, the radius of the circumscribed circle surrounding the bounding box 106box is set to AD_R.
  • the bottom surface of the large object 105a is a rectangle with four points a, b, c, and d as vertices.
  • the safety monitoring device 10 is a distance between the line segment ab of the large object 105a and the center point 106o of the person 106, a distance between the line segment bc of the large object 105a and the center point 106o of the person 106, and the large object 105a.
  • the distance between the line segment cd and the center point 106o of the person 106 and the distance between the line segment da of the large object 105a and the center point 106o of the person 106 are obtained (calculated), respectively.
  • the safety monitoring device 10 sets the minimum value of each obtained (calculated) value as the distance Dmin between each line segment ab, bc, cd, da and the center point 106o of the person 106.
  • the safety monitoring device 10 can obtain (calculate) the distance between the person 106 and the large object 105a by (Dmin-AD_R).
  • the safety monitoring device 10 calculates the distance of all combinations between the detected all people 106 and the large object 105a in each frame, and issues a warning when the calculated distance is shorter than the specified threshold distance. It is good to set it to.
  • the safety monitoring device 10 may issue different types of warnings according to the calculated distance. For example, when the calculated distance is the following threshold distances Th1, Th2, Th3 (not shown), the following warning can be issued.
  • the threshold distances Th1, Th2, Th3 have a relationship of Th1>Th2> Th3.
  • the safety monitoring device 10 sets the level as a caution level when (Dmin-AD_R) ⁇ Th1. In this case, the safety monitoring device 10 lights the warning lamp 43 in yellow.
  • the safety monitoring device 10 sets the level as the warning level when (Dmin-AD_R) ⁇ Th2. In this case, the safety monitoring device 10 turns on the warning lamp 43 in red.
  • the safety monitoring device 10 sets the level as a dangerous level when (Dmin-AD_R) ⁇ Th3. In this case, the safety monitoring device 10 causes the warning lamp 43 to blink red and the speaker 44 to sound an alarm sound.
  • FIG. 16 is a flowchart showing an operation at the time of detecting / issuing a report of a person and a large object.
  • step S121 A point in which the determination process of step S121 is performed after step S120.
  • step S125 A point at which the process proceeds to step S125 when the determination in step S121 determines "Yes”.
  • step S121 When the determination in step S121 is "No", the safety monitoring device 10 performs the processes of steps S145 and S150.
  • step S135 is deleted, and instead, the process of step S155 is performed after step S130 or step S150. Except for these differences, the operation at the time of detecting / issuing a person and a large object shown in FIG. 16 and the operation at the time of detecting / issuing a person shown in FIG. 14 are the same.
  • step S121 the alarm analysis unit 16f of the motion recognition analysis unit 16 of the safety monitoring device 10 determines whether or not the object is a person. If it is determined in step S121 that the object is a person (in the case of "Yes"), the process proceeds to step S125. In this case, the processes from step S125 to step S130 are performed in the same manner as the operation at the time of detecting / issuing a person as shown in FIG. After step S130, the process proceeds to step S155.
  • step S121 determines whether the object is a human (in the case of "No"). If it is determined in step S121 that the object is not a human (in the case of "No"), the process proceeds to step S145.
  • step S145 the alarm analysis unit 16f of the moving object recognition analysis unit 16 of the safety monitoring device 10 confirms that the moving object conforms to the determination condition of a large object from the size (width, depth, height) of the bounding box. Then, a flag representing a large object (large object flag) is added (set) to the moving object. As a result, the safety monitoring device 10 recognizes a large object with respect to the moving object.
  • step S150 the alarm analysis unit 16f of the moving object recognition analysis unit 16 of the safety monitoring device 10 detects the size of the same moving object in the next frame. Then, when the size of the moving body continuously meets the determination condition of the large object for the specified number of frames, the alarm analysis unit 16f sets the attribute of the moving body to "large object". After step S150, the process proceeds to step S155.
  • step S155 the alarm analysis unit 16f of the motion recognition analysis unit 16 of the safety monitoring device 10 checks whether or not a motion object has entered the alert target area. Then, when both the "person” and the “large object” enter the alarm target area, the alarm analysis unit 16f measures the distance between the "person” and the “large object", and the distance is determined. When it is shorter than a certain distance, it issues a warning that the "person” has become dangerous.
  • FIG. 17 is an explanatory diagram showing an example of a warning screen when the person 106 detected by the rider 51 enters the alarm target area (entry prohibited area) of the camera image.
  • the safety monitoring device 10 projects the three-dimensional data acquired from the rider 51 onto the two-dimensional video data (camera video) acquired from the surveillance camera 61.
  • the safety monitoring device 10 is set so that the positional relationship between the three-dimensional data and the video data matches. Then, as shown in FIG. 17, the safety monitoring device 10 detects a moving object, adds a bounding box 106 box to the moving object, and recognizes the moving object as a person 106 based on the size of the bounding box 106 box.
  • the safety monitoring device 10 uses the color of the bounding box 106 box of the person 106 in the camera image to issue a warning when the person 106 enters the area subject to the notification (no entry area). May be changed to red, or a red frame may be superimposed on the part of the corresponding person 106.
  • the safety monitoring device 10 can be configured to constantly record (record) the video data (camera video) acquired from the surveillance camera 61 in the storage unit 30. Such a safety monitoring device 10 can create a warning list by recording the video data (camera video) at the moment when the warning is issued without erasing it. In this case, the safety monitoring device 10 can specify and reproduce (display on the display 42) the video data (camera image) at the time of issuing the alarm for the required time based on the alarm list.
  • the safety monitoring device 10 can be configured to operate as shown in FIG. 18A or FIG. 18B, for example. 18A and 18B are operation explanatory views of the safety monitoring device 10.
  • the safety monitoring device 10 acquires the three-dimensional data (distance measuring data) measured by the rider 51 by the rider data acquisition unit 15.
  • the rider data acquisition unit 15 outputs the acquired three-dimensional data (distance measurement data) to the moving object recognition analysis unit 16.
  • the alarm analysis unit 16f detects a moving object based on the alarm function designated for each area. Then, the alarm analysis unit 16f determines whether or not any area is in a situation where a warning should be issued. When there is an area to issue a warning, the moving object recognition analysis unit 16 outputs a lighting instruction signal to the warning lamp so that the lamp is turned on according to the warning level. In response to this, the warning lamp turns on the lamp.
  • the warning lamp may be composed of a plurality of lamps and may be specified for each area.
  • the moving object recognition analysis unit 16 outputs the result of detecting the moving object to the video processing unit 18 via the result output unit 17.
  • the video processing unit 18 creates a display screen 100 (see FIG. 4A) to be displayed on the display 42.
  • the image processing unit 18 may perform arbitrary camera image processing such as superimposing a human detection frame on the camera image.
  • the safety monitoring device 10 may be configured to include an image recognition unit 18a for camera image processing in the image processing unit 18.
  • the image recognition unit 18a determines the person, gender, posture, etc. by face identification for the person recognized by the moving object recognition analysis unit 16 based on the video data (camera image) taken by the surveillance camera 61. I do.
  • the safety monitoring device 10 can make a more detailed determination of the danger level.
  • the safety monitoring device 10 preferably has a function of smoothing the bounding box.
  • FIG. 19 is an operation explanatory diagram of the safety monitoring device 10.
  • the safety monitoring device 10 outputs the three-dimensional data (distance measuring data) acquired from the rider 51 by the rider data acquisition unit 15 to the moving object recognition analysis unit 16.
  • the foreground data extraction unit 16a takes the difference between the three-dimensional data (distance measuring data) which is the input data and the background data acquired in advance, and extracts the foreground data.
  • the clustering processing unit 16b extracts point cloud data with a certain mass from the foreground data and sets it as a moving object candidate. Then, the clustering processing unit 16b verifies the continuity with all the frames from the point cloud data set as the moving object candidate, regards the continuous object as the moving object, and allocates the ID. After that, the bounding box generation unit 16c generates a bounding box for the point cloud data regarded as a moving object.
  • the angle ⁇ between the frames in the (x, z) plane of the bottom surface of the created bounding box is a discrete value for each ⁇ . Therefore, the angle smoothing portion 16d performs averaging processing with a predetermined number of frames or a processing method. At that time, the safety observer may be able to change the number of frames, the processing method, and the like by the operation unit 41.
  • the safety monitoring device 10 simultaneously displays the video data (camera video) and the bounding box obtained as the point cloud data on the display 42. Therefore, the safety monitoring device 10 can show the safety observer to the extent that the approximate outer shape can be visually seen by the bounding box even in the portion behind the rider 51 where there is no point cloud data.
  • FIG. 20 is an explanatory diagram showing an example of angle smoothing processing.
  • the angle ⁇ that can be obtained is discretely one of 0 °, 6 °, 12 °, 18 °, ..., 78 °, and 84 °.
  • an example in which the angle ⁇ gradually bends from 6 ° to 12 ° is shown.
  • the angles ⁇ are mixed at 6 ° and 12 ° due to the variation of the point cloud. The movement of the bounding box in such a state looks like a rattling visually.
  • the average angle shown in FIG. 20 is the angle of the calculation result in the above equation (1).
  • the average angle shown in FIG. 20 is the angle of smooth change. Therefore, the movement of the bounding box is stable in appearance and relatively close to the movement of an actual moving object (for example, a bus). However, for example, since the angle data between the past 4 frames and the current frame is used, the movement of the bounding box is slightly delayed. The movement of the bounding box can be improved in smoothness by increasing the number of smoothed frames, but the responsiveness is reduced. Therefore, it is better to select the number of smooth frames according to the circumstances of the moving object to be detected. For example, buses and trucks are unlikely to make sudden turns, so a large number of frames may be selected, and a car with many small turns such as a forklift may be selected with a small number of frames.
  • FIG. 21 is an explanatory diagram showing an example of angle smoothing processing, as in FIG. 20.
  • FIG. 20 shows an example of the case of obtaining by the simple average formula of 5 frames
  • FIG. 21 shows the case of obtaining by the weighted average formula of 5 frames weighted by the following formula (2).
  • An example is shown.
  • the weighted average formula is a formula that emphasizes the current frame.
  • ⁇ ave (i) (1 x ⁇ (i-4) + 2 x ⁇ (i-3) + 3 x ⁇ (i-2) + 4 x ⁇ (i-1) + 5 x ⁇ (i)) ⁇ 15 ... (2) )
  • FIG. 22 is an explanatory diagram showing a setting example of the angle smoothing process.
  • FIG. 22 shows an example in which the operation unit 41 is operated to set the averaging process by using a graphical user interface (GUI) (not shown).
  • GUI graphical user interface
  • the display screen is configured so that the setting of "Yes” or "No” to execute the angle smoothing process can be set by the radio button. Further, the display screen is configured so that the angle smoothing process can be set when the aspect ratio (wise / depth) of the moving object is less than a certain value. Further, the display screen is configured so that it can be set to perform the angle smoothing process when the size (width) of the object to be implemented is less than a certain size. The larger the value of the size (wise) of the object to be implemented is set, the more frequently the angle smoothing unit 16d performs the angle smoothing process on the moving body.
  • the display screen is configured so that it can be set to perform angle smoothing processing when the number of averaged frames is less than a certain number. In the illustrated example, 5 frames are selected as the average number of frames, but this value can be freely changed. In addition, the display screen is configured so that either a simple average or a weighted average can be selected with a radio button.
  • the angle smoothing portion 16d performs the angle smoothing process by the simple average, but the angle smoothing process may be performed by the weighted average. Further, the safety monitoring device 10 may perform the angle smoothing process and the center coordinate smoothing process at the same time by using a graphical user interface (not shown). Further, the safety monitoring device 10 may be provided with a graphical user interface which is not shown independently of the angle.
  • the safety monitoring device 10 may be configured to constantly record (store in the storage unit 30) video data (camera video) acquired from the monitoring camera 61 and erase it after a certain period of time has elapsed.
  • FIG. 23 is an operation explanatory diagram of such a safety monitoring device 10.
  • the safety monitoring device 10 converts the video data (camera video) acquired from the monitoring camera 61 into manageable data such as MxPEG by the video processing unit 18 and outputs the data to the recording management unit 19. ..
  • the record management unit 19 divides the converted data into files (file data) at predetermined time intervals and records them in a storage means (storage unit 30 or an external recording medium (not shown) so that the database can be managed. Further, the record management unit 19 acquires a file from the video processing unit 18 based on the instruction of the safety observer, and outputs the acquired file to the video display processing unit 20. Further, the recording management unit 19 reads out a file of a specified time from the file group recorded in the storage means (storage unit 30 or an external recording medium (not shown)) and outputs the file to the video display processing unit 20. .. The video display processing unit 20 creates an image based on the file and displays it on the display 42.
  • the safety monitoring device 10 acquires a detection signal of an object in the measurement space from the safety sensor 50 such as a rider, a camera, a motion sensor, and a touch sensor by the safety sensor input unit 21, and transmits the detection signal to the safety monitoring unit 22. Output.
  • the safety monitoring unit 22 detects the entry of a person, the entry of a dangerous object, or the like based on the detection signal, and issues an event. That is, the safety monitoring unit 22 monitors the entry of the object into the monitoring area of the safety sensor 50. Then, the safety monitoring unit 22 outputs the event to the event list processing unit 23.
  • the safety monitoring unit 22 sets the time when the object enters the monitoring area of the safety sensor 50 as the start time of the event, and sets the time when the object leaves the monitoring area or the time when a certain time elapses from the start time of the event. Set as the end time. Then, the safety monitoring unit 22 notifies the event list processing unit 23 of the start time and the end time of the event.
  • the event list processing unit 23 creates and updates the event list, and displays, for example, the display screen 110 shown in FIG. 24 on the display 42.
  • FIG. 24 is an explanatory diagram showing an example of the display screen 110.
  • the display screen 110 has a configuration in which an image of each measurement space taken by the surveillance camera 61 and an updated event list are arranged at the same time.
  • the safety observer operates the operation unit 41 while looking at the display screen 110.
  • the event list processing unit 23 edits the event according to the operation of the safety observer.
  • the display screen 110 has a configuration in which a video display unit 111 for displaying video is arranged on the left side and an event list display unit 112 for displaying an event list is arranged on the right side. There is.
  • the video display unit 111 is divided into four screens.
  • the safety monitoring device 10 is configured to be able to connect up to four surveillance cameras 61, and displays the video acquired from each surveillance camera 61 on an arbitrary screen of the video display unit 111.
  • the safety monitoring device 10 may use the four screens of the video display unit 111 properly according to the operation. For example, the safety monitoring device 10 displays the live image from the surveillance camera 61 on the upper left screen of the image display unit 111, and displays the recorded / reproduced image from the storage means on the upper right screen of the image display unit 111. May be good.
  • the safety monitoring device 10 is configured so that the video related to each event of the event list displayed on the event list display unit 112 can be reproduced on the video display unit 111.
  • the safety observer selects an event to be played from the event list displayed on the event list display unit 112, double-clicks it with the mouse, or drags it to the screen to be played on the video display unit 111. ..
  • the safety monitoring device 10 reproduces the video related to the selected event on the video display unit 111.
  • FIG. 25 is an explanatory diagram showing an example of the event list.
  • the event list 120 has an important mark column 121, a time stamp column 122, a camera name column 123, a type column 124, and an explanatory column 125 from the left.
  • the important mark column 121 is a column to which an important mark indicating that it is an important event is added.
  • the important mark has a star shape, but the shape of the important mark is not limited to the star shape and can be any shape.
  • the time stamp column 122 is a display column for the start time of the event.
  • the camera name column 123 is a display column for the name of the camera that captured the image.
  • the type column 124 is a display column for the type of event (Intruder, CUSTOM, etc.).
  • the explanation column 125 is a display column for explaining the event.
  • the event list 120 can be configured to display the end time of the event, the cause of the event, and the like.
  • the event list 120 is configured so that the important mark can be turned on / off by clicking the important mark column 121 of any event with the mouse.
  • the safety observer plays the video of an arbitrary event, checks the video, and determines that an incident (important event) has occurred in the video being played, the important mark column for that event. An important mark is added to 121.
  • the safety monitoring device 10 stores the video related to the event to which the important mark is added so as not to be erased.
  • the safety monitoring device 10 edits the event by allowing the safety monitoring person to arbitrarily select one event from the event list 120 and perform an editing operation on the event editing screen 130 shown in FIG. 26. It can be carried out.
  • FIG. 26 is an explanatory diagram showing an example of the event editing screen 130.
  • the event editing screen 130 has a camera name column 131, a user name column 132, an occurrence date / time column 133, an end date / time column 134, an explanation column 135, a type column 136, a mark column 137, a cause column 138, and countermeasures. It is configured to include column 139 and importance column 140.
  • the camera name column 131 is a display column for the name of the camera that captured the image.
  • the user name field 132 is a user name display field.
  • the occurrence date / time column 133 is a display column for the occurrence date / time of the event.
  • the end date / time column 134 is a display column for the end date / time of the event.
  • the explanation field 135 is an input field for explaining the event.
  • the type field 136 is an input field for an event type (Intruder, CUSTOM, etc.).
  • the mark column 137 is a display column for the type of important mark.
  • the cause column 138 is an input field for the cause of the incident that has occurred.
  • the countermeasure column 139 is an input field for countermeasures against an incident that has occurred.
  • the importance column 140 is an input field for the importance of the incident that has occurred.
  • the event editing screen 130 shown in FIG. 26 has contents that reflect the detailed data of the event to which the important mark shown in FIG. 25 is added.
  • the event occurrence date / time (start time) displayed in the occurrence date / time column 133 is 12:05:41 on January 17, 2020.
  • the end date and time (end time) of the event displayed in the end date and time column 134 is 12:11:20 on January 17, 2020.
  • the safety observer may take a certain time (for example, 10 seconds before and after) longer than the event occurrence date / time (start time) and end date / time (end time).
  • the safety observer edits the event occurrence date / time column 133 and the end date / time column 134 on the event edit screen 130, sets the event occurrence date / time to 12:05:31 on January 17, 2020, and sets the event. It is advisable to set the end date and time to 12:11:30 on January 17, 2020, and play the video.
  • the fixed time for example, 10 seconds before and after applied to the change of the date and time can be arbitrarily changed.
  • the safety observer can edit the occurrence date and time (event start time) of the occurrence date and time column 133 and the end date and time (event end time) of the end date and time column 134 from the event edit screen 130.
  • the safety monitoring device 10 can limit the end time of the event to the time up to "the start time of the event + the longest time of the event" by setting the maximum time of the event.
  • the safety monitoring device 10 can be configured to operate as follows. For example, a monitoring area is set in the rider 51 in advance, the time when a person enters the monitoring area is set as the event occurrence date and time (start time), and the time when the person leaves the monitoring area is set as the event end date and time (end time). And. Then, the safety monitoring device 10 can acquire the event occurrence date / time data and the event end date / time data from the rider 51 at the time of event registration, and can record and manage the acquired date / time data in the storage unit 30.
  • the safety monitoring device 10 can limit the end time of the event to the time up to "the start time of the event + the longest time of the event" when the moving object stays in the monitoring area for a long time. Further, the safety monitoring device 10 may be configured so that other items can be edited from the event editing screen 130. Further, the safety monitoring device 10 may be configured so that an event can be newly created by playing back a video of an arbitrary time by using the event editing screen 130.
  • FIG. 27 is an explanatory diagram showing an example of a format for storing video data in a storage means.
  • FIG. 27 shows an example of using SQLite, which is one of the open source relational database management systems (RDBMS), for file management.
  • SQLite which is one of the open source relational database management systems (RDBMS), for file management.
  • a database management file called "archive.db” is created under the "Video folder", and a date folder indicating the date (for example, "2020/1/17 folder") is created.
  • “2020/1/18 folder”, “2020/1/19 folder”, etc. are created one by one every day.
  • Video_20200117_000000.mp4 is a video data file for 10 minutes from 0:00:00 on January 17, 2020.
  • video_20200117_001000.mp4 is a video data file for 10 minutes from 0:10:00 on January 17, 2020.
  • it is assumed that the video data file is created at intervals of 10 minutes in this way.
  • 144 files of "24 hours x (6 files / 1 hour)" are created per day.
  • the safety monitoring device 10 uses a large-capacity HDD (Hard Disk Drive) as a recording means (storage unit 30 or an external recording medium (not shown), the recorded data can be constantly stored for about 30 days. can.
  • HDD Hard Disk Drive
  • the safety monitoring device 10 constantly stores the recorded data (video data file) for 30 days, and once a day, the recorded data (video) for one day exceeding 30 days after recording. Data file) is automatically deleted. At this time, the safety monitoring device 10 automatically deletes the event that has been issued for more than 30 days from the event list.
  • the safety monitoring device 10 saves the recorded data (video data file) related to the event to which the important mark shown in FIGS. 25 and 26 is added without erasing it. ..
  • the recorded data whose time stamp shown in FIG. 25 is 12:05:41 on January 17, 2020 is automatically set when the retention period of 30 days is exceeded, unless the important mark is added. Is erased.
  • the important mark is added to the recorded data whose time stamp shown in FIG. 25 is 12:05:41 on January 17, 2020. Therefore, this recorded data continues to be stored without being erased even at the timing of automatic erasure (that is, even if the storage period after recording exceeds 30 days).
  • the event corresponding to the recorded data to which such an important mark is added is left without being deleted from the event list.
  • the safety monitoring device 10 When the safety monitoring device 10 automatically erases the recorded data once a day, the safety monitoring device 10 checks the events with the important mark, obtains the playback time of the event with the important mark, and records the recorded data (video) including the time. Save the data file) without erasing it.
  • the safety monitoring device 10 has a time stamp of 12:05:41 on January 17, 2020 with respect to the recorded data whose time stamp shown in FIG. 25 is 12:05:41 on January 17, 2020. Recorded data (video data data) including 31 seconds to 12:11:30 shall be saved without being erased.
  • the recorded data including from 12:05:31 to 12:11:30 on January 17, 2020 are two files, "Video_20200117_120000.mp4" and “Video_20200117_121000.mp4".
  • the safety monitoring device 10 leaves two files related to the event to which the important mark is added even when the recorded data is automatically deleted, and automatically deletes the other files.
  • the important mark is turned off (deleted) from the event by subsequent editing
  • the recorded data will be automatically deleted after that. It will be erased.
  • the event for which the important mark is turned off (deleted) is also deleted from the event list.
  • the safety monitoring device 10 has an area setting unit 12 capable of setting a plurality of alarm target areas for the detection target area of the safety sensor, and each alert. It has an alarm type setting unit 13 that can set an arbitrary alarm function type for the target area, and a moving object recognition analysis unit 16 that recognizes the movement of the moving object based on the sensor data measured by the safety sensor. It is configured.
  • various management such as areas where heavy machinery (for example, cranes) work, areas where work vehicles such as forklifts move around, areas where all moving objects should not enter for vibration suppression and security, etc. Area is assumed.
  • such various management areas are set as notification target areas, and a plurality of such management areas can be set for the detection target area of the safety sensor.
  • the safety monitoring device 10 can set an arbitrary type of alarm function for each alarm target area. That is, the safety monitoring device 10 can independently set different alarm functions for each of the plurality of alarm target areas. Therefore, the safety monitoring device 10 can realize an optimum monitoring method. Further, the safety monitoring device 10 can satisfactorily grasp the relationship between a person and an object.
  • the safety monitoring device 10 is a sensor data acquisition unit (rider data acquisition) that acquires three-dimensional data (distance measuring data) as sensor data from the rider 51 as a safety sensor. It has a part 15).
  • the moving object recognition analysis unit 16 may be configured to extract moving objects from the detection target area based on three-dimensional data and detect the progress of the moving object to each reporting target area.
  • the safety monitoring device 10 By using a safety sensor (for example, a rider 51) capable of measuring three-dimensional data, the safety monitoring device 10 according to the present embodiment can set a plurality of areas with measurement accuracy under the same conditions. Therefore, the safety monitoring device 10 can secure stable detection accuracy. Further, when the condition to be monitored changes, the safety monitoring device 10 can respond only by changing the area setting without physically changing the sensor such as reattachment.
  • a safety sensor for example, a rider 51
  • the alarm type setting unit 13 of the safety monitoring device 10 preferably has a function of issuing a warning to all moving objects, a function of issuing a warning only to a person, and more than a person to a person.
  • a function that issues a warning when the distance between a large object and a large object is within a certain distance a function that issues a warning when a person enters in the direction of travel of the large object, and a warning only for moving objects at a certain speed or higher.
  • a function that issues a warning a function that issues a warning only to moving objects below a certain speed, a function that combines any two or more functions to create a logical sum, and a combination of any two or more functions.
  • any two or more of them may be configured to be selectable as the type of the alarm function.
  • the safety monitoring device 10 can use various types of alarm functions depending on the operation. For example, in an area where a heavy machine (for example, a crane) moves, it is preferable to issue a warning when a person and the heavy machine approach each other. Further, in an area where a work vehicle such as a forklift moves, it is preferable to monitor the area so that the worker does not enter. Further, in an area where heavy machinery or the like running on a rail moves, it is preferable to issue a warning when a person enters in the traveling direction. Further, in an area where all moving objects should not enter for vibration suppression, security, etc., it is preferable to monitor the movement of all moving objects.
  • a heavy machine for example, a crane
  • a work vehicle such as a forklift moves
  • the safety monitoring device 10 can realize suitable warning issuance in such an area.
  • the condition for issuing a warning is a logical product condition of a person and a large object (for example, a car) at a certain speed or higher, so that the safety monitoring device 10 has a speed limit for the large object (for example, a car). It can be set to issue a warning when entering the area beyond. Further, by setting the condition for issuing a warning as a logical sum condition of the speed between a person and a large object, the safety monitoring device 10 can be set to issue a warning when the large object enters the area.
  • the type of the alarm function may be configured to be able to be specified for each area via the user interface.
  • the safety monitoring device 10 can realize an environment in which settings can be arbitrarily and easily changed via a user interface.
  • the moving object recognition analysis unit 16 of the safety monitoring device 10 is a point cloud data representing a moving object from three-dimensional data measured by a rider 51 as a safety sensor.
  • a bounding box of the size required to enclose the point cloud data, the width, depth and height of the bounding box, as well as the height of the bottom surface and the height of the top surface of the bounding box.
  • the safety monitoring device 10 By detecting a person from the size of the bounding box, the safety monitoring device 10 according to the present embodiment can perform detection by a simple method without using a known image processing method or machine learning-based method. ..
  • the point cloud data of the moving body measured by the rider 51 is subjected to clustering processing and processed as one mass (object).
  • a large object for example, a car
  • it may not be stably recognized as one object, but may be divided into a plurality of lumps and recognized. be.
  • the size of one split mass may be the same as the size of a person. Therefore, if the attributes of a moving object are simply determined based on the size of the person, there is a possibility that a large object will be misidentified as a person.
  • the safety monitoring device 10 the state in which a large object is divided into a plurality of lumps and recognized is often resolved in a short period of time, so that the size of the moving body (lump) is the size of a person.
  • the moving body (lump) can be determined as a person. Even if such a safety monitoring device 10 misidentifies a large object as a person based on the size of the moving body (lump), the moving body (lump) depends on both the size of the moving body (lump) and the duration of the size. By determining whether or not) is a person, it is possible to greatly reduce the misidentification of a large object as a person.
  • the safety monitoring device 10 is set on the condition that the height of the bottom surface of the bounding box is equal to or less than a certain height. Further, since the safety monitoring device 10 according to the present embodiment is about 2 m even if the height of the person is high, it is determined that the person is not a person if the height of the upper surface of the bounding box is higher than a certain height arbitrarily determined. By doing so, it is possible to prevent a moving object other than a human being from being mistakenly recognized as a human.
  • the safety monitoring device 10 Since the safety monitoring device 10 according to the present embodiment detects a person by the size of the bounding box, it is possible to include moving objects other than humans by adjusting this size.
  • the safety monitoring device 10 can adjust the size of the bounding box so as to include a person with luggage, a plurality of people in a mass, a small car, an object carried by a crane, and the like. Is.
  • the moving object recognition analysis unit 16 of the safety monitoring device 10 has a width W, a depth D and a height H of the bounding box, and a height Hb of the bottom surface of the bounding box. And any one or all of the five data of height Ht on the top surface are used to identify large objects larger than humans. Then, as shown in FIG. 15, the moving object recognition analysis unit 16 minimizes the distance between the center point 106o of the bottom surface or the top surface of the bounding box 106 box of a person and each side of the bottom surface or the top surface of the bounding box 105 box of a large object.
  • the distance (Dmin-AD_R) obtained by subtracting the radius of the circumscribed circle on the bottom surface or the top surface of the bounding box of a person from the value is calculated as the distance between the person and the large object, and the distance between the person and the large object is arbitrary.
  • a warning may be issued when the distance becomes smaller than the fixed distance specified in.
  • the moving object recognition analysis unit 16 of the safety monitoring device 10 may calculate the distance using the bottom surface (or the top surface) of each bounding box. As shown in FIG.
  • the moving object recognition analysis unit 16 obtains the distance from the center to each line segment of the bottom surface of the bounding box 105 box of a large object with reference to the center point 106o of the bottom surface of the bounding box 106 box of a person, and the minimum thereof.
  • the distance (Dmin-AD_R) obtained by subtracting the radius of the circumscribed circle at the bottom of the bounding box 106 box of a person from the value is calculated as the distance between the person and a large object.
  • the safety monitoring device 10 calculates the distances of all combinations between a plurality of people and large objects existing in the alarm target area (no entry area), and the distances of those combinations become smaller than a certain distance. A warning can be issued at that time.
  • Such a safety monitoring device 10 does not overlook the danger even when a dangerous object is hung above the head of a person such as the above-mentioned crane car and the danger is easily overlooked. In addition, it is possible to monitor without omission.
  • the motion recognition analysis unit 16 of the safety monitoring device 10 has an arbitrary time when the distance between a person and a large object becomes smaller than a certain distance. It may be configured to issue a warning when it continues for a certain period of time specified in.
  • the safety monitoring device 10 can prevent a large number of warnings from being continuously issued by issuing a warning when the warning is continued for a certain period of time.
  • the motion recognition analysis unit 16 of the safety monitoring device 10 may be configured to stop the warning when the distance between a person and a large object becomes larger than a certain distance.
  • the safety monitoring device 10 may stop warning when the distance between a person and a large object becomes larger than a certain distance.
  • the moving object recognition analysis unit 16 of the safety monitoring device 10 warns when the time when the distance between a person and a large object becomes larger than a certain distance continues for a certain time or more arbitrarily determined. May be configured to stop.
  • the safety monitoring device 10 may stop warning when the time when the distance between a person and a large object becomes larger than a certain distance continues for a certain time or more arbitrarily determined.
  • the motion recognition analysis unit 16 of the safety monitoring device 10 may be configured to change the alarm level according to the distance between a person and a large object.
  • Such a safety monitoring device 10 may change the warning level such as attention level, warning level, danger level, etc. according to the approach distance when a person approaches an object, for example. can.
  • the safety monitoring device 10 changes the warning lamp from yellow to red when the warning level changes from the caution level to the warning level, and further changes the warning level from the warning level to the danger level.
  • the speaker 44 may sound an alarm sound (buzzer sound).
  • the moving object recognition analysis unit 16 of the safety monitoring device 10 may be configured to calculate the speed of the moving object from the distance that the center position of the bounding box has moved in a certain time.
  • the safety monitoring device 10 has the timing at which the moving body enters the area by specifying the speed of the moving body from the distance that the center position of the bounding box has moved for a certain time (for example, 0.5 seconds). Can be grasped.
  • the safety monitoring device 10 may be configured to include a video processing unit 18 that superimposes the position of a moving object detected by a safety sensor (for example, a rider 51) on video data.
  • a safety sensor for example, a rider 51
  • Such a safety monitoring device 10 is dangerous, for example, when a moving object is a person to be warned, by superimposing a warning mark as a position of the moving object on the person concerned. Can be visually recognized by the safety observer promptly. As a result, the safety observer can take some measures promptly.
  • the safety monitoring device 10 includes a record management unit 19 that records and manages video data obtained by photographing all or a part of a detection target area in a storage unit 30. It has an event list processing unit 23 that adds and manages an event including the alert data to the event list when a warning is issued.
  • the record management unit 19 constantly records video data in the storage unit 30. Then, when an arbitrary alarm location is designated from the event list, the safety monitoring device 10 displays video data for a certain period of time before and after the alert location designated by the event list processing unit 23 (display unit). ) May be displayed.
  • the safety monitoring device 10 records and saves the time when the warning is issued so that the safety observer can grasp the behavior of the person to whom the warning is issued so that the reproduction location can be specified. Create an event list. Then, by designating an arbitrary event, the safety monitoring device 10 can reproduce the video data of the time before and after the designated event. As a result, the safety observer can confirm the degree of danger by confirming the video data of the time before and after corresponding to the designated event. This also allows the safety observer to provide on-site workers with risk prediction education.
  • the event list processing unit 23 of the safety monitoring device 10 issues alert data (events including alert data) for each type of the event list displayed on the display 42 (display unit). May be configured so that can be filtered and displayed.
  • the safety monitoring device 10 can filter and display the alert data (events including the alert data) for each type. Therefore, for example, if the safety monitoring device 10 extracts only the function of issuing a warning only to a person as filtering, the recorded data suitable for the condition can be easily extracted. Further, the safety monitoring device 10 can facilitate the work of confirming the video data by the safety observer by managing and storing the alert data (events including the alert data) for each issue type. .. Further, the safety monitoring device 10 can limit the recording of the camera image to, for example, only when an alarm is generated. Further, the safety monitoring device 10 can selectively record a certain period of time before and after the alarm function according to the type of the alarm function, thereby reducing the storage capacity. Further, the safety monitoring device 10 can facilitate the confirmation work of the video data by the safety monitor by managing and storing the video data for each issue type.
  • the safety monitoring device 10 has a record management unit 19 that records and manages video data in a detection target area in a storage unit 30.
  • the record management unit 19 stores video data before and after the base point, with the time point at which the event to be warned occurs as the base point, according to the type of the alarm function. It may be configured to record in.
  • the safety monitoring device 10 records video data before and after the base point in the storage unit 30 with the time point at which the event to be warned occurs as the base point. Therefore, the safety monitoring device 10 can manage the video data for each event that has occurred. Further, by managing and storing the video data for each event that has occurred, the safety monitoring device 10 can facilitate the work of confirming the video data by the safety monitor.
  • the alarm type setting unit 13 of the safety monitoring device 10 may be configured to be able to specify a process of detecting the characteristics of a moving object from the video data of the detection target area as the alarm function.
  • the safety monitoring device 10 may be configured to be capable of designating a process for detecting the characteristics of a moving object from video data.
  • the safety monitoring device 10 can acquire minute features of a moving object such as human face recognition and gender from the image acquired from the camera as an alarm function. Since such a safety monitoring device 10 can set conditions for determining the attributes of a moving object in detail, it is possible to improve the detection accuracy of the attributes of an object.
  • the safety monitoring device 10 may be configured to include any one of person identification by face recognition, gender determination, and posture determination as a process for detecting a moving object.
  • the safety monitoring device 10 can set the conditions for determining the attributes of the moving object in detail, the accuracy of detecting the attributes of the object can be improved.
  • the safety monitoring device 10 is an external device (Web terminal 62, surveillance camera 61z, etc.) equipped with a program for performing camera image processing on the warning data detected by the set alarm function. It may be configured to notify to.
  • the external device may manage events and video data independently of the operation of the safety monitoring device 10. Further, it may be easier to manage the event and the video data if the program executed by the safety monitoring device 10 and the program for displaying the camera image have different configurations. Therefore, the safety monitoring device 10 according to the present embodiment may be configured to notify the warning data detected by the set alarm function to an external device equipped with a program for performing camera image processing. As a result, the safety monitoring device 10 can cause, for example, an external device to perform camera image processing, and cause the external device to create an image in which the image of the warning data is superimposed on the camera image.
  • the safety monitoring device 10 converts the position data (three-dimensional data) of the moving object detected by the safety monitoring device 10 into the two-dimensional data of the camera image, and the position of the camera image and the position of the image of the warning data. It is advisable to have an external device create an image so as to correspond to.
  • the safety monitoring device 10 may be configured to have a smoothing means (angle smoothing portion 16d) for smoothing the angle of the bounding box.
  • the safety monitoring device 10 When a bounding box is generated every frame (for example, every 0.1 seconds), the obtained angle ⁇ varies due to the variation of the distance measurement data, and as a result, the distance between two objects (for example, between a person and a car) is calculated. There is a possibility that the variation will be large when requesting. Therefore, the safety monitoring device 10 according to the present embodiment can stabilize the change in the angle ⁇ with the movement of the vehicle by smoothing the angle of the bounding box by the smoothing means (angle smoothing portion 16d). Therefore, the safety monitoring device 10 can stably obtain the distance between two objects (for example, between a person and a car). Further, the safety monitoring device 10 can display an image of visually natural movement when displaying an image of a moving object on the display 42 (display unit).
  • the safety monitoring device 10 has a video processing unit 18 that processes three-dimensional data according to the type of the alarm function. As shown in FIGS. 19 to 22, the video processing unit 18 of the safety monitoring device 10 according to the present embodiment may be configured to simultaneously display the point cloud data and the bounding box on the display 42 (display unit).
  • the safety monitoring device 10 displays the point cloud data after the clustering process and the bounding box at the same time, so that the safety monitor can see what kind of point cloud the actual measurement data is. Can be visually recognized. Further, in the unlikely event that an accident occurs, the safety monitoring device 10 allows the safety observer to visually recognize the point cloud data of the accident site and the bounding box at the same time, so that the safety observer can easily grasp the situation of the accident site. Can be made to.
  • the smoothing means (angle smoothing portion 16d) of the safety monitoring device 10 may be configured to smooth the angle of the bottom surface of the bounding box. ..
  • the smoothing means (angle smoothing portion 16d) of the safety monitoring device 10 may be configured to smooth the angle of the bottom surface of the bounding box.
  • the safety monitoring device 10 can obtain the angle with an appropriate amount of calculation by smoothing the discrete angles of the bottom surface of the bounding box. Therefore, the safety monitoring device 10 can reduce the amount of calculation and shorten the calculation time.
  • the amount of calculation at the time of generating the bounding box is determined by the number of point clouds and the number of repetitions of the calculation by the discrete angle ⁇ . Further, the calculation time is determined by the performance of the CPU (central processing unit) of the personal computer (PC) constituting the safety monitoring device 10.
  • the angle of the bottom surface of the bounding box calculated discretely by the smoothing means (angle smoothing portion 16d) of the safety monitoring device 10 according to the present embodiment is determined via the user interface. It may be configured to be arbitrarily changeable.
  • the safety monitoring device 10 prepares a user interface so as to be able to determine the optimum discrete angle ⁇ with respect to the angle ⁇ of the bottom surface of the bounding box, and selects the value of the discrete angle ⁇ , for example. be able to.
  • either one or both of the smoothing method and the smoothing time value of the smoothing means (angle smoothing portion 16d) of the safety monitoring device 10 according to the present embodiment is set. It may be configured to be arbitrarily changed via the user interface.
  • Angle smoothing is performed using past data from the present time.
  • the safety monitoring device 10 can select, for example, a method of simply performing averaging, a method of performing weighted averaging with a large weighting closer to the current time, and the like.
  • the safety monitoring device 10 can perform an angle smoothing process suitable for the three-dimensional data input from the rider 51. It should be noted that smoothing a large amount of data can improve the smoothness of the image, but the responsiveness of the calculation to changes in the input data is reduced. Therefore, the safety monitoring device 10 may be configured so that a suitable time can be selected according to the input data in consideration of responsiveness.
  • the smoothing means (angle smoothing portion 16d) of the safety monitoring device 10 may be configured to smooth the center coordinates of the bottom surface of the bounding box.
  • the point cloud data varies from frame to frame. Therefore, not only the angle but also the center coordinates of the bounding box (the center coordinates of the rectangle on the bottom surface) vary. Smoothing the center coordinates of the bounding box is effective in suppressing the variation. Therefore, the smoothing means (angle smoothing portion 16d) of the safety monitoring device 10 according to the present embodiment may be configured to smooth the center coordinates of the bottom surface of the bounding box. Although the center coordinates of the bounding box have been described here as the center coordinates of the rectangle on the bottom surface, the center coordinates of the bounding box can be processed as the center coordinates of the rectangular parallelepiped region (rectangular region). In this case, smoothing the center point of the rectangular parallelepiped region (rectangular region) is also effective.
  • the safety monitoring device 10 has a record management unit 19 that divides video data into files at predetermined time intervals and records them in a storage unit 30, and a record management unit 19 for each event. It has an event list processing unit 23 that creates and manages a selectable event list. The event list processing unit 23 controls not to automatically delete the file containing the video within the video playback time range of the event for the event selected by the safety observer, or puts the file in another area of the storage unit 30. It may be configured to perform any of the control to save again.
  • the safety monitoring device 10 has data that shows the video reproduction time range in each event, and a file (recorded data) to be reproduced from the video can be specified from the data. Then, the safety monitoring device 10 is configured to determine whether or not it is a file (recorded data) in which an incident (important event) has occurred, and if it is determined that it should be left, select no automatic erasure. ing. As a result, even if the safety monitoring device 10 is set to automatically delete the file (recorded data) based on the determined rule, the safety monitoring device 10 does not delete the file in which the incident (important event) has occurred. Can be managed. Such a safety monitoring device 10 can accumulate data on similar incidents by leaving a file in which an incident (important event) has occurred, and can make a safety observer consider accident prevention measures. ..
  • the event list processing unit 23 of the safety monitoring device 10 has a function of automatically deleting a file based on a predetermined rule.
  • the predetermined rule may be configured to either secure a certain amount of free space in the recording means (storage unit 30 or an external recording medium (not shown)) or allow a certain period of time to elapse.
  • the safety monitoring device 10 can automatically delete the file based on a predetermined rule.
  • the safety monitoring device 10 manages so that a certain amount of free space can be secured in a configuration in which the capacity of the HDD as a recording means is fully utilized. Better. Further, in the configuration in which the safety monitoring device 10 automatically erases the file after a certain period of time within a range in which the capacity of the HDD as a recording means has a margin, it is clear how long the data remains. Since it is easy to manage the data, it may be used properly according to the purpose.
  • the event list processing unit 23 of the safety monitoring device 10 includes one or both of the start time and the end time of the event generated in the detection target area from the safety sensor.
  • the configuration may be such that the sensor data is acquired and the video reproduction time range of the event list is determined.
  • the safety monitoring device 10 can reproduce a file (video data) within a video reproduction time range determined for each event, the file (video data) for a suitable time can be reproduced. Can be played.
  • the safety monitoring device 10 can set, for example, the time when a person enters the warning issuing area as the start time of the event and the time when the person leaves the warning issuing area as the end time of the event list. Such a safety monitoring device 10 can manage whether or not a person who has entered the dangerous area has evacuated from the dangerous area to the safe area.
  • the safety monitoring device 10 according to the present embodiment may be configured to be capable of recording one or both data of the start time and the end time of the event, depending on the intended use.
  • the event list processing unit 23 of the safety monitoring device 10 has a function of additionally registering an arbitrary event that has occurred in the past as a new event in the event list. It may have a configuration.
  • the safety monitoring device 10 can additionally register any event that has occurred in the past as a new event at the discretion of the safety observer. For example, even if an event has been overlooked by the safety monitoring device 10 in the past, it is determined that an incident (important event) has occurred by the safety observer looking at the image of the file left in the recording means. In this case, the safety monitoring device 10 can additionally register the incident as a new event in the event list. In this case, the safety monitoring device 10 leaves the file (recorded data) in which the incident (important event) has occurred without erasing it.
  • the event list processing unit 23 of the safety monitoring device 10 may be configured to have a function of editing the start time and end time of the event.
  • the safety monitoring device 10 can arbitrarily edit the start time and end time of the event (that is, the reproduction start time and the reproduction end time of the file related to the event). For example, if an incident (important event) occurs before a person enters the dangerous area, or if a person who enters the dangerous area leaves the dangerous area, the dangerous situation continues to occur. A case is assumed. In such a case, the safety monitoring device 10 can leave the file in that time zone by changing the start time and / or the end time of the event.
  • the safety monitoring device 10 has a video processing unit 18 that processes the video data in the detection target area according to the type of the alarm function.
  • the video processing unit 18 of the safety monitoring device 10 creates a display screen for simultaneously displaying the video and the event list on the display 42 (display unit), and the safety observer.
  • the display 42 may display the image including the image reproduction time range of the specified event.
  • the safety monitoring device 10 can reproduce the video of an arbitrary event based on the event list.
  • the safety observer can efficiently check the degree of danger at the site by watching the reproduced video.
  • the safety monitoring device 10 can easily manage the event and work efficiency such as event display operation and event editing. Can be improved.
  • the event list has an important mark for selecting whether or not to automatically delete the file via the graphical user interface. It may be configured so that it can be added for each.
  • the safety monitoring device 10 can add an important mark for each event. Therefore, the safety manager can easily change the setting of each event from with or without automatic deletion, for example, by adding an important mark to each event. This allows the safety manager to easily leave a file in which an incident (significant event) has occurred.
  • the event list processing unit 23 of the safety monitoring device 10 has an event in which no automatic erasure is selected at the timing of selecting whether or not to automatically delete the file. It may be configured to control not to automatically delete the file including the period from the fixed time before the start time to the fixed time after the end time of the event to which the important mark is added in advance.
  • the safety monitoring device 10 can control not to automatically delete the event files for which no automatic deletion is selected and the event files to which the important mark is added in advance.
  • the safety monitoring device 10 can add or delete important marks from the present time until the timing of automatic file deletion. Further, the safety monitoring device 10 can change the time of each event from the present time to the timing of automatic file deletion. Twice
  • the event list processing unit 23 of the safety monitoring device 10 is important when the event for which no automatic erasure is selected is selected and changed to with automatic erasure.
  • the event file may be controlled to be deleted.
  • the safety monitoring device 10 can control the event file to be deleted when the event is selected and changed to have automatic deletion or when the important mark is removed.
  • the safety monitoring device 10 can increase the free space of the HDD. That is, the safety monitoring device 10 is configured to leave the video data file related to the event to which the important mark is added without erasing it even after a predetermined time has passed since the recording.
  • the safety observer confirms the danger of each event based on the event list, it may be judged that the risk is low even if the event is marked with an important mark. In such a case, the safety monitoring device 10 removes the important mark so that the video data file related to the event from which the important mark is removed can be deleted. As a result, the safety monitoring device 10 can increase the free space of the HDD.
  • the event list processing unit 23 of the safety monitoring device 10 automatically deletes a file for which a predetermined time has passed since it was recorded, from the event list. While deleting the event of the file, it is configured to control not to delete the event for which no automatic deletion is selected and the event with the important mark added in advance at the timing of selecting whether to automatically delete the file from the event list. May be good.
  • Such a safety monitoring device 10 can prevent an event for which no automatic deletion is selected and an event with an important mark are accidentally deleted.
  • the event list and the video data file have a one-to-one correspondence. Therefore, the event corresponding to the video data file is deleted from the event list at the same time as the video data file to be deleted is deleted. Therefore, the safety observer can prevent accidentally deleting an event that should not be deleted.
  • the safety monitoring device 10 has a safety monitoring unit 22 that monitors the entry of an object into the monitoring area of the safety sensor.
  • the safety monitoring unit 22 sets the time when the object enters the monitoring area as the start time of the event, and sets the time when the object leaves the monitoring area or the time when a certain time elapses from the start time of the event as the end time of the event. And the end time may be notified to the event list processing unit 23.
  • the safety monitoring device 10 can automatically detect the start time and the end time of the event and notify the event list processing unit 23.
  • the safety monitoring device 10 can monitor a dangerous area three-dimensionally day and night by using, for example, a rider 51 as a safety sensor.
  • the relationship between a person and an object can be grasped well.
  • the present invention is not necessarily limited to those including all the components described above.
  • the present invention can add other components to a certain component, or change some components to other components.
  • the present invention can also delete some components.
  • the safety monitoring device 10 monitors the safety of the area based on the three-dimensional data, but the safety of the area can be monitored based on the two-dimensional data.
  • Safety monitoring device 11 Control unit 12 Area setting unit 13 Notification type setting unit 14 Video acquisition unit 15 Rider data acquisition unit (sensor data acquisition unit) 16 Motion recognition analysis unit 16a Foreground data extraction unit 16b Clustering processing unit 16c Bounding box generation unit 16d Angle smoothing unit (smoothing means) 16e, 18a Image recognition unit 16f Notification analysis unit 17 Result output unit 18 Video processing unit 19 Recording management unit 20 Video display processing unit 21 Safety sensor input unit 22 Safety monitoring unit 23 Event list processing unit 30 Storage unit 31 Setting record data 32 Video recording data 33 Processed image data 39 Communication unit 41 Operation unit 42 Display (display unit) 43 Warning lamp 44 Speaker (sound section) 50 Safety sensor 51 Rider 61 Surveillance camera (shooting section) 61z surveillance camera (shooting unit, external device) 61a Setting reception unit 61b Setting processing unit 61c Notification unit 62 Web terminal (external device) 62a Notification acquisition unit 100, 110 Display screen 101 3D viewer unit 101a Notification target area frame 102 Setting unit 103 Rider selection unit 104 Not

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

安全監視装置(10)は、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部(12)と、各々の発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部(13)と、安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部(16)と、を有する。安全監視装置は、安全センサからセンサデータとして3次元データを取得するセンサデータ取得部(ライダデータ取得部(15))を有している。動体認識解析部は、3次元データに基づいて検知対象エリアから動体を抽出し、各々の前記発報対象エリアへの動体の進行を検知する。

Description

安全監視装置、安全監視方法、及び、プログラム
 本発明は、安全監視装置、安全監視方法、及び、プログラムに関する。
 例えば、工事現場や工場、倉庫等では、クレーン車や重機、フォークリフト等の機器が稼働している。これらの機器と人とが接触することで事故が発生してしまう危険個所が複数存在する。そのため、これらの機器と人とが接触しないように、安全性を確保するための検知手段が要望されている。そこで、例えば、特許文献1及び特許文献2に記載された技術が提案されている。
 特許文献1に記載された技術は、物体検知センサを用いて、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用して人を検知するものである。
 特許文献2に記載された技術は、3次元空間における人とクレーン車との間の距離を求めるものである。特許文献2に記載された技術は、深度マップデータにより動体を複数の立方体(直方体)に分割し、2つの立方体の中心点間の距離から各立方体の外接球の半径を引いたものを2つの立方体間の距離とする。そして、特許文献2に記載された技術は、全ての立方体間の距離の組み合わせの最小値を物体間の最短距離(人とクレーン車との間の最短距離)として求めている。
国際公開第2018/084146号 特開2014-21810号公報
 しかしながら、特許文献1,2に記載された従来技術は、人と物体との関係を良好に把握することが要望されていた。
 例えば、特許文献1に記載された技術は、具体的な人検知技術が記載されていないため、利便性が低く、システムの構築が容易でなかった。そのため、特許文献1に記載された技術は、人と物体との関係を良好に把握することが要望されていた。
 また、特許文献2に記載された技術は、例えば人がクレーン車の真下にいる場合であっても、人とクレーン車との間の距離が所定距離よりも大きければ、危険性を検知できない可能性があった。つまり、人がクレーン車の真下にいる場合は、人が危険エリアに進入した状態になっている可能性がある。この場合は、人とクレーン車との間の距離が所定距離よりも大きく離れていても、安全でない可能性がある。特許文献2に記載された技術は、このような場合に、安全でないことを見逃してしまう可能性がある。そのため、特許文献2に記載された技術は、安全でないことが見逃されないように、人と物体との関係を良好に把握することが要望されていた。
 本発明は上記従来技術の有する問題点に鑑みてなされたものであり、本発明の目的は、人と物体との関係を良好に把握することが可能な安全監視装置、安全監視方法、及び、プログラムを提供することにある。
 本発明の上記課題は、下記の手段により解決される。
 (1)安全監視装置であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、を有する安全監視装置。
 (2)前記安全センサから前記センサデータとして3次元データを取得するセンサデータ取得部を有しており、前記動体認識解析部は、前記3次元データに基づいて前記検知対象エリアから動体を抽出し、各々の前記発報対象エリアへの動体の進行を検知する上記(1)に記載の安全監視装置。
 (3)前記発報種別設定部は、すべての動体に対して警告を発する機能と、人のみに警告を発する機能と、人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、前記大物体の進行方向に人が入った場合に警告を発する機能と、一定速度以上の動体のみに警告を発する発報する機能と、一定速度以下の動体のみに警告を発する発報する機能と、任意の2つ以上の機能を組み合わせて論理和をとった機能と、任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択できる上記(1)又は(2)に記載の安全監視装置。
 (4)前記発報機能の種別は、ユーザインターフェースを介してエリア毎に指定できる上記(1)乃至(3)のいずれか一項に記載の安全監視装置。
 (5)前記動体認識解析部は、前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成し、前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別する上記(1)乃至(4)のいずれか一項に記載の安全監視装置。
 (6)前記動体認識解析部は、前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人よりも大きな大物体を識別し、前記人のバウンディングボックスの底面又は上面の中心と前記大物体のバウンディングボックスの底面又は上面の各辺との間の距離の最小値から前記人のバウンディングボックスの底面又は上面の外接円の半径を引いた距離を、前記人と前記大物体との間の距離として算出し、前記人と前記大物体との間の距離が任意に定めた一定距離より小さくなったときに警告を発する上記(5)に記載の安全監視装置。
 (7)前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも小さくなった時間が任意に定めた一定時間継続したときに警告を発する上記(6)に記載の安全監視装置。
 (8)前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなったときに警告を停止する上記(6)又は(7)に記載の安全監視装置。
 (9)前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止する上記(6)又は(7)に記載の安全監視装置。
 (10)前記動体認識解析部は、前記人と前記大物体との間の距離に応じて、警報レベルを変化させる上記(6)乃至(9)のいずれか一項に記載の安全監視装置。
 (11)前記動体認識解析部は、前記動体の速度を、前記バウンディングボックスの中心位置が一定時間に移動した距離から算出する上記(5)乃至(10)のいずれか一項に記載の安全監視装置。
 (12)前記安全センサで検知された動体の位置を映像データに重畳する映像処理部を有する上記(1)乃至(11)のいずれか一項に記載の安全監視装置。
 (13)さらに、前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理部と、警告が発報された場合に発報データを含むイベントをイベントリストに追加し管理するイベントリスト処理部と、を有し、前記記録管理部は、前記映像データを前記記憶部に常時記録しており、前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理部が指定された発報箇所の前後一定時間の映像データを表示部に表示する上記(1)乃至(12)のいずれか一項に記載の安全監視装置。
 (14)前記イベントリスト処理部は、前記表示部に表示された前記イベントリストに対して、前記種別毎に発報データをフィルタリングして表示できる上記(13)に記載の安全監視装置。
 (15)さらに、前記検知対象エリアの映像データを記憶部に記録して管理する記録管理部を有し、前記記録管理部は、発報機能の種別に応じて、警告の対象となる事象が発生した時点を基点にして、基点の前後の前記映像データを前記記憶部に記録する上記(1)乃至(12)のいずれか一項に記載の安全監視装置。
 (16)前記発報種別設定部は、前記発報機能として、前記検知対象エリアの映像データから前記動体の特徴を検知する処理を指定できる上記(1)乃至(15)のいずれか一項に記載の安全監視装置。
 (17)前記動体を検知する処理として、顔認識による人物特定と、性別判定と、姿勢判定とのいずれか1つが含まれる上記(16)に記載の安全監視装置。
 (18)前記安全監視装置は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置に通知する上記(1)乃至(17)のいずれか一項に記載の安全監視装置。
 (19)前記バウンディングボックスの角度を平滑化する平滑化手段を有する上記(5)乃至(11)のいずれか一項に記載の安全監視装置。
 (20)前記3次元データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、前記映像処理部は、前記点群データと前記バウンディングボックスとを同時に表示部に表示する上記(19)に記載の安全監視装置。
 (21)前記平滑化手段は、前記バウンディングボックスの底面の角度を平滑化して算出する上記(19)又は(20)に記載の安全監視装置。
 (22)前記平滑化手段によって離散的に算出した前記バウンディングボックスの底面の角度は、ユーザインターフェースを介して任意に変更できる上記(21)に記載の安全監視装置。
 (23)前記平滑化手段の平滑化方法及び平滑化時間の値のいずれか一方又は両方は、ユーザインターフェースを介して任意に変更できる上記(19)乃至(22)のいずれか一項に記載の安全監視装置。
 (24)前記平滑化手段は、前記バウンディングボックスの底面の中心座標を平滑化する上記(19)乃至(23)のいずれか一項に記載の安全監視装置。
 (25)映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理部と、イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部と、を有し、前記イベントリスト処理部は、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行う上記(1)乃至(24)のいずれか一項に記載の安全監視装置。
 (26)前記イベントリスト処理部は、所定の規則に基づいて前記ファイルを自動的に消去する機能を有しており、前記所定の規則は、記録手段の空き容量を一定量確保するか又は一定時間が経過するかのいずれかである上記(25)に記載の安全監視装置。
 (27)前記イベントリスト処理部は、前記安全センサから前記検知対象エリアで発生したイベントの開始時刻と終了時刻との一方又は両方を含むセンサデータを取得して前記イベントリストの前記映像再生時間範囲を決める上記(25)又は(26)に記載の安全監視装置。
 (28)前記イベントリスト処理部は、過去に発生した任意の事象を新たなイベントとして前記イベントリストに追加登録する機能を有する上記(25)乃至(27)のいずれか一項に記載の安全監視装置。
 (29)前記イベントリスト処理部は、前記イベントの開始時刻と終了時刻を編集する機能を有する上記(25)乃至(28)のいずれか一項に記載の安全監視装置。
 (30)前記検知対象エリアの映像データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、前記映像処理部は、前記映像と前記イベントリストを同時に表示部に表示する表示画面を作成し、安全監視者によってグラフィカルユーザインターフェースを介して前記イベントリストから特定のイベントが指定されたときに、指定されたイベントの映像再生時間範囲を含む映像を前記表示部に表示する上記(25)乃至(29)のいずれか一項に記載の安全監視装置。
 (31)前記イベントリストは、前記グラフィカルユーザインターフェースを介して、前記ファイルの自動消去の有無を選択するための重要マークをイベント毎に付加できる上記(30)に記載の安全監視装置。
 (32)前記イベントリスト処理部は、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントの開始時刻前の一定時間から終了時刻後の一定時間までの期間を含むファイルに対して自動消去しない制御を行う上記(31)に記載の安全監視装置。
 (33)前記イベントリスト処理部は、前記自動消去無しが選択されたイベントが自動消去有りに選択変更された場合又は前記重要マークが予め付加されたイベントから重要マークが外された場合に、当該イベントのファイルに対して消去する制御を行う上記(32)に記載の安全監視装置。
 (34)前記イベントリスト処理部は、記録されてから所定時間経過したファイルを自動的に消去する場合に前記イベントリストから当該ファイルのイベントを削除する一方、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントに対して前記イベントリストから削除しない制御を行う上記(31)乃至(33)のいずれか一項に記載の安全監視装置。
 (35)さらに、前記安全センサの監視領域への物体の進入を監視する安全監視部を有し、前記安全監視部は、前記監視領域に前記物体が進入した時刻を前記イベントの開始時刻とし、前記監視領域から前記物体が退出した時刻又は前記イベントの開始時刻から一定時間経過した時刻を前記イベントの終了時刻とし前記イベントの開始時刻と終了時刻を前記イベントリスト処理部に通知する上記(25)乃至(34)のいずれか一項に記載の安全監視装置。
 (36)安全監視方法であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、を含む安全監視方法。
 (37)コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、前記コンピュータを、前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部として機能させるプログラム。
 本発明によれば、人と物体との関係を良好に把握することができる。
実施形態に係る安全監視装置を含む安全監視システムの構成図である。 実施形態に係る安全監視装置の構成図である。 発報対象エリアと発報除外エリアの説明図である。 実施形態に係る安全監視装置の表示画面の説明図(1)である。 実施形態に係る安全監視装置の表示画面の説明図(2)である。 実施形態に係る安全監視装置の表示画面の説明図(3)である。 エリアの一例を示す説明図である。 ユーザインターフェースによる発報機能の選択の一例を示す説明図である。 バスの点群データ(L-Shape形状データ)とバウンディングボックスの一例を示す説明図である。 バウンディングボックスの座標及び構成の一例を示す説明図である。 バウンディングボックスの底面の一例を示す説明図である。 バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図(1)である。 バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図(2)である。 バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図(3)である。 バウンディングボックスの一例を示す説明図である。 人(Person)と大物体(Large Object)の判定条件の一例を示す説明図である。 検出した動体の分類結果と連続性を考慮した属性の一例を示す説明図(1)である。 検出した動体の分類結果と連続性を考慮した属性の一例を示す説明図(2)である。 人の検知・発報時の動作を示すフローチャートである。 上から見た人と大物体との間の距離の一例を示す説明図である。 人と大物体の検知・発報時の動作を示すフローチャートである。 ライダによって検知された人がカメラ映像の発報対象エリア(進入禁止エリア)内に進入した時の警告画面の一例を示す説明図である。 実施形態に係る安全監視装置の動作説明図(1)である。 実施形態に係る安全監視装置の動作説明図(2)である。 実施形態に係る安全監視装置の動作説明図(3)である。 角度平滑処理の一例を示す説明図である。 角度平滑処理の一例を示す説明図である。 角度平滑処理の設定例を示す説明図である。 実施形態に係る安全監視装置の動作説明図である。 表示画面の一例を示す説明図である。 イベントリストの一例を示す説明図である。 イベント編集画面の一例を示す説明図である。 映像データの記録手段への保存形式の一例を示す説明図である。 自動消去時に星印の重要マークが付いたイベントの映像データを残す処理の一例を示す説明図である。
 以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示しているに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
 <安全監視装置の構成>
 以下、図1及び図2を参照して、本実施形態に係る安全監視装置10の構成について説明する。図1は、本実施形態に係る安全監視装置10を含む安全監視システムSの構成図である。図2は、安全監視装置10の構成図である。
 図1に示すように、安全監視システムSは、1乃至複数の安全監視装置10と、1乃至複数のライダ51と、1乃至複数の監視カメラ61と、1乃至複数のWeb端末62と、を備えている。
 安全監視装置10は、安全センサの検知対象エリア(測定空間)の安全性を監視する装置である。安全監視装置10は、パーソナルコンピュータ(PC)等によって構成される。
 ライダ51は、安全センサとして利用されるために測定空間の周囲に設置され、物体を検知する3次元センサである。
 監視カメラ61は、測定空間の周囲に対置され、測定空間を撮影する撮影部である。監視カメラ61は、監視カメラ61zのように、設定受付部61a、設定処理部61b、及び、通知部61cを有する構成にしてもよい。監視カメラ61zは、カメラ映像処理を行うプログラム(図示せず)が搭載された外部装置である。設定受付部61aは、カメラ映像処理の設定を受け付ける手段である。設定処理部61bは、映像データに対して設定受付部61aで受け付けられたカメラ映像処理を実行する手段である。設定処理部61bは、測定空間の安全性を判断するように設定してもよい。通知部61cは、カメラ映像処理が施された映像や測定空間の安全性の判断結果を安全監視装置10やWeb端末62に通知する手段である。
 Web端末62は、カメラ映像処理を行うプログラム(図示せず)が搭載された外部装置である。本実施形態では、Web端末62が通知取得部62aを有しているものとして説明する。通知取得部62aは、安全監視装置10や監視カメラ61zからカメラ映像処理が施された映像や測定空間の安全性の判断結果を取得する手段である。
 図2に示すように、安全監視装置10は、制御部11と、記憶部30と、通信部39と、を備えている。また、安全監視装置10は、操作部41と、ディスプレイ42(表示部)と、警告用ランプ43と、スピーカ44(報音部)と、を備えている。
 制御部11は、エリア設定部12と、発報種別設定部13と、映像取得部14と、ライダデータ取得部15と、動体認識解析部16と、結果出力部17と、映像処理部18と、記録管理部19と、映像表示処理部20と、安全センサ入力部21と、安全監視部22と、イベントリスト処理部23と、を有している。
 エリア設定部12は、安全センサであるライダ51の検知対象エリア(測定空間)に対して任意の属性のエリア(例えば、後記する発報対象エリアや、発報除外エリア等)を設定する手段である。
 発報種別設定部13は、各々のエリアに対して任意の発報機能の種別を設定する手段である。
 映像取得部14は、測定空間の映像データを取得する手段である。
 ライダデータ取得部15は、測定空間の周囲に配置された安全センサとしてのライダ51からセンサデータを取得するセンサデータ取得部である。
 動体認識解析部16は、安全センサ(本実施形態ではライダ51)で測定されるセンサデータに基づいて3次元データから動体を抽出し、動体の動作を認識して進行方向を解析し、警告を発する手段である。動体認識解析部16は、前景データ抽出部16aと、クラスタリング処理部16bと、バウンディングボックス生成部16cと、角度平滑部16dと、画像認識部16eと、発報解析部16fと、を有している。
 前景データ抽出部16aは、入力された3次元データから前景データを抽出する手段である。
 クラスタリング処理部16bは、教師なし学習で、データ間の類似度に基づいてデータをグループ分けする手段である。
 バウンディングボックス生成部16cは、バウンディングボックス(Bounding Box)を生成する手段である。ここで、「バウンディングボックス」とは、ある対象物を囲む最小の長方形又は直方体領域を意味している。
 角度平滑部16dは、予め指定されたフレーム数又は処理方法で平均処理を行う手段である。
 画像認識部16eは、映像データから画像を認識する手段である。画像認識部16eは、顔の識別による人物判定、性別判定、姿勢判定等を行う手段である。
 発報解析部16fは、クラスタリング処理にて動体検出された結果を用いて、発報機能の種別に応じた処理を行い、警告を発する手段である。
 結果出力部17は、動体認識解析部16によって動体が検知され、発せられた警告をイベントデータとして映像処理部18に送る手段である。
 映像処理部18は、ディスプレイ42に表示する表示画面を作成する手段である。映像処理部18は、映像データに対してイベントデータを重畳する等の処理を行うことができる。例えば、映像処理部18は、人の検知枠をカメラ映像に重畳する等の、任意のカメラ映像処理を行うことができる。
 記録管理部19は、映像データを記憶部に記録して管理する手段である。
 映像表示処理部20は、所定時間毎に分けたファイルを加工して映像を作成して、ディスプレイ42に表示させる手段である。
 安全センサ入力部21は、ライダ、カメラ、人感センサ、タッチセンサ等の安全センサから出力される信号を入力する手段である。
 安全監視部22は、監視領域への物体の進入を監視する手段である。
 イベントリスト処理部23は、イベント毎に選択可能なイベントリストを作成し管理する手段である。なお、イベントリストには、イベントとして発報データやカスタムデータ等が含まれる。
 記憶部30は、制御プログラムPrと、設定記録データ31と、映像記録データ32と、処理画像データ33と、を記憶する。
 制御プログラムPrは、コンピュータを安全監視装置10として機能させるプログラムである。
 設定記録データ31は、ユーザインタフェースを介して安全監視装置10に設定されたデータである。
 映像記録データ32は、監視カメラ61によって撮影された映像データである。
 処理画像データ33は、映像データに対して任意の処理を行った画像データである。
 <エリアの設定>
 以下、図3を参照して、エリアの設定について説明する。図3は、発報対象エリアと発報除外エリアの説明図である。
 安全監視装置10のエリア設定部12は、検知対象エリア(測定空間)に対して発報対象エリアと発報除外エリアとを設定する。
 検知対象エリアは、ライダ51によって物体が測定される測定空間である。換言すると、検知対象エリアは、ライダ51の検知可能範囲内に存在する動体の移動を安全監視装置10によって監視するエリアである。
 発報対象エリアは、進入者を検知した際にイベントの発行(警告の発報)を行うエリアである。イベントは、警告の発報が行われたことを表すデータである。安全監視装置10は、発報対象エリア内に進入者が存在している期間中、警告を発報し続ける。また、安全監視装置10は、発報対象エリア外で動体を検知しても警告を発報しない。発報対象エリアは、複数設定することができる。発報対象エリアの設定は、検知対象エリア内でのみ有効になる。なお、発報除外エリアと重ねて発報対象エリアが設定されている場合に、発報除外エリアが優先されるため、安全監視装置10は、警告を発報しない。
 発報除外エリアは、進入者を検知してもイベントの発行(警告の発報)を行わないエリアである。発報除外エリアは、監視対象から動体の検知を意図的に外す場合に指定される。安全監視装置10は、検知対象エリアや発報対象エリアの範囲内であっても、発報除外エリアに指定された範囲内であれば、進入者の検知やイベントの発行(警告の発報)を行わない。例えば、検知対象エリアの中に樹木があり、風によって樹木が揺れることで樹木が進入物として誤検知されてしまう可能性がある場合に、樹木の周辺を発報除外エリアに設定することで、安全監視装置10は誤検知を防止することができる。発報除外エリアは、複数設定することができる。
 図3に示すように、エリア設定部12は、1つの検知対象エリア(測定空間)に対して複数の発報対象エリアを設定できる。図3に示す例では、二点鎖線で示す検知対象エリア(測定空間)に対して2つの発報対象エリアA61a,A61bが設定されている。なお、図3に示す例では、1つの発報除外エリアA62しか設定されていないが、エリア設定部12は、1つの検知対象エリア(測定空間)に対して複数の発報除外エリアを設定することができる。
 図3に示す例において、人が歩行経路R11に沿って移動する場合に、歩行経路R11と発報除外エリアA62とが重なる箇所が除外箇所B62として設定される。そして、歩行経路R11と発報対象エリアA61aとが重なる箇所であって、発報除外エリアA62と重ならない箇所が発報箇所B61aとして設定される。さらに、歩行経路R11と発報対象エリアA61bとが重なる箇所が発報箇所B61bとして設定される。安全監視装置10は、人が発報箇所B61a,B61bに進入する場合や進入中に、イベントの発行(警告の発報)を行う。
 図4A乃至図4Cに、エリアの設定の一例を示す。図4A乃至図4Cは、それぞれ、安全監視装置10の表示画面100の説明図である。安全監視装置10は、表示画面100をディスプレイ42に表示して安全監視者によるエリアの設定を受け付ける。ここで、「安全監視者」とは、安全監視装置10によって各測定空間の安全性を監視する人物を意味している。
 図4Aに示す例では、表示画面100は、3Dビューアー部101、設定部102、ライダ選択部103、発報対象エリアタブ104等を含む構成になっている。
 3Dビューアー部101は、監視カメラ61によって撮影された測定空間の映像やその映像を加工処理した画像を表示する欄である。
 設定部102は、エリアや発報機能の種別等の各種の設定を行う欄である。
 ライダ選択部103は、任意のライダ51によって取得された3次元データ(測距データ)を選択する指示部である。
 発報対象エリアタブ104は、発報対象エリアを設定するためのタブである。
 図4Bに示す例では、発報対象エリアタブ104の画面は、ブロックタブ104a、有効チェックボックス104b、エリア選択部104c、表示色設定部104d等を含む構成になっている。
 ブロックタブ104aは、発報対象となる物体に付加するバウンディングボックスの仕様を設定するためのタブである。ここで、「バウンディングボックス」とは、ある対象物を囲む最小の長方形又は直方体領域を意味している。
 有効チェックボックス104bは、発報対象となる物体にバウンディングボックスを付加にすることを指定する欄である。
 エリア選択部104cは、発報対象エリアとして設定するエリアを選択する欄である。
 表示色設定部104dは、3Dビューアー部101に映る発報対象エリア枠101a(図4C参照)を設定する欄である。
 安全監視者がエリア選択部104cで任意のエリアを選択(指定)することで、安全監視装置10は、選択されたエリアを発報対象エリアに設定する。このとき、安全監視装置10は、3Dビューアー部101に映る発報対象エリア枠101a(図4C参照)の色を、表示色設定部104dで設定された色に変更する。
 <発報機能>
 安全監視装置10は、様々な種類の発報機能を有している。ここでは、例えば、安全監視装置10が以下の3種類の発報機能を使用する場合を例にして説明する。
 (1)進入検知:発報対象エリア(進入禁止エリア)内に進入したすべての動体に警告を発する。
 (2)進入検知(人):発報対象エリア(進入禁止エリア)内に進入した動体のうち「人」にのみに警告を発する。
 (3)近接検知:発報対象エリア(進入禁止エリア)内に進入した「人」と「大物体」が予め定めた一定距離以下になったときに警告を発する。
 以下、図5及び図6を参照して、発報機能の使用例について説明する。図5は、エリアの一例を示す説明図である。図6は、ユーザインターフェースによる発報機能の選択の一例を示す説明図である。
 例えば、図5に示す例では、1つの測定空間に対して、第1エリアと、第2エリアと、第3エリアの3つのエリアが設定されている。
 第1エリアは、何もないエリアである。そのため、安全監視者は、第1エリアに対して運用に応じて任意の発報機能を設定することができる。そこで、例えば安全監視者は、第1エリアに対して「(1)進入検知」を設定して、あらゆる動体を検知対象とするように第1エリアを設定することができる。
 第2エリアは、フォークリフト作業場であり、人が進入すると危険になるエリアである。そこで、安全監視者は、第2エリアに対して「(2)進入検知(人)」を設定する。
 第3エリアは、クレーン作業現場であり、クレーンに対して人が一定距離Rよりも近づく危険になるエリアである。そこで、安全監視者は、クレーンから一定距離Rよりも近い場所にいる人に警告を発するために、第3エリアに対して「(3)近接検知」を設定する。
 図6に示すように、安全監視装置10の表示画面100(図4A参照)は、設定部102でこれら3種類の発報機能の中から一つを選択できる構成になっている。
 また、安全監視装置10の表示画面100(図4A参照)は、発報対象エリア(進入禁止エリア)を複数選択できる構成になっており、各々のエリアを独立に任意の属性のエリアに設定できる。
 <バウンディングボックスの作成>
 以下、図7乃至図10Cを参照して、前記した「バウンディングボックス」の作成について説明する。図7は、バスの点群データとバウンディングボックスの一例を示す説明図である。図8は、バウンディングボックスの座標及び構成の一例を示す説明図である。図9は、バウンディングボックスの底面の一例を示す説明図である。図10A乃至図10Cは、それぞれ、バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図である。
 バウンディングボックスは、例えば前記した特許文献1(国際公開第2018/084146号)に記載された手法で作成する。図7は、ライダ51にて測定されたバスの点群データ(L-Shape形状データ)とその点群データを囲むように形成した長方形状のバウンディングボックスの一例を示している。また、図8は、バスの立体形状に沿って形成した長方体状のバウンディングボックスの座標及び構成の一例を示している。
 3次元座標系(x,y,z)において、水平面を(x,z)として、高さ方向をy座標とする。バウンディングボックスは、ある対象物を囲む最小の長方形又は直方体領域で構成される。底面の長い方向の長さを幅W(Width)とし、狭い方向の長さを奥行きD(Depth)とし、底面から上面までの長さを高さH(Height)とする。
 図9は、X軸に対して傾いて配置されたバスのバウンディングボックスの底面の一例を示している。図9に示す例では、X軸となす角度を角度θとして示している。
 図10A乃至図10Cは、それぞれ、バウンディングボックスの底面となる(x,z)平面の長方形を求める方法を示している。図中、黒丸で示す画素点(以下、「黒丸画素点」と称する)は、クラスタリング処理された点群の各画素を表している。
 図10A乃至図10Cにおいて、まず、各黒丸画素点を通過して角度θの傾きの直線を引き、一番外側の直線を角度θでのバウンディングボックスのX軸方向の2直線とする。次に、各黒丸画素点を通過して角度θ+90°の傾きの直線を引き、一番外側の直線を角度θでのバウンディングボックスのZ軸方向の2直線とする。最後に、これらの4直線で囲まれる長方形を角度θのバウンディングボックスとする。
 この手順をθ=0°,Δθ,2×Δθ,3×Δθ,…,(n-1)×Δθ(ここで、nは、((n-1)×Δθ)<90°となる最大の整数とする)だけ繰り返して、各傾きにてバウンディングボックスを求める(算出する)。
 そして、求めた各傾きのバウンディングボックスの中から、点群データとの相関が最も大きいものをこの点群データの最適バウンディングボックスとする。このようにして、各監視対象のバウンディングボックスは作成される。
 <動体とバウンディングボックスとの関係>
 以下、図11乃至図13Bを参照して、動体とバウンディングボックスとの関係について説明する。図11は、バウンディングボックスの一例を示す説明図である。図12は、人(Person)と大物体(Large Object)の判定条件の一例を示す説明図である。図13Aは、検出した動体の分類結果と連続性を考慮した属性(大物体の場合)の一例を示す説明図である。図13Bは、検出した動体の分類結果と連続性を考慮した属性(人の場合)の一例を示す説明図である。
 図11に示すように、安全監視装置10は、ライダ51で動体105を検知し、その動体105をちょうど囲む(最小の体積で囲む)ように、直方体領域(長方体領域)状のバウンディングボックス105boxを生成する。
 安全監視装置10は、バウンディングボックス105boxのサイズ(幅、奥行き、高さ)から、バウンディングボックス105boxで囲まれた動体105が人であるのか又は人よりも大きな大物体であるのかを判定する。判定は、例えば、図12に示す判定条件に基づいて行われる。
 図12に示す例では、判定条件として、動体105の幅W、奥行きD、高さH,Ht,Hbの値が示されている。なお、高さHは、バウンディングボックス105boxの上面から下面までの距離である。また、高さHtは、地面Gからバウンディングボックス105boxの上面までの距離である。また、高さHbは、地面Gからバウンディングボックス105boxの下面までの距離である。
 安全監視装置10は、例えば、一連の映像データの中のあるフレームに映る動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、すべての値が以下に示す「人」の判定条件に適合してる場合に、動体105を「人」と分類する。ただし、以下の範囲は、一例に過ぎず、運用次第で変更することができる。
 (「人」の判定条件)
 幅W:最小値0.3[m]から最大値1.2[m]までの範囲。
 奥行きD:最小値0.2[m]から最大値1.0[m]までの範囲。
 高さH:最小値0.5[m]から最大値2.3[m]までの範囲。
 高さHt:最小値0.5[m]から最大値3.0[m]までの範囲。
 高さHb:最小値-1.0[m]から最大値0.8[m]までの範囲。
 具体的には、安全監視装置10は、一連の映像データの中のあるフレームに映る動体105の幅W、奥行きD、高さH,Ht,Hbにおいて、各項目のすべての値が以下の範囲内である場合に、この動体105を「人」と分類する。
 0.3[m]≦幅W≦1.2[m]
 0.2[m]≦奥行きD≦1.0[m]
 0.5[m]≦高さH≦2.3[m]
 0.5[m]≦高さHt≦3.0[m]
 -1.0[m]≦高さHb≦0.8[m]
 また、安全監視装置10は、例えば、動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、各値が以下に示す「大物体」の判定条件に適合してる場合に、動体105を「大物体」と分類する。ただし、以下の範囲は、一例に過ぎず、運用次第で変更することができる。
 (「大物体」の判定条件)
 動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、各項目のすべてが「人」の最小値以上で、かつ、1項目以上が「人」の最大値以上である。
 具体的には、安全監視装置10は、あるフレーム(バウンディングボックス105box)の動体105の幅W、奥行きD、高さH,Ht,Hbにおいて、各項目の値が以下の第1条件と第2条件とを満たす場合に、この動体105を「大物体」と分類する。
 (第1条件)
 各項目のすべての値が以下の条件を満たすこと。
 0.3[m]≦幅W
 0.2[m]≦奥行きD
 0.5[m]≦高さH
 0.5[m]≦高さHt
 -1.0[m]≦高さHb
 (第2条件)
 いずれか1つ以上の項目の値が以下の条件を満たすこと。
 1.2[m]≦幅W
 1.0[m]≦奥行きD
 2.3[m]≦高さH
 3.0[m]≦高さHt
 0.8[m]≦高さHb
 また、安全監視装置10は、動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、各値が人の判定条件及び大物体の判定条件に適合しない場合に、動体105を不明(その他)に分類する。
 なお、安全監視装置10は、好ましくは、複数人を1つの物体として検出される場合を考慮して、閾値を大きく設定するとよい。また、安全監視装置10は、好ましくは、人の上半身しか見えていない等、地面から動体105が浮いて見える場合を考慮して、閾値を大きく設定するとよい。
 また、前記した通り、安全監視装置10は、フレーム毎に「人」、「大物体」、「不明(その他)」の3通りに分類することができる。しかしながら、ライダ51にて検知した動体は、測定のばらつきによりクラスタリング処理時に分裂したり、サイズが変動したりする。そのため、大物体が瞬間的に人のサイズの塊になる場合がある。これにより、大物体が「人」として分類される可能性がある。そこで、例えば図13Aに示すように、安全監視装置10は、好ましくは、動体105のサイズが任意に定めた複数フレーム連続して維持される場合に、動体105の属性を「大物体(大動体)」に分類するとよい。これにより、安全監視装置10は、大物体が「人」として分類されることを防止することができる。
 なお、図13Aに示す例では、安全監視装置10は、動体105のサイズが3フレーム連続して維持される場合に、動体105の属性を「大物体(大動体)」に分類している。その後、安全監視装置10は、他の属性(例えば、「人」)サイズのフレームが3フレーム連続しなければ、動体105の属性を「大物体(大動体)」に維持するようにしている。
 また、「人」と分類した動体501が何らかのノイズの影響によって瞬間的に人よりも大きなサイズの塊(又は人よりも小さなサイズの塊)になる場合がある。その場合に、例えば図13Bに示すように、動体501の連続性が途切れるために、任意に定めた複数フレーム(例えば、3フレーム)連続したときにのみ、動体501の属性の見直しを行うようにするとよい。
 なお、10fps(フレーム/秒)のライダ51では、1フレームの時間が0.1秒であるため、3フレームは0.3秒に相当する。ここでは、3フレーム連続した場合について説明したが、現場に応じて最適なフレーム数を選ぶようにしても良い。
 また、安全監視装置10は、ライダ51の測定範囲内に発報対象エリア(進入禁止エリア)を設けて、「人」と識別した動体501が発報対象エリアに進入したときにのみ、警告を発するようにしてもよい。
 <安全監視装置の動作>
 以下、図14を参照して、安全監視装置10の動作について説明する。図14は、人の検知・発報時の動作を示すフローチャートである。
 図14に示すように、ステップS101において、安全監視者が表示画面100(図4A参照)を見ながら安全監視装置10を操作して、測定空間に対して任意の属性のエリアを設定する。これに応答して、安全監視装置10のエリア設定部12は、1つの測定空間に対して1乃至複数の発報対象エリア及び1乃至複数の発報除外エリアを設定する。
 次にステップS102において、安全監視者が表示画面100(図4A参照)を見ながら安全監視装置10を操作して、各発報対象エリアに対して発報機能の種別を指定する。これに応答して、安全監視装置10の発報種別設定部13は、各発報対象エリアに対して発報機能の種別を設定する。この後、安全監視者が安全監視装置10を操作して安全監視装置10に測定空間の監視の開始を指示する。
 するとステップS103において、安全監視装置10の映像取得部14は、各監視カメラ61から各測定空間の映像データを取得する。
 次にステップS105において、安全監視装置10のライダデータ取得部15は、ライダ51から3次元データ(センサデータ)として測距データ(θ(i),φ(j),R)を取得する。
 次にステップS110において、安全監視装置10の動体認識解析部16の前景データ抽出部16aは、背景差分法によって3次元データから前景データを抽出する。つまり、前景データ抽出部16aは、(3次元データ-基準背景データ)を演算することで、前景データを抽出する。
 次にステップS115において、安全監視装置10の動体認識解析部16のクラスタリング処理部16bは、3次元データによって検知された点群の距離データに基づいて前景データから点群データ(動体)の塊を抽出してクラスタリング処理を行う。
 次にステップS120において、安全監視装置10の動体認識解析部16のバウンディングボックス生成部16cは、クラスタリング処理された点群データ(動体)の塊を囲むのに必要な直方体領域を作成することで、バウンディングボックスを作成する。
 次にステップS125において、安全監視装置10の動体認識解析部16の発報解析部16fは、バウンディングボックスのサイズ(幅、奥行き、高さ)から動体が人の判定条件に適合しているか否かを確認する。動体が人の判定条件に適合していることが確認された場合に、発報解析部16fは、その動体に人を表すフラグ(人フラグ)を付加する(立てる)。これにより、安全監視装置10は、動体に対して人の認識を行う。
 次にステップS130において、安全監視装置10の動体認識解析部16の発報解析部16fは、次のフレームにて、同じ動体のサイズを検知する。そして、指定したフレーム数連続して動体のサイズが人のサイズに適合している場合に、発報解析部16fは、その動体の属性を「人」に設定する。
 次にステップS135において、安全監視装置10の動体認識解析部16の発報解析部16fは、発報対象エリアに動体が進入したか否かをチェックする。そして、進入した動体がある場合で、かつ、進入した動体の属性が「人」であるときに、発報解析部16fは、警告を発する。
 <距離の検知方法>
 以下、図15を参照して、距離の検知方法について説明する。図15は、上から見た「人」と「大物体」との間の距離の一例を示す説明図である。
 安全監視装置10は、分類した「人」と「大物体」との間の距離を以下のようにして求める(算出する)ことができる。
 図15に示すように、人106のバウンディングボックス106boxの底面は、極端な長方形になることはない。そのため、安全監視装置10は、バウンディングボックス106boxを囲む外接円を人106の領域に設定する。
 横軸をX軸とし、縦軸をZ軸とした場合に、人106のバウンディングボックス106boxの中心点106oの座標を(ADx,ADz)として表すことができる。そして、バウンディングボックス106boxを囲む外接円の半径をAD_Rとする。
 大物体105aの底面は、4つの点a,b,c,dをそれぞれ頂点とする長方形になっている。安全監視装置10は、大物体105aの線分abと人106の中心点106oとの間の距離、大物体105aの線分bcと人106の中心点106oとの間の距離、大物体105aの線分cdと人106の中心点106oとの間の距離、大物体105aの線分daと人106の中心点106oとの間の距離を各々求める(算出する)。そして、安全監視装置10は、各々求めた(算出した)値の最小値を、各線分ab,bc,cd,daと人106の中心点106oとの間の距離Dminとする。
 安全監視装置10は、人106と大物体105aとの間の距離を、(Dmin-AD_R)によって求める(算出する)ことができる。
 安全監視装置10は、毎フレームで、検出したすべての人106と大物体105aとの間のすべての組み合わせの距離を算出し、算出した距離が指定した閾値距離よりも短い場合に警告を発するようにするとよい。
 その際に、安全監視装置10は、算出した距離に応じて異なる種別の警告を発するようにしてもよい。例えば、算出した距離が以下の閾値距離Th1,Th2,Th3(図示せず)の場合に、以下のような警告を発することができる。なお、閾値距離Th1,Th2,Th3(図示せず)は、Th1>Th2>Th3の関係になっている。
 (1)安全監視装置10は、(Dmin-AD_R)<Th1の場合に、レベルを注意レベルとする。この場合に、安全監視装置10は、警告用ランプ43に黄色を点灯させる。
 (2)安全監視装置10は、(Dmin-AD_R)<Th2の場合に、レベルを警告レベルとする。この場合に、安全監視装置10は、警告用ランプ43に赤色を点灯させる。
 (3)安全監視装置10は、(Dmin-AD_R)<Th3の場合に、レベルを危険レベルとする。この場合に、安全監視装置10は、警告用ランプ43に赤点滅を行わせるとともに、スピーカ44に警報音を鳴らせる。
 以下、図16を参照して、安全監視装置10の動作について説明する。図16は、人と大物体の検知・発報時の動作を示すフローチャートである。
 図16に示すように、人と大物体の検知・発報時の動作は、図14に示す人の検知・発報時の動作と比較すると、以下の点で相違している。
 (1)ステップS120の後に、ステップS121の判定処理を行う点。
 (2)ステップS121の判定で“Yes”と判定された場合に処理がステップS125に進む点。
 (3)ステップS121の判定で“No”と判定された場合に安全監視装置10がステップS145とステップS150の処理を行う点。
 (4)ステップS135が削除され、その代わりに、ステップS130又はステップS150の後に、ステップS155の処理を行う点。
 これらの相違点以外は、図16に示す人と大物体の検知・発報時の動作と図14に示す人の検知・発報時の動作は、同じである。
 具体的には、図16に示すように、ステップS120の後に、ステップS121において、安全監視装置10の動体認識解析部16の発報解析部16fは、物体が人か否かを判定する。
 ステップS121の判定で、物体が人であると判定された場合(“Yes”の場合)に、処理は、ステップS125に進む。この場合に、図14に示す人の検知・発報時の動作と同様に、ステップS125からステップS130までの処理を行う。ステップS130の後に、処理はステップS155に進む。
 一方、ステップS121の判定で、物体が人でないと判定された場合(“No”の場合)に、処理は、ステップS145に進む。
 ステップS145において、安全監視装置10の動体認識解析部16の発報解析部16fは、バウンディングボックスのサイズ(幅、奥行き、高さ)から動体が大物体の判定条件に適合していることを確認し、その動体に大物体を表すフラグ(大物体フラグ)を付加する(立てる)。これにより、安全監視装置10は、動体に対して大物体の認識を行う。
 次にステップS150において、安全監視装置10の動体認識解析部16の発報解析部16fは、次のフレームにて、同じ動体のサイズを検知する。そして、指定したフレーム数連続して動体のサイズが大物体の判定条件に適合している場合に、発報解析部16fは、その動体の属性を「大物体」に設定する。ステップS150の後に、処理はステップS155に進む。
 ステップS155において、安全監視装置10の動体認識解析部16の発報解析部16fは、発報対象エリアに動体が進入したか否かをチェックする。そして、「人」と「大物体」の両方が発報対象エリアに進入した場合に、発報解析部16fは、「人」と「大物体」との間の距離を測定し、その距離が一定距離より短いときに「人」が危険状態になった旨の警告を発する。
 図17は、ライダ51によって検知された人106がカメラ映像の発報対象エリア(進入禁止エリア)内に進入した時の警告画面の一例を示す説明図である。安全監視装置10は、ライダ51から取得された3次元データを監視カメラ61から取得された2次元の映像データ(カメラ映像)に射影する。安全監視装置10は、3次元データと映像データとの位置関係が合うように設定されている。そして、図17に示すように、安全監視装置10は、動体を検知し、動体にバウンディングボックス106boxを付加して、バウンディングボックス106boxのサイズに基づいて動体を人106として認識する。なお、安全監視装置10は、人106が発報対象エリア(進入禁止エリア)内に進入する場合に、警告を発報するために、カメラ映像の中の該当する人106のバウンディングボックス106boxの色を赤色に変更したり、該当する人106の部分に赤枠を重畳したりするとよい。
 また、安全監視装置10は、監視カメラ61から取得された映像データ(カメラ映像)を記憶部30に常時記録(録画)する構成にすることができる。このような安全監視装置10は、警告を発報した瞬間の映像データ(カメラ映像)を消去することなく記録に残して、発報リストを作成することができる。この場合に、安全監視装置10は、発報リストに基づいて、必要な時間分の発報時の映像データ(カメラ映像)を指定して再生(ディスプレイ42に表示)することができる。
 また、安全監視装置10は、例えば図18A又は図18Bのように動作する構成にすることができる。図18A及び図18Bは、安全監視装置10の動作説明図である。
 図18Aに示すように、安全監視装置10は、ライダ51によって測定された3次元データ(測距データ)をライダデータ取得部15で取得する。ライダデータ取得部15は、取得された3次元データ(測距データ)を動体認識解析部16に出力する。
 動体認識解析部16では、発報解析部16fがエリア毎に指定された発報機能に基づいて動体を検知する。そして、発報解析部16fは、いずれかのエリアが警告を発報すべき状況であるか否かを判定する。警告を発報すべきエリアがある場合に、動体認識解析部16は、警告のレベルに応じてランプを点灯するように警告用ランプに点灯指示信号を出力する。これに応答して、警告用ランプは、ランプを点灯する。なお、警告用ランプは、複数のランプで構成されていて、エリア毎に指定するようにしても良い。
 また、動体認識解析部16は、結果出力部17を介して動体が検知された結果を映像処理部18に出力する。これに応答して、映像処理部18は、ディスプレイ42に表示する表示画面100(図4A参照)を作成する。その際に、映像処理部18は、例えば、人の検知枠をカメラ映像に重畳する等の、任意のカメラ映像処理を行うようにしても良い。
 また、図18Bに示すように、安全監視装置10は、映像処理部18の中にカメラ映像処理用の画像認識部18aを有する構成にしてもよい。画像認識部18aは、監視カメラ61で撮影された映像データ(カメラ映像)に基づいて、動体認識解析部16で認識された人に対して、顔の識別による人物判定、性別判定、姿勢判定等を行う。これにより、安全監視装置10は、さらにきめ細かい危険レベルの判定を行うことができる。
 <バウンディングボックスの平滑化について>
 安全監視装置10は、好ましくは、バウンディングボックスの平滑化機能を有しているとよい。図19は、安全監視装置10の動作説明図である。
 図19に示すように、安全監視装置10は、ライダデータ取得部15でライダ51から取得された3次元データ(測距データ)を動体認識解析部16に出力する。動体認識解析部16では、前景データ抽出部16aが、入力データである3次元データ(測距データ)と予め取得しておいた背景データとの差分を取り、前景データを抽出する。
 次に、クラスタリング処理部16bが、前景データから一定の塊のある点群データを抽出して、動体候補に設定する。そして、クラスタリング処理部16bは、動体候補に設定された点群データの中から全フレームとの連続性を検証し、連続性があるものを動体とみなして、IDを割り振る。この後、バウンディングボックス生成部16cが、動体とみなされた点群データに対してバウンディングボックスを生成する。
 作成されたバウンディングボックスの底面の(x,z)平面におけるフレーム間の角度θは、Δθ毎に離散的な値となっている。そこで、角度平滑部16dは、予め指定されたフレーム数又は処理方法で平均処理を行う。その際に、安全監視者は操作部41によってフレーム数や処理方法の変更等を行えるようにしても良い。
 また、安全監視装置10は、映像データ(カメラ映像)と点群データとして求めたバウンディングボックスとを同時にディスプレイ42に表示する。そのため、安全監視装置10は、ライダ51に対して後ろ側となる点群データの無い部分についても、バウンディングボックスによって大体の外形が視覚的に見える程度に、安全監視者に見せることができる。
 例えば、ライダ51からの入力データが10fps(フレーム/秒)となっている場合について説明する。図20は、角度平滑処理の一例を示す説明図である。図20は、フレーム毎に同一物体のバウンディングボックスの角度θをΔθ=6°として、5フレームの単純平均式で求めた場合の例を示している。
 求まる角度θは、離散的に0°,6°,12°,18°,…,78°,84°のいずれか1つの角度になる。図示例では、角度θが6°から12°に徐々に曲がっていく例を示している。図示例では、点群のバラツキにより、角度θが6°と12°とに混じりあう状態となっている。このような状態のバウンディングボックスの動きは、視覚上がたがたしたように見えてしまう。
 ここで、iフレーム目の角度をθ(i)とし、平均角度をθave(i)とした場合において、5フレームの単純平均式は以下の式(1)となる。
 θave(i)=(θ(i-4)+θ(i-3)+θ(i-2)+θ(i-1)+θ(i))÷5  …(1)
 図20に示す平均角度は、上記の式(1)での算出結果の角度である。図20に示す平均角度は、滑らかな変化の角度となる。そのため、バウンディングボックスの動きは、見た目が安定するとともに、実際の動体(例えばバス等)の動きに比較的近い状態となる。しかしながら、例えば過去の4フレームと現フレームとの間の角度データを使用するので、バウンディングボックスの動きは、若干遅れた動作となる。バウンディングボックスの動きは、平滑フレーム数を増やせば滑らかさを向上させることができるが、応答性が下がる。そこで、検出したい動体の事情にあわせて、平滑フレーム数を選ぶのが良い。例えば、バスやトラック等は、急に曲がることは少ないため、多めのフレーム数を選び、フォークリフトのような小回りの多い車は、小さめのフレーム数を選ぶようにしても良い。
 図21は、図20と同様に、角度平滑処理の一例を示す説明図である。ただし、図20が5フレームの単純平均式で求めた場合の例を示しているのに対し、図21は、以下の式(2)で重み付けされた5フレームの加重平均式で求めた場合の例を示している。加重平均式は、現フレームに重きを置いた式である。
 ここで、iフレーム目の角度をθ(i)とし、平均角度をθave(i)とした場合において、加重平均式により重み付けされた5フレームの加重平均式は以下の式(2)となる。
 θave(i)=(1×θ(i-4)+2×θ(i-3)+3×θ(i-2)+4×θ(i-1)+5×θ(i))÷15  …(2)
 図22は、角度平滑処理の設定例を示す説明図である。図22は、操作部41を操作して図示せぬグラフィカルユーザインターフェース(GUI)により平均化処理の設定を行う場合の例を示している。
 図22に示す例では、表示画面は角度平滑化の処理実施を「する」か「しない」かの設定をラジオボタンで設定できる構成になっている。また、表示画面は動体の縦横比(width/depth)が一定値未満の場合に角度平滑処理を実施することを設定できる構成になっている。また、表示画面は実施対象のサイズ(width)が一定サイズ未満の場合に角度平滑処理を実施することを設定できる構成になっている。なお、実施対象のサイズ(width)の値を大きく設定するほど、角度平滑部16dは、動体に対して角度平滑処理を頻繁に実施することになる。また、表示画面は平均化フレーム数が一定数未満の場合に角度平滑処理を実施することを設定できる構成になっている。図示例では、平均化フレーム数として5フレームが選択されているが、この値は自由に変更することができる。また、表示画面は単純平均と加重平均とのいずれかをラジオボタンにて選択できる構成になっている。
 なお、iフレーム目におけるバウンディングボックスの底面の中心座標を(Cx(i),Cz(i))とした場合に、Cxave(i)とCzave(i)の角度平滑処理は以下の式(3)と式(4)によって行われる。
 Cxave(i)=(Cx(i-4)+Cx(i-3)+Cx(i-2)+Cx(i-1)+Cx(i))÷5  …(3)
 Czave(i)=(Cz(i-4)+Cz(i-3)+Cz(i-2)+Cz(i-1)+Cz(i))÷5  (4)
 なお、上記の算出例では、角度平滑部16dは、単純平均で角度の平滑処理を行っているが、加重平均で角度の平滑処理を行うようにしても良い。また、安全監視装置10は、図示せぬグラフィカルユーザインターフェースにより角度の平滑処理と同時に中心座標の平滑処理を行うようにしても良い。また、安全監視装置10は、角度とは独立に図示せぬグラフィカルユーザインターフェースを設けても良い。
 <録画自動消去時の重要マークが設定された映像データの除外について>
 安全監視装置10は、監視カメラ61から取得した映像データ(カメラ映像)を常時録画(記憶部30に記憶)して一定期間経過後に消去する構成にするとよい。図23は、このような安全監視装置10の動作説明図である。
 図23に示すように、安全監視装置10は、監視カメラ61から取得した映像データ(カメラ映像)を映像処理部18で例えばMxPEG等の管理可能なデータに変換して記録管理部19に出力する。
 記録管理部19は、データベース管理できるように、変換データを所定時間毎にファイル(ファイルデータ)に分けて記憶手段(記憶部30や外部の図示せぬ記録メディア)に記録する。また、記録管理部19は、安全監視者の指示に基づいて、映像処理部18からファイルを取得し、取得したファイルを映像表示処理部20に出力する。また、記録管理部19は、記憶手段(記憶部30や外部の図示せぬ記録メディア)に記録されたファイル群の中から指定された時間のファイルを読み出して、映像表示処理部20に出力する。映像表示処理部20は、ファイルに基づいて画像を作成してディスプレイ42に表示させる。
 また、安全監視装置10は、ライダ、カメラ、人感センサ、タッチセンサ等の安全センサ50から測定空間における物体の検知信号を安全センサ入力部21で取得して、検知信号を安全監視部22に出力する。安全監視部22は、検知信号に基づいて人の進入や危険物体の進入等を検知して、イベントを発行する。つまり、安全監視部22は、安全センサ50の監視領域への物体の進入を監視する。そして、安全監視部22は、そのイベントをイベントリスト処理部23に出力する。このとき、安全監視部22は、安全センサ50の監視領域に物体が進入した時刻をイベントの開始時刻とし、監視領域から物体が退出した時刻又はイベントの開始時刻から一定時間経過した時刻をイベントの終了時刻とする。そして安全監視部22は、イベントの開始時刻と終了時刻をイベントリスト処理部23に通知する。
 これに応答して、イベントリスト処理部23は、イベントリストを作成更新し、例えば図24に示す表示画面110をディスプレイ42に表示する。図24は、表示画面110の一例を示す説明図である。図24に示す例では、表示画面110は、監視カメラ61によって撮影された各測定空間の映像と更新後のイベントリストとを同時に並べた構成になっている。安全監視者は、表示画面110を見ながら操作部41を操作する。イベントリスト処理部23は、安全監視者の操作に応じてイベントの編集を行う。
  なお、図24に示す例では、表示画面110は、左側に映像が表示される映像表示部111が配置され、右側にイベントリストが表示されるイベントリスト表示部112が配置された構成になっている。
 図24に示す例では、映像表示部111は、4つの画面に区画されている。安全監視装置10は、監視カメラ61を4台まで接続できる構成なっており、各監視カメラ61から取得された映像を映像表示部111の任意の画面に表示する。なお、安全監視装置10は、運用に応じて映像表示部111の4つの画面を使い分けるようにしてもよい。例えば、安全監視装置10は、映像表示部111の左上の画面に監視カメラ61からのライブ映像を表示し、映像表示部111の右上の画面に記憶手段からの録画再生映像を表示するようにしてもよい。
 また、安全監視装置10は、イベントリスト表示部112に表示されたイベントリストの各イベントに関連した映像を映像表示部111に再生できる構成になっている。例えば、安全監視者は、イベントリスト表示部112に表示されたイベントリストの中から再生したいイベントを選択して、マウスにてダブルクリックしたり、映像表示部111の再生したい画面にドラッグしたりする。これにより、安全監視装置10は、選択されたイベントに関連した映像を映像表示部111に再生する。
 図25は、イベントリストの一例を示す説明図である。図25に示す例では、イベントリスト120は、左から、重要マーク欄121、タイムスタンプ欄122、カメラ名欄123、種類欄124、説明欄125を有する構成になっている。
 重要マーク欄121は、重要なイベントであることを表す重要マークが付加される欄である。図示例では、重要マークが星型の形状を呈しているが、重要マークの形状は星型に限らず任意の形状にすることができる。
 タイムスタンプ欄122は、イベントの開始時刻の表示欄である。
 カメラ名欄123は、映像を撮影したカメラ名の表示欄である。
 種類欄124は、イベントの種類(Intruder、CUSTOM等)の表示欄である。
 説明欄125は、イベントに関する説明の表示欄である。
 なお、イベントリスト120は、これらの他に、イベントの終了時刻、発生原因等を表示する構成にすることができる。
 イベントリスト120は、任意のイベントの重要マーク欄121をマウスでクリックすることで、重要マークをOn/Offできる構成になっている。安全監視者は、任意のイベントの映像を再生して、映像確認を行い、再生中の映像の中にインシデント(重要な事象)が発生していると判断した場合に、そのイベントの重要マーク欄121に重要マークを付加する。安全監視装置10は、重要マークが付加されたイベントに関連した映像が消去されないように保管する。
 安全監視装置10は、安全監視者がイベントリスト120の中から任意に1つのイベントを選択して、図26に示すイベント編集画面130で編集操作を行うことにより、そのイベントに対して編集処理を行うことができる。図26は、イベント編集画面130の一例を示す説明図である。
 図26に示す例では、イベント編集画面130は、カメラ名欄131、ユーザ名欄132、発生日時欄133、終了日時欄134、説明欄135、種類欄136、マーク欄137、原因欄138、対策欄139、重要度欄140を含む構成になっている。
 カメラ名欄131は、映像を撮影したカメラ名の表示欄である。
 ユーザ名欄132は、ユーザ名の表示欄である。
 発生日時欄133は、イベントの発生日時の表示欄である。
 終了日時欄134は、イベントの終了日時の表示欄である。
 説明欄135は、イベントに関する説明の入力欄である。
 種類欄136は、イベントの種類(Intruder、CUSTOM等)の入力欄である。
 マーク欄137は、重要マークの種類の表示欄である。
 原因欄138は、発生したインシデントの原因の入力欄である。
 対策欄139は、発生したインシデントに対する対策の入力欄である。
 重要度欄140は、発生したインシデントの重要度の入力欄である。
 図26に示すイベント編集画面130は、図25に示す重要マークが付加されたイベントの詳細データを反映した内容となっている。図26に示す例では、発生日時欄133に表示されたイベントの発生日時(開始時刻)が2020年1月17日12時5分41秒となっている。また、終了日時欄134に表示されたイベントの終了日時(終了時刻)が2020年1月17日12時11分20秒となっている。このイベントの映像データを再生する場合に、安全監視者は、イベントの発生日時(開始時刻)と終了日時(終了時刻)に対して、一定時間(例えば前後10秒)多くとって再生するとよい。例えば、安全監視者は、イベント編集画面130で、発生日時欄133と終了日時欄134を編集して、イベントの発生日時を2020年1月17日12時5分31秒に設定し、イベントの終了日時を2020年1月17日12時11分30秒に設定して、映像を再生するとよい。なお、日時の変更に適用する一定時間(例えば前後10秒)は、任意に変更できるようになっている。
 安全監視者は、イベント編集画面130から、発生日時欄133の発生日時(イベントの開始時刻)、終了日時欄134の終了日時(イベントの終了時刻)を編集することができる。
 また、図示しないが、安全監視装置10は、イベントの最長時間を設定しておくことにより、イベントの終了時刻を「イベントの開始時刻+イベント最長時間」までの時刻に制限できる。
 また、安全監視装置10は、以下ように動作する構成にすることができる。例えば、予めライダ51に監視エリアを設定しておき、人が監視エリアに進入した時刻をイベントの発生日時(開始時刻)とし、人が監視エリアから退出した時刻をイベントの終了日時(終了時刻)とする。そして、安全監視装置10は、イベント登録時に、ライダ51からイベントの発生日時データと終了日時データとを取得し、取得された日時データを記憶部30に記録管理することができる。
 また、安全監視装置10は、動体が監視エリアに長く滞留する場合に、イベントの終了時刻を「イベントの開始時刻+イベント最長時間」までの時刻に制限できる。
 また、安全監視装置10は、イベント編集画面130から、他の項目に対しても編集できる構成にしてもよい。
 また、安全監視装置10は、イベント編集画面130を用いることにより、任意の時間の映像を再生して、イベントを新規に作成できる構成にしてもよい。
 図27は、映像データの記憶手段への保存形式の一例を示す説明図である。図27は、ファイルの管理のために、オープンソースのリレーショナルデータベース管理システム(RDBMS:Relational Database Management System)の一つであるSQLiteを使用した例を示している。
 図27に示すように、記憶部30には、「Videoフォルダ」以下に「archive.db」と呼ばれるデータベース管理ファイルが作成されるとともに、日付を示す日付フォルダ(例えば、「2020/1/17フォルダ」、「2020/1/18フォルダ」、「2020/1/19フォルダ」等が毎日1つ作成されていく。
 各日付フォルダの下に、例えばH.264形式で圧縮した映像データファイルが作成される。図27に示す例では、映像データファイルとして例えば「video_20200117_000000.mp4」や「video_20200117_001000.mp4」等が作成されている。「video_20200117_000000.mp4」は、2020年1月17日0時0分0秒から10分間の映像データファイルである。また、「video_20200117_001000.mp4」は、2020年1月17日0時10分0秒から10分間の映像データファイルである。本実施形態では、このように10分間隔で映像データファイルが作成されるものとして説明する。その結果、1日あたり、「24時間×(6ファイル/1時間)」の144ファイルが作成される。
 通常のXGAフォーマット(1024×768画素)の場合、10分の録画データのデータ量は約500MBのとなり、1月分の録画データのデータ量は約2TBとなる。そのため、安全監視装置10は、記録手段(記憶部30や外部の図示せぬ記録メディア)として大容量のHDD(Hard Disk Drive)を使用すれば30日程度の録画データの常時保存を行うことができる。
 本実施形態では、安全監視装置10は、30日間の録画データ(映像データファイル)の常時保存を行い、1日に1回、録画してから30日を超えた1日分の録画データ(映像データファイル)を自動的に消去する。この時に、安全監視装置10は、発行されてから30日を超えたイベントをイベントリストから自動的に削除する。
 ただし、図25及び図26に示す重要マークが付加されたイベントに関連する録画データ(映像データファイル)については、安全監視装置10は、消去せずに保存する。     
 例えば、図25に示すタイムスタンプが2020年1月17日12時5分41秒になっている録画データは、仮に重要マークが付加されていなければ、保存期間30日を超過した時点で、自動的に消去される。しかしながら、図25に示すタイムスタンプが2020年1月17日12時5分41秒になっている録画データは、重要マークが付加されている。そのため、この録画データは、自動消去のタイミングになっても(つまり、例えば、録画されてからの保存期間である30日を超過しても)、消去されずに保存され続ける。また、このような重要マークが付加されている録画データに該当するイベントは、イベントリストから削除されることなく残される。
 安全監視装置10は、1日1回の録画データの自動消去時に、重要マークが付加されたイベントをチェックし、重要マークが付加されたイベントの再生時間を求め、その時間を含む録画データ(映像データファイル)を消去せずに保存する。例えば、ここでは、安全監視装置10は、図25に示すタイムスタンプが2020年1月17日12時5分41秒になっている録画データに対して、2020年1月17日12時5分31秒から12時11分30秒を含む録画データ(映像データデータ)を消去せずに保存するものとする。
 図27に示す例では、2020年1月17日12時5分31秒から12時11分30秒を含む録画データは、「Video_20200117_120000.mp4」と「Video_20200117_121000.mp4」の2つのファイルである。図28に示すように、安全監視装置10は、録画データの自動消去時になっても、重要マークが付加されたイベントに関連する2つのファイルを残し、他のファイルを自動的に消去する。
 なお、録画データの自動消去時になっても消去されなかった映像データファイルについては、その後の編集によりイベントから重要マークがOff(削除)された場合に、その後に行われる録画データの自動消去時に、消去される。また、この場合に、重要マークがOff(削除)されたイベントも、イベントリストから削除される。
 <安全監視装置の主な特徴>
 (1)図2に示すように、本実施形態に係る安全監視装置10は、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部12と、各々の発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部13と、安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部16と、を有する構成になっている。
 工事現場や製造現場等では、重機(例えばクレーン)が作業するエリアや、フォークリフト等の作業車が動き回るエリア、振動抑制やセキュリティ等のためにすべての動体が入ってはいけないエリア等、様々な管理エリアが想定される。本実施形態に係る安全監視装置10は、このような様々な管理エリアを発報対象エリアとし、安全センサの検知対象エリアに対して複数設定できる。また、安全監視装置10は、各々の発報対象エリアに対して任意の発報機能の種別を設定できる。つまり、安全監視装置10は、複数の発報対象エリアの各々に対して異なった発報機能を独立に設定できる。そのため、安全監視装置10は、最適な監視方法を実現することができる。また、安全監視装置10は、人と物体との関係を良好に把握することができる。
 (2)図4Aに示すように、本実施形態に係る安全監視装置10は、安全センサとしてのライダ51からセンサデータとして3次元データ(測距データ)を取得するセンサデータ取得部(ライダデータ取得部15)を有している。動体認識解析部16は、3次元データに基づいて検知対象エリアから動体を抽出し、各々の発報対象エリアへの動体の進行を検知する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、3次元データを測定できる安全センサ(例えばライダ51)を用いることで、複数のエリアを同一条件の測定精度に設定できる。そのため、安全監視装置10は、安定した検知精度を確保できる。また、安全監視装置10は、監視したい条件が変わった場合に、センサの取り付け直し等の物理的な変更なしに、エリアの設定の変更のみで対応できる。
 (3)本実施形態に係る安全監視装置10の発報種別設定部13は、好ましくは、すべての動体に対して警告を発する機能と、人のみに警告を発する機能と、人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、大物体の進行方向に人が入った場合に警告を発する機能と、一定速度以上の動体のみに警告を発する発報する機能と、一定速度以下の動体のみに警告を発する発報する機能と、任意の2つ以上の機能を組み合わせて論理和をとった機能と、任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を発報機能の種別として選択できる構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、運用に応じて様々な種別の発報機能を利用できる。例えば、重機(例えばクレーン)が動くエリアでは、人と重機との接近時に警告を発することが好ましい。また、フォークリフト等の作業車が動くエリアでは、作業者が進入しないように監視することが好ましい。さらに、レールの上を走る重機等が動くエリアでは、その進行方向に人が入った場合に警告を発することが好ましい。また、振動抑制やセキュリティ等のためにすべての動体が入ってはいけないエリアでは、すべての動体の動きを監視することが好ましい。また、エリアによっては、動体が制限速度を超えて進入した場合に警告を発するように監視することが好ましいエリアがある。安全監視装置10は、このようなエリアでの好適な警告の発報を実現できる。また、エリアによっては、警告を発する条件を、人と大物体(例えば車)との一定速度以上の論理積条件とすることで、安全監視装置10は、大物体(例えば、車)が制限速度を超えてエリアに進入した場合に警告を発するように設定することができる。また、警告を発する条件を、人と大物体との速度の論理和条件とすることで、安全監視装置10は、大物体がエリアに進入した場合に警告を発するように設定することもできる。
 (4)図5、図6に示すように、本実施形態に係る安全監視装置10では、発報機能の種別は、ユーザインターフェースを介してエリア毎に指定できる構成にしてもよい。
 工事現場や製造現場等では、作業の進捗に応じて環境が刻刻と変化する。そのため、エリアの設定、発報機能の選択は、現場の状況に応じて設定を任意かつ簡単に変更できることが好ましい。本実施形態に係る安全監視装置10は、ユーザインターフェースを介して、任意かつ簡単に設定を変更できる環境を実現できる。
 (5)図12乃至図14に示すように、本実施形態に係る安全監視装置10の動体認識解析部16は、安全センサとしてのライダ51にて測定した3次元データより動体を表す点群データを抽出し、点群データを囲うのに必要な大きさのバウンディングボックスを作成し、バウンディングボックスの幅と奥行きと高さ、並びに、バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、動体のサイズが決定された範囲内になっていることを人の判定条件とし、動体のサイズが任意に定めた一定時間継続して判定条件に適合している場合に、動体を人として識別する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、人の検知をバウンディングボックスのサイズから行うことで、既知の画像処理手法や機械学習ベースの手法を用いないで、簡易な方法で検知が行える。
 なお、ライダ51にて測定された動体の点群データは、クラスタリング処理して一つの塊(物体)として処理される。その際に、大物体(例えば、車等)は、凸凹した形状であることが多いため、安定して一つの物体として認識されずに、複数の塊に分裂して認識されてしまう可能性がある。この場合に、分裂した1つの塊のサイズが人のサイズと同じサイズになってしまうことがある。したがって、単純に人のサイズだけで動体の属性を判断すると、大物体を人として誤判別してしまう可能性がある。これに対して、本実施形態に係る安全監視装置10は、大物体を複数の塊に分裂して認識する状態が短期間で解消することが多いため、動体(塊)のサイズが人のサイズであると判断した状態が一定時間継続した場合に、動体(塊)を人として判断することができる。このような安全監視装置10は、動体(塊)のサイズに基づいて大物体を人として誤判別してしまう場合であっても、動体(塊)のサイズとそのサイズの継続時間の両方によって動体(塊)が人であるのか否かを判別することで、大物体を人として誤判別してしまうことを大幅に軽減できる。
 また、工事現場や製造現場等では、作業者は地面を歩いている。このような環境において、大物体を複数の塊に分裂して認識し、分裂した1つの塊のサイズが人のサイズになる現象は、地面よりも高い場所で発生している場合が多い。そのため、本実施形態に係る安全監視装置10は、バウンディングボックスの底面の高さが一定の高さ以下であることを条件に加えるようにしている。また、本実施形態に係る安全監視装置10は、人の身長が高くても2m程度であるため、バウンディングボックスの上面の高さが任意に定めた一定の高さより高い場合は人ではないと判断することで、人以外の動体を人と誤認識することを防止できる。
 なお、本実施形態に係る安全監視装置10は、人の検知をバウンディングボックスのサイズで行うため、このサイズを調整することで、人以外の動体を含むことが可能である。例えば、安全監視装置10は、荷物を持った人、一塊となった複数の人、小さな車、クレーンにて運ばれてきた物体等が含まれるように、バウンディングボックスのサイズを調整することも可能である。
 (6)図12に示すように、本実施形態に係る安全監視装置10の動体認識解析部16は、バウンディングボックスの幅Wと奥行きDと高さH、並びに、バウンディングボックスの底面の高さHbと上面の高さHtの5つのデータのいずれか1つ以上又はすべてを用いて、人よりも大きな大物体を識別する。そして、図15に示すように、動体認識解析部16は、人のバウンディングボックス106boxの底面又は上面の中心点106oと大物体のバウンディングボックス105boxの底面又は上面の各辺との間の距離の最小値から人のバウンディングボックスの底面又は上面の外接円の半径を引いた距離(Dmin-AD_R)を、人と大物体との間の距離として算出し、人と大物体との間の距離が任意に定めた一定距離より小さくなったときに警告を発する構成にしてもよい。
 人と大物体との間の距離を求めるにあたり、立体的な距離では、例えばクレーン車のように人の頭上に危険なものがぶら下がっている場合がある。このような場合に、人とクレーン車との間の距離が所定距離よりも大きく離れていても、安全でない可能性がある。本実施形態に係る安全監視装置10は、このような場合を見逃さないようにすることが望ましい。そこで、本実施形態に係る安全監視装置10の動体認識解析部16は、各々のバウンディングボックスの底面(あるいは上面)を用いて距離を計算するとよい。図15に示すように、動体認識解析部16は、人のバウンディングボックス106boxの底面の中心点106oを基準として、中心から大物体のバウンディングボックス105boxの底面の各線分までの距離を求め、その最小値から人のバウンディングボックス106boxの底面の外接円の半径を引いた距離(Dmin-AD_R)を、人と大物体との間の距離として算出する。これにより、安全監視装置10は、発報対象エリア(進入禁止エリア)内に存在する複数の人と大物体との間のすべての組み合わせの距離を計算し、それらの組み合わせで一定距離より小さくなった時に警告を発することができる。このような安全監視装置10は、例えば前記したクレーン車のように人の頭上に危険なものがぶら下がっている場合で、その危険性が見逃され易いときであっても、危険性を見逃さないように、漏れのない監視が行える。
 (7)図15乃至図18Bに示すように、本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離が一定距離よりも小さくなった時間が任意に定めた一定時間継続したときに警告を発する構成にしてもよい。
 工事現場や製造現場等では、人が大物体に近づいて、大物体から一定距離付近に滞留した場合に、多数の警告が連続して発報されてしまう可能性がある。そこで、本実施形態に係る安全監視装置10は、一定時間継続したときに警告を発生することで、多数の警告が連続して発報されることを防止できる。
 (8)本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離が一定距離よりも大きくなったときに警告を停止する構成にしてもよい。
 人が大物体に近づいた後に大物体から離れた場合で、かつ、人と大物体との間の距離が一定距離よりも大きくなったときは、人が安全地帯に退避した状態になっている。そこで、本実施形態に係る安全監視装置10は、人と大物体との間の距離が一定距離よりも大きくなったときに警告を停止するとよい。
 (9)本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離が一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止する構成にしてもよい。
 人が大物体に近づいた後に大物体から遠ざかる場合で、かつ、人が一定距離付近に滞留したときに、人が安全地帯に退避する前に、多数の警告が連続して発報されてしまう可能性がある。そこで、本実施形態に係る安全監視装置10は、人と大物体との間の距離が一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止するとよい。
 (10)本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離に応じて、警報レベルを変化させる構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、例えば、物体に人が近づいたときに、その接近距離に応じて、注意レベル、警告レベル、危険レベル等のように警告レベルを変えることができる。その際に、安全監視装置10は、例えば、警告のレベルが注意レベルから警告レベルに変化したときに警報ランプを黄色から赤に変化させ、さらに警告のレベルが警告レベルから危険レベルに変化したときにスピーカ44で警報音(ブザー音)を鳴らすようにしてもよい。
 (11)本実施形態に係る安全監視装置10の動体認識解析部16は、動体の速度を、バウンディングボックスの中心位置が一定時間に移動した距離から算出する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、バウンディングボックスの中心位置が一定時間(例えば0.5秒間)に移動した距離から動体の速度を特定することで、動体がエリアに進入するタイミングを把握できる。
 (12)本実施形態に係る安全監視装置10は、安全センサ(例えばライダ51)で検知された動体の位置を映像データに重畳する映像処理部18を有する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、例えば、動体が警告の対象となる人である場合に、該当する人の上に動体の位置として警告用目印を重畳することにより、危険性を視覚的に安全監視者に速やかに認識させることができる。これにより、安全監視者は、速やかに何らかの対処を行うことができる。
 (13)図2に示すように、本実施形態に係る安全監視装置10は、検知対象エリアの全部又は一部を撮影した映像データを記憶部30に記録して管理する記録管理部19と、警告が発報された場合に発報データを含むイベントをイベントリストに追加し管理するイベントリスト処理部23と、を有している。記録管理部19は、映像データを記憶部30に常時記録している。そして、安全監視装置10は、イベントリストの中から任意の発報箇所が指定されたときに、イベントリスト処理部23が指定された発報箇所の前後一定時間の映像データをディスプレイ42(表示部)に表示する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、警告が発せられた人の行動を安全監視者に把握させるために、再生箇所が指定できるように、発報した時点を記録保存して、イベントリストを作成する。そして、安全監視装置10は、任意のイベントが指定されることで、指定されたイベントに対応する前後の時間の映像データを再生できる。これにより、安全監視者は、指定されたイベントに対応する前後の時間の映像データ確認して、危険度合いを検証することができる。また、これにより、安全監視者は、現場の作業者に危険性の予知教育を行うこともできる。
 (14)本実施形態に係る安全監視装置10のイベントリスト処理部23は、ディスプレイ42(表示部)に表示されたイベントリストに対して、種別毎に発報データ(発報データを含むイベント)をフィルタリングして表示できる構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、発報データ(発報データを含むイベント)を種別毎にフィルタリングして表示できる。そのため、安全監視装置10は、例えば、フィルタリングとして、人のみに警告を発する機能のみを抽出すれば、その条件に適う録画データを容易に抽出することができる。また、安全監視装置10は、発報データ(発報データを含むイベント)を発報種別毎に管理して保存することで、安全監視者による映像データの確認作業の容易化を図ることができる。また、安全監視装置10は、例えば、カメラ映像の録画を警報が発生したときのみに限定することができる。さらに、安全監視装置10は、発報機能の種別に応じて選択的に、その前後の一定時間を記録に残すようにして、保存容量を削減することができる。また、安全監視装置10は、映像データを発報種別毎に管理して保存することで、安全監視者による映像データの確認作業の容易化を図ることができる。
 (15)図2に示すように、本実施形態に係る安全監視装置10は、検知対象エリアの映像データを記憶部30に記録して管理する記録管理部19を有している。図24及び図25に示すように、記録管理部19は、発報機能の種別に応じて、警告の対象となる事象が発生した時点を基点にして、基点の前後の映像データを記憶部30に記録する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、警告の対象となる事象が発生した時点を基点にして、基点の前後の映像データを記憶部30に記録する。そのため、安全監視装置10は、発生したイベント毎に映像データを管理することができる。また、安全監視装置10は、発生したイベント毎に映像データを管理して保存することで、安全監視者による映像データの確認作業の容易化を図ることができる。
 (16)本実施形態に係る安全監視装置10の発報種別設定部13は、発報機能として、検知対象エリアの映像データから動体の特徴を検知する処理を指定できる構成にしてもよい。
 例えば、ライダ51を用いた動体の検知だけでは、動体の微細な特徴を取得できない。そこで、本実施形態に係る安全監視装置10は、映像データから動体の特徴を検知する処理を指定できる構成にしてもよい。これにより、安全監視装置10は、発報機能として、カメラから取得した映像から、人の顔認識や性別等の動体の微細な特徴を取得することができる。このような安全監視装置10は、動体の属性判定の条件を詳細に設定できるため、物体の属性の検知精度を向上できる。
 (17)本実施形態に係る安全監視装置10は、動体を検知する処理として、顔認識による人物特定と、性別判定と、姿勢判定とのいずれか1つが含まれる構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、動体の属性判定の条件を詳細に設定できるため、物体の属性の検知精度を向上できる。
 (18)本実施形態に係る安全監視装置10は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置(Web端末62、監視カメラ61z等)に通知する構成にしてもよい。
 外部装置(Web端末62、監視カメラ61z等)は、安全監視装置10の動作とは独立してイベントや映像データを管理するようにしてもよい。また、安全監視装置10が実行するプログラムとカメラ映像を表示するプログラムは別構成になっていた方がイベントや映像データを管理し易い場合がある。そこで、本実施形態に係る安全監視装置10は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置に通知する構成にしてもよい。これにより、安全監視装置10は、例えば外部装置にカメラ映像処理を行わせて、カメラ映像の上に警告データの画像が重なる画像を外部装置に作成させることができる。その際に、安全監視装置10は、安全監視装置10で検知された動体の位置データ(3次元データ)をカメラ映像の2次元データに変換して、カメラ映像の位置と警告データの画像の位置とが対応するように、画像を外部装置に作成させるとよい。
 (19)図19乃至図22に示すように、本実施形態に係る安全監視装置10は、バウンディングボックスの角度を平滑化する平滑化手段(角度平滑部16d)を有する構成にしてもよい。
 フレーム毎(例えば、0.1秒毎)にバウンディングボックスを生成すると、測距データのばらつきにより、求まる角度θがばらつき、その結果、2つの物体間(例えば人と車との間)の距離を求めるときにばらつきが大きくなる可能性がある。そこで、本実施形態に係る安全監視装置10は、平滑化手段(角度平滑部16d)でバウンディングボックスの角度を平滑化することにより、車の移動に伴う角度θの変化を安定させることができる。そのため、安全監視装置10は、2つの物体間(例えば人と車との間)の距離を安定して求めることができる。また、安全監視装置10は、動体が映る映像をディスプレイ42(表示部)に表示させる際に、視覚的に自然な動きの映像を表示させることができる。
 (20)本実施形態に係る安全監視装置10は、3次元データに対して発報機能の種別に応じた処理を行う映像処理部18を有している。図19乃至図22に示すように、本実施形態に係る安全監視装置10の映像処理部18は、点群データとバウンディングボックスとを同時にディスプレイ42(表示部)に表示する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、クラスタリング処理後の点群データとバウンディングボックスとを同時に表示することで、実際の測定データがどのような点群となっているかを安全監視者に視覚的に認識させることができる。また、安全監視装置10は、万が一何らかの事故が発生した場合に、事故現場の点群データとバウンディングボックスとを同時に安全監視者に視認させることで、事故現場の状況を安全監視者に容易に把握させることができる。
 (21)図19乃至図22に示すように、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の角度を平滑化して算出する構成にするとよい。
 バウンディングボックスの生成は、角度が離散的になるため、分解能を上げようとすると計算量が増大し、計算時間が長期化する。そこで、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の角度を平滑化して算出する構成にするとよい。安全監視装置10は、バウンディングボックスの底面の離散的な角度を平滑化することで、適度な計算量で角度を求めることができる。そのため、安全監視装置10は、計算量が低減して、計算時間を短縮することができる。なお、バウウンディングボックス生成時の計算量は、点群の数、離散角度Δθによる計算の繰り返し数nによって決まる。また、計算時間は、安全監視装置10を構成するパーソナルコンピュータ(PC)のCPU(central processing unit)の性能により決まる。
 (22)図19乃至図22に示すように、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)によって離散的に算出したバウンディングボックスの底面の角度は、ユーザインターフェースを介して任意に変更できる構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、例えばバウンディングボックスの底面の角度θに対する最適な離散角度Δθを決めることができるようにユーザインターフェースを用意して、離散角度Δθの値を選択することができる。
 (23)図20及び図21に示すように、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)の平滑化方法及び平滑化時間の値のいずれか一方又は両方は、ユーザインターフェースを介して任意に変更できる構成にしてもよい。
 角度の平滑化処理は現時点から過去のデータを用いて行う。その際に、本実施形態に係る安全監視装置10は、例えば、単純に平均を行う手法や、現時間に近い方に大きな重み付けを行った加重平均を行う手法等を選択できる。これにより、安全監視装置10は、ライダ51から入力される3次元データに適した角度の平滑化処理を行うことができる。なお、多くのデータを平滑化した方が映像の滑らかさを向上させることができるが、入力データの変化に対する計算の応答性が低下する。そのため、安全監視装置10は、応答性も考慮して入力データに応じて好適な時間を選択できる構成にしてもよい。
 (24)本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の中心座標を平滑化する構成にしてもよい。
 点群データは、フレーム毎にばらついている。そのため、角度だけではなく、バウンディングボックスの中心座標(底面の長方形の中心座標)もばらついている。そのばらつきを抑制するためには、バウンディングボックスの中心座標の平滑化が有効である。そこで、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の中心座標を平滑化する構成にしてもよい。なお、ここでは、バウンディングボックスの中心座標を底面の長方形の中心座標として説明したが、バウンディングボックスの中心座標は、直方体領域(長方形領域)の中心座標として処理することができる。この場合に、直方体領域(長方形領域)の中心点の平滑化も有効である。
 (25)図23乃至図28に示すように、本実施形態に係る安全監視装置10は、映像データを所定時間毎にファイルに分けて記憶部30に記録する記録管理部19と、イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部23と、を有している。イベントリスト処理部23は、安全監視者により選択されたイベントに対して、イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又はファイルを記憶部30の別領域に保存し直す制御のいずれかを行う構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、各イベント内に映像再生時間範囲が分かるデータを有しており、そのデータから映像を再生すべきファイル(録画データ)を特定できる。そして、安全監視装置10は、インシデント(重要な事象)が発生しているファイル(録画データ)であるか否かを判断して、残すべきと判断した場合に自動消去無しを選択できる構成になっている。これにより、安全監視装置10は、決められた規則に基づいてファイル(録画データ)を自動的に消去する設定になっていても、インシデント(重要な事象)が発生しているファイルを消去しないように管理できる。このような安全監視装置10は、インシデント(重要な事象)が発生しているファイルを残すことにより、似たようなインシデントに関するデータを蓄積でき、安全監視者に事故防止施策を検討させることができる。
 (26)図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、所定の規則に基づいてファイルを自動的に消去する機能を有している。所定の規則は、記録手段(記憶部30や外部の図示せぬ記録メディア)の空き容量を一定量確保するか又は一定時間が経過するかのいずれかである構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、所定の規則に基づいてファイルを自動的に消去することができる。なお、所定の規則に基づいてファイルを自動的に消去する場合に、安全監視装置10は、記録手段としてのHDDの容量をフルに活用する構成では、空き容量が一定量確保できるように管理した方が良い。また、安全監視装置10は、記録手段としてのHDDの容量にゆとりがある範囲内で一定時間経過後にファイルを自動的に消去する構成では、いつまでの分のデータが残っているかが明確であり、データを管理し易いので、用途に応じて使い分けても良い。
 (27)図26に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、安全センサから検知対象エリアで発生したイベントの開始時刻と終了時刻との一方又は両方を含むセンサデータを取得してイベントリストの映像再生時間範囲を決める構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、各イベントに対して決められた映像再生時間範囲のファイル(映像データ)を再生することができるため、好適な時間分のファイル(映像データ)の再生を行うことができる。なお、安全監視装置10は、例えば、人が警告発報エリアに進入した時刻をイベントの開始時刻とし、人が警告発報エリアから退出した時刻をイベントリストの終了時刻として設定することができる。このような安全監視装置10は、危険エリアに進入した人が危険エリアから安全エリアに避難したか否かを管理することができる。なお、本実施形態に係る安全監視装置10は、用途に応じて、イベントの開始時刻と終了時刻との一方のデータ又は両方のデータを記録できる構成であるとよい。
 (28)図23乃至図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、過去に発生した任意の事象を新たなイベントとしてイベントリストに追加登録する機能を有する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、安全監視者の判断により過去に発生した任意の事象を新たなイベントとしてイベントリストに追加登録できる。例えば、過去に安全監視装置10が見逃してしまった事象であっても、安全監視者が記録手段に残されたファイルの映像を見てインシデント(重要な事象)が発生していると判断される場合に、安全監視装置10は、そのインシデントを新たなイベントとしてイベントリストに追加登録できる。この場合に、安全監視装置10は、インシデント(重要な事象)が発生しているファイル(録画データ)を消去せずに残す。
 (29)図23乃至図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、イベントの開始時刻と終了時刻を編集する機能を有する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、イベントの開始時刻と終了時刻(すなわち、イベントに関連するファイルの再生開始時刻と再生終了時刻)を任意に編集できる。例えば、人が危険エリアに進入する前にインシデント(重要な事象)が発生している場合や、危険エリアに進入した人が危険エリアから退出した後も継続して危険な状況が発生している場合が想定される。このような場合に、安全監視装置10は、イベントの開始時刻及び/又は終了時刻を変更することで、その時間帯のファイルを残すことができる。
 (30)本実施形態に係る安全監視装置10は、検知対象エリアの映像データに対して発報機能の種別に応じた処理を行う映像処理部18を有している。図23乃至図28に示すように、本実施形態に係る安全監視装置10の映像処理部18は、映像とイベントリストを同時にディスプレイ42(表示部)に表示する表示画面を作成し、安全監視者によってグラフィカルユーザインターフェースを介してイベントリストから特定のイベントが指定されたときに、指定されたイベントの映像再生時間範囲を含む映像をディスプレイ42(表示部)に表示する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、イベントリストに基づいて任意のイベントの映像を再生できる。安全監視者は、再生された映像を見て、現場の危険の程度を効率よく確認できる。このような安全監視装置10は、映像とイベントリストを同時にディスプレイ42(表示部)に表示することで、イベントを管理し易くすることができるとともに、イベントの表示操作やイベントの編集等の作業効率を向上させることができる。
 (31)図23乃至図28に示すように、本実施形態に係る安全監視装置10では、イベントリストは、グラフィカルユーザインターフェースを介して、ファイルの自動消去の有無を選択するための重要マークをイベント毎に付加できる構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、重要マークをイベント毎に付加できる。そのため、安全管理者は、例えば、各イベントに対して重要マークを付加することで、各イベントの設定を自動消去有りから無しへと簡単に変更することができる。これにより、安全管理者は、インシデント(重要な事象)が発生しているファイルを簡単に残すことができる。
 (32)図23乃至図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと重要マークが予め付加されたイベントの開始時刻前の一定時間から終了時刻後の一定時間までの期間を含むファイルに対して自動消去しない制御を行う構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、自動消去無しが選択されたイベントと重要マークが予め付加されたイベントのファイルに対して自動消去しない制御を行うことができる。なお、安全監視装置10は、現時点からファイルの自動消去のタイミングになるまでの間、重要マークの付与や削除が行える。また、安全監視装置10は、現時点からファイルの自動消去のタイミングになるまでの間、各イベントの時間を変更できる。    
 (33)図23乃至図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、自動消去無しが選択されたイベントが自動消去有りに選択変更された場合又は重要マークが予め付加されたイベントから重要マークが外された場合に、イベントのファイルに対して消去する制御を行う構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、イベントが自動消去有りに選択変更された場合又は重要マークが外された場合に、イベントのファイルに対して消去する制御を行うことができる。これにより、安全監視装置10は、HDDの空き容量を増やすことができる。つまり、安全監視装置10は、録画してから所定時間経過しても、重要マークが付加されたイベントに関連する映像データファイルを消去せずに残す構成になっている。しかしながら、安全監視者によってイベントリストに基づいて各イベントの危険性の確認が行われた場合に、仮に重要マークが付加されたイベントであっても、危険性が低いと判断される場合がある。このような場合に、安全監視装置10は、重要マークを外すことで、重要マークが外されたイベントに関連する映像データファイルを消去できるようする。これにより、安全監視装置10は、HDDの空き容量を増やすことができる。
 (34)図23乃至図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、記録されてから所定時間経過したファイルを自動的に消去する場合にイベントリストからファイルのイベントを削除する一方、ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと重要マークが予め付加されたイベントに対してイベントリストから削除しない制御を行う構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、自動消去無しが選択されたイベントと重要マークが付加されたイベントが誤って消去されることを防止できる。なお、イベントリストと映像データファイルとは、一対一の対応関係になっている。そのため、映像データファイルに対応したイベントは、削除対象となった映像データファイルの削除と同時にイベントリストから削除される。そのため、安全監視者は、消去してはいけないイベントを誤って消去してしまうことを防止できる。
 (35)本実施形態に係る安全監視装置10は、安全センサの監視領域への物体の進入を監視する安全監視部22を有している。安全監視部22は、監視領域に物体が進入した時刻をイベントの開始時刻とし、監視領域から物体が退出した時刻又はイベントの開始時刻から一定時間経過した時刻をイベントの終了時刻としイベントの開始時刻と終了時刻をイベントリスト処理部23に通知する構成にしてもよい。
 このような本実施形態に係る安全監視装置10は、イベントの開始時刻と終了時刻を自動的に検知して、イベントリスト処理部23に通知することができる。安全監視装置10は、例えば安全センサとしてライダ51を用いることで、昼夜問わずに3次元的に危険エリアを監視できる。
 以上の通り、本実施形態に係る安全監視装置10によれば、人と物体との関係を良好に把握することができる。
 なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
 例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。
 また例えば、前記した実施形態では、安全監視装置10は、3次元データに基づいてエリアの安全性を監視しているが、2次元データに基づいてエリアの安全性を監視することができる。
 10  安全監視装置
 11  制御部
 12  エリア設定部
 13  発報種別設定部
 14  映像取得部
 15  ライダデータ取得部(センサデータ取得部)
 16  動体認識解析部
 16a  前景データ抽出部
 16b  クラスタリング処理部
 16c  バウンディングボックス生成部
 16d  角度平滑部(平滑化手段)
 16e,18a  画像認識部
 16f  発報解析部
 17  結果出力部
 18  映像処理部
 19  記録管理部
 20  映像表示処理部
 21  安全センサ入力部
 22  安全監視部
 23  イベントリスト処理部
 30  記憶部
 31  設定記録データ
 32  映像記録データ
 33  処理画像データ
 39  通信部
 41  操作部
 42  ディスプレイ(表示部)
 43  警告用ランプ
 44  スピーカ(報音部)
 50  安全センサ
 51  ライダ
 61  監視カメラ(撮影部)
 61z  監視カメラ(撮影部、外部装置)
 61a  設定受付部
 61b  設定処理部
 61c  通知部
 62  Web端末(外部装置)
 62a  通知取得部
 100,110  表示画面
 101  3Dビューアー部
 101a  発報対象エリア枠
 102  設定部
 103  ライダ選択部
 104  発報対象エリアタブ
 104a  ブロックタブ
 104b  有効チェックボックス
 104c  エリア選択部
 104d  表示色設定部
 105  動体
 105a  大物体
 105box,106box  バウンディングボックス
 106  人
 106o  中心点
 106r  半径
 111  映像表示部
 112  イベントリスト表示部
 120  イベントリスト
 121  重要マーク欄
 122  タイムスタンプ欄
 123  カメラ名欄
 124  種類欄
 125  説明欄
 130  イベント編集画面
 131  カメラ名欄
 132  ユーザ名欄
 133  発生日時欄
 134  終了日時欄
 135  説明欄
 136  種類欄
 137  マーク欄
 138  原因欄
 139  対策欄
 140  重要度欄
 A51  検知対象エリア
 A61a,A61b  発報対象エリア
 A62  発報除外エリア
 B61a,B61b  発報箇所
 B62  除外箇所
 D  奥行き
 G  地面
 H,Hb,Ht  高さ
 Pr  制御プログラム
 R  一定距離
 R11  歩行経路
 S  安全監視システム
 Su1,Su2,Su3,Su4,Su5,Su6,Su7,Su8  面
 W  幅

Claims (37)

  1.  安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
     各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
     前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、を有する
    安全監視装置。
  2.  前記安全センサから前記センサデータとして3次元データを取得するセンサデータ取得部を有しており、
     前記動体認識解析部は、前記3次元データに基づいて前記検知対象エリアから動体を抽出し、各々の前記発報対象エリアへの動体の進行を検知する
    請求項1に記載の安全監視装置。
  3.  前記発報種別設定部は、
     すべての動体に対して警告を発する機能と、
     人のみに警告を発する機能と、
     人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、
     前記大物体の進行方向に人が入った場合に警告を発する機能と、
     一定速度以上の動体のみに警告を発する発報する機能と、
     一定速度以下の動体のみに警告を発する発報する機能と、
     任意の2つ以上の機能を組み合わせて論理和をとった機能と、
     任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択できる
    請求項1又は請求項2に記載の安全監視装置。
  4.  前記発報機能の種別は、ユーザインターフェースを介してエリア毎に指定できる
    請求項1乃至請求項3のいずれか一項に記載の安全監視装置。
  5.  前記動体認識解析部は、
     前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成し、
     前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、
     前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別する
    請求項1乃至請求項4のいずれか一項に記載の安全監視装置。
  6.  前記動体認識解析部は、
     前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人よりも大きな大物体を識別し、
     前記人のバウンディングボックスの底面又は上面の中心と前記大物体のバウンディングボックスの底面又は上面の各辺との間の距離の最小値から前記人のバウンディングボックスの底面又は上面の外接円の半径を引いた距離を、前記人と前記大物体との間の距離として算出し、
     前記人と前記大物体との間の距離が任意に定めた一定距離より小さくなったときに警告を発する
    請求項5に記載の安全監視装置。
  7.  前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも小さくなった時間が任意に定めた一定時間継続したときに警告を発する
    請求項6に記載の安全監視装置。
  8.  前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなったときに警告を停止する
    請求項6又は請求項7に記載の安全監視装置。
  9.  前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止する
    請求項6又は請求項7に記載の安全監視装置。
  10.  前記動体認識解析部は、前記人と前記大物体との間の距離に応じて、警報レベルを変化させる
    請求項6乃至請求項9のいずれか一項に記載の安全監視装置。
  11.  前記動体認識解析部は、前記動体の速度を、前記バウンディングボックスの中心位置が一定時間に移動した距離から算出する
    請求項5乃至請求項10のいずれか一項に記載の安全監視装置。
  12.  前記安全センサで検知された動体の位置を映像データに重畳する映像処理部を有する
    請求項1乃至請求項11のいずれか一項に記載の安全監視装置。
  13.  さらに、前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理部と、
     警告が発報された場合に発報データとしてのイベントをイベントリストに追加し管理するイベントリスト処理部と、を有し、
     前記記録管理部は、前記映像データを前記記憶部に常時記録しており、
     前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理部が指定された発報箇所の前後一定時間の映像データを表示部に表示する
    請求項1乃至請求項12のいずれか一項に記載の安全監視装置。
  14.  前記イベントリスト処理部は、前記表示部に表示された前記イベントリストに対して、前記種別毎に発報データをフィルタリングして表示できる
    請求項13に記載の安全監視装置。
  15.  さらに、前記検知対象エリアの映像データを記憶部に記録して管理する記録管理部を有し、
     前記記録管理部は、発報機能の種別に応じて、警告の対象となる事象が発生した時点を基点にして、基点の前後の前記映像データを前記記憶部に記録する
    請求項1乃至請求項12のいずれか一項に記載の安全監視装置。
  16.  前記発報種別設定部は、前記発報機能として、前記検知対象エリアの映像データから前記動体の特徴を検知する処理を指定できる
    請求項1乃至請求項15のいずれか一項に記載の安全監視装置。
  17.  前記動体を検知する処理として、顔認識による人物特定と、性別判定と、姿勢判定とのいずれか1つが含まれる
    請求項16に記載の安全監視装置。
  18.  前記安全監視装置は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置に通知する
    請求項1乃至請求項17のいずれか一項に記載の安全監視装置。
  19.  前記バウンディングボックスの角度を平滑化する平滑化手段を有する
    請求項5乃至請求項11のいずれか一項に記載の安全監視装置。
  20.  前記3次元データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、
     前記映像処理部は、前記点群データと前記バウンディングボックスとを同時に表示部に表示する
    請求項19に記載の安全監視装置。
  21.  前記平滑化手段は、前記バウンディングボックスの底面の角度を平滑化して算出する
    請求項19又は請求項20に記載の安全監視装置。
  22.  前記平滑化手段によって離散的に算出した前記バウンディングボックスの底面の角度は、ユーザインターフェースを介して任意に変更できる
    請求項21に記載の安全監視装置。
  23.  前記平滑化手段の平滑化方法及び平滑化時間の値のいずれか一方又は両方は、ユーザインターフェースを介して任意に変更できる
    請求項19乃至請求項22のいずれか一項に記載の安全監視装置。
  24.  前記平滑化手段は、前記バウンディングボックスの底面の中心座標を平滑化する
    請求項19乃至請求項23のいずれか一項に記載の安全監視装置。
  25.  映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理部と、
     イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部と、を有し、
     前記イベントリスト処理部は、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行う
    請求項1乃至請求項24のいずれか一項に記載の安全監視装置。
  26.  前記イベントリスト処理部は、所定の規則に基づいて前記ファイルを自動的に消去する機能を有しており、
     前記所定の規則は、記録手段の空き容量を一定量確保するか又は一定時間が経過するかのいずれかである
    請求項25に記載の安全監視装置。
  27.  前記イベントリスト処理部は、前記安全センサから前記検知対象エリアで発生したイベントの開始時刻と終了時刻との一方又は両方を含むセンサデータを取得して前記イベントリストの前記映像再生時間範囲を決める
    請求項25又は請求項26に記載の安全監視装置。
  28.  前記イベントリスト処理部は、過去に発生した任意の事象を新たなイベントとして前記イベントリストに追加登録する機能を有する
    請求項25乃至請求項27のいずれか一項に記載の安全監視装置。
  29.  前記イベントリスト処理部は、前記イベントの開始時刻と終了時刻を編集する機能を有する
    請求項25乃至請求項28のいずれか一項に記載の安全監視装置。
  30.  前記検知対象エリアの映像データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、
     前記映像処理部は、前記映像と前記イベントリストを同時に表示部に表示する表示画面を作成し、安全監視者によってグラフィカルユーザインターフェースを介して前記イベントリストから特定のイベントが指定されたときに、指定されたイベントの映像再生時間範囲を含む映像を前記表示部に表示する
    請求項25乃至請求項29のいずれか一項に記載の安全監視装置。
  31.  前記イベントリストは、前記グラフィカルユーザインターフェースを介して、前記ファイルの自動消去の有無を選択するための重要マークをイベント毎に付加できる
    請求項30に記載の安全監視装置。
  32.  前記イベントリスト処理部は、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントの開始時刻前の一定時間から終了時刻後の一定時間までの期間を含むファイルに対して自動消去しない制御を行う
    請求項31に記載の安全監視装置。
  33.  前記イベントリスト処理部は、前記自動消去無しが選択されたイベントが自動消去有りに選択変更された場合又は前記重要マークが予め付加されたイベントから重要マークが外された場合に、当該イベントのファイルに対して消去する制御を行う
    請求項32に記載の安全監視装置。
  34.  前記イベントリスト処理部は、記録されてから所定時間経過したファイルを自動的に消去する場合に前記イベントリストから当該ファイルのイベントを削除する一方、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントに対して前記イベントリストから削除しない制御を行う
    請求項31乃至請求項33のいずれか一項に記載の安全監視装置。
  35.  さらに、前記安全センサの監視領域への物体の進入を監視する安全監視部を有し、
     前記安全監視部は、前記監視領域に前記物体が進入した時刻を前記イベントの開始時刻とし、前記監視領域から前記物体が退出した時刻又は前記イベントの開始時刻から一定時間経過した時刻を前記イベントの終了時刻とし前記イベントの開始時刻と終了時刻を前記イベントリスト処理部に通知する
    請求項25乃至請求項34のいずれか一項に記載の安全監視装置。
  36.  安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、
     各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、
     前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、を含む
    安全監視方法。
  37.  コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、
     前記コンピュータを、
     前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
     各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
     前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部として機能させる
    プログラム。
PCT/JP2021/019575 2020-09-14 2021-05-24 安全監視装置、安全監視方法、及び、プログラム Ceased WO2022054345A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21866306.0A EP4213123A4 (en) 2020-09-14 2021-05-24 SECURITY MONITORING DEVICE, SECURITY MONITORING METHOD AND PROGRAM
JP2022547397A JP7666514B2 (ja) 2020-09-14 2021-05-24 安全監視装置、安全監視方法、及び、プログラム
US18/021,398 US12243403B2 (en) 2020-09-14 2021-05-24 Safety monitoring device, safety monitoring method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020153514 2020-09-14
JP2020-153514 2020-09-14

Publications (1)

Publication Number Publication Date
WO2022054345A1 true WO2022054345A1 (ja) 2022-03-17

Family

ID=80631476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019575 Ceased WO2022054345A1 (ja) 2020-09-14 2021-05-24 安全監視装置、安全監視方法、及び、プログラム

Country Status (4)

Country Link
US (1) US12243403B2 (ja)
EP (1) EP4213123A4 (ja)
JP (1) JP7666514B2 (ja)
WO (1) WO2022054345A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4290118A1 (de) * 2022-06-07 2023-12-13 Leuze electronic GmbH + Co. KG Überwachungseinrichtung
WO2025018074A1 (ja) * 2023-07-14 2025-01-23 住友電気工業株式会社 電波センサの設定支援装置、電波センサの設定支援方法、及びコンピュータプログラム
JP2025033316A (ja) * 2023-08-29 2025-03-13 三菱電機ビルソリューションズ株式会社 通行判定装置、入退管理システム、通行判定方法、入退管理方法、通行判定プログラム、および入退管理プログラム
JP2026049798A (ja) * 2024-09-09 2026-03-19 日鉄テックスエンジ株式会社 監視装置
JP2026049797A (ja) * 2024-09-09 2026-03-19 日鉄テックスエンジ株式会社 監視装置
WO2026078783A1 (ja) * 2024-10-08 2026-04-16 Ntt株式会社 障害物近接検知装置及び障害物近接検知方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7548773B2 (ja) * 2020-10-27 2024-09-10 株式会社小松製作所 安全評価システムおよび安全評価方法
CN114554137A (zh) * 2020-11-24 2022-05-27 京东方科技集团股份有限公司 区域管控方法、装置、设备及存储介质
JP2023074040A (ja) * 2021-11-17 2023-05-29 コベルコ建機株式会社 監視エリア設定システム
US20240111051A1 (en) * 2022-10-01 2024-04-04 Velodyne Lidar Usa, Inc. Use of lidar for intelligent space management
TWI834334B (zh) * 2022-10-12 2024-03-01 瑞軒科技股份有限公司 視訊會議系統的操作方法及其相關視訊會議系統
JP7815533B1 (ja) * 2025-11-07 2026-02-17 セーフィー株式会社 システム、方法及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251646A (ja) * 2006-03-16 2007-09-27 Mitsubishi Electric Corp 監視システム、集信装置および映像蓄積配信装置
US20090015663A1 (en) 2005-12-22 2009-01-15 Dietmar Doettling Method and system for configuring a monitoring device for monitoring a spatial area
JP2009275789A (ja) * 2008-05-14 2009-11-26 Nippon Densan Corp 警報システム
JP2014021810A (ja) 2012-07-20 2014-02-03 Seiko Epson Corp 衝突検出システム、衝突検出用データ生成装置、ロボットシステム、ロボット、衝突検出用データ生成方法及びプログラム
US20150049911A1 (en) 2012-03-16 2015-02-19 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous working area of an automated machine
JP2016018571A (ja) * 2014-07-07 2016-02-01 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
JP2017150860A (ja) * 2016-02-22 2017-08-31 株式会社キーエンス 光学安全システム
WO2018061616A1 (ja) * 2016-09-28 2018-04-05 株式会社日立国際電気 監視システム
WO2018084146A1 (ja) 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
JP2019071578A (ja) * 2017-10-11 2019-05-09 パナソニックIpマネジメント株式会社 物体検知装置、物体検知システムおよび物体検知方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4287647B2 (ja) * 2002-12-27 2009-07-01 株式会社Ihi 環境状況把握装置
US6845324B2 (en) * 2003-03-01 2005-01-18 User-Centric Enterprises, Inc. Rotating map and user-centric weather prediction
US8836784B2 (en) 2010-10-27 2014-09-16 Intellectual Ventures Fund 83 Llc Automotive imaging system for recording exception events
JP5605764B2 (ja) * 2011-09-02 2014-10-15 株式会社デンソー 車両用表示装置
US20140071654A1 (en) * 2012-09-11 2014-03-13 Logitech Europe S.A. Protective Cover for a Tablet Computer
WO2014144628A2 (en) * 2013-03-15 2014-09-18 Master Lock Company Cameras and networked security systems and methods
WO2015009463A2 (en) 2013-07-03 2015-01-22 Lindblom Timothy P Multiple retail device universal data gateway
US9584891B1 (en) * 2013-12-23 2017-02-28 Amazon Technologies, Inc. Reconfigurable audio drivers
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US9847805B2 (en) * 2014-08-19 2017-12-19 World Richman Manufacturing Corporation Cradle-case combination with magnetic fastener feature
CN104375576A (zh) * 2014-11-18 2015-02-25 惠州Tcl移动通信有限公司 多功能平板电脑保护套
CN106610368A (zh) * 2015-10-26 2017-05-03 云南电网有限责任公司昭通供电局 一种用于快速检测大气环境金属腐蚀行为的试验装置
US11820025B2 (en) * 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
KR102449834B1 (ko) 2017-02-17 2022-09-29 스미도모쥬기가이고교 가부시키가이샤 작업기계용 주변감시 시스템
WO2018179297A1 (ja) * 2017-03-30 2018-10-04 本田技研工業株式会社 鞍乗り型車両のバッテリ支持構造
JP6805974B2 (ja) * 2017-06-29 2020-12-23 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
US12471996B2 (en) * 2021-11-23 2025-11-18 Medtronic, Inc. Extended intelligence for pulmonary procedures

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090015663A1 (en) 2005-12-22 2009-01-15 Dietmar Doettling Method and system for configuring a monitoring device for monitoring a spatial area
JP2007251646A (ja) * 2006-03-16 2007-09-27 Mitsubishi Electric Corp 監視システム、集信装置および映像蓄積配信装置
JP2009275789A (ja) * 2008-05-14 2009-11-26 Nippon Densan Corp 警報システム
US20150049911A1 (en) 2012-03-16 2015-02-19 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous working area of an automated machine
JP2014021810A (ja) 2012-07-20 2014-02-03 Seiko Epson Corp 衝突検出システム、衝突検出用データ生成装置、ロボットシステム、ロボット、衝突検出用データ生成方法及びプログラム
JP2016018571A (ja) * 2014-07-07 2016-02-01 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
JP2017150860A (ja) * 2016-02-22 2017-08-31 株式会社キーエンス 光学安全システム
WO2018061616A1 (ja) * 2016-09-28 2018-04-05 株式会社日立国際電気 監視システム
WO2018084146A1 (ja) 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
JP2019071578A (ja) * 2017-10-11 2019-05-09 パナソニックIpマネジメント株式会社 物体検知装置、物体検知システムおよび物体検知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PILZ: "Safety Eye, Safe camera systems", PILZ OPERATING MANUAL SAFETYEYE, 1 September 2011 (2011-09-01), pages 1 - 166, XP093092630
See also references of EP4213123A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4290118A1 (de) * 2022-06-07 2023-12-13 Leuze electronic GmbH + Co. KG Überwachungseinrichtung
WO2025018074A1 (ja) * 2023-07-14 2025-01-23 住友電気工業株式会社 電波センサの設定支援装置、電波センサの設定支援方法、及びコンピュータプログラム
JP2025033316A (ja) * 2023-08-29 2025-03-13 三菱電機ビルソリューションズ株式会社 通行判定装置、入退管理システム、通行判定方法、入退管理方法、通行判定プログラム、および入退管理プログラム
JP7679859B2 (ja) 2023-08-29 2025-05-20 三菱電機ビルソリューションズ株式会社 通行判定装置、入退管理システム、通行判定方法、入退管理方法、通行判定プログラム、および入退管理プログラム
JP2026049798A (ja) * 2024-09-09 2026-03-19 日鉄テックスエンジ株式会社 監視装置
JP2026049797A (ja) * 2024-09-09 2026-03-19 日鉄テックスエンジ株式会社 監視装置
WO2026078783A1 (ja) * 2024-10-08 2026-04-16 Ntt株式会社 障害物近接検知装置及び障害物近接検知方法

Also Published As

Publication number Publication date
EP4213123A1 (en) 2023-07-19
EP4213123A4 (en) 2024-07-17
US20230306833A1 (en) 2023-09-28
US12243403B2 (en) 2025-03-04
JPWO2022054345A1 (ja) 2022-03-17
JP7666514B2 (ja) 2025-04-22

Similar Documents

Publication Publication Date Title
JP7666514B2 (ja) 安全監視装置、安全監視方法、及び、プログラム
JP7140450B2 (ja) 一次プレビュー領域および注視ベースのドライバの注意散漫検出
KR102499920B1 (ko) 디지털트윈을 이용한 bim기반 건설현장 관제 시스템
WO2019191142A1 (en) Smart area monitoring with artificial intelligence
WO2021159604A1 (zh) 一种轨道列车的监控系统,监控方法及监控装置
CN111275923A (zh) 施工现场的人机碰撞预警方法及系统
US20240278791A1 (en) System and methods for detecting abnormal following vehicles
CN118928462B (zh) 一种多维感知的自动驾驶规避方法及装置
JP2021039687A (ja) 映像処理装置、映像処理システムおよび映像処理方法
JP2016122966A (ja) データ再生装置、データ再生方法及びプログラム
JP2018537787A (ja) 車両の搭乗者の少なくとも1つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および/またはマイクロスリープを検出する方法および装置
CN108111802B (zh) 视频监控方法及装置
CN111627131A (zh) 一种带有驾驶员辅助监控警示功能的行车记录装置及方法
Heo et al. Autonomous reckless driving detection using deep learning on embedded GPUs
CN112422601B (zh) 数据处理方法、装置及电子设备
EP4601929A1 (en) Automated safety management in environment
JP2017027246A (ja) 監視システム及び監視方法
Sun et al. Reminding drivers of the stalking vehicles on the road
CN118521956B (zh) 一种基于3d空间信息的车辆看护方法及装置
Petersson et al. Towards safer roads by integration of road scene monitoring and vehicle control
CN117622228B (zh) 一种车内无人自动驾驶营运汽车远程操控方法及装置
CN111797658A (zh) 车道线识别方法、装置、存储介质及电子设备
JP7164149B2 (ja) シミュレータ、サーバ、評価システム、評価プログラム、及び評価方法
Li et al. Rear-end collision prevention using mobile devices
Chen Real-Time Pedestrian Group Detection, Tracking and Trajectory Prediction Using Unsupervised Machine Learning Approaches

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866306

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547397

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021866306

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021866306

Country of ref document: EP

Effective date: 20230414

WWG Wipo information: grant in national office

Ref document number: 18021398

Country of ref document: US