WO2012157603A1 - ショベル、その監視装置及びショベルの出力装置 - Google Patents

ショベル、その監視装置及びショベルの出力装置 Download PDF

Info

Publication number
WO2012157603A1
WO2012157603A1 PCT/JP2012/062288 JP2012062288W WO2012157603A1 WO 2012157603 A1 WO2012157603 A1 WO 2012157603A1 JP 2012062288 W JP2012062288 W JP 2012062288W WO 2012157603 A1 WO2012157603 A1 WO 2012157603A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
shovel
image data
abnormal
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/062288
Other languages
English (en)
French (fr)
Inventor
薫子 塚根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to EP12784997.4A priority Critical patent/EP2711471B1/en
Priority to JP2013515147A priority patent/JP5709986B2/ja
Priority to KR1020137025080A priority patent/KR101614013B1/ko
Priority to CN201280017565XA priority patent/CN103459728A/zh
Priority to EP19188023.6A priority patent/EP3599314B1/en
Priority to US14/113,003 priority patent/US20140052349A1/en
Publication of WO2012157603A1 publication Critical patent/WO2012157603A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0264—Control of logging system, e.g. decision on which data to store; time-stamping measurements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/823—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent when the measured values exceed a threshold, e.g. sending an alarm

Definitions

  • the present invention relates to a shovel that determines an abnormality in operation, a monitoring device for the shovel, and an output device mounted on the shovel that determines an abnormality in operation.
  • An object of the present invention is to provide a shovel that facilitates identification of a cause of a failure by confirming a situation at the time of failure, and a monitoring device thereof.
  • An imaging device A temporary storage device for temporarily storing image data acquired by the imaging device; A plurality of sensors each detecting a plurality of physical quantities related to the operating state of the shovel; An abnormality information storage device, If the operation is judged to be abnormal based on the detected value detected by the sensor and judged as abnormal, the image from the first time before the time judged to be abnormal to at least the time judged to be abnormal.
  • a shovel having a control device for transferring data from the temporary storage device to the abnormality information storage device.
  • An imaging device A temporary storage device for temporarily storing image data acquired by the imaging device;
  • a plurality of sensors each detecting a plurality of physical quantities related to the operating state of the shovel;
  • a transmitter for transmitting the data;
  • the operation is judged to be abnormal based on the detected value detected by the sensor, and if it is judged to be abnormal, at least from the first time before the time judged to be abnormal to the time judged to be abnormal.
  • a shovel comprising: a control device for transmitting image data stored in the temporary storage device from the transmission device.
  • a plurality of detection values detected by sensors that detect a plurality of physical quantities related to the operation state of the shovel, and image data acquired by an imaging device installed in the shovel are input, and a command is sent to the shovel A transmitting / receiving device, An abnormality information storage device, And a control device, The control device determines that the operation is abnormal based on the detection value of the sensor input from the transmitting and receiving device, and if it is determined that the operation is abnormal, from the first time before the time determined as abnormal
  • a command instructing transmission of image data at least up to the time determined to be abnormal is transmitted to the shovel via the transmission / reception device,
  • a monitoring device of a shovel is provided which stores image data transmitted from the shovel to the transceiver in response to the command, in the abnormality information storage device.
  • the cause of the abnormality can be determined using the image data at the time when the operation state is determined to be abnormal.
  • FIG. 1A and 1B are a side view and a plan view of a shovel according to a first embodiment, respectively.
  • FIG. 2 is a block diagram of a shovel according to a first embodiment.
  • FIG. 3 is a flowchart showing processing of the image capture control device for a shovel according to the first embodiment.
  • FIG. 4 is a flowchart showing the process of the control device for a shovel according to the first embodiment.
  • FIG. 5 is a view showing an example of an image displayed on the output device of the shovel according to the first embodiment.
  • FIG. 6 is a flowchart showing processing of the control device for a shovel according to the second embodiment.
  • FIG. 7 is a chart showing an example of detection values detected by the sensor.
  • FIG. 8 is a view showing an example of an image displayed on the output device of the shovel according to the second embodiment.
  • FIG. 9 is a block diagram of a shovel and a monitoring apparatus according to a third embodiment.
  • FIG. 10 is a flowchart showing processing of the control device for a shovel according to the third embodiment.
  • FIG. 11 is a block diagram of a shovel and a monitoring apparatus according to a fourth embodiment.
  • FIG. 12 is a flowchart of processing of the control device of the monitoring device according to the fourth embodiment.
  • Example 1 The side view and top view of the shovel by Example 1 are shown to FIG. 1A and 1B, respectively.
  • a hydraulic shovel is shown as an example of a shovel, but Example 1 can be applied to other shovels, such as a hybrid-type shovel, an electric shovel, and the like.
  • An upper swing body 12 is mounted on the lower traveling body 10 via a swing bearing 11.
  • the upper swing body 12 swings clockwise or counterclockwise with respect to the lower traveling body 10.
  • the boom 13 is attached to the upper revolving superstructure 12, the arm 15 is connected to the tip of the boom 13, and the bucket 17 is attached to the tip.
  • the boom 13 is driven by the hydraulic cylinder 14, the arm is driven by the hydraulic cylinder 16, and the bucket 17 is driven by the hydraulic cylinder 18.
  • a cabin 19 is mounted on the upper revolving superstructure 12. The driver gets into the cabin 19 and operates the hydraulic shovel.
  • An imaging device 20 is mounted on the upper swing body 12.
  • the imaging device 20 is configured of a front imaging device 20F, a rightward imaging device 20R, a left imaging device 20L, and a rear imaging device 20B.
  • the front imaging device 20F, the right imaging device 20R, the left imaging device 20L, and the rear imaging device 20B respectively image the front, the right, the left, and the rear of the upper swing body 12.
  • the front imaging device 20F is mounted, for example, between the cabin 19 and the boom 13. An omnidirectional image can be obtained by combining the images obtained by these imaging devices.
  • the block of the abnormality determination function of a shovel is shown in FIG.
  • the image capture control device 24 stores the image data captured by the imaging device 20 in the temporary storage device 25 at a constant cycle.
  • the temporary storage device 25 has, for example, a ring buffer structure. That is, when there is no free storage area, new image data is overwritten on the oldest image data.
  • the image capture mode storage unit 26 stores information for specifying a capture method of image data, such as resolution and capture cycle.
  • the variable for designating the resolution takes, for example, one of “high resolution”, “normal resolution”, and “low resolution”.
  • the variable designating the acquisition cycle takes, for example, one of the values "long cycle", "normal cycle", and "short cycle”.
  • the image capture mode is determined by the resolution and the capture cycle.
  • the image capture mode is input to the control device 30 by the operator operating the input device 33, and is set in the image capture mode storage unit 26.
  • the image capturing cycle is, for example, about several hundred ms to 1 s.
  • the image capture control device 24 stores the image data captured by the imaging device 20 in the temporary storage device 25 based on the image capture mode set in the image capture mode storage unit 26. Long-time image data can be stored in the temporary storage device 25 by reducing the resolution of the image or by lengthening the capture cycle. Conversely, if the resolution of the image is increased and the capture cycle is shortened, the amount of information of image data within a predetermined time can be increased.
  • a plurality of sensors 34 are mounted on the shovel.
  • the sensor 34 detects a physical quantity related to the operating state of the shovel.
  • the physical quantities related to the operating condition include, for example, engine speed, radiator cooling water temperature, fuel temperature, atmospheric pressure, engine oil pressure, boost temperature, intake temperature, hydraulic oil temperature, boost pressure, battery voltage, oil pressure of each part, machine
  • the operation time, the traveling operation time, the turning operation time, the idle time and the like can be mentioned.
  • the control device 30 controls the temporary storage device 25, the image capture mode storage unit 26, the output device 31, the abnormality information storage device 32, and the like.
  • An operator's instruction is input to the control device 30 via the input device 33.
  • the detected value detected by the sensor 34 is input to the control device 30.
  • a liquid crystal display device or the like is used for the output device 31, for example.
  • a touch panel liquid crystal display device may be used as a device which combines the output device 31 and the input device 33.
  • FIG. 3 shows a flowchart of the operation of the image capture control device 24.
  • image data is acquired from the imaging device 20 in step SA1.
  • the resolution of the image data is converted so as to be the resolution specified in the image capture mode, the image data is stored in the temporary storage device 25. If there is no free space for storing image data, the oldest image data is overwritten with new image data.
  • step SA2 it waits for the lapse of the capture cycle specified in the image capture mode. Thereafter, in step SA3, it is determined whether or not the start key of the shovel is in the stop state. In the case of the stop state, the process is ended. If it is not in the stop state, the process returns to step SA1.
  • step SB1 the detection value detected by the sensor 34 is acquired.
  • step SB2 it is determined whether the acquired detected value is within the allowable range.
  • the allowable range is set in advance for each physical quantity related to the operating state.
  • step SB3 it is determined whether the operation state is abnormal. For example, when at least one detected value is out of the allowable range, it is determined that the operating state of the shovel is abnormal. If all detected values fall within the allowable range, it is determined that the operating condition is normal. If it is determined that the operation state is normal, it is determined in step SB5 whether the shovel is in a stop state. If it is determined that the operation state is abnormal, after step SB4 is executed, it is determined in step SB5 whether or not it is in the stop state.
  • step SB4 will be described below.
  • the image data stored in the temporary storage device 25 the image data up to the present from the first time before the time determined to be abnormal is read and stored in the abnormality information storage device 32.
  • the detection value of each sensor 34 at the time of being determined as abnormal is stored in the abnormality information storage device 32.
  • the stored image data and the detection value of the sensor 34 are associated with each other.
  • the image data and the detection value of the sensor 34 may be indexed, and both may be associated, or both may be associated based on the time of data acquisition.
  • Image data after that time may be stored in the abnormality information storage device 32 in addition to the image data in the past from the time when the abnormality is determined.
  • image data from the first time to the second time is temporarily stored from the temporary storage device 25 at the second time after waiting until the second time after the time determined to be abnormal. It may be transferred to the abnormality information storage device 32.
  • the time from the first time to the point determined to be abnormal is, for example, about 30 seconds to 5 minutes, and the time from the point determined to be abnormal to the second time is, for example, about 10 seconds to 1 minute .
  • an alarm may be issued through the output device 31 in order to notify the operator that the operating condition is abnormal.
  • step SB5 If it is determined in step SB5 that the shovel is in the stopped state, the process ends. If it is determined not to be in the stop state, after waiting for a predetermined time in step SB6, the process returns to step SB1.
  • the waiting time in step SB6 is, for example, several hundred ms to 1 s.
  • image data before or after the time when the operation is determined to be abnormal is stored in the abnormality information storage device 32.
  • This image data is useful information in identifying the cause of the abnormality. If any abnormality occurs in the shovel, the maintenance person can perform the cause search of the abnormality by operating the input device 33 (FIG. 2).
  • FIG. 5 shows an example of an image displayed on the output device 31 when searching for the cause of abnormality.
  • An image display window 35, a progress status bar 36, an operator 37, and a character information display window 38 are displayed on the display screen.
  • FIG. 5 shows a display screen when it is determined that an abnormality has occurred at 10:35:20 on April 26, 2012, as an example.
  • the progress status bar 36 represents the time from the data collection start time of the image data stored in the abnormality information storage device 32 (FIG. 2) to the end time.
  • an image at a time corresponding to the position of the slider 36A is displayed on the image display window 35.
  • An abnormality occurrence time display mark 36 B is displayed at a position corresponding to the abnormality occurrence time in the progress status bar 36.
  • the progress status bar 36 and the slider 36A function as a time indicator for indicating the time of the image to be displayed on the image display window 35.
  • the length of the progress bar 36 corresponds to the time width in which the time can be indicated by the slider 36A.
  • a numerical value input window for numerically inputting the time may be displayed.
  • the operation button 37 By operating the operation element 37, it is possible to play back a moving image, frame advance, pause, and the like. Further, the operation button 37 is provided with an instruction button for jumping to the time of abnormality occurrence.
  • the instruction button When the instruction button is operated, an image at the time when an abnormality is determined in step SB2 shown in FIG. By preparing an instruction button for jumping to the time of abnormality occurrence, it is possible to rapidly display an image immediately before the time of abnormality.
  • FIG. 5 shows an example of an image at the time when an abnormality in hydraulic pressure is detected. From the image shown in FIG. 5, it can be seen that the track intrudes between the upper revolving superstructure 12 and the bucket 17 (FIG. 1A, FIG. 1B). The contact of the truck with the hydraulic piping breaks the hydraulic piping, and it can be estimated that an abnormality in the hydraulic pressure has been detected. Thus, it becomes possible to identify the cause of the occurrence of the abnormality by examining the image data before and after the occurrence of the abnormality.
  • Example 2 The functional block diagram of the shovel according to the second embodiment is the same as the functional block diagram of the shovel according to the first embodiment shown in FIG.
  • FIG. 2 The flowchart of operation
  • a unit space defined flag and an inverse matrix storage area of the correlation matrix are prepared.
  • step SC1 a detected value is acquired from the sensor 34 (FIG. 2).
  • step SC2 it is determined whether or not a unit space has been defined. Specifically, it is determined whether "defined” is set or "undefined” is set in the unit space defined flag. The unit space is used as a criterion of determination when performing abnormality determination using the Mahalanobis-Taguchi method in a later step. If the unit space is not defined, the detection value of the sensor 34 is accumulated as a sample in step SC3. In step SC4, it is determined whether the number of stored samples is sufficient. If the number of samples is sufficient, a unit space is defined in step SC5. Specifically, the correlation matrix of the physical quantities of the samples constituting the unit space and its inverse matrix are determined.
  • K be the number of physical quantities to be detected and N be the number of stored samples.
  • a unit space is constituted by the detected values of N samples.
  • the detected value of the physical quantity k in the sample of sample number n is represented as x (n, k).
  • the average value and the standard deviation of detected values of each physical quantity are determined.
  • the average value of the physical quantity k is represented as m (k), and the standard deviation is represented as ⁇ (k).
  • the detected value of each sample is scaled to obtain a scaled detected value.
  • the scaled detection value X (n, k) of the detection value x (n, k) of the physical quantity k in the sample of sample number n is represented by the following equation.
  • a correlation coefficient between physical quantities is determined based on the scaled detection value X (n, k).
  • the correlation coefficient r (i, j) between the physical quantity i and the physical quantity j can be obtained by the following equation.
  • the correlation matrix R of physical quantity 1 to physical quantity K is expressed by the following equation.
  • the inverse matrix A of the correlation matrix R is determined.
  • the inverse matrix A is stored in the controller 30 so that it can be used in a later step.
  • step SC6 "defined” is set in the unit space defined flag. If it is determined in step SC4 that the number of samples is not sufficient, and "defined” is set in the unit space defined flag in step SC6, the process waits for a predetermined time in step SC11. The waiting time is, for example, several hundred ms to about 1 s. After waiting, the process returns to step SC1.
  • the unit space defined flag can be reset by the operation of the operator. That is, "undefined" can be set in the unit space defined flag.
  • step SC7 the Mahalanobis distance (MD) of the detection value (verification data) detected by each sensor 34 is calculated.
  • MD Mahalanobis distance
  • the value of the physical quantity k is y (k).
  • the detection value y (k) is normalized to obtain a standardized detection value Y (k).
  • the normalized detection value Y (k) can be calculated by the following equation.
  • the square (D 2 ) of the Mahalanobis distance of the verification data can be calculated using the inverse matrix A of the correlation matrix R according to the following equation.
  • the Mahalanobis distance MD is compared with the threshold in step SC8.
  • step SC10 When the process of step SC9 is completed, or when it is determined in step SC8 that the Mahalanobis distance MD is equal to or less than the threshold value, it is determined in step SC10 whether the shovel is in a stopped state. If it is in the stop state, the process ends. If not in the stop state, in step SC11, after waiting for a predetermined time, the process returns to step SC1.
  • the Mahalanobis-Taguchi method is applied as a method of determining whether the operating condition is abnormal. Therefore, it is not necessary to set an allowable range for each detection value of the sensor 34.
  • the allowable range of the detection value is set based on, for example, the past occurrence of an abnormality or the like. Therefore, it may not be possible to detect new anomalies that have not occurred in the past.
  • the Mahalanobis-Taguchi method it is not necessary to set the allowable range of detection values based on past cases. For this reason, it is also possible to detect a new abnormality that has not occurred in the past.
  • the deviations of the plurality of detected values from the allowable value are integrated into the Mahalanobis distance (MD), it can be easily determined whether or not it is abnormal.
  • FIG. 8 shows an example of an image displayed on the output device 31 (FIG. 2) when searching for a cause of abnormality with the shovel according to the second embodiment.
  • an alarm level fluctuation display window 39 is displayed in addition to the image display window 35, the progress status bar 36, the operator 37, and the character information display window 38.
  • the alarm level fluctuation display window 39 a temporal change graph of the alarm level is displayed corresponding to the time width in which the time can be specified by the slider 36A.
  • a display image time line 39A is displayed at a position corresponding to the time (time of the displayed image) indicated by the slider 36A.
  • an abnormality occurrence time line 39B is displayed at a position corresponding to the abnormality occurrence time display mark 36B.
  • the alarm level indicates the degree of possibility that an abnormality has occurred in the shovel.
  • the alarm level for example, the Mahalanobis distance calculated in step SC7 (FIG. 6) is employed. Just before the alarm level increased rapidly, it is considered that some cause of abnormality occurred.
  • Example 3 The functional block diagram of the shovel and monitoring apparatus by Example 3 are shown in FIG. The following description focuses on the difference from the shovel according to the first embodiment, and the description of the same configuration is omitted.
  • the abnormality determination process and the accumulation of data at the time of abnormality are performed by closing the shovel.
  • the abnormality determination process is performed by the local control device 30 mounted on the shovel 50.
  • Image data and the like when it is determined to be abnormal are accumulated in the monitoring device 60.
  • the shovel 50 is mounted with a transmitting / receiving device 40 for transmitting various data such as image data to the monitoring device 60 through the communication line 45.
  • a transmitting / receiving device 41 In the monitoring device 60, a transmitting / receiving device 41, a control device 61, an output device 62, an input device 63, and an abnormality information storage device 32 are installed.
  • the transmission / reception device 41 receives data transmitted from the shovel 50 through the communication line 45.
  • the control device 61 controls the output device 62, the input device 63, and the abnormality information storage device 32.
  • FIG. 10 shows a flowchart of processing performed by the local control device 30 mounted on the shovel 50.
  • Steps SB1, SB2, SB3, SB5, and SB6 are the same as steps SB1, SB2, SB3, SB5, and SB6 of the first embodiment shown in FIG. 4, respectively.
  • step SB4 of the first embodiment the process of step SD4 is performed.
  • step SD4 will be described.
  • the local control device 30 determines that there is an abnormality in step SB3
  • the local control device 30 stands by until image data is accumulated in the temporary storage device 25 until a second time after the determination time.
  • the image data stored in the temporary storage device 25 the image data from the first time before the time determined to be abnormal to the second time and the detection of the sensor 34 when it is determined to be abnormal
  • the value is transmitted from the transmission / reception device 40 to the monitoring device 60.
  • image data from the first time before the time determined to be abnormal to the time determined to be abnormal may be transmitted. Further, an alarm is issued from the output device 31 to notify the operator of the abnormality.
  • the control device 61 When a supervisor of the monitoring device 60 instructs data display from the input device 63, the control device 61 outputs the detection value of the sensor accumulated in the abnormality information storage device 32 and the image data to the output device 62.
  • the supervisor specifies the cause of the abnormality, the image data before and after the abnormality detection is useful information.
  • the image displayed on the output device 62 is the same as the image output to the output device 31 according to the first embodiment shown in FIG. 5 or the image outputted to the output device 31 according to the second embodiment shown in FIG. .
  • Example 4 The functional block diagram of the shovel and monitoring apparatus by Example 4 are shown in FIG. The following description focuses on the difference between the shovel and the monitoring apparatus according to the third embodiment, and the description of the same configuration is omitted.
  • the local control device 30 mounted on the shovel 50 performs the abnormality determination process.
  • the control device 61 installed in the monitoring device 60 performs the abnormality determination process.
  • the shovel 50 transmits an abnormality determination request to the monitoring device 60 together with the detection value of the sensor 34 at a constant cycle.
  • step SE1 it is determined whether or not an abnormality determination request has been received from the shovel 50. When the abnormality determination request is not received, step SE1 is repeated until the abnormality determination request is received.
  • step SE2 the abnormality determination is performed based on the detection value of the sensor received from the shovel 50.
  • the abnormality determination process is the same as the abnormality determination process of steps SB2 and SB3 (FIG. 4) of the first embodiment or steps SC7 and SC8 (FIG. 6) of the second embodiment.
  • step SE4 the shovel 50 is instructed to transmit image data.
  • This command includes the start time (first time) and end time (second time) of the image data to be transmitted.
  • the monitoring device 60 receives the image data from the first time to the second time among the image data stored in the temporary storage device 25 as the response. Send.
  • the image data is subjected to data compression before transmission.
  • step SE5 the image data received from the shovel 50 and the detection value of the sensor at the time of being determined to be abnormal are associated with each other and stored in the abnormality information storage device 32.
  • step SE6 it is determined whether the operation of the monitoring apparatus 60 is in a stop state. Also in the case where it is determined in step SE3 that there is no abnormality, in step SE6, it is determined whether or not the operation of the monitoring device 60 is in the stop state.
  • step SE6 If it is determined in step SE6 that the vehicle is not in the stopped state, the process returns to step SE1. If it is determined to be in the stop state, the process ends.
  • the supervisor of the monitoring device 60 can use the images before and after the abnormality detection displayed on the output device 62 in order to identify the cause of the abnormality occurrence.
  • the image displayed on the output device 62 is the same as the image output to the output device 31 according to the first embodiment shown in FIG. 5 or the image outputted to the output device 31 according to the second embodiment shown in FIG. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

　一時記憶装置が、撮像装置で取得された画像データを一時的に記憶する。複数のセンサが、それぞれショベルの動作状態に関わる複数の物理量を検出する。制御装置が、センサで検出された検出値に基づいて動作の異常判定を行う。異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データを、一時記憶装置から異常情報記憶装置に転送する。ショベルの動作状態の異常の原因の特定を容易にする。

Description

ショベル、その監視装置及びショベルの出力装置
　本発明は、動作の異常を判定するショベル、ショベルの監視装置、及び動作の異常を判定するショベルに搭載される出力装置に関する。
　建設機械に搭載されたセンサで検出された検出値に基づいて、建設機械の故障判定を行う方法が知られている（特許文献１）。故障情報がセンタに送られ、センタでは、異常値を検出したセンサに基づいて、故障診断手順が抽出される。建設機械のオペレータは、この故障診断手順に従って故障診断を行う。
特開２００２－３３２６６４号公報
　故障診断手順が示されても、センサの検出値及び故障診断手順に従った診断のみでは、故障の原因を特定することが困難である場合がある。特に、ショベルでは、ブーム等のアタッチメントやキャビンが旋回体に搭載されているため、前後方向だけではなく左右方向にも移動する。このように、作業領域が広範囲に及ぶため、故障に結び付いてしまう状況が発生しやすい。本発明の目的は、故障時の状況を確認することで、故障の原因の特定を容易にするショベル、及びその監視装置を提供することである。
　本発明の一観点によると、
　撮像装置と、
　前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
　ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
　異常情報記憶装置と、
　前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する制御装置とを有するショベルが提供される。
　本発明の他の観点によると、
　撮像装置と、
　前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
　ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
　前記データを送信する送信装置と、
　前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの、前記一時記憶装置に記憶されている画像データを、前記送信装置から送信する制御装置と
を有するショベルが提供される。
　本発明のさらに他の観点によると、
　ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
　異常情報記憶装置と、
　制御装置とを有し、
　前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
　前記コマンドに応答して、前記ショベルから前記送受信機に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置が提供される。
　動作状態が異常であると判定された時点の画像データを利用して、異常の原因を究明することができる。
図１Ａ及び図１Ｂは、それぞれ実施例１によるショベルの側面図及び平面図である。 図２は、実施例１によるショベルのブロック図である。 図３は、実施例１によるショベルの画像取込制御装置の処理を示すフローチャートである。 図４は、実施例１によるショベルの制御装置の処理を示すフローチャートである。 図５は、実施例１によるショベルの出力装置に表示される画像の一例を示す図である。 図６は、実施例２によるショベルの制御装置の処理を示すフローチャートである。 図７は、センサで検出された検出値の一例を示す図表である。 図８は、実施例２によるショベルの出力装置に表示される画像の一例を示す図である。 図９は、実施例３によるショベル及び監視装置のブロック図である。 図１０は、実施例３によるショベルの制御装置の処理を示すフローチャートである。 図１１は、実施例４によるショベル及び監視装置のブロック図である。 図１２は、実施例４による監視装置の制御装置の処理を示すフローチャートである。
　［実施例１］
　図１Ａ及び図１Ｂに、それぞれ実施例１によるショベルの側面図及び平面図を示す。実施例１では、ショベルの例として、油圧ショベルが示されているが、実施例１は、その他のショベル、例えばハイブリッド型ショベルや電動ショベル等にも適用することが可能である。
　下部走行体１０に、旋回軸受け１１を介して上部旋回体１２が搭載されている。上部旋回体１２は、下部走行体１０に対して、時計回り、または反時計周りに旋回する。上部旋回体１２に、ブーム１３が取り付けられ、その先端にアーム１５が連結され、その先端にバケット１７が取り付けられている。ブーム１３は、油圧シリンダ１４により駆動され、アームは、油圧シリンダ１６により駆動され、バケット１７は、油圧シリンダ１８により駆動される。さらに、上部旋回体１２にキャビン１９が搭載されている。運転者がキャビン１９に乗り込んで、油圧ショベルを操作する。
　上部旋回体１２に、撮像装置２０が搭載されている。撮像装置２０は、前方撮像装置２０Ｆ、右方撮像装置２０Ｒ、左方撮像装置２０Ｌ、及び後方撮像装置２０Ｂで構成される。前方撮像装置２０Ｆ、右方撮像装置２０Ｒ、左方撮像装置２０Ｌ、及び後方撮像装置２０Ｂは、それぞれ上部旋回体１２の前方、右方、左方、及び後方を撮像する。前方撮像装置２０Ｆは、例えばキャビン１９とブーム１３との間に搭載されている。これらの撮像装置で得られた画像を合成することにより、全方位の画像を得ることができる。
　図２に、ショベルの異常判定機能のブロックを示す。画像取込制御装置２４が、撮像装置２０で撮像された画像データを、一定の周期で一時記憶装置２５に格納する。一時記憶装置２５は、例えばリングバッファ構造を有する。すなわち、空きの記憶領域がなくなると、最も古い画像データに、新しい画像データが上書きされる。
　画像取込モード記憶部２６に、画像データの取込方法を指定する情報、例えば、解像度、及び取込周期が記憶されている。解像度を指定する変数は、例えば、「高解像度」、「通常解像度」、「低解像度」のいずれかの値をとる。取込周期を指定する変数は、例えば、「長周期」、「通常周期」、「短周期」のいずれかの値をとる。解像度と取込周期とにより、画像取込モードが決定される。画像取込モードは、オペレータが入力装置３３を操作することにより、制御装置３０に入力され、画像取込モード記憶部２６に設定される。画像取込周期は、例えば数百ｍｓ～１ｓ程度とする。
　画像取込制御装置２４は、画像取込モード記憶部２６に設定されている画像取込モードに基づいて、撮像装置２０で撮像された画像データを一時記憶装置２５に格納する。画像の解像度を低下させることにより、または取込周期を長くすることにより、長時間の画像データを一時記憶装置２５に格納することができる。逆に、画像の解像度を高くし、取込周期を短くすれば、所定時間内の画像データの情報量を多くすることができる。
　ショベルに、複数のセンサ３４が搭載されている。センサ３４は、ショベルの動作状態に関わる物理量を検出する。動作状態に関わる物理量として、例えば、エンジン回転数、ラジエター冷却水温度、燃料温度、大気圧力、エンジンオイル圧力、ブースト温度、吸気温度、作動油温度、ブースト圧力、バッテリ電圧、各部位の油圧、機械操作時間、走行操作時間、旋回操作時間、アイドル時間等が挙げられる。
　制御装置３０が、一時記憶装置２５、画像取込モード記憶部２６、出力装置３１、異常情報記憶装置３２等を制御する。入力装置３３を介して、オペレータの指示が制御装置３０に入力される。センサ３４で検出された検出値が制御装置３０に入力される。出力装置３１には、例えば液晶表示装置等が用いられる。出力装置３１と入力装置３３とを兼ねる装置として、タッチパネル式の液晶表示装置を用いてもよい。
　図３に、画像取込制御装置２４の動作のフローチャートを示す。ショベルのエンジンスタートキーがオンになると、ステップＳＡ１において、撮像装置２０から画像データを取得する。画像取込モードで指定されている解像度になるように、画像データの解像度を変換した後、一時記憶装置２５に格納する。画像データを格納する空き領域がない場合には、最も古い画像データを、新しい画像データで上書きする。
　ステップＳＡ２において、画像取込モードで指定される取込周期の経過を待つ。その後、ステップＳＡ３において、ショベルのスタートキーが停止状態にされているか否かを判定する。停止状態の場合には、処理を終了する。停止状態でない場合には、ステップＳＡ１に戻る。
　図４に、制御装置３０の動作のフローチャートを示す。ショベルのエンジンスタートキーがオンになると、ステップＳＢ１において、センサ３４で検出された検出値を取得する。ステップＳＢ２において、取得された検出値が、その許容範囲に収まっているか否かを判定する。許容範囲は、動作状態に関わる物理量ごとに、予め設定されている。
　ステップＳＢ３において、動作状態が異常か否かの判定を行う。例えば、少なくとも１つの検出値が許容範囲を外れると、ショベルの動作状態が異常であると判定する。すべての検出値が許容範囲に収まっている場合には、動作状態は正常である判定する。動作状態が正常であると判定された場合には、ステップＳＢ５において、ショベルが停止状態か否かを判定する。動作状態が異常であると判定された場合には、ステップＳＢ４を実行した後に、ステップＳＢ５において、停止状態か否かを判定する。
　以下、ステップＳＢ４の処理について説明する。一時記憶装置２５に記憶されている画像データのうち、異常と判定された時点よりも前の第１の時刻から、現在までの画像データを読み出し、異常情報記憶装置３２に格納する。さらに、異常と判定された時点の各センサ３４の検出値を、異常情報記憶装置３２に格納する。格納された画像データと、センサ３４の検出値とは、相互に関連付けられている。例えば、画像データとセンサ３４の検出値とにインデックスを付して、両者を関連付けてもよいし、データ取得時点の時刻に基づいて、両者を関連付けてもよい。
　異常と判定された時点よりも過去の画像データに加えて、その時点以降の画像データを異常情報記憶装置３２に格納するようにしてもよい。例えば、異常と判定された時点よりも後の第２の時刻まで待機し、第２の時刻になった時点で、第１の時刻から第２の時刻までの画像データを、一時記憶装置２５から異常情報記憶装置３２に転送してもよい。第１の時刻から異常と判定された時点までの時間は、例えば３０秒～５分程度とし、異常と判定された時点から第２の時刻までの時間は、例えば１０秒～１分程度とする。
　さらに、動作状態が異常であることをオペレータに知らせるために、出力装置３１を通して警報を発出するようにしてもよい。
　ステップＳＢ５において、ショベルが停止状態であると判定された場合には、処理を終了する。停止状態ではないと判定された場合には、ステップＳＢ６において所定の時間待機した後、ステップＳＢ１に戻る。ステップＳＢ６の待機時間は、例えば数百ｍｓから１ｓとする。
　実施例１においては、動作が異常と判定された時点よりも前の、または前後の画像データが、異常情報記憶装置３２に格納されている。この画像データは、異常が発生した原因を特定する際に、有益な情報になる。ショベルに何らかの異常が発生すると、保守者が入力装置３３（図２）を操作することにより、異常の原因探索を行うことができる。
　図５に、異常の原因探索を行うときに、出力装置３１に表示される画像の一例を示す。表示画面に、画像表示窓３５、進行状況バー３６、操作子３７、及び文字情報表示窓３８が表示される。図５には、一例として、２０１２年４月２６日の１０時３５分２０秒の時点で、異常が発生したと判定されたときの表示画面を示している。
　進行状況バー３６は、異常情報記憶装置３２（図２）に記憶されている画像データのデータ収集開始時刻から終了時刻までの時間を表している。進行状況バー３６内に表示されているスライダ３６Ａをスライドさせると、スライダ３６Ａの位置に対応する時刻の画像が、画像表示窓３５に表示される。進行状況バー３６の、異常発生時刻に対応する位置に、異常発生時刻表示マーク３６Ｂが表示される。進行状況バー３６及びスライダ３６Ａは、画像表示窓３５に表示すべき画像の時刻を指示する時刻指示器として機能する。進行状況バー３６の長さは、スライダ３６Ａで時刻を指示可能な時間幅に相当する。時刻指示器として、スライダ３６Ａに代えて、時刻を数値で入力するための数値入力窓を表示してもよい。
　操作子３７を操作することにより、動画の再生、コマ送り、一時停止等を行うことができる。また、操作子３７に、異常発生時へジャンプするための指示ボタンが準備されている。この指示ボタンを操作すると、図４に示したステップＳＢ２で異常と判定された時点の画像が、画像表示窓３５に表示される。異常発生時へジャンプするための指示ボタンを準備することにより、異常時の直前の画像を迅速に表示することができる。
　図５には、油圧の異常が検出された時点の画像の一例を示す。図５に示した画像から、上部旋回体１２とバケット１７（図１Ａ、図１Ｂ）との間に、トラックが侵入していることがわかる。トラックが油圧配管に接触したことにより、油圧配管が破損し、油圧の異常が検出されたと推定できる。このように、異常発生時の前後の画像データを調査することにより、異常が発生した原因を特定することが可能になる。
　［実施例２］
　実施例２によるショベルの機能ブロック図は、図２に示した実施例１によるショベルの機能ブロック図と同一である。
　図６に実施例２によるショベルの制御装置３０（図２）の動作のフローチャートを示す。実施例２によるショベルの制御装置３０には、単位空間定義済みフラグ、及び相関行列の逆行列記憶領域が準備されている。
　ステップＳＣ１において、センサ３４（図２）から検出値を取得する。ステップＳＣ２において、単位空間が定義済みか否かを判定する。具体的には、単位空間定義済みフラグに、「定義済み」が設定されているか、「未定義」が設定されているかを判定する。単位空間は、後のステップで、マハラノビスタグチ法を用いた異常判定を行う際に、判定の基準として用いられる。単位空間が未定義である場合には、ステップＳＣ３において、センサ３４の検出値をサンプルとして蓄積する。ステップＳＣ４において、蓄積されているサンプル数が十分か否かを判定する。サンプル数が十分である場合には、ステップＳＣ５において、単位空間を定義する。具体的には、単位空間を構成するサンプルの物理量の相関行列及びその逆行列を求める。
　以下、単位空間を定義する方法について説明する。
　図７に、センサ３４で検出された検出値の一例を示す。検出対象の物理量の数をＫとし、蓄積されたサンプルの数をＮとする。Ｎ個のサンプルの検出値によって単位空間が構成される。サンプル番号ｎのサンプルにおける物理量ｋの検出値をｘ（ｎ，ｋ）と表す。各物理量の検出値の平均値及び標準偏差を求める。物理量ｋの平均値をｍ（ｋ）、標準偏差をσ（ｋ）と表す。
　各サンプルの検出値を基準化し、基準化検出値を求める。サンプル番号ｎのサンプルにおける物理量ｋの検出値ｘ（ｎ，ｋ）の基準化検出値Ｘ（ｎ，ｋ）は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
　基準化検出値Ｘ（ｎ，ｋ）に基づいて、物理量の間の相関係数を求める。物理量ｉと物理量ｊとの相関係数ｒ（ｉ，ｊ）は、以下の式で求められる。
Figure JPOXMLDOC01-appb-M000002
　物理量１～物理量Ｋの相関行列Ｒは、以下の式で表される。
Figure JPOXMLDOC01-appb-M000003
　相関行列Ｒの逆行列Ａを求める。逆行列Ａは、後のステップで利用できるように、制御装置３０内に記憶しておく。
　ステップＳＣ６において、単位空間定義済みフラグに、「定義済み」を設定する。ステップＳＣ４で、サンプル数が十分ではないと判定された場合、及びステップＳＣ６で、単位空間定義済みフラグに「定義済み」を設定した後、ステップＳＣ１１において、所定時間待機する。待機時間は、例えば、数百ｍｓ～１ｓ程度とする。待機後、ステップＳＣ１に戻る。
　なお、単位空間定義済みフラグは、オペレータの操作によってリセットすることができる。すなわち、単位空間定義済みフラグに、「未定義」を設定することができる。
　ステップＳＣ２で、単位空間定義済みと判定された場合には、ステップＳＣ７において、各センサ３４で検出された検出値（検証データ）のマハラノビス距離（ＭＤ）を計算する。以下、マハラノビス距離の計算方法について説明する。
　センサ３４で検出されたＫ個の検出値（検証データ）のうち物理量ｋの値をｙ（ｋ）とする。検出値ｙ（ｋ）を基準化して、基準化検出値Ｙ（ｋ）を求める。基準化検出値Ｙ（ｋ）は、以下の式で算出することができる。
Figure JPOXMLDOC01-appb-M000004
　検証データのマハラノビス距離の２乗（Ｄ２）は、相関行列Ｒの逆行列Ａを用いて、以下の式で算出することができる。
Figure JPOXMLDOC01-appb-M000005
　マハラノビス距離ＭＤ（またはマハラノビス距離の２乗Ｄ２）が求められたら、ステップＳＣ８において、マハラノビス距離ＭＤと、閾値とを比較する。閾値は、予め設定されている。例えば、閾値として２が採用される。上述の式で定義されたマハラノビス距離の２乗Ｄ２のまま閾値と比較する場合には、閾値として２２＝４が採用される。マハラノビス距離ＭＤが閾値より大きい場合、ステップＳＣ９の処理を行う。ステップＳＣ９の処理は、実施例１のステップＳＢ４（図４）の処理と同一である。
　ステップＳＣ９の処理が終了すると、またはステップＳＣ８でマハラノビス距離ＭＤが閾値以下であると判定された場合には、ステップＳＣ１０において、ショベルが停止状態か否かを判定する。停止状態である場合には、処理を終了する。停止状態でない場合には、ステップＳＣ１１において、所定時間待機した後、ステップＳＣ１に戻る。
　実施例２では、運転状態が異常であるか否かの判定を行う方法として、マハラノビスタグチ法が適用される。このため、センサ３４の検出値ごとに許容範囲を設定しておく必要はない。
　上述の実施例１においては、検出値の許容範囲は、例えば、過去の異常発生の事例等に基づいて設定される。従って、過去に発生していない新規な異常を検出できない場合もある。マハラノビスタグチ法を適用すると、検出値の許容範囲を、過去の事例に基づいて設定する必要がない。このため、過去に発生していないような新規な異常を検出することも可能である。
　また、実施例２では、複数の検出値の、許容値からのずれ量が、マハラノビス距離（ＭＤ）に統合されているため、容易に、異常か否かを判定することができる。
　図８に、実施例２によるショベルで異常原因の探索を行うときに、出力装置３１（図２）に表示される画像の一例を示す。以下、図５に示した実施例１との相違点について説明する。実施例２では、画像表示窓３５、進行状況バー３６、操作子３７、及び文字情報表示窓３８の他に、警報レベル変動表示窓３９が表示される。警報レベル変動表示窓３９には、スライダ３６Ａで時刻指定できる時間幅に対応して、警報レベルの経時変動グラフが表示される。警報レベル変動表示窓３９には、スライダ３６Ａで指示されている時刻（表示されている画像の時刻）に対応する位置に表示画像時刻線３９Ａが表示されている。さらに、異常発生時刻表示マーク３６Ｂに対応する位置に、異常発生時刻線３９Ｂが表示されている。警報レベルは、ショベルに異常が発生している可能性の高さを表している。警報レベルとして、例えばステップＳＣ７（図６）で算出されたマハラノビス距離が採用される。警報レベルが急激に増大した直前に、異常が発生する何らかの原因が生じていたと考えられる。
　［実施例３］
　図９に、実施例３によるショベル及び監視装置の機能ブロック図を示す。以下、実施例１によるショベルとの相違点に着目して説明し、同一の構成については説明を省略する。
　実施例１では、異常判定処理、及び異常時のデータの蓄積が、ショベルに閉じて行われた。実施例２では、異常判定処理は、ショベル５０に搭載されたローカル制御装置３０で行われる。異常と判定されたときの画像データ等は、監視装置６０に蓄積される。ショベル５０に、画像データ等の各種データを通信回線４５を通して監視装置６０に送信するための送受信装置４０が搭載されている。
　監視装置６０に、送受信装置４１、制御装置６１、出力装置６２、入力装置６３、及び異常情報記憶装置３２が設置されている。送受信装置４１は、ショベル５０から通信回線４５を通して送信されたデータを受信する。制御装置６１は、出力装置６２、入力装置６３、及び異常情報記憶装置３２を制御する。
　図１０に、ショベル５０に搭載されたローカル制御装置３０で行われる処理のフローチャートを示す。ステップＳＢ１、ＳＢ２、ＳＢ３、ＳＢ５、ＳＢ６は、それぞれ図４に示した実施例１のステップＳＢ１、ＳＢ２、ＳＢ３、ＳＢ５、ＳＢ６と同一である。実施例１のステップＳＢ４に代えて、ステップＳＤ４の処理が実行される。以下、ステップＳＤ４について説明する。
　ローカル制御装置３０は、ステップＳＢ３で異常と判定すると、判定時刻よりも後の第２の時刻まで、一時記憶装置２５に画像データが蓄積されるまで待機する。一時記憶装置２５に格納されている画像データのうち、異常と判定された時点より前の第１の時刻から、第２の時刻までの画像データ、及び異常と判定されたときのセンサ３４の検出値を、送受信装置４０から、監視装置６０に送信する。なお、一時記憶装置２５に格納されている画像データのうち、異常と判定された時点より前の第１の時刻から、異常と判定された時刻までの画像データを送信するようにしてもよい。さらに、出力装置３１から警報を発出し、オペレータに異常を通知する。
　次に、監視装置６０の制御装置６１の処理について説明する。ショベル５０から、異常と判定された前後の画像データ及びセンサの検出値を受信すると、異常情報記憶装置３２に、これらのデータを格納する。同時に、出力装置６２から警報を発出する。
　監視装置６０の監視者が、入力装置６３から、データ表示を指令すると、制御装置６１は、異常情報記憶装置３２に蓄積されているセンサの検出値及び画像データを、出力装置６２に出力する。監視者が、異常発生原因を特定する際に、異常検出時の前後の画像データが有益な情報となる。出力装置６２に表示される画像は、図５に示した実施例１による出力装置３１に出力される画像、または図８に示した実施例２による出力装置３１に出力される画像と同一である。
　［実施例４］
　図１１に、実施例４によるショベル及び監視装置の機能ブロック図を示す。以下、実施例３によるショベル及び監視装置との相違点に着目して説明し、同一の構成については説明を省略する。
　実施例３では、ショベル５０に搭載されたローカル制御装置３０が異常判定処理を行ったが、実施例４では、監視装置６０に設置された制御装置６１が異常判定処理を行う。ショベル５０は、一定の周期で、監視装置６０に対して、異常判定要求を、センサ３４の検出値と共に送信する。
　図１２に、監視装置６０の制御装置６１が行う処理のフローチャートを示す。ステップＳＥ１において、ショベル５０から異常判定要求を受信したか否かを判定する。異常判定要求が受信されていない場合には、異常判定要求を受信するまでステップＳＥ１を繰り返す。
　異常判定要求があった場合には、ステップＳＥ２において、ショベル５０から受信したセンサの検出値に基づいて、異常判定を行う。異常判定処理は、実施例１のステップＳＢ２、ＳＢ３（図４）、または実施例２のステップＳＣ７、ＳＣ８（図６）の異常判定処理と同一である。
　ステップＳＥ３において、異常と判定された場合には、ステップＳＥ４において、ショベル５０に対して、画像データの送信を指令する。この指令には、送信すべき画像データの開始時刻（第１の時刻）と終了時刻（第２の時刻）とが含まれている。ショベル５０は、画像データの送信指令を受信すると、その応答として、一時記憶装置２５に蓄積されている画像データのうち、第１の時刻から第２の時刻までの画像データを、監視装置６０に送信する。なお、画像データは、送信前にデータ圧縮を行うことが好ましい。
　ステップＳＥ５において、ショベル５０から受信した画像データ、及び異常と判定された時点のセンサの検出値を、両者を関連付けて、異常情報記憶装置３２に格納する。ステップＳＥ５の処理が終了すると、ステップＳＥ６において、監視装置６０の運用が停止状態であるか否かを判定する。ステップＳＥ３で異常ではないと判定された場合にも、ステップＳＥ６において、監視装置６０の運用が停止状態であるか否かを判定する。
　ステップＳＥ６において、停止状態ではないと判定された場合には、ステップＳＥ１に戻る。停止状態と判定された場合には、処理を終了する。
　実施例４においても、監視装置６０の監視者は、異常発生原因を特定するために、出力装置６２に表示される異常検出時の前後の画像を利用することができる。出力装置６２に表示される画像は、図５に示した実施例１による出力装置３１に出力される画像、または図８に示した実施例２による出力装置３１に出力される画像と同一である。
　以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。
１０　下部走行体
１１　旋回機構
１２　上部旋回体
１３　ブーム
１４　油圧シリンダ
１５　アーム
１６　油圧シリンダ
１７　バケット
１８　油圧シリンダ
１９　キャビン
２０Ｆ　前方撮像装置
２０Ｒ　右方撮像装置
２０Ｌ　左方撮像装置
２０Ｂ　後方撮像装置
２４　画像制御装置
２５　一時記憶装置
２６　動作モード記憶部
２７　センサ
３０　制御装置
３１　出力装置
３２　異常情報記憶装置
３３　入力装置
３４　センサ
３５　画像表示窓
３６　進行状況バー
３６Ａ　スライダ
３６Ｂ　異常発生時刻表示マーク
３７　操作子
３８　文字情報表示窓
３９　警報レベル変動表示窓
３９Ａ　表示画像時刻線
３９Ｂ　異常発生時刻線
４０、４１　送受信装置
４５　通信回線
５０　ショベル
６０　監視装置
６１　制御装置６２　出力装置
６３　入力装置

Claims (17)

  1. 　撮像装置と、
    　前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
    　ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
    　異常情報記憶装置と、
    　前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する制御装置とを有するショベル。
  2. 　前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を前記異常情報記憶装置に格納する請求項１に記載のショベル。
  3. 　前記制御装置は、
    　動作が異常と判定されると、さらに、動作が異常と判定された時刻よりも後の第２の時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する請求項１または２に記載のショベル。
  4. 　前記制御装置は、
    　正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
    　前記単位空間の中心から、前記複数のセンサで検出された評価対象の検出値までのマハラノビス距離を算出し、
    　算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項１乃至３のいずれか１項に記載のショベル。
  5. 　前記一時記憶装置は、空きの記憶領域がなくなると、最も古い画像データを新しい画像データで上書きするリングバッファ構造を有し、
    　前記制御装置は、前記一時記憶装置に記憶される画像データの解像度を指定する画像取込モードを記憶する画像取込モード記憶部を有し、
    　前記画像取込モード記憶部に記憶されている画像取込モードで指定された解像度で、前記撮像装置で取得された画像データを前記一時記憶装置に格納する請求項１乃至４のいずれか１項に記載のショベル。
  6. 　さらに、画像を表示する出力装置を有し、
    　前記制御装置は、
    　前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
    　前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１乃至５のいずれか１項に記載のショベル。
  7. 　前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項６に記載のショベル。
  8. 　撮像装置と、
    　前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
    　ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
    　前記データを送信する送信装置と、
    　前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの、前記一時記憶装置に記憶されている画像データを、前記送信装置から送信する制御装置と
    を有するショベル。
  9. 　前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を、前記送信装置から送信する請求項８に記載のショベル。
  10. 　前記制御装置は、
    　異常と判定すると、さらに、動作が異常と判定された時刻よりも後の第２の時刻までの前記画像データを、前記送信装置から送信する請求項８または９に記載のショベル。
  11. 　前記制御装置は、
    　正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
    　前記単位空間の中心から、前記複数のセンサで取得された評価対象の検出値までのマハラノビス距離を算出し、
    　算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項８乃至１０のいずれか１項に記載のショベル。
  12. 　ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
    　異常情報記憶装置と、
    　制御装置と
    を有し、
    　前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
    　前記コマンドに応答して、前記ショベルから前記送受信機に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置。
  13. 　さらに、
    　画像を表示する出力装置を有し、
    　前記制御装置は、
    　前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
    　前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１２に記載のショベルの監視装置。
  14. 　前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項１３に記載のショベルの監視装置。
  15. 　撮像装置、前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置、ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサ、及び前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、前記画像データを、前記一時記憶装置から取り出して前記ショベルの監視装置に送信するローカル制御装置を有するショベルから画像データを受信する受信装置と、
    　画像データを記憶する異常情報記憶装置と、
    　画像を表示する出力装置と、
    　制御装置と
    を有するショベルの監視装置であって、
    　前記制御装置は、前記受信装置で受信した画像データを前記異常情報記憶装置に格納し、前記異常情報記憶装置に格納されている画像データを、前記出力装置に画像として表示するショベルの監視装置。
  16. 　前記制御装置は、
    　前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
    　前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１５に記載のショベルの監視装置。
  17. 　ショベルに搭載された撮像装置で取得された画像データを表示するショベルの出力装置であって、
    　前記ショベルの異常判定時刻よりも前の第１の時刻から、少なくとも異常判定時刻までの前記画像データを表示するショベルの出力装置。
PCT/JP2012/062288 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置 Ceased WO2012157603A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP12784997.4A EP2711471B1 (en) 2011-05-16 2012-05-14 Shovel, monitoring device therefor, and shovel output device
JP2013515147A JP5709986B2 (ja) 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置
KR1020137025080A KR101614013B1 (ko) 2011-05-16 2012-05-14 쇼벨, 그 감시장치 및 쇼벨의 출력장치
CN201280017565XA CN103459728A (zh) 2011-05-16 2012-05-14 挖土机及其监控装置及挖土机的输出装置
EP19188023.6A EP3599314B1 (en) 2011-05-16 2012-05-14 Shovel and monitoring device for a shovel
US14/113,003 US20140052349A1 (en) 2011-05-16 2012-05-14 Shovel, monitoring device of the same and output device of shovel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-109437 2011-05-16
JP2011109437 2011-05-16

Publications (1)

Publication Number Publication Date
WO2012157603A1 true WO2012157603A1 (ja) 2012-11-22

Family

ID=47176920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/062288 Ceased WO2012157603A1 (ja) 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置

Country Status (6)

Country Link
US (1) US20140052349A1 (ja)
EP (2) EP2711471B1 (ja)
JP (1) JP5709986B2 (ja)
KR (1) KR101614013B1 (ja)
CN (2) CN103459728A (ja)
WO (1) WO2012157603A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015083731A (ja) * 2013-10-25 2015-04-30 住友重機械工業株式会社 作業機械の管理装置及び作業機械の異常判定方法
JP2017043189A (ja) * 2015-08-26 2017-03-02 Ｋｙｂ株式会社 送信装置、受信装置、通信システム、データ処理装置、およびプログラム
TWI688845B (zh) * 2015-02-12 2020-03-21 英商愛德華有限公司 處理工具監控
JP2021073401A (ja) * 2021-02-10 2021-05-13 住友重機械工業株式会社 ショベル及びショベル用システム
KR20220091495A (ko) 2019-10-31 2022-06-30 스미토모 겐키 가부시키가이샤 쇼벨관리시스템, 쇼벨용 휴대단말, 및 쇼벨용 휴대단말에 이용되는 프로그램
JP2023130383A (ja) * 2018-09-14 2023-09-20 株式会社小松製作所 再生装置、分析支援システム及び再生方法
WO2023190116A1 (ja) 2022-03-31 2023-10-05 住友建機株式会社 ショベル、ショベルの管理システム、ショベルの支援装置
JPWO2023218653A1 (ja) * 2022-05-13 2023-11-16
JP2024152818A (ja) * 2019-09-18 2024-10-25 住友重機械工業株式会社 ショベル
US12320096B2 (en) 2018-10-31 2025-06-03 Sumitomo Construction Machinery Co., Ltd. Shovel and shovel assist system
US12460389B2 (en) 2019-03-30 2025-11-04 Sumitomo Construction Machinery Co., Ltd Shovel and construction system

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
EP2752724B1 (de) * 2013-01-08 2016-06-01 VEGA Grieshaber KG Verfahren zur Kontrolle von Feldgeräten, Steuergerät, Programmelement und computerlesbares Medium
US10409926B2 (en) 2013-11-27 2019-09-10 Falkonry Inc. Learning expected operational behavior of machines from generic definitions and past behavior
US10037128B2 (en) * 2014-02-04 2018-07-31 Falkonry, Inc. Operating behavior classification interface
JP6320185B2 (ja) * 2014-06-16 2018-05-09 住友重機械工業株式会社 ショベル支援装置
JP6812339B2 (ja) * 2015-03-19 2021-01-13 住友建機株式会社 ショベル
US10308157B2 (en) * 2016-08-31 2019-06-04 Caterpillar Inc. Truck cycle segmentation monitoring system and method
JP6608345B2 (ja) 2016-09-28 2019-11-20 日立建機株式会社 作業機械
JP6266184B1 (ja) * 2017-03-16 2018-01-24 三菱電機ビルテクノサービス株式会社 監視システム
JP7286287B2 (ja) 2018-09-14 2023-06-05 株式会社小松製作所 作業機械の表示システムおよびその制御方法
JP7197315B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 ホイールローダの表示システムおよびその制御方法
CN109577395B (zh) * 2018-11-30 2020-12-01 中船重工中南装备有限责任公司 具备轨迹纠正功能的履带底盘绞吸式清淤机器人
JP6956347B2 (ja) * 2019-01-31 2021-11-02 株式会社安川電機 トレースデータ取得システム、トレースデータ取得方法、及びプログラム
EP4023820A4 (en) * 2019-08-29 2022-11-09 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR AND EXCAVATOR DIAGNOSTIC SYSTEM
CN115244250B (zh) * 2020-03-27 2025-08-01 住友重机械工业株式会社 挖土机的管理装置及挖土机
CN117216728B (zh) * 2023-11-09 2024-02-02 金成技术股份有限公司 挖掘机动臂稳定性检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119183A (ja) * 1993-10-21 1995-05-09 Hitachi Constr Mach Co Ltd 油圧作業機のモニタ装置
JP2001133295A (ja) * 1999-11-02 2001-05-18 Iseki & Co Ltd 作業車両の異常情報記憶装置
JP2002332664A (ja) 2001-05-08 2002-11-22 Hitachi Constr Mach Co Ltd 建設機械の故障診断方法、建設機械の故障診断システム、建設機械、情報管理センタ、および故障診断プログラム
WO2009020229A1 (ja) * 2007-08-09 2009-02-12 Hitachi Construction Machinery Co., Ltd. 作業機械の機器診断装置及び機器診断システム
WO2011092830A1 (ja) * 2010-01-28 2011-08-04 日立建機株式会社 作業機械の監視診断装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3935626B2 (ja) * 1998-09-17 2007-06-27 日立建機株式会社 自動運転建設機械の始業点検装置
AU770499B2 (en) * 1999-03-17 2004-02-26 Komatsu Limited Device for presenting information to mobile
US20060177119A1 (en) * 2002-10-25 2006-08-10 Mcpheely Bernard M Digital diagnosti video system for manufacturing and industrial process
CN1291602C (zh) * 2003-07-25 2006-12-20 株式会社日立制作所 监视信息提供装置及监视信息提供方法
JP3902168B2 (ja) * 2003-09-04 2007-04-04 日立建機株式会社 建設機械の診断情報表示システム
JP2005113397A (ja) * 2003-10-03 2005-04-28 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP4310632B2 (ja) * 2003-11-07 2009-08-12 日立建機株式会社 建設機械の表示装置
JP2005163370A (ja) * 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
US7499842B2 (en) * 2005-11-18 2009-03-03 Caterpillar Inc. Process model based virtual sensor and method
JP2009202689A (ja) * 2008-02-27 2009-09-10 Caterpillar Japan Ltd 建設機械における表示装置
WO2010021042A1 (ja) * 2008-08-21 2010-02-25 株式会社 アロー データ通信システム
US20100123779A1 (en) * 2008-11-18 2010-05-20 Dennis Michael Snyder Video recording system for a vehicle
JP5313099B2 (ja) * 2009-09-25 2013-10-09 日立建機株式会社 機械の異常監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119183A (ja) * 1993-10-21 1995-05-09 Hitachi Constr Mach Co Ltd 油圧作業機のモニタ装置
JP2001133295A (ja) * 1999-11-02 2001-05-18 Iseki & Co Ltd 作業車両の異常情報記憶装置
JP2002332664A (ja) 2001-05-08 2002-11-22 Hitachi Constr Mach Co Ltd 建設機械の故障診断方法、建設機械の故障診断システム、建設機械、情報管理センタ、および故障診断プログラム
WO2009020229A1 (ja) * 2007-08-09 2009-02-12 Hitachi Construction Machinery Co., Ltd. 作業機械の機器診断装置及び機器診断システム
WO2011092830A1 (ja) * 2010-01-28 2011-08-04 日立建機株式会社 作業機械の監視診断装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015083731A (ja) * 2013-10-25 2015-04-30 住友重機械工業株式会社 作業機械の管理装置及び作業機械の異常判定方法
TWI688845B (zh) * 2015-02-12 2020-03-21 英商愛德華有限公司 處理工具監控
US10802941B2 (en) 2015-02-12 2020-10-13 Edwards Limited Processing tool monitoring
JP2017043189A (ja) * 2015-08-26 2017-03-02 Ｋｙｂ株式会社 送信装置、受信装置、通信システム、データ処理装置、およびプログラム
JP2023130383A (ja) * 2018-09-14 2023-09-20 株式会社小松製作所 再生装置、分析支援システム及び再生方法
US12320096B2 (en) 2018-10-31 2025-06-03 Sumitomo Construction Machinery Co., Ltd. Shovel and shovel assist system
US12460389B2 (en) 2019-03-30 2025-11-04 Sumitomo Construction Machinery Co., Ltd Shovel and construction system
JP2024152818A (ja) * 2019-09-18 2024-10-25 住友重機械工業株式会社 ショベル
JP7756767B2 (ja) 2019-09-18 2025-10-20 住友重機械工業株式会社 ショベル
EP4053347A4 (en) * 2019-10-31 2023-01-04 Sumitomo Construction Machinery Co., Ltd. BLADE MANAGEMENT SYSTEM, PORTABLE BLADE TERMINAL AND PROGRAM USED IN A PORTABLE BLADE TERMINAL
KR20220091495A (ko) 2019-10-31 2022-06-30 스미토모 겐키 가부시키가이샤 쇼벨관리시스템, 쇼벨용 휴대단말, 및 쇼벨용 휴대단말에 이용되는 프로그램
US12559914B2 (en) 2019-10-31 2026-02-24 Sumitomo Construction Machinery Co., Ltd. Excavator management system, mobile terminal for excavator, and recording medium
JP7257430B2 (ja) 2021-02-10 2023-04-13 住友重機械工業株式会社 ショベル及びショベル用システム
JP2021073401A (ja) * 2021-02-10 2021-05-13 住友重機械工業株式会社 ショベル及びショベル用システム
WO2023190116A1 (ja) 2022-03-31 2023-10-05 住友建機株式会社 ショベル、ショベルの管理システム、ショベルの支援装置
KR20240165924A (ko) 2022-03-31 2024-11-25 스미토모 겐키 가부시키가이샤 쇼벨, 쇼벨의 관리시스템, 쇼벨의 지원장치
JPWO2023218653A1 (ja) * 2022-05-13 2023-11-16
WO2023218653A1 (ja) * 2022-05-13 2023-11-16 ファナック株式会社 映像管理装置、及びコンピュータが読み取り可能な記憶媒体

Also Published As

Publication number Publication date
EP2711471A4 (en) 2016-02-17
US20140052349A1 (en) 2014-02-20
CN103459728A (zh) 2013-12-18
CN110056021A (zh) 2019-07-26
KR101614013B1 (ko) 2016-04-29
JP5709986B2 (ja) 2015-04-30
EP2711471B1 (en) 2019-09-04
EP2711471A1 (en) 2014-03-26
JPWO2012157603A1 (ja) 2014-07-31
KR20130138821A (ko) 2013-12-19
EP3599314B1 (en) 2025-03-19
EP3599314A1 (en) 2020-01-29

Similar Documents

Publication Publication Date Title
JP5709986B2 (ja) ショベル、その監視装置及びショベルの出力装置
US8850000B2 (en) Trigger-based data collection system
JP6112488B2 (ja) ショベル、ショベル管理装置、及びショベル管理方法
JP5233043B2 (ja) 建設機械の送受信システムにおける運転操作ガイダンス装置
JP6318899B2 (ja) 電子診断を用いた中古車評価システム、サーバ及び中古車評価プログラム
US10000911B2 (en) Abnormality diagnostic system for work system of construction machinery and method using the same
JP5205932B2 (ja) 車両用ドア安全確認システム
US10430733B2 (en) Analysis method for time series data and device therefor
JP5400547B2 (ja) 作業機の故障診断支援システム
JP2001341956A (ja) エレベータの遠隔保守方法及び遠隔保守システム
JP5758469B2 (ja) 作業機の動作状況取込システム
KR101321415B1 (ko) 휴대단말기를 이용한 차량정보 접수 방법
WO2022162855A1 (ja) 車載装置、路面画像の送信方法及びプログラム記録媒体
KR20180079636A (ko) 건설 장비의 가동 정보 모니터링 시스템 및 방법
KR101922222B1 (ko) 건설기계의 원격 진단시스템
JP7756767B2 (ja) ショベル
JP4146270B2 (ja) 地震計
JP7831609B2 (ja) 情報処理装置、サーバ、センサデータ送信方法及びプログラム
KR20150110862A (ko) 차량 정비 시스템
KR20110004167U (ko) 차량의 전자제어장치 통신 데이터 감시 방법을 사용하는 주행정보 취득 및 분석 장치
KR20160072750A (ko) 진동 데이터베이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12784997

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013515147

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20137025080

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14113003

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012784997

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE