JP2012254660A - 作業車両の周辺監視装置 - Google Patents

作業車両の周辺監視装置 Download PDF

Info

Publication number
JP2012254660A
JP2012254660A JP2011127478A JP2011127478A JP2012254660A JP 2012254660 A JP2012254660 A JP 2012254660A JP 2011127478 A JP2011127478 A JP 2011127478A JP 2011127478 A JP2011127478 A JP 2011127478A JP 2012254660 A JP2012254660 A JP 2012254660A
Authority
JP
Japan
Prior art keywords
vehicle body
camera
outer edge
work vehicle
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011127478A
Other languages
English (en)
Other versions
JP5597596B2 (ja
Inventor
Tomikazu Tanuki
富和 田貫
Shigeru Harada
茂 原田
Shinji Mitsuta
慎治 光田
Yoshinobu Masutani
栄伸 増谷
Yukihiro Nakanishi
幸宏 中西
Takeshi Kurihara
毅 栗原
Masaru Tsubone
大 坪根
Masaomi Machida
正臣 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011127478A priority Critical patent/JP5597596B2/ja
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to CA2808260A priority patent/CA2808260C/en
Priority to CN201280002726.8A priority patent/CN103079891B/zh
Priority to AU2012268486A priority patent/AU2012268486A1/en
Priority to PCT/JP2012/063255 priority patent/WO2012169362A1/ja
Priority to US13/818,323 priority patent/US20130155240A1/en
Publication of JP2012254660A publication Critical patent/JP2012254660A/ja
Application granted granted Critical
Publication of JP5597596B2 publication Critical patent/JP5597596B2/ja
Priority to US15/392,458 priority patent/US9956915B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供する。
【解決手段】周辺監視装置１０は、カメラ画像と、カメラ画像上の地面に垂直投影される車体（ベッセル４を含む）の外縁を示す車体外縁線ＢＬと、をモニタ３０に表示させる表示制御部４０を備える。
【選択図】図６

Description

本発明は、周辺監視装置、特に、作業車両の周囲のカメラ画像を表示装置に表示する周辺監視装置に関する。
超大型の作業車両として、鉱山等で砕石を運搬するために用いられるダンプトラックが知られている。この種のダンプトラックは、一般的なトラック等の車両に比較して著しく車幅が広く、また前後長が長いために、サイドミラー等によって周囲の状況を運転者が把握することは困難である。
そこで、非特許文献１では、周辺の状況を運転者に簡便に把握させることを目的として、車両前方及び左右の俯瞰画像と車両後方のカメラ画像とを表示装置に表示させる周辺監視装置が提案されている。具体的に、非特許文献１の周辺監視装置は、車両前方及び左右を撮影する３つのカメラと、車両後方を撮影する後方カメラとを備えている。後方カメラは車体（ベッセルを含む）下に配置されており、カメラ画像には車体後方の地面が写されている。
日立建機プレスリリース、"「オーバービューモニターシステム」をクラリオンと共同開発"、［online］、2011年1月24日、［2011年6月1日検索］、インターネット〈URL：http://www.hitachi-kenki.co.jp/news/press/PR20110121113934973.html〉
しかしながら、非特許文献１のカメラ画像では、後方カメラより上方に車体が存在するので、車体と車体周辺の物体（例えば、人、車、建物など）との位置関係を把握することは容易ではない。すなわち、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像において判断することは困難である。
本発明は、上述の状況に鑑みてなされたものであり、車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供することを目的とする。
第１発明に係る作業車両の周辺監視装置は、作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、作業車両の車体下方に配置され、作業車両の周囲のカメラ画像を取得するカメラと、カメラによって取得されるカメラ画像と、カメラ画像上の地面に垂直投影される車体の外縁を示す車体外縁線と、を表示装置に表示させる表示制御部と、を備える。
第１発明に係る作業車両の周辺監視装置によれば、運転者は、カメラ上方に位置する車体と車体周辺の物体（例えば、人、車、建物など）との位置関係を車体外縁線を基準として容易に把握することができる。そのため、例えば、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像上で容易に判断することができる。その結果、作業車両周辺の状況を運転者に簡便に把握させることができる。
第２発明に係る作業車両の周辺監視装置は、第１発明に係り、表示制御部は、カメラ画像の地面上において車体外縁線から所定距離の位置を示す警告線を、車体外縁線の外側に表示させる。
第２発明に係る作業車両の周辺監視装置によれば、車体周辺の物体が車体からどの程度離れているかを車体外縁線とともに段階的に示すことができるので、車体と車体周辺の物体との位置関係をより容易に運転者に把握させることができる。
第３発明に係る作業車両の周辺監視装置は、第１又は第２発明に係り、車体は、フレームと、フレーム上に配置されるベッセルと、を有し、カメラの撮像範囲には、ベッセルの後端部を含んでいる。
第３発明に係る作業車両の周辺監視装置によれば、ベッセルの後端部をカメラ画像上において直接確認することができるので、ベッセルとベッセル周辺の物体との位置関係をより明確に運転者に把握させることができる。
第４発明に係る作業車両の周辺監視装置は、作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、作業車両の車体に装着され、作業車両の周囲のカメラ画像をそれぞれ取得する複数のカメラと、複数のカメラによって取得される複数のカメラ画像に基づく作業車両の周囲の俯瞰画像と、複数のカメラ画像のうち特定のカメラ画像と、を並べて表示するとともに、カメラ画像上の地面に垂直投影される車体の外縁を示す車体外縁線をカメラ画像上に表示させる表示制御部と、を備える。
本発明によれば、車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供することができる。
ダンプトラックの全体構成を示す斜視図 周辺監視装置の構成を示すブロック図 ６台のカメラの装着位置と２次元撮影範囲とを示すダンプトラックの平面図 ６台のカメラによる３次元撮像範囲を示すダンプトラックの斜視図 第６カメラの取付け状態を示す斜視図 モニタの構成を示す模式図 モニタの構成を示す模式図
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前、後、左、右」とは、運転席に着座したオペレータを基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
［ダンプトラックの全体構成］
図１は、本発明の一実施形態による周辺監視装置を備えたダンプトラック１の全体構成を示す斜視図である。ダンプトラック１は、鉱山作業などに用いられる自走式の超大型作業車両である。
ダンプトラック１は主に、車体フレーム２と、キャブ３と、ベッセル４と、それぞれ２つの前輪５、後輪６及びベース７を備える。また、このダンプトラック１は、車両の周囲の画像をモニタに表示させる周辺監視装置１０を備える。周辺監視装置１０の構成については後述する。
車体フレーム２は、図示しないディーゼルエンジンやトランスミッション等の動力機構やその他の補機類を支持している。また、車体フレーム２の前部左右に前輪５（図１では右前輪のみ図示）が支持され、後部左右に後輪６（図１では右後輪のみ図示）が支持されている。車体フレーム２は、地面に近い側にロアデッキ２Ａを有し、ロアデッキ２Ａの上方にアッパデッキ２Ｂを有している。ロアデッキ２Ａと地面との間には例えば可動式ラダー２Ｃが２つ設けられ、ロアデッキ２Ａとアッパデッキ２Ｂとの間には斜めラダー２Ｄが設けられている。アッパデッキ２Ｂ上には、前部の左右、側部、及び後部の一部に柵状の手すりが固定されている。
キャブ３は、アッパデッキ２Ｂ上において、車幅方向の中央から左側に偏倚して配置されている。このキャブ３内には、運転席、シフトレバー、コントローラ、モニタ、ハンドル、アクセルペダル、ブレーキペダル等が設けられている。後述するように、コントローラ、表示部およびシフトレバーは周辺監視装置１０の一部を構成する。
ベッセル４は、砕石等の重量物を積載するための容器である。ベッセル４の後側の底部は、回動ピン（図示せず）を介して、車体フレーム２の後端部に回動可能に連結されている。これにより、ベッセル４は、図示しない油圧シリンダ等のアクチュエータによって、前部が上方に回動して積載物を排出する起立姿勢と、図１に示すように前部がキャブの上部に位置する積載姿勢と、を取り得る。
ベース７は、アッパデッキ２Ｂ上に配置される。ベース７は、トロリー用の架線から電力を受電するパンタグラフを設置するための給電装置である。
なお、本実施形態において、車体フレーム２およびベッセル４は、ダンプトラック１の「車体」を構成している。
［周辺監視装置の構成］
図２は、ダンプトラック１が備える周辺監視装置１０の構成を示すブロック図である。
周辺監視装置１０は、６台のカメラ１１〜１６と、６つのフレームメモリ１１Ａ〜１６Ａと、オペレータスイッチ２０と、モニタ３０と、表示制御部４０と、を有する。
＜カメラ＞
図３は、６台のカメラ１１〜１６の装着位置と２次元撮影範囲とを示すダンプトラック１の平面図である。図４は、６台のカメラ１１〜１６による３次元撮像範囲を示すダンプトラック１の斜視図である。図５は、第６カメラ１６の取付け状態を示す斜視図である。６台のカメラ１１〜１６は、ダンプトラック１の外周に装着され、ダンプトラック１の周囲の画像を取得する。
第１カメラ１１は、斜めラダー２Ｄの上端部に配置され、車両前方に向かって固定されている。第１カメラ１１の第１撮影範囲１１Ｒは車両前方である。
第２カメラ１２は、アッパデッキ２Ｂの前側面右端部に配置され、車両右斜め前方に向かって固定されている。第２カメラ１２の第２撮影範囲１２Ｒは車両右斜め前方である。
第３カメラ１３は、第２カメラ１２と左右対称位置、すなわちアッパデッキ２Ｂの前側面左端部に配置され、車両左斜め前方に向かって固定されている。第３カメラ１３の第３撮影範囲１３Ｒは左斜め前方である。
第４カメラ１４は、アッパデッキ２Ｂの右側面前端部に配置され、車両右斜め後方に向かって固定されている。第４カメラ１４の第４撮影範囲１４Ｒは右斜め後方である。
第５カメラ１５は、第４カメラと左右対称位置、すなわちアッパデッキ２Ｂの左側面前端部に配置され、車両左斜め後方に向かって固定されている。第５カメラ１５の第５撮影範囲１５Ｒは左斜め後方である。
第６カメラ１６は、図５に示すように、ベッセル４の下方に潜り込むように配置されており、車両後方に向かって固定されている。具体的に、第６カメラ１６は、リヤアクスル８の上方において、クロスバー９に取り付けられたブラケット９ａに固定されている。第６カメラ１６は後方斜め下向きに固定されており、後方カメラ１６の撮像範囲１６Ｒはベッセル４下方と車両後方である。ここで、本実施形態において、第６カメラ１６の撮像範囲１６Ｒには、他のカメラの撮像範囲画像とは異なり、車体自体（ベッセル４の後端部）を含んでいる（図６参照）。
以上の６台のカメラ１１〜１６によってダンプトラック１のほぼ全周囲の画像が取得される。６台のカメラ１１〜１６のそれぞれは、自装置が撮影したカメラ画像を示すカメラ画像データを、フレームメモリ１１Ａ〜１６Ａのそれぞれに送信する。
＜フレームメモリ＞
６つのフレームメモリ１１Ａ〜１６Ａは、６台のカメラ１１〜１６に接続されている。６台のカメラ１１〜１６は、６台のカメラ１１〜１６から受信するカメラ画像データを一旦記憶する。６つのフレームメモリ１１Ａ〜１６Ａは、記憶したカメラ画像データを表示制御部４０に送信する。
＜オペレータスイッチ＞
オペレータスイッチ２０は、６台のカメラ１１〜１６それぞれのカメラ画像のうちモニタ３０に表示すべきカメラ画像を指定するための操作具である。運転者は、オペレータスイッチ２０を操作することによって、所望のカメラ画像をモニタ３０に表示させることができる。オペレータスイッチ２０は、いずれのカメラ画像が選択されたかを表示制御部４０に通知する。
＜モニタ＞
図６及び図７は、モニタ３０の構成を示す模式図である。
モニタ３０は、キャブ３内において運転席の前方に配置される。モニタ３０は、図６及び図７に示すように、カメラ画像を表示する表示領域３０ａを有する。なお、図６は、第６カメラ１６のカメラ画像１６Ｇと俯瞰画像Ｆとが表示領域３０ａに表示された様子を示している。図７は、第５カメラ１５のカメラ画像１５Ｇと俯瞰画像Ｆとが表示領域３０ａに表示された様子を示している。
なお、表示領域３０ａには、複数のカメラ画像が表示されてもよいし、俯瞰画像Ｆだけが表示されてもよい。このようなモニタ３０の表示は、ダンプトラック１の走行状態に応じて自動的に切り換えることとしてもよい。例えば、前進時及び停止時には第１カメラ１１のカメラ画像と俯瞰画像Ｆとを表示し、後進時には第６カメラ１６のカメラ画像１６Ｇのみを表示することができる。さらに、後進時には、カメラ画像１６Ｇと俯瞰画像Ｆとを表示してもよいし、カメラ画像１６Ｇと他のカメラ画像とを表示してもよい。
＜表示制御部＞
表示制御部４０は、オペレータスイッチ２０からの通知に基づいて、選択されたカメラ画像に対応するカメラ画像データを選択する。また、表示制御部４０は、６台のカメラ１１〜１６のカメラ画像データを座標変換することによって、複数の画像が所定の投影面上に投影されダンプトラック１の全周囲を囲む俯瞰画像Ｆを示す俯瞰画像データを生成する。表示制御部４０は、カメラ画像データと俯瞰画像データとを合成することによって、選択されたカメラ画像と俯瞰画像Ｆとが並んだ２画面画像に対応する２画面データを生成する。
また、表示制御部４０は、選択されたカメラ画像において地面に垂直投影される車体（車体フレーム２およびベッセル４を含む。）の外縁を示す車体外縁線ＢＬに対応する車体外縁線データを生成する。表示制御部４０は、次に説明する手順に従って、対象カメラのカメラ画像の歪みに応じた車体外縁線データを生成する。
まず、表示制御部４０は、次式（１）〜（３）に基づいて、対象カメラの向きを示す３つの行列Ｒａ、Ｒｂ、Ｒｃを定義する。
但し、
ca=cos(roll),sa=sin(roll)
cb=cos(pitch),sb=sin(pitch)
cc=cos(yaw),sc=sin(yaw)
rollは、前後方向に平行な軸周りにおける対象カメラの振れ角
pitchは、車幅方向に平行な軸周りにおける対象カメラの振れ角
yawは、鉛直方向に平行な軸周りにおける対象カメラの振れ角
pitch,roll,yawは、表示制御部４０が内蔵するメモリに格納されている
次に、表示制御部４０は、次式（４）に基づいて、地面に垂直投影された車体の外縁上の１点の物理座標系での３次元座標（ Xr, Yr, Zr ）を鉛直方向-前後方向-車幅方向のオイラー角として、対象カメラの向きおよび位置を基準とするカメラ座標系での３次元座標（ x , y , z ）に変換する。
但し、（ tx, ty, tz ）は、対象カメラの物理座標系における座標
次に、表示制御部４０は、次式（５）〜（１１）に基づいて、カメラ座標系における３次元座標（ x , y , z ）を、モニタ３０の表示領域３０ａ上における２次元座標（u , v）に変換する。
但し、
k1,k2.k3は、半径方向歪係数
p1,p2は、せん断方向歪係数
ｆx、fyは、カメラ焦点距離
cx、cyは、カメラの焦点方向をZ軸,撮像面方向をX軸,Y軸とするカメラ座標系
このように、表示制御部４０は、地面に垂直投影された車体の外縁上の１点の表示領域３０ａ上における２次元座標（ u , v ）を取得する。表示制御部４０は、車体の外縁上の複数点について同様に２次元座標を取得することによって、所望の形状（破線や鎖線など）の車体外縁線ＢＬに対応する車体外縁線データを生成する。
また、表示制御部４０は、上記式（１）〜（１１）を同様に用いて、車体外縁線ＢＬから外側に所定距離の位置を示す第１〜第３警告線Ｌ１〜Ｌ３に対応する警告線データを生成する。本実施形態において、第１警告線Ｌ１は車体外縁線ＢＬの外側３ｍラインであり、第２警告線Ｌ２は車体外縁線ＢＬの外側５ｍラインであり、第３警告線Ｌ３は車体外縁線ＢＬの外側７ｍラインである。
表示制御部４０は、生成した２画面データと、生成した車体外縁線データと、生成した警告線データとを重畳させることによって、表示用画像データを生成する。表示制御部４０は、生成した表示用画像データをモニタ３０に送信する。これによって、モニタ３０には、図６及び図７に示すように、地面に垂直投影される車体の外縁を示す車体外縁線ＢＬと、車体外縁線ＢＬより車体の外側３，５，７ｍラインを示す第１〜第３警告線Ｌ１〜Ｌ３とが、カメラ画像１５Ｇ，１６Ｇとともに表示される。
［作用及び効果］
（１）周辺監視装置１０は、カメラ画像と、カメラ画像上の地面に垂直投影される車体（ベッセル４を含む）の外縁を示す車体外縁線ＢＬと、をモニタ３０に表示させる表示制御部４０を備える。
従って、運転者は、カメラ上方に位置する車体と車体周辺の物体（例えば、人、車、建物など）との位置関係を車体外縁線を基準として容易に把握することができる。そのため、例えば、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像上で容易に判断することができる。その結果、ダンプトラック１周辺の状況を運転者に簡便に把握させることができる。
（２）表示制御部４０は、車体外縁線ＢＬから所定距離の位置を示す第１〜第３警告線Ｌ１〜Ｌ３をモニタ３０に表示させる。
従って、車体周辺の物体が車体からどの程度離れているかを車体外縁線ＢＬとともに段階的に示すことができるので、車体と車体周辺の物体との位置関係をより容易に運転者に把握させることができる。
（３）第６カメラ１６の撮像範囲１６Ｒには、図６に示すように、画面下方には地面が含まれており、地面に対向する画面上方には車体の一部を構成するベッセル４の後端部下面側が含まれている。従って、ベッセル４の後端部をカメラ画像１６G上において直接確認することができるので、ベッセルとベッセル周辺の物体との位置関係をより明確に運転者に把握させることができる。
［他の実施形態］
本発明は以上のような実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
（Ａ）上記実施形態において、表示制御部４０は、第１〜第３警告線Ｌ１〜Ｌ３をモニタ３０に表示させることとしたが、これに限られるものではない。表示制御部４０は、第１〜第３警告線Ｌ１〜Ｌ３のいずれかを表示させなくてもよいし、また、４本以上の警告線を表示させてもよい。
（Ｂ）上記実施形態において、表示制御部４０は、車体外縁線ＢＬおよび第１〜第３警告線Ｌ１〜Ｌ３を破線で示すこととしたが、これに限られるものではない。表示制御部４０は、車体外縁線ＢＬおよび第１〜第３警告線Ｌ１〜Ｌ３を実線や鎖線などで示してもよい。また、表示制御部４０は、車体外縁線ＢＬおよび第１〜第３警告線Ｌ１〜Ｌ３をそれぞれ異なる色で示してもよい。
（Ｃ）上記実施形態では、図６及び図７を用いて、車体外縁線ＢＬが、第６カメラ１６のカメラ画像１６Ｇ又は第５カメラ１５のカメラ画像１５Ｇと共に表示されるケースについて説明したが、これに限られるものではない。運転者が第１〜第４カメラのいずれかを指定した場合、車体外縁線ＢＬは、第１〜第４カメラのカメラ画像と共に表示されることになる。
（Ｄ）上記実施形態において、ダンプトラック１は、ベース７を備えることとしたが備えていなくてもよい。
（Ｅ）上記実施形態において、ダンプトラック１は、６台のカメラ１１〜１６を備えることとしたが、これに限られるものではない。ダンプトラック１は、１台〜５台のカメラを備えていてもよいし、７台以上のカメラを備えていてもよい。
１ ダンプトラック
２ 車体フレーム
３ キャブ
４ ベッセル
１０ 周辺監視装置
１１〜１６ カメラ
１１Ａ〜１６Ａ フレームメモリ
２０ オペレータスイッチ
３０ モニタ
３０ａ 表示領域
４０ 表示用制御部
ＢＬ 車体外縁線
Ｌ１ 第１警告線
Ｌ２ 第２警告線
Ｌ３ 第３警告線

Claims (4)

  1. 作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、
    前記作業車両の車体下方に配置され、前記作業車両の周囲のカメラ画像を取得するカメラと、
    前記カメラによって取得される前記カメラ画像と、前記カメラ画像上の地面に垂直投影される前記車体の外縁を示す車体外縁線と、を前記表示装置に表示させる表示制御部と、
    を備える作業車両の周辺監視装置。
  2. 前記表示制御部は、前記カメラ画像の地面上において前記車体外縁線から所定距離の位置を示す警告線を、前記車体外縁線の外側に表示させる、
    請求項１に記載の作業車両の周辺監視装置。
  3. 前記車体は、フレームと、フレーム上に配置されるベッセルと、を有し、
    前記カメラの撮像範囲には、前記ベッセルの後端部を含んでいる、
    請求項１又は２に記載の作業車両の周辺監視装置。
  4. 作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、
    前記作業車両の車体に装着され、前記作業車両の周囲のカメラ画像をそれぞれ取得する複数のカメラと、
    前記複数のカメラによって取得される複数のカメラ画像に基づく前記作業車両の周囲の俯瞰画像と、前記複数のカメラ画像のうち特定のカメラ画像と、を並べて表示するとともに、前記カメラ画像上の地面に垂直投影される前記車体の外縁を示す車体外縁線を前記カメラ画像上に表示させる表示制御部と、
    を備える作業車両の周辺監視装置。
JP2011127478A 2011-06-07 2011-06-07 作業車両の周辺監視装置 Active JP5597596B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2011127478A JP5597596B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置
CN201280002726.8A CN103079891B (zh) 2011-06-07 2012-05-24 作业车辆的周边监视装置
AU2012268486A AU2012268486A1 (en) 2011-06-07 2012-05-24 Work vehicle vicinity monitoring device
PCT/JP2012/063255 WO2012169362A1 (ja) 2011-06-07 2012-05-24 作業車両の周辺監視装置
CA2808260A CA2808260C (en) 2011-06-07 2012-05-24 Work vehicle periphery monitoring apparatus
US13/818,323 US20130155240A1 (en) 2011-06-07 2012-05-24 Work vehicle periphery monitoring apparatus
US15/392,458 US9956915B2 (en) 2011-06-07 2016-12-28 Dump truck periphery monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011127478A JP5597596B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014115673A Division JP2014222877A (ja) 2014-06-04 2014-06-04 作業車両の周辺監視装置

Publications (2)

Publication Number Publication Date
JP2012254660A true JP2012254660A (ja) 2012-12-27
JP5597596B2 JP5597596B2 (ja) 2014-10-01

Family

ID=47295930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011127478A Active JP5597596B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置

Country Status (6)

Country Link
US (2) US20130155240A1 (ja)
JP (1) JP5597596B2 (ja)
CN (1) CN103079891B (ja)
AU (1) AU2012268486A1 (ja)
CA (1) CA2808260C (ja)
WO (1) WO2012169362A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045904A1 (ja) * 2013-09-24 2015-04-02 日立建機株式会社 車両周囲移動物体検知システム
KR101566784B1 (ko) * 2014-04-25 2015-11-13 주식회사 영신 산업용 및 건설용 중장비 접근감시 및 작동제어 시스템
KR20160054090A (ko) * 2014-11-05 2016-05-16 현대중공업 주식회사 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5908500B2 (ja) * 2011-12-26 2016-05-25 住友重機械工業株式会社 ショベルの画像表示装置
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
WO2015162800A1 (ja) 2014-04-25 2015-10-29 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
KR101610116B1 (ko) * 2014-10-15 2016-04-08 현대자동차 주식회사 차로 이탈 경고 시스템 및 그 제어 방법
CN105814260B (zh) * 2015-02-23 2018-07-27 株式会社小松制作所 液压挖掘机
JP6589468B2 (ja) * 2015-09-01 2019-10-16 株式会社タダノ 移動式クレーンの周囲表示装置
CN106772383B (zh) * 2016-12-31 2019-03-22 智车优行科技（北京）有限公司 车辆周围物体的检测呈现方法、装置和系统、车辆
JP6346375B1 (ja) * 2017-02-09 2018-06-20 株式会社小松製作所 作業車両及び表示装置
US10583832B2 (en) * 2017-05-02 2020-03-10 Cnh Industrial America Llc Obstacle detection system for a work vehicle
TWI668146B (zh) * 2018-03-30 2019-08-11 帷享科技股份有限公司 Vehicle side safety distance display system
CN110667474B (zh) * 2018-07-02 2021-02-26 北京四维图新科技股份有限公司 通用障碍物检测方法、装置与自动驾驶系统
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
EP3620332B1 (en) 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
KR102712222B1 (ko) * 2018-10-15 2024-10-07 현대자동차주식회사 차량 및 그 제어방법
JP7365122B2 (ja) * 2019-02-01 2023-10-19 株式会社小松製作所 画像処理システムおよび画像処理方法
JP7657542B2 (ja) * 2019-10-18 2025-04-07 ヤンマーパワーテクノロジー株式会社 障害物検知システム
WO2021115609A1 (en) 2019-12-12 2021-06-17 Ejzenberg Geoffrey A situational awareness system of a cyber-physical hybrid electric autonomous or semi-autonomous off-highway dump truck for surface mining industry
JP7409074B2 (ja) * 2019-12-25 2024-01-09 コベルコ建機株式会社 作業支援サーバ、撮像装置の選択方法
JP7516068B2 (ja) * 2020-02-21 2024-07-16 株式会社小松製作所 作業機械の遠隔操作システム
KR102578690B1 (ko) * 2022-07-05 2023-09-18 에이치디현대건설기계 주식회사 건설장비의 사각지대 표시 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07205721A (ja) * 1994-01-26 1995-08-08 Isuzu Motors Ltd 車両後方監視装置
JPH11255018A (ja) * 1998-03-11 1999-09-21 Komatsu Ltd 車両用後方監視カメラの洗浄装置
JP2002371595A (ja) * 2001-06-15 2002-12-26 Komatsu Ltd 建設機械
WO2006106685A1 (ja) * 2005-03-31 2006-10-12 Hitachi Construction Machinery Co., Ltd. 作業機械の周囲監視装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007085091A (ja) * 2005-09-22 2007-04-05 Hitachi Constr Mach Co Ltd 作業現場の安全管理装置及びこれに適用される作業機械
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2011183830A (ja) * 2010-03-04 2011-09-22 Komatsu Ltd 運搬車両の後方視界表示システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020502A (ja) 2003-06-27 2005-01-20 Nippon Seiki Co Ltd 車両用監視装置
US8157837B2 (en) 2006-03-13 2012-04-17 Pneumrx, Inc. Minimally invasive lung volume reduction device and method
JP4996928B2 (ja) 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP5064976B2 (ja) * 2007-11-12 2012-10-31 クラリオン株式会社 建設・土木作業車両の作業安全監視システム
JP4973564B2 (ja) 2008-03-27 2012-07-11 三菱自動車工業株式会社 車両周辺表示装置
JP2011011620A (ja) * 2009-07-01 2011-01-20 Caterpillar Sarl 作業機械の車両周囲確認装置
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
JP5605617B2 (ja) * 2010-05-26 2014-10-15 アイシン精機株式会社 駐車支援装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07205721A (ja) * 1994-01-26 1995-08-08 Isuzu Motors Ltd 車両後方監視装置
JPH11255018A (ja) * 1998-03-11 1999-09-21 Komatsu Ltd 車両用後方監視カメラの洗浄装置
JP2002371595A (ja) * 2001-06-15 2002-12-26 Komatsu Ltd 建設機械
WO2006106685A1 (ja) * 2005-03-31 2006-10-12 Hitachi Construction Machinery Co., Ltd. 作業機械の周囲監視装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007085091A (ja) * 2005-09-22 2007-04-05 Hitachi Constr Mach Co Ltd 作業現場の安全管理装置及びこれに適用される作業機械
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2011183830A (ja) * 2010-03-04 2011-09-22 Komatsu Ltd 運搬車両の後方視界表示システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045904A1 (ja) * 2013-09-24 2015-04-02 日立建機株式会社 車両周囲移動物体検知システム
JP2015065515A (ja) * 2013-09-24 2015-04-09 日立建機株式会社 車両周囲移動物体検知システム
KR101566784B1 (ko) * 2014-04-25 2015-11-13 주식회사 영신 산업용 및 건설용 중장비 접근감시 및 작동제어 시스템
KR20160054090A (ko) * 2014-11-05 2016-05-16 현대중공업 주식회사 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법
KR101998300B1 (ko) * 2014-11-05 2019-07-10 현대건설기계 주식회사 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법

Also Published As

Publication number Publication date
JP5597596B2 (ja) 2014-10-01
CN103079891B (zh) 2015-12-02
US9956915B2 (en) 2018-05-01
CA2808260C (en) 2015-07-14
US20130155240A1 (en) 2013-06-20
AU2012268486A1 (en) 2013-02-28
US20170120823A1 (en) 2017-05-04
CN103079891A (zh) 2013-05-01
WO2012169362A1 (ja) 2012-12-13
CA2808260A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5597596B2 (ja) 作業車両の周辺監視装置
JP5722127B2 (ja) 作業車両の周辺監視装置
CN103828353B (zh) 自卸汽车用周边监视系统以及自卸汽车
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5124672B2 (ja) 作業車両の周辺監視装置
JP5961659B2 (ja) 作業車両の周辺監視装置
JP5779244B2 (ja) 作業機械の周囲監視装置
JP5124671B2 (ja) 作業車両の周辺監視装置
JP5575703B2 (ja) ダンプトラックの積載量表示装置
JP2012252675A (ja) ダンプトラック
WO2015008751A1 (ja) 作業機械の周囲監視装置
JP2014222877A (ja) 作業車両の周辺監視装置
JP6012680B2 (ja) ダンプトラック
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
JP2019075712A (ja) 作業車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130909

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140604

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140811

R150 Certificate of patent or registration of utility model

Ref document number: 5597596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250