JP2003196645A - Vehicle image processing device - Google Patents
Vehicle image processing deviceInfo
- Publication number
- JP2003196645A JP2003196645A JP2001400962A JP2001400962A JP2003196645A JP 2003196645 A JP2003196645 A JP 2003196645A JP 2001400962 A JP2001400962 A JP 2001400962A JP 2001400962 A JP2001400962 A JP 2001400962A JP 2003196645 A JP2003196645 A JP 2003196645A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- viewpoint
- driver
- vehicle body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】車両周辺の死角領域に対して合成された画像を
提供し、死角への不安感を軽減するとともに、運転者の
視点に近付けた位置からの撮像画像を生成することによ
り、画像を通じて車両と周囲の障害物との位置関係を、
運転者に把握し易くする。
【解決手段】車体外側に設けられた死角カメラで写した
画像Ａ0を、運転者の視点位置で撮影した場合の画像に
視点変換して変換外部画像Ａ2を生成し、運転者の視点
位置近くに設けられた運転者視点カメラで、視点画像Ｂ
0を取得し、この視点画像Ｂ0から死角領域を除いた視認
領域画像Ｂ1を生成する。視認領域画像Ｂ1に変換外部画
像Ａ2を合成して、死角領域部分を補った合成画像を得
る。さらに、得られた合成画像に、車両形状を象徴する
車両輪郭線6を合成する。
(57) [Summary] [Problem] To provide a synthesized image for a blind spot area around a vehicle, reduce anxiety about a blind spot, and generate a captured image from a position close to the driver's viewpoint. By using the image, the positional relationship between the vehicle and surrounding obstacles can be
Make it easier for the driver to grasp. An image A0 captured by a blind spot camera provided outside a vehicle body is viewpoint-converted into an image obtained when photographed at a driver's viewpoint position, and a converted external image A2 is generated. With the provided driver's viewpoint camera, the viewpoint image B
0 is obtained, and a visual recognition area image B1 excluding the blind spot area from the viewpoint image B0 is generated. The converted external image A2 is combined with the viewing region image B1 to obtain a combined image supplementing the blind spot region. Further, a vehicle outline 6 symbolizing the vehicle shape is synthesized with the obtained synthesized image.
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、車両の画像処理
装置にかかり、詳しくは、運転者の死角を表示する画像
を生成する画像処理装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing device for a vehicle, and more particularly to an image processing device for generating an image displaying a blind spot of a driver.
【０００２】[0002]
【従来の技術】運転者が車両を運転操作する場合、運転
席に座っている運転者の視点から認識できる視界には、
車のボディ等に遮られて見えない死角が存在する。この
ような死角は、ルームミラーやサイドミラーなどによっ
て、ある程度は、認識できるように構成されている。ま
た、最近では、車両の外部を映し出すカメラが搭載さ
れ、そのカメラによって取得された画像を車内のモニタ
ーに映し出す構成の車両も提案されている。例えば、車
両の後方を映し出すカメラが搭載され、後退時には後方
の死角となった部分が車内モニターに映し出され、車庫
入れ等をする際の後方確認の補助がなされる。また、特
開平１０−２６４７２３号には、運転者の視覚に即した
向きの画像を表示するものが記載されている。2. Description of the Related Art When a driver operates a vehicle, the field of view that can be recognized from the viewpoint of the driver sitting in the driver's seat is:
There is a blind spot that cannot be seen because it is blocked by the car body. Such a blind spot is configured to be recognized to some extent by a rearview mirror or a side mirror. Further, recently, a vehicle has been proposed in which a camera that projects the outside of the vehicle is mounted and an image acquired by the camera is projected on a monitor in the vehicle. For example, a camera that projects the rear of the vehicle is mounted, and when the vehicle moves backward, the blind spot behind the vehicle is displayed on the in-vehicle monitor to assist the rear confirmation when entering the garage. Further, Japanese Patent Application Laid-Open No. 10-264723 describes a device that displays an image in a direction that matches the visual sense of the driver.
【０００３】[0003]
【発明が解決しようとする課題】一方、従来カメラ画像
などによって車両周辺の認識ができない車両を運転者が
操作する場合には、視界に入ってくる外部の障害物と、
同時に視界に入っている車内風景（窓枠やトランクの輪
郭など）とから、外部障害物と車両との相対位置や距離
がどの程度であるのかを、運転者は、感覚的に把握する
ものである。しかしながら、従来のようにカメラ画像を
表示するものは、カメラに映し出された画像をそのまま
モニターに表示するため、モニターに表示される画像
は、運転者の肉眼に映る画像とはかけはなれている。こ
れは、カメラ視点の位置が、運転者の操作する際の視点
位置とは異なっていることや、肉眼で把握できる障害物
の大きさとモニターに表示される障害物の大きさとが異
なることなどの理由が挙げられる。また、従来では、運
転者は、視界に入る車外の風景と車体の一部（窓枠やボ
ンネット等）とを同時に認識して、それらの相対位置を
感覚的に把握していたものが、画像には、外部景色のみ
が映し出されてしまうことも原因である。つまり、従来
のモニター画像では、従来感覚的に距離感を把握してい
た運転者は、従来身に付けていた感覚に基づいて、車両
のアウトラインと周囲の物体との位置関係が把握しづら
いという問題があった。On the other hand, when a driver operates a vehicle in which the surroundings of the vehicle cannot be recognized by a conventional camera image or the like, an external obstacle coming into the field of view,
At the same time, the driver can intuitively understand the relative position and distance between the external obstacle and the vehicle, based on the view of the interior of the vehicle (window frame, trunk outline, etc.). is there. However, in the conventional display of the camera image, the image displayed on the camera is displayed on the monitor as it is, and thus the image displayed on the monitor is different from the image displayed on the naked eye of the driver. This is because the position of the camera viewpoint is different from the viewpoint position when the driver operates it, and the size of the obstacle visible to the naked eye and the size of the obstacle displayed on the monitor are different. There are reasons. Further, in the past, the driver recognized the scenery outside the vehicle and the part of the vehicle body (window frame, bonnet, etc.) at the same time, and sensuously grasped their relative positions. It is also a cause that only the outside scenery is projected on. In other words, in the conventional monitor image, it is difficult for the driver, who has conventionally perceived the sense of distance, to grasp the positional relationship between the outline of the vehicle and surrounding objects based on the conventional perception. There was a problem.
【０００４】この発明は、車両周辺の死角領域に対して
合成された画像を提供し、死角への不安感を軽減すると
ともに、運転者の視点に近付けた位置からの撮像画像を
生成することにより、画像を通じて車両と周囲の障害物
との位置関係を、運転者に把握し易くすることを目的と
するものである。The present invention provides an image synthesized with respect to a blind spot area around a vehicle to reduce anxiety about the blind spot and generate a picked-up image from a position close to the driver's viewpoint. The purpose is to make it easier for the driver to understand the positional relationship between the vehicle and surrounding obstacles through the image.
【０００５】[0005]
【課題を解決するための手段】以上のような目的は、以
下の本発明により達成される。
（１） 車両の外部に配置され、車両の進行方向の画像
を取得する第１の撮像手段と、前記第１の撮像手段によ
って取得された画像を、車体外部の撮像位置から運転者
の視点位置に視点変換した画像とする撮像位置変換手段
とを備えた車両の画像処理装置。The above objects are achieved by the present invention described below. (1) A first image pickup unit arranged outside the vehicle to obtain an image in the traveling direction of the vehicle, and an image obtained by the first image pickup unit from the image pickup position outside the vehicle body to the viewpoint position of the driver. An image processing apparatus for a vehicle, comprising: an image-capturing position conversion unit that converts the viewpoint into an image.
【０００６】（２） さらに、車内に配置され、前記車
両の進行方向の画像を取得する第２の撮像手段と、前記
第２の撮像手段によって取得された画像から前記車両の
車体形状を除いた画像を抽出する画像抽出手段と、前記
画像抽出手段により抽出された画像と、前記撮像位置変
換手段によって視点変換された画像とを合成する画像合
成手段とを備えた上記（１）に記載の車両の画像処理装
置。(2) Furthermore, the second image pickup means arranged inside the vehicle for obtaining an image of the traveling direction of the vehicle, and the body shape of the vehicle are removed from the image obtained by the second image pickup means. The vehicle according to (1), further comprising: an image extracting unit that extracts an image; an image synthesizing unit that synthesizes the image extracted by the image extracting unit and the image subjected to the viewpoint conversion by the imaging position converting unit. Image processing device.
【０００７】（３） 前記第２の撮像手段によって取得
された画像を、運転者の視点位置に視点変換した画像と
する上記（２）に記載の車両の画像処理装置。(3) The image processing apparatus for a vehicle according to (2), wherein the image acquired by the second image pickup means is an image obtained by converting the viewpoint into the viewpoint position of the driver.
【０００８】（４） 車体、バンパー、ライト、ワイパ
ー、インストゥルメントパネル、ハンドル、ミラー、タ
イヤ、座席、及び窓の形状のうち少なくとも１つを含む
車体形状の輪郭線を検出する輪郭線検出手段を有し、該
輪郭線検出手段により検出された輪郭線を、前記撮像位
置変換手段によって視点変換された画像上に表示するよ
うに合成する輪郭線画像合成手段とを備えた上記（２）
に記載の車両の画像処理装置。(4) Contour line detecting means for detecting a contour line of a vehicle body shape including at least one of the shapes of a vehicle body, a bumper, a light, a wiper, an instrument panel, a steering wheel, a mirror, a tire, a seat and a window. And a contour line image synthesizing means for synthesizing the contour line detected by the contour line detecting means so as to be displayed on the image whose viewpoint has been converted by the imaging position converting means.
The image processing device for a vehicle according to.
【０００９】（５） 前記車体形状は、車体、ワイパ
ー、インストゥルメントパネル、ハンドル、ミラー、座
席、及び窓の形状のうち少なくとも１つであり、前記画
像合成手段によって合成された画像上に、前記車体形状
の輪郭線を表示する上記（１）又は（２）に記載の車両
の画像処理装置。(5) The vehicle body shape is at least one of the shapes of a vehicle body, a wiper, an instrument panel, a steering wheel, a mirror, a seat, and a window, and on the image combined by the image combining means, The vehicle image processing device according to (1) or (2), wherein the contour line of the vehicle body shape is displayed.
【００１０】[0010]
【発明の実施の形態】以下、本発明の好適実施形態につ
いて、添付図面に基づいて詳細に説明する。図１は本発
明の画像処理装置１の構成を示すブロック図である。画
像処理装置１は、画像処理を行う演算処理装置１２と、
第１の撮像手段としての死角カメラ１３ａと、第２の撮
像手段としての運転者視点カメラ１３ｂと、画像を表示
する表示手段としての画像表示装置１４と、現在位置検
出装置１５と、画像記憶手段としての記憶装置１６とを
備え、これらの装置は、システムバス１７を介して相互
に接続されている。BEST MODE FOR CARRYING OUT THE INVENTION Preferred embodiments of the present invention will be described in detail below with reference to the accompanying drawings. FIG. 1 is a block diagram showing the configuration of an image processing apparatus 1 of the present invention. The image processing device 1 includes an arithmetic processing device 12 that performs image processing,
A blind spot camera 13a as a first image pickup means, a driver's viewpoint camera 13b as a second image pickup means, an image display device 14 as a display means for displaying an image, a current position detection device 15, and an image storage means. And a storage device 16 as a storage device, and these devices are mutually connected via a system bus 17.
【００１１】死角カメラ１３ａは、広角レンズを使用し
たものであり、本実施形態では魚眼レンズを使用する。
死角カメラ１３ａは、例えば自動車の車外に設けられ、
車の進行方向に向けて取り付けられている。後進する際
の車両後部の画像を取得するカメラの場合には、例え
ば、後部トランクの中央部や、ハッチバック式の車両で
は、後部ウインドーに、外側へ向けて取り付けることも
できる。この実施形態では、後部トランクの中央位置に
配置されている。また、運転者視点カメラ１３ｂは、例
えば自動車の車内に設けられ、運転者の視点位置に取り
付けられる。この実施形態では、バックミラーの取付け
位置に配置されている。The blind spot camera 13a uses a wide-angle lens, and a fish-eye lens is used in this embodiment.
The blind spot camera 13a is provided outside the vehicle, for example,
It is installed in the direction of travel of the car. In the case of a camera that acquires an image of the rear part of the vehicle when moving backward, for example, it can be attached to the outside of the central part of the rear trunk or the rear window of a hatchback type vehicle. In this embodiment, it is located in the central position of the rear trunk. Further, the driver's viewpoint camera 13b is provided, for example, in the interior of an automobile, and is attached at the driver's viewpoint position. In this embodiment, it is arranged at the mounting position of the rearview mirror.
【００１２】死角カメラ１３ａ、運転者視点カメラ１３
ｂは、それぞれＡ／Ｄ変換器１３１ａ、１３１ｂを介し
てシステムバス１７に接続される。死角カメラ１３ａ、
１３ｂから出力された画像信号は、Ａ/Ｄ変換器１３１
ａ、１３１ｂによってデジタル信号にそれぞれ変換され
る。また、接続された死角カメラ１３ａ、運転者視点カ
メラ１３ｂが、デジタル信号出力が可能なものである場
合には、Ａ/Ｄ変換器１３１ａ、１３１ｂは不要であ
る。死角カメラ１３ａ、運転者視点カメラ１３ｂは、車
両の前方に向けて配置されたものと、車両の後方へ向け
て配置されたものがある。以下の説明では、最も視界が
制限される後方へ移動する場合に使用される後方設置の
死角カメラ１３ａ、運転者視点カメラ１３ｂを例に挙げ
て説明する。Blind spot camera 13a, driver's viewpoint camera 13
b is connected to the system bus 17 via A / D converters 131a and 131b, respectively. Blind spot camera 13a,
The image signal output from 13b is the A / D converter 131.
a and 131b are converted into digital signals respectively. Further, if the connected blind spot camera 13a and driver viewpoint camera 13b are capable of outputting digital signals, the A / D converters 131a and 131b are unnecessary. The blind spot camera 13a and the driver's viewpoint camera 13b include those arranged toward the front of the vehicle and those arranged toward the rear of the vehicle. In the following description, the blind spot camera 13a and the driver's viewpoint camera 13b, which are installed rearward when the vehicle is moved to the rear where the field of view is most limited, will be described as an example.
【００１３】現在位置検出装置１５は、舵角センサ１５
１、車速センサ１５２、ＧＰＳ受信装置１５３、方位セ
ンサ１５４、距離センサ１５５とを備えている。舵角セ
ンサ１５１は、車の操舵角を検出する。操舵角は、ハン
ドルの回転角または前輪の角度を検出して得られる。車
速センサ１５２は、車両の走行速度を検出する。走行速
度は、車両を後退させた場合にも検出される。ＧＰＳ受
信装置１５３は、車両の絶対位置を検出する。方位セン
サ１５４は、車両の向きを検出する。距離センサ１５５
は、車両の移動距離を検出する。以上説明した各種セン
サにより車両の移動距離を得ることができる。即ち、距
離センサ１５５により移動距離が検出できる。また、車
速センサ１５２から検出される車速と時間により移動距
離が検出できる。また、ＧＰＳ受信装置１５３で検出さ
れた位置の軌跡により移動距離が検出できる。また、車
両の向きが変わった場合には、舵角センサ１５１と方位
センサ１５４と距離センサ１５５又は車速センサ１５２
によって、移動距離や車両の向きを、より正確に検出す
ることができる。The present position detecting device 15 includes a steering angle sensor 15
1, a vehicle speed sensor 152, a GPS receiver 153, a direction sensor 154, and a distance sensor 155. The steering angle sensor 151 detects the steering angle of the vehicle. The steering angle is obtained by detecting the rotation angle of the steering wheel or the angle of the front wheels. The vehicle speed sensor 152 detects the traveling speed of the vehicle. The traveling speed is also detected when the vehicle is moved backward. The GPS receiver 153 detects the absolute position of the vehicle. The direction sensor 154 detects the direction of the vehicle. Distance sensor 155
Detects the moving distance of the vehicle. The travel distance of the vehicle can be obtained by the various sensors described above. That is, the moving distance can be detected by the distance sensor 155. Further, the moving distance can be detected by the vehicle speed and time detected by the vehicle speed sensor 152. Further, the moving distance can be detected by the locus of the position detected by the GPS receiving device 153. Further, when the direction of the vehicle is changed, the steering angle sensor 151, the direction sensor 154, the distance sensor 155, or the vehicle speed sensor 152.
The moving distance and the direction of the vehicle can be detected more accurately.
【００１４】記憶装置１６は、死角カメラ１３ａ、運転
者視点カメラ１３ｂが映した画像を記憶する装置で、死
角カメラ１３ａ、運転者視点カメラ１３ｂから出力され
る画像が連続して記憶され、第１の撮像手段である死角
カメラ１３ａの取得した画像が記憶される外部画像デー
タメモリ１６２と、運転者視点カメラ１３ｂの取得した
視点画像が記憶される視点画像データメモリ１６１と、
視点画像と画像データメモリ１６２より生成される変換
外部画像を合成した画像が記憶される合成画像データメ
モリ１６３とを備えている。The storage device 16 is a device for storing the images projected by the blind spot camera 13a and the driver's viewpoint camera 13b. The images output from the blind spot camera 13a and the driver's viewpoint camera 13b are stored in succession. An external image data memory 162 in which an image acquired by the blind spot camera 13a, which is an image capturing means of the driver, is stored, and a viewpoint image data memory 161 in which a viewpoint image acquired by the driver viewpoint camera 13b is stored.
It is provided with a combined image data memory 163 in which an image obtained by combining the viewpoint image and the converted external image generated by the image data memory 162 is stored.
【００１５】画像表示装置１４は、例えば液晶ディスプ
レイ等で構成され、合成画像データメモリ１６３に格納
された合成画像が表示される。画像表示装置１４へ送ら
れるデータは、Ｄ/Ａ変換器１４１を介してアナログ信
号に変換される。また、画像表示装置１４がデジタル信
号入力可能な場合には、Ｄ/Ａ変換器は不要となる。The image display device 14 is composed of, for example, a liquid crystal display or the like, and displays the composite image stored in the composite image data memory 163. The data sent to the image display device 14 is converted into an analog signal via the D / A converter 141. Further, when the image display device 14 can input a digital signal, the D / A converter is not necessary.
【００１６】演算処理装置１２は、中央処理装置［ＣＰ
Ｕ（Central Processing Unit）］１２１と、リード
オンリーメモリ［ＲＯＭ］１２２と、ランダムアクセス
メモリ［ＲＡＭ］１２３とを備えている。中央演算処理
装置１２１は、現在位置検出装置１５から得られた移動
距離や車両の向きについての情報を取得し、また、記憶
装置１６から視点画像データ、外部画像データを取得
し、これらのデータから、合成画像データを生成する
等、様々な演算処理を行うものである。ＲＯＭ１２２に
は、例えば、中央演算処理装置１２１が画像処理を行う
ためのソフトウエアや、車体の輪郭線の画像データ等が
格納されており、ＲＡＭ１２３は、例えば、ワーキング
エリアとして使用される。The arithmetic processing unit 12 is a central processing unit [CP
U (Central Processing Unit)] 121, a read only memory [ROM] 122, and a random access memory [RAM] 123. The central processing unit 121 acquires the information about the moving distance and the direction of the vehicle obtained from the current position detection device 15, acquires the viewpoint image data and the external image data from the storage device 16, and uses these data. , Various kinds of arithmetic processing such as generating composite image data. The ROM 122 stores, for example, software for the central processing unit 121 to perform image processing, image data of the contour of the vehicle body, and the RAM 123 is used as, for example, a working area.
【００１７】本発明の画像処理装置は、次のような作用
をする。図２は、本発明の画像処理装置を搭載した車両
２１の側面全体図である。車両の後方を映し出す第２の
撮像手段としての運転者視点カメラ１３ｂは、車内に配
置されており、その画面の一部には、例えば、バックウ
インドーを介して車両の後方の景色が映し出される（視
認可能領域ａ）。そして、画面上のその他の領域には、
車内が映し出され、バックシートやその他の内装が画面
に映し出される。この車内が映し出されている部分が、
死角となり、例えば、車両後方の車両に近接した領域、
車両後部の左右側面に近接した領域等は、車体によって
隠された死角領域となる。The image processing apparatus of the present invention operates as follows. FIG. 2 is an overall side view of a vehicle 21 equipped with the image processing apparatus of the present invention. The driver's point-of-view camera 13b as a second image capturing means for projecting the rear of the vehicle is arranged in the vehicle, and a part of the screen thereof displays a rear view of the vehicle via a back window, for example. (Visible region a). And in other areas on the screen,
The inside of the car is displayed, and the backsheet and other interiors are displayed on the screen. The part where the inside of this car is projected is
It becomes a blind spot, for example, the area near the vehicle behind the vehicle,
Areas close to the left and right side surfaces of the rear part of the vehicle are blind spot areas hidden by the vehicle body.
【００１８】一方、第１の撮像手段である死角カメラ１
３ａには、車両２１の後方の画像が映し出される。この
画像には、運転者視点カメラ１３ｂの映す画像（視点画
像）において死角領域にあるものも含めて、車両後方の
景色が映し出される（領域ｂ）。例えば、車両後方の車
両に近接した領域、車両後部の左右側面に近接した領域
等であり、さらに、視点画像に映し出された視認可能領
域の物も画像に捉えられている（つまり、領域ｂは領域
ａを含んでいる）。但し、死角カメラ１３ａは運転者の
視点位置に設けられていないので、外部画像は、運転者
の視点位置から認識できる画像とは異なっている。On the other hand, the blind spot camera 1 which is the first image pickup means
An image of the rear of the vehicle 21 is displayed on 3a. In this image, the scenery behind the vehicle is displayed, including the image in the blind spot area in the image (viewpoint image) displayed by the driver's viewpoint camera 13b (area b). For example, it is an area close to the vehicle behind the vehicle, an area close to the left and right side surfaces of the rear part of the vehicle, and the visible area objects shown in the viewpoint image are also captured in the image (that is, the area b is Region a)). However, since the blind spot camera 13a is not provided at the driver's viewpoint position, the external image is different from the image that can be recognized from the driver's viewpoint position.
【００１９】その外部画像を、撮像位置を視点位置（運
転者視点カメラ１３ｂの位置）とした場合の画像に画像
処理し、この処理された画像を運転者視点カメラ１３ｂ
の画像（視点画像）に合成し、死角領域を外部画像で埋
める。これにより、死角領域のない、運転者の視点位置
での画像が得られる。運転者視点カメラ１３ｂの設置位
置は、運転者の視点の位置が最も好ましいが、この視点
の位置に近い位置でもよい。例えば、バックミラーの位
置の他、ダッシュボードの中央付近、座席の肩口の位置
などか挙げられる。また視点位置にカメラが設置されて
いない場合には、予め記憶してある車体データを基に、
視点変換処理をし、画像を視点位置よりみた画像に処理
してもよい。The external image is image-processed into an image when the imaging position is the viewpoint position (position of the driver's viewpoint camera 13b), and the processed image is processed by the driver's viewpoint camera 13b.
Image (viewpoint image) and the blind spot area is filled with an external image. As a result, an image at the driver's viewpoint position without a blind spot area can be obtained. The position of the driver's viewpoint camera 13b is most preferably the position of the driver's viewpoint, but may be a position close to the position of this viewpoint. For example, the position of the rearview mirror, the vicinity of the center of the dashboard, the position of the shoulder opening of the seat, etc. If the camera is not installed at the viewpoint position, based on the vehicle body data stored in advance,
Viewpoint conversion processing may be performed to process the image into an image viewed from the viewpoint position.
【００２０】以上のように構成された本発明の画像処理
装置１の作用について説明する。図３、図４及び図５
は、演算処理装置１２の動作を示すフローチャートであ
る。イグニッションスイッチのオン操作により電源スイ
ッチがオンされる（ステップＳ１００）。スイッチオン
のきっかけは、この他、シフトチェンジレバーをＤ位
置、後退時の後方の画像を表示するときは、Ｒ位置にセ
ットしたときとしてもよい。The operation of the image processing apparatus 1 of the present invention configured as above will be described. 3, 4 and 5
3 is a flowchart showing the operation of the arithmetic processing unit 12. The power switch is turned on by turning on the ignition switch (step S100). In addition to this, the switch-on may be triggered by setting the shift change lever to the D position, or to the R position when displaying a rear image when moving backward.
【００２１】次に初期化処理を行う(ステップＳ１０
１)。具体的には、画像データなどを記憶領域に書き込
みができるように、記憶装置１６に記憶されているデー
タを検索し、記憶可能領域がない場合は、次に取得する
データを上書き可能にする準備をし、また画像データと
共に記憶された距離や時間などを参照して、今後使用し
ないデータを消去する等の、データを書き込む準備をす
る。例えば、視点画像データメモリ１６１や外部画像デ
ータメモリ１６２等に格納された画像の記憶データを更
新するかを判断するための設定値を監視する変数などを
初期化する。Next, initialization processing is performed (step S10).
1). Specifically, the data stored in the storage device 16 is searched so that image data and the like can be written in the storage area, and if there is no storable area, the next data to be acquired can be overwritten. In addition, referring to the distance and time stored together with the image data, the data is prepared for writing such as erasing the data that will not be used in the future. For example, a variable for monitoring a set value for determining whether to update the stored data of the image stored in the viewpoint image data memory 161, the external image data memory 162, or the like is initialized.
【００２２】次に、車速が予め定められた設定速度を越
えているか判断する（ステップＳ１０２）。この実施形
態では車両周辺を認識するために用いられるので、使用
目的が幅寄せや車庫入れなどに使用するものであり、速
度が速い場合には、必要がなくなると判断する。従っ
て、設定速度を越えている場合には、再度ステップＳ１
０２が繰り返される。この設定速度は、必要に応じて変
更できるようにしても良い。越えていない場合には、画
像処理が必要であると判断し、画像処理を行うために、
次のステップへ進み、車内画像処理ルーチン(ステップ
Ｓ１０３)が開始される。Next, it is determined whether the vehicle speed exceeds a predetermined set speed (step S102). Since this embodiment is used for recognizing the surroundings of the vehicle, it is determined that it is not necessary when the speed is fast and the purpose of use is for width adjustment or garage entry. Therefore, if the set speed is exceeded, step S1 is executed again.
02 is repeated. The set speed may be changed as needed. If it does not exceed, it is determined that image processing is necessary, and in order to perform image processing,
Proceeding to the next step, the in-vehicle image processing routine (step S103) is started.
【００２３】図４は、車内画像処理ルーチンを示すフロ
ーチャートである。また、図６は、画像処理の手順を示
す流れ図であり、以下、この図に基づいて、画像処理内
容を説明する。車内画像処理ルーチン(ステップＳ１０
３)では、運転者視点カメラ１３ｂによって視点位置か
ら映した視点画像を取得する(ステップＳ２０１)。取得
された画像は、一旦視点画像データメモリ１６１に記憶
される(ステップＳ２０４)。視点画像データメモリ１６
１から視点画像Ｂ0を読み出し、死角領域、つまり車内
が映っている部分を、画像から切り出し視認領域画像Ｂ
1を生成する(ステップＳ２０５)。このステップＳ２０
５により画像抽出手段が構成される。この切り出し処理
は、まず、最初に取得された原視点画像から、映ってい
る車内の部分の輪郭を抽出する処理（輪郭抽出ステッ
プ）をする。輪郭線の検出方法は、公知の画像処理方法
を用いることができ、例えば、Ｓｏｂｅｌフィルタ処理
やラプラシアンフィルタ処理などにより輪郭を強調する
処理を行い、輪郭線のみを抽出する処理をすることがで
きる。そして、抽出された輪郭線を境界線として、車両
の外部が映されている部分を抽出するか、又は車内が映
されている部分を消去することにより、死角領域の切り
出し処理ができる。この輪郭抽出ステップにより、輪郭
線検出手段が構成される。FIG. 4 is a flowchart showing the in-vehicle image processing routine. FIG. 6 is a flow chart showing the procedure of image processing, and the content of image processing will be described below based on this figure. In-vehicle image processing routine (step S10
In 3), the viewpoint image projected from the viewpoint position is acquired by the driver viewpoint camera 13b (step S201). The acquired image is temporarily stored in the viewpoint image data memory 161 (step S204). Viewpoint image data memory 16
The viewpoint image B0 is read from 1 and the blind spot area, that is, the portion showing the inside of the vehicle is cut out from the image and the visual recognition area image B is displayed.
1 is generated (step S205). This step S20
An image extracting means is constituted by 5. In the clipping process, first, a process (contour extraction step) of extracting a contour of a portion of the inside of the vehicle that is reflected from the original viewpoint image acquired first. A known image processing method can be used as the method for detecting the contour line. For example, processing for enhancing the contour by Sobel filter processing or Laplacian filter processing, and processing for extracting only the contour line can be performed. Then, by using the extracted contour line as a boundary line, a portion showing the outside of the vehicle is extracted, or a portion showing the inside of the vehicle is deleted, whereby the blind spot region can be cut out. The contour extracting step constitutes the contour detecting means.
【００２４】車内画像処理ルーチン(ステップＳ１０３)
の次に、車外画像処理ルーチン(ステップＳ１０４)を開
始する。図５は、車外画像処理ルーチンを示すフローチ
ャートである。車外画像処理ルーチン(ステップＳ１０
４)では、死角カメラ１３ａによって映し出された外部
画像を取得する(ステップＳ３０１)。取得された画像
は、一旦外部画像データメモリ１６２に記憶される(ス
テップＳ３０４)。外部画像データメモリ１６２から画
像Ａ0を読み出し、画像処理を行う。死角カメラ１３ａ
は、魚眼レンズを使用している場合には、画像Ａ0は、
魚眼画像であるから、この画像Ａ0より、後に使用する
画像個所ａ0を切り出し、その切り出した画像ａ0に正像
変換処理を行い(ステップＳ３０５)、画像Ａ1を得る。
次に、死角カメラ１３ａは、運転者の視点位置で撮像し
ていないので、撮像位置を運転者の視点位置に変換する
処理をおこなう（ステップＳ３０６）。まず、第１に、
撮像位置の高さを合わせるために、アフィン変換処理を
する。In-vehicle image processing routine (step S103)
Next, the outside image processing routine (step S104) is started. FIG. 5 is a flowchart showing a vehicle outside image processing routine. Exterior image processing routine (step S10
In 4), the external image projected by the blind spot camera 13a is acquired (step S301). The acquired image is temporarily stored in the external image data memory 162 (step S304). The image A0 is read from the external image data memory 162 and image processing is performed. Blind spot camera 13a
If you are using a fisheye lens, the image A0 is
Since it is a fish-eye image, the image portion a0 to be used later is cut out from this image A0, and the cut-out image a0 is subjected to the normal image conversion process (step S305) to obtain the image A1.
Next, since the blind spot camera 13a does not capture an image at the driver's viewpoint position, the blind spot camera 13a performs a process of converting the captured position to the driver's viewpoint position (step S306). First of all,
Affine transformation processing is performed in order to match the heights of the imaging positions.
【００２５】第２に、運転者視点カメラ１３ｂによる画
像に大きさに合わせるように、画像Ａ1を所定の倍率で
画像の大きさを調整し、変換外部画像Ａ2を得る。具体
的には、画像Ｂ1と画像Ａ1のそれぞれに対して、それぞ
れ特徴エリアを設定する。このエリアは、画像中の明暗
や色彩等の変化が顕著で、その対象が特定しやすい領域
を選択する。特徴エリアに設定される画像は、画像Ａ1
と画像Ｂ1がそれぞれ同じ対象物を捕らえていることが
必要である。そして、この特徴エリアに映し出された対
象物の大きさが同じになるように画像変換（画像Ａ1を
拡大又は縮小）をする。以上説明したステップＳ１０４
により撮像位置変換手段が構成される。Secondly, the size of the image A1 is adjusted at a predetermined magnification so as to fit the size of the image from the driver's viewpoint camera 13b, and a converted external image A2 is obtained. Specifically, a characteristic area is set for each of the image B1 and the image A1. In this area, a change in brightness and color in the image is remarkable, and an area in which the target is easily specified is selected. The image set in the characteristic area is the image A1
And image B1 must capture the same object. Then, the image conversion (enlargement or reduction of the image A1) is performed so that the size of the object displayed in the characteristic area becomes the same. Step S104 described above
The imaging position conversion means is constituted by the.
【００２６】内部画像と外部画像についての処理（ステ
ップＳ１０３、Ｓ１０４）が終了すると、次に、画像合
成処理（ステップＳ１０５）が行われる。これは、ステ
ップＳ１０３で生成された画像Ｂ1と、ステップＳ１０
４で生成された画像Ａ２とを重ね合わせて、合成画像Ｂ
1＋Ａ2を生成する。これにより、視点画像Ｂ1の死角領
域に、外部画像Ａ2が加わり、あたかも、車体を透視し
て外側を映しているような画像が生成される。このステ
ップＳ１０５により画像合成手段が構成される。When the processing for the internal image and the external image (steps S103 and S104) is completed, next, an image combining processing (step S105) is performed. This is the image B1 generated in step S103 and the image in step S10.
The image A2 generated in step 4 is overlaid to form a composite image B.
Generate 1 + A2. As a result, the external image A2 is added to the blind spot area of the viewpoint image B1, and an image that looks as if the outside is seen through the vehicle body is generated. An image synthesizing means is configured by this step S105.
【００２７】さらに、生成された合成画像Ｂ1＋Ａ2に、
輪郭線６が加えられ、表示される最終合成画像ＡＢが生
成される（ステップＳ１０６）。生成された合成画像Ａ
Ｂは、合成画像データメモリ１６３に記憶される。この
ステップＳ１０６により、輪郭線画像合成手段が構成さ
れる。Further, in the generated composite image B1 + A2,
The contour line 6 is added to generate the final composite image AB to be displayed (step S106). Generated composite image A
B is stored in the composite image data memory 163. The step S106 constitutes a contour line image synthesizing means.
【００２８】この輪郭線６は車体を象徴する部位の輪郭
線であればよく、例えば、車体、バンパー、ライト、ワ
イパー、インストゥルメントパネル、ハンドル、ミラ
ー、タイヤ、座席、及び窓の形状の少なくとも一つを含
む輪郭線である。特に、車体の最も外側に位置する部位
の輪郭線、あるいは、運転者が車体の外側を見たときに
常に外部景色と同時に視覚に認識される部位の輪郭線で
あるとよい。車体の最も外側に位置する部位としては、
車体、バンパー、ライト、タイヤ、サイドミラー等があ
り、視界に同時に認識される部位としては、ワイパー、
インストゥルメントパネル、ハンドル、バックミラー、
座席、窓の形状等が挙げられる。車体の最も外側に位置
する部位の輪郭線を合成すると、車体と外部障害物との
距離の把握か容易となるという効果がある。また、視界
に認識される部位の輪郭線を合成すると、肉眼で認識し
て操作する際の視界に近似した画像が得られるので、運
転者は、従来習得した感覚と同じ感覚で外部障害物と車
両との位置関係を把握することができる。The contour line 6 may be a contour line of a portion symbolizing the vehicle body, and for example, at least the shapes of the vehicle body, bumpers, lights, wipers, instrument panels, handles, mirrors, tires, seats, and windows. It is a contour line including one. In particular, it may be the contour line of the outermost portion of the vehicle body, or the contour line of the portion that is visually recognized at the same time as the external scenery when the driver looks at the outer side of the vehicle body. As the part located on the outermost side of the vehicle body,
The body, bumper, lights, tires, side mirrors, etc. are the parts that are recognized simultaneously in the field of view.
Instrument panel, steering wheel, rearview mirror,
Examples include seat and window shapes. By synthesizing the contour lines of the outermost portion of the vehicle body, it is possible to easily grasp the distance between the vehicle body and the external obstacle. In addition, by synthesizing the outlines of the parts recognized in the field of view, an image similar to the field of view when recognizing and operating with the naked eye can be obtained, so that the driver can feel the external obstacle with the same sensation as the conventionally learned sensation. It is possible to grasp the positional relationship with the vehicle.
【００２９】この輪郭線データは、本発明装置を設置す
る車体データをもとに作成されて、予め記憶装置１６や
ＲＯＭ１２２などに格納されている。或いは、ステップ
Ｓ２０５で抽出した輪郭線を合成してもよい。この場合
には、実際の車体の状態が画像に映し出されるので、一
層リアルに画像中の外部状況と車体との関係を把握する
ことができる。例えば、後進する場合に、リアウィンド
ウのダッシュボードに置かれている置物などが、画像に
映し出され、実際に肉眼で見ているイメージに近付ける
ことができる。また、輪郭線のみを合成する構成に限ら
ず、車体や車内を映されている影像部分（死角を生成す
る部分の画像）を半透明にして合成してもよい。The contour line data is created based on the vehicle body data in which the device of the present invention is installed and is stored in advance in the storage device 16, the ROM 122 or the like. Alternatively, the contour lines extracted in step S205 may be combined. In this case, the actual state of the vehicle body is displayed in the image, so that the relationship between the external state and the vehicle body in the image can be grasped more realistically. For example, when moving backward, a figurine or the like placed on the dashboard of the rear window is displayed in the image, and can be brought closer to the image actually seen by the naked eye. Further, the configuration is not limited to the configuration in which only the contour line is combined, and the image portion (the image of the portion in which the blind spot is generated) showing the vehicle body or the inside of the vehicle may be made semitransparent and combined.
【００３０】次に、画像表示装置へ最終合成画像ＡＢを
出力する（ステップＳ１０９）。システムを終了するき
っかけがあるか判断する（ステップＳ１１０）。例え
ば、本発明の画像処理装置のスイッチオフや画像装置１
４の表示切替えがあった場合は、システムは停止され
る。従って、ステップＳ１１０で、ＹｅＳの場合には、
この画像処理のフローチャートは終了する（ステップＳ
１１３）。Next, the final composite image AB is output to the image display device (step S109). It is determined whether there is an opportunity to terminate the system (step S110). For example, the image processing apparatus of the present invention is switched off or the image apparatus 1
If there is a display switch of 4, the system is stopped. Therefore, in step S110, in the case of YesS,
The flowchart of this image processing ends (step S
113).
【００３１】システムを終了するきっかけがなかった場
合（ステップＳ１１０：Ｎｏ）には、ステップＳ１０１
で初期化された変数が、設定値を越えたか判断する（ス
テップＳ１１１）。この変数とは、距離、時間、メモリ
残量などを表すもので、これらの値が予め定められた設
定値に達した場合には、データの書き込みが開始された
位置に戻って、古いデータを新しい画像データに書き換
える（ステップＳ１１２）。ここで、ステップＳ１０１
にリターンされ、設定値を監視する変数は、初期化され
る。ステップＳ１１１で、変数が設定値を超えていなか
った場合には、ステップＳ１０２にリターンされる。When there is no trigger to terminate the system (step S110: No), step S101
It is determined whether or not the variable initialized in (4) exceeds the set value (step S111). These variables represent distance, time, remaining memory, etc.When these values reach the preset values, the old data is returned to the position where the data writing was started. It is rewritten with new image data (step S112). Here, step S101
The variable for monitoring the set value is initialized. If the variable does not exceed the set value in step S111, the process returns to step S102.
【００３２】以上説明した本実施形態によれば、視点位
置から車両の外側を見た場合に、視覚に映る画像に近い
画像が得られるので、従来の運転者の感覚に沿った画像
が提供でき、車両の操舵が容易となる。また、車両の陰
となって認識できない領域についても、画像に表示され
るので、車両周囲の認識が一層容易となる。さらに、車
両の位置や大きさを象徴する輪郭線が画面に同時に表示
されるので、車両周囲の障害物と車両との距離や位置関
係を把握しやすく、一層運転操作が容易となる。According to the present embodiment described above, an image that is close to a visual image can be obtained when the outside of the vehicle is viewed from the viewpoint position, so that an image that matches the conventional driver's feeling can be provided. The steering of the vehicle becomes easy. Further, since the area behind the vehicle that cannot be recognized is displayed in the image, the surroundings of the vehicle can be more easily recognized. Further, since the contour lines that symbolize the position and size of the vehicle are simultaneously displayed on the screen, it is easy to understand the distance and the positional relationship between the vehicle and the obstacles around the vehicle, and the driving operation becomes easier.
【００３３】以上説明した構成の他、表示画像として外
部画像を視点変換した画像Ａ2を用い、これに輪郭線6を
合成する構成としてもよい。つまり、撮像位置変換手段
によって、視点位置に視点変換された外部画像を、その
まま表示手段に表示する構成とすることもできる。この
場合には、ステップＳ１０３とステップＳ１０５は省略
される。また、画像の合成処理が不要となるので、演算
処理装置１２の演算処理が軽減される。以上説明した作
用は、後進する場合の例であるが、前進する場合でも、
同様の作用となる。In addition to the configuration described above, an image A2 obtained by converting the viewpoint of an external image may be used as the display image, and the contour line 6 may be combined therewith. That is, it is possible to have a configuration in which the external image, which has been converted into the viewpoint position by the image capturing position conversion means, is displayed on the display means as it is. In this case, step S103 and step S105 are omitted. Further, since the image synthesizing process becomes unnecessary, the arithmetic processing of the arithmetic processing unit 12 is reduced. The operation described above is an example in the case of moving backward, but even in the case of moving forward,
It has the same effect.
【００３４】次に、運転者視点カメラ１３ｂも広角レン
ズを用いたものとしてもよい。広角レンズを用いること
により、車両が曲がる際にも、単に前方、後方といった
ように、設定された単一の固定された方向のみの画像を
取得するものに限られず、ハンドル操作角度や前輪の舵
角を検出して、操舵方向の角度に応じた画像領域を抽出
し、画像処理を行えば、さらに運転者の視覚画像に合致
した画像を表示することが可能となる。また、図７に示
されているように、車両の側面にも死角カメラ１８ｃ、
１８ｄを設け、前部に設けられた死角カメラ１８ｂと後
部の設けられた死角カメラ１８ａとともに、車両を中心
とした全周囲の画像を取得する構成とすることもでき
る。その場合には、運転者視点カメラ１３ｂも全周囲の
画像を取得する魚眼レンズが使用され、例えば車内中央
の天井部分や、運転者の乗車する座席の真上に位置する
天井部分に取り付けられる。Next, the driver's viewpoint camera 13b may also use a wide-angle lens. By using a wide-angle lens, even when the vehicle bends, it is not limited to acquiring images only in a single fixed direction set forward, backward, etc., steering wheel operation angle and front wheel steering By detecting an angle, extracting an image area corresponding to the angle of the steering direction, and performing image processing, it is possible to further display an image that matches the visual image of the driver. Further, as shown in FIG. 7, the blind spot camera 18c,
18d may be provided, and the blind spot camera 18b provided at the front part and the blind spot camera 18a provided at the rear part may be configured to acquire an image of the entire circumference around the vehicle. In that case, the driver's viewpoint camera 13b also uses a fish-eye lens that acquires an image of the entire circumference, and is attached to, for example, a ceiling portion in the center of the vehicle or a ceiling portion directly above the seat on which the driver rides.
【００３５】なお、超音波等によって外部障害物と車体
との間の距離を計測する測距センサなどのような距離検
出手段を車体に設け、合成画像の表示とともに、外部障
害物との距離を測る構成とすれば、一層距離感を把握し
易くなり、好ましい。例えば、超音波センサによって検
出される障害物との距離が、所定の距離以下となった場
合には、聴覚信号として警報を発するか、視覚信号とし
て画面を赤のシルエットに表示するなどの構成とするこ
とができる。A distance detecting means such as a distance measuring sensor for measuring the distance between the external obstacle and the vehicle body by ultrasonic waves or the like is provided on the vehicle body, and the distance to the external obstacle is displayed together with the display of the composite image. It is preferable that the measurement is performed because the sense of distance can be more easily grasped. For example, when the distance to the obstacle detected by the ultrasonic sensor is less than or equal to a predetermined distance, an alarm is issued as an auditory signal or a screen is displayed in a red silhouette as a visual signal. can do.
【００３６】上記のような、距離検出手段の一例を示
す。図８は、距離検出手段の構成を示す模式図である。
距離検出手段は、死角カメラ１３ａの向けられている方
向の障害物との距離を検出するものであり、死角カメラ
１３ａの近傍に設けられている。距離検出手段３は、２
つの投光手段３１、３２を備えている。投光手段は、そ
れぞれ異なる色の光を、特定の方向へ向けて照射するも
ので、照射される光は所定の方向に指向性を有するもの
（光線）である。この実施形態では、投光手段の光源と
して発光ダイオードが用いられており、光源の色は、そ
れぞれ青と赤である。２つの投光手段３１、３２から照
射される光線は、光源から所定の距離Ｌで交差するよう
に、相互に相手方が位置する向きへ傾斜して取りけ付け
られている。光線が傾斜する方向は、上下方向に傾斜
し、図８に示されているように、障害物に光線が当たる
と、光線が当たった部分が障害物の表面に光点として映
し出され、画面内に表示される。この実施形態では、赤
の光源を有する投光手段３２は下側に、青の光源を有す
る投光手段３１は上側に配置され、投光手段３２は斜め
上方へ向けて光線を照射し、投光手段３１は斜め下方へ
向けて光線を照射している。An example of the distance detecting means as described above will be shown. FIG. 8 is a schematic diagram showing the configuration of the distance detecting means.
The distance detecting means is for detecting the distance to the obstacle in the direction in which the blind spot camera 13a is directed, and is provided in the vicinity of the blind spot camera 13a. The distance detecting means 3 is 2
It is provided with one light projecting means 31, 32. The light projecting means irradiates lights of different colors in a specific direction, and the radiated light has directivity in a predetermined direction (light ray). In this embodiment, a light emitting diode is used as the light source of the light projecting means, and the colors of the light source are blue and red, respectively. The light rays emitted from the two light projecting means 31 and 32 are attached so as to intersect with each other at a predetermined distance L from the light source while being inclined with respect to each other. The direction in which the light rays are inclined is the vertical direction, and as shown in FIG. 8, when the light rays hit the obstacle, the portion hit by the light rays is projected as a light spot on the surface of the obstacle, and Is displayed in. In this embodiment, the light projecting means 32 having a red light source is arranged on the lower side, the light projecting means 31 having a blue light source is arranged on the upper side, and the light projecting means 32 irradiates the light beam obliquely upward and projects the light beam. The light means 31 emits a light beam obliquely downward.
【００３７】図９から図１１は、光点３０ａ、３０ｂが
現れた画面の図である。図９に示されているように、車
両から障害物までの距離Ｘが、Ｌより大きい場合（Ｘ＞
Ｌ）には、赤の光点３０ａが上側、青の光点３０ｂが下
側に位置している。図１０に示されているように、障害
物までの距離がＬとなった時（Ｘ＝Ｌ）には、光点は、
１つに重なり、赤と青の混ざった紫色の光点が表れる。
図１１に示されているように、車両から障害物までの距
離Ｘが、Ｌより小さい場合（Ｘ＜Ｌ）には、赤の光点３
０ａが下側、青の光点３０ｂが上側に位置している。こ
のような表示が、画面内に同時に映し出されるので、画
面を見ながら、光点３０ａ、３０ｂの間の距離によっ
て、距離Ｘの長さを感覚的に把握することが容易とな
る。9 to 11 are views of screens on which the light spots 30a and 30b appear. As shown in FIG. 9, when the distance X from the vehicle to the obstacle is larger than L (X>
In L), the red light spot 30a is located on the upper side and the blue light spot 30b is located on the lower side. As shown in FIG. 10, when the distance to the obstacle becomes L (X = L), the light spot becomes
Overlapping one, a purple light spot with a mixture of red and blue appears.
As shown in FIG. 11, when the distance X from the vehicle to the obstacle is smaller than L (X <L), the red light spot 3
0a is located on the lower side, and the blue light spot 30b is located on the upper side. Since such a display is simultaneously displayed on the screen, it becomes easy to intuitively grasp the length of the distance X by looking at the screen and the distance between the light spots 30a and 30b.
【００３８】このような距離検出手段３は、図１２に示
されているように、車両の前部と後部において、車両左
右の角部にそれぞれ設けられていてもよい。例えば、前
部と後部の中央部に距離検出手段３Ｆ、３Ｒを設け、前
部の左右角部に、距離検出手段３ＦＬ、３ＦＲを、後部
の左右角部に、距離検出手段３ＲＬ、３ＲＲを設ける。
このようにすると、例えば、図１３に示されているよう
に、車両の左側（画面右側）に位置する障害物と、右側
（画面左側）に位置する障害物の距離は、光点３０ａ、
３０ｂの距離が短いので、車両の左側（画面右側）に位
置する障害物の方が近いことが解る。このように、左右
方向に位置する障害物との距離感も、画像に現れる光点
の距離によって把握することができる。As shown in FIG. 12, such distance detecting means 3 may be provided at the left and right corners of the vehicle at the front and rear of the vehicle, respectively. For example, the distance detecting means 3F, 3R are provided at the central portions of the front and rear portions, the distance detecting means 3FL, 3FR are provided at the left and right corner portions of the front portion, and the distance detecting means 3RL, 3RR are provided at the left and right corner portions of the rear portion. .
By doing so, for example, as shown in FIG. 13, the distance between the obstacle located on the left side (the right side of the screen) of the vehicle and the obstacle located on the right side (the left side of the screen) is the light spot 30a,
Since the distance of 30b is short, it can be seen that the obstacle located on the left side (right side of the screen) of the vehicle is closer. In this way, the sense of distance to the obstacle located in the left-right direction can be grasped by the distance of the light spot appearing in the image.
【００３９】[0039]
【発明の効果】請求項１に記載の発明によれば、視点の
位置に撮像位置を移動させた場合の画像が得られるの
で、運転者の視界に入る景色に近似した画像が得られ、
車両操作の際の車両と外部障害物との位置関係の把握が
容易となる。また、死角領域のない外部画像が得られる
ので、死角への不安感が軽減される。請求項２に記載の
発明によれば、車体内部の画像を合成するので、運転者
の視界画像に、極めて近い画像が得られる。According to the first aspect of the present invention, since an image obtained when the image pickup position is moved to the position of the viewpoint is obtained, an image similar to the scenery that the driver sees can be obtained.
It becomes easy to grasp the positional relationship between the vehicle and the external obstacle when operating the vehicle. Further, since an external image having no blind spot area is obtained, anxiety about the blind spot is reduced. According to the second aspect of the present invention, since the images inside the vehicle body are combined, an image that is extremely close to the visual field image of the driver can be obtained.
【００４０】請求項３に記載の発明によれば、視点変換
処理をするための演算処理が軽減され、処理能力が向上
する。請求項４に記載の発明によれば、輪郭線を取得し
た画像から検出する構成とすると、実際の車体の状態を
輪郭線で映し出すことになり、現実感が増し、画像から
受ける車体の感覚が一層把握し易くなる。請求項５に記
載の発明によれば、車体各部の形状の輪郭線を画像に合
成することにより、画面に映し出された外部環境と、車
体との位置関係を一層把握し易くなる。According to the third aspect of the present invention, the calculation processing for performing the viewpoint conversion processing is reduced and the processing capacity is improved. According to the invention described in claim 4, when the configuration is such that the contour line is detected from the acquired image, the actual state of the vehicle body is displayed by the contour line, which increases the sense of reality and the sense of the vehicle body received from the image. It will be easier to understand. According to the invention described in claim 5, by combining the contour lines of the shapes of the respective parts of the vehicle body with the image, it becomes easier to grasp the positional relationship between the external environment displayed on the screen and the vehicle body.
【図１】本発明の画像処理装置の構成を示すブロック図
である。FIG. 1 is a block diagram showing a configuration of an image processing apparatus of the present invention.
【図２】本発明の画像処理装置を搭載した車両の側面図
である。FIG. 2 is a side view of a vehicle equipped with the image processing apparatus of the present invention.
【図３】本発明の画像処理装置の作用を示すフローチャ
ートである。FIG. 3 is a flowchart showing the operation of the image processing apparatus of the present invention.
【図４】本発明の画像処理装置の作用を示すフローチャ
ートである。FIG. 4 is a flowchart showing the operation of the image processing apparatus of the present invention.
【図５】本発明の画像処理装置の作用を示すフローチャ
ートである。FIG. 5 is a flowchart showing the operation of the image processing apparatus of the present invention.
【図６】画像処理の手順を示す流れ図である。FIG. 6 is a flowchart showing a procedure of image processing.
【図７】広角レンズカメラを用いたカメラの視野を示す
平面図である。FIG. 7 is a plan view showing a field of view of a camera using a wide-angle lens camera.
【図８】距離検出手段の構成を示す模式図である。FIG. 8 is a schematic diagram showing a configuration of distance detecting means.
【図９】２つの光点が現れた画面を示す図である。FIG. 9 is a diagram showing a screen on which two light spots appear.
【図１０】２つの光点が現れた画面を示す図である。FIG. 10 is a diagram showing a screen on which two light spots appear.
【図１１】２つの光点が現れた画面を示す図である。FIG. 11 is a diagram showing a screen on which two light spots appear.
【図１２】距離検出手段の配置位置を示す、車両の全体
平面図である。FIG. 12 is an overall plan view of a vehicle, showing an arrangement position of distance detection means.
【図１３】２つの光点が現れた画面を示す図である。FIG. 13 is a diagram showing a screen on which two light spots appear.
１ 画像処理装置 １２ 処理装置 １３ａ カメラ １３ｂ カメラ １４ 画像表示装置 １５ 現在位置検出装置 １６ 記憶装置 ２１ 車両 ３ 距離検出手段 1 Image processing device 12 Processor 13a camera 13b camera 14 Image display device 15 Current position detector 16 storage 21 vehicles 3 Distance detection means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 Ｂ６０Ｒ 21/00 ６２２Ｆ ６２４ ６２４Ｃ ６２４Ｅ ６２６ ６２６Ｇ ６２８ ６２８Ｄ Ｇ０６Ｔ 3/00 ３００ Ｇ０６Ｔ 3/00 ３００ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｆターム(参考） 5B057 AA16 AA19 BA26 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CD11 CE08 CH18 DA16 DB02 DB09 DC09 DC16 DC36 5H180 AA01 CC04 LL02 LL08 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) B60R 21/00 B60R 21/00 622F 624 624C 624E 626 626G 628 628D G06T 3/00 300 G06T 3/00 300 G08G 1/16 G08G 1/16 CF Term (reference) 5B057 AA16 AA19 BA26 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CD11 CE08 CH18 DA16 DB02 DB09 DC09 DC16 DC36 5H180 AA01 CC04 LL02 LL08
Claims (5)
の画像を取得する第１の撮像手段と、 前記第１の撮像手段によって取得された画像を、車体外
部の撮像位置から運転者の視点位置に視点変換した画像
とする撮像位置変換手段とを備えた車両の画像処理装
置。1. A first image pickup means arranged outside the vehicle for obtaining an image in a traveling direction of the vehicle; and an image obtained by the first image pickup means, which is taken by a driver from an image pickup position outside the vehicle body. An image processing apparatus for a vehicle, comprising: an imaging position conversion unit that converts an image into a viewpoint position.
行方向の画像を取得する第２の撮像手段と、 前記第２の撮像手段によって取得された画像から前記車
両の車体形状を除いた画像を抽出する画像抽出手段と、 前記画像抽出手段により抽出された画像と、前記撮像位
置変換手段によって視点変換された画像とを合成する画
像合成手段とを備えた請求項１に記載の車両の画像処理
装置。2. A second image pickup unit arranged inside the vehicle for obtaining an image of the traveling direction of the vehicle, and an image obtained by removing the vehicle body shape of the vehicle from the image obtained by the second image pickup unit. The image of the vehicle according to claim 1, further comprising: an image extracting unit that extracts the image, an image combining unit that combines the image extracted by the image extracting unit, and the image subjected to the viewpoint conversion by the imaging position converting unit. Processing equipment.
画像を、運転者の視点位置に視点変換した画像とする請
求項２に記載の車両の画像処理装置。3. The vehicle image processing apparatus according to claim 2, wherein the image acquired by the second image pickup unit is an image obtained by performing viewpoint conversion to a driver's viewpoint position.
ンストゥルメントパネル、ハンドル、ミラー、タイヤ、
座席、及び窓の形状のうち少なくとも１つを含む車体形
状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線
検出手段により検出された輪郭線を、前記撮像位置変換
手段によって視点変換された画像上に表示するように合
成する輪郭線画像合成手段とを備えた請求項２に記載の
車両の画像処理装置。4. A vehicle body, a bumper, a light, a wiper, an instrument panel, a steering wheel, a mirror, a tire,
A contour line detecting means for detecting a contour line of a vehicle body shape including at least one of a seat shape and a window shape is provided, and the contour line detected by the contour line detecting means is converted into a viewpoint by the imaging position converting means. The image processing device for a vehicle according to claim 2, further comprising: a contour line image synthesizing unit that synthesizes the displayed image on the image.
ストゥルメントパネル、ハンドル、ミラー、座席、及び窓
の形状のうち少なくとも１つであり、前記画像合成手段
によって合成された画像上に、前記車体形状の輪郭線を
表示する請求項１又は２に記載の車両の画像処理装置。5. The vehicle body shape is at least one of a vehicle body, a wiper, an instrument panel, a steering wheel, a mirror, a seat, and a window, and the image is synthesized on the image by the image synthesizing means. The image processing device for a vehicle according to claim 1 or 2, which displays a contour line of a vehicle body shape.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001400962A JP4364471B2 (en) | 2001-12-28 | 2001-12-28 | Image processing apparatus for vehicle |
| US10/314,230 US7212653B2 (en) | 2001-12-12 | 2002-12-09 | Image processing system for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001400962A JP4364471B2 (en) | 2001-12-28 | 2001-12-28 | Image processing apparatus for vehicle |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004174330A Division JP4552525B2 (en) | 2004-06-11 | 2004-06-11 | Image processing apparatus for vehicle |
| JP2007142644A Division JP2007302238A (en) | 2007-05-29 | 2007-05-29 | Image processing apparatus for vehicle |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003196645A true JP2003196645A (en) | 2003-07-11 |
| JP2003196645A5 JP2003196645A5 (en) | 2005-04-28 |
| JP4364471B2 JP4364471B2 (en) | 2009-11-18 |
Family
ID=27605228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001400962A Expired - Fee Related JP4364471B2 (en) | 2001-12-12 | 2001-12-28 | Image processing apparatus for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4364471B2 (en) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005057536A (en) * | 2003-08-05 | 2005-03-03 | Nissan Motor Co Ltd | Video presentation device |
| JP2005125828A (en) * | 2003-10-21 | 2005-05-19 | Fujitsu Ten Ltd | Vehicle surrounding visually confirming system provided with vehicle surrounding visually confirming device |
| JP2005231605A (en) * | 2004-02-23 | 2005-09-02 | Equos Research Co Ltd | Rear confirmation device |
| JP2006048451A (en) * | 2004-08-05 | 2006-02-16 | Toshiba Corp | Perimeter monitoring apparatus and overhead image display method |
| JP2006074105A (en) * | 2004-08-31 | 2006-03-16 | Equos Research Co Ltd | Vehicle peripheral image display device |
| JP2006135797A (en) * | 2004-11-08 | 2006-05-25 | Matsushita Electric Ind Co Ltd | Ambient condition display device for vehicles |
| WO2006093073A1 (en) * | 2005-03-01 | 2006-09-08 | National University Corporation Shizuoka University | In-vehicle cruising assistance information system |
| JP2006279752A (en) * | 2005-03-30 | 2006-10-12 | Denso Corp | Vehicle direct image display control apparatus and vehicle direct image display control program |
| JP2006290304A (en) * | 2005-04-14 | 2006-10-26 | Aisin Aw Co Ltd | Vehicle external display method and display device |
| JP2007164258A (en) * | 2005-12-09 | 2007-06-28 | Kurabo Ind Ltd | Image composition processing apparatus and method |
| JP2007300181A (en) * | 2006-04-27 | 2007-11-15 | Denso Corp | Peripheral recognition device, peripheral recognition method, and program |
| JP2008056080A (en) * | 2006-08-31 | 2008-03-13 | Alpine Electronics Inc | Device and method for displaying image around vehicle |
| JP2011155651A (en) * | 2011-02-10 | 2011-08-11 | Toshiba Corp | Apparatus and method for displaying vehicle perimeter image |
| JP2013246634A (en) * | 2012-05-25 | 2013-12-09 | Canon Inc | Image processing device, image processing method and program |
| WO2014021332A1 (en) * | 2012-07-30 | 2014-02-06 | 市光工業株式会社 | Warning device for vehicle and outside mirror device for vehicle |
| WO2014156786A1 (en) * | 2013-03-29 | 2014-10-02 | アイシン精機株式会社 | Image display control device and image display system |
| JP2014197818A (en) * | 2013-03-29 | 2014-10-16 | 富士通テン株式会社 | Image processing unit, image processing method and image processing system |
| EP2860691A2 (en) | 2013-10-11 | 2015-04-15 | Fujitsu Limited | Image processing apparatus, method and program |
| WO2016031009A1 (en) * | 2014-08-28 | 2016-03-03 | 国立大学法人東京大学 | Display system of work vehicle, display control device, work vehicle, and display control method |
| JP2016055684A (en) * | 2014-09-05 | 2016-04-21 | アイシン精機株式会社 | Image display control device and image display system |
| JP2017111739A (en) * | 2015-12-18 | 2017-06-22 | 株式会社デンソー | Driving support apparatus and driving support method |
| JP2018052215A (en) * | 2016-09-27 | 2018-04-05 | 株式会社東海理化電機製作所 | Visual recognition device for vehicle and visual recognition image display method for vehicle |
| JP2018177133A (en) * | 2017-04-20 | 2018-11-15 | 株式会社Ｓｕｂａｒｕ | Image display device |
| JP2018177132A (en) * | 2017-04-20 | 2018-11-15 | 株式会社Ｓｕｂａｒｕ | Image display device |
| WO2019187283A1 (en) * | 2018-03-28 | 2019-10-03 | パナソニックＩｐマネジメント株式会社 | Image processing device, image display system, and image processing method |
| US10475242B2 (en) | 2014-01-10 | 2019-11-12 | Aisin Seiki Kabushiki Kaisha | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image |
| JP2019217970A (en) * | 2018-06-21 | 2019-12-26 | 日本電産コパル株式会社 | Electronic mirror device and image display method |
| JP2020052143A (en) * | 2018-09-25 | 2020-04-02 | アルパイン株式会社 | Image display apparatus and image display method |
| CN111918035A (en) * | 2020-07-31 | 2020-11-10 | 上海励驰半导体有限公司 | Vehicle-mounted looking-around method and device, storage medium and vehicle-mounted terminal |
| JP2021145195A (en) * | 2020-03-10 | 2021-09-24 | 住友重機械工業株式会社 | Image processing device, image processing method, and image processing system |
| CN114640821A (en) * | 2020-12-16 | 2022-06-17 | 株式会社电装 | Peripheral image display device and display control method |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05139210A (en) * | 1991-11-25 | 1993-06-08 | Nippon Steel Corp | Rear view display device for vehicles |
| JPH07229961A (en) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | Object detection device around vehicle and object detection method around vehicle |
| JPH10299032A (en) * | 1997-04-22 | 1998-11-10 | Kensetsusho Kanto Chiho Kensetsu Kyokucho | Apparatus and method for improving visibility of working vehicle |
| JPH11115546A (en) * | 1997-10-17 | 1999-04-27 | Harness Syst Tech Res Ltd | Display device for vehicles |
| JPH11151975A (en) * | 1997-11-25 | 1999-06-08 | Nissan Motor Co Ltd | Blind area display |
| JP2000071877A (en) * | 1998-08-26 | 2000-03-07 | Nissan Motor Co Ltd | Display device for vehicles |
| JP2000272415A (en) * | 1999-03-19 | 2000-10-03 | Aisin Aw Co Ltd | Drive support image composition device |
| WO2000064175A1 (en) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Image processing device and monitoring system |
| JP2001163132A (en) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | Image converting device for device for monitoring back of vehicle |
| JP2001339716A (en) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | Vehicle periphery monitoring device and method |
| JP2001339715A (en) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | Driving support device |
-
2001
- 2001-12-28 JP JP2001400962A patent/JP4364471B2/en not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05139210A (en) * | 1991-11-25 | 1993-06-08 | Nippon Steel Corp | Rear view display device for vehicles |
| JPH07229961A (en) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | Object detection device around vehicle and object detection method around vehicle |
| JPH10299032A (en) * | 1997-04-22 | 1998-11-10 | Kensetsusho Kanto Chiho Kensetsu Kyokucho | Apparatus and method for improving visibility of working vehicle |
| JPH11115546A (en) * | 1997-10-17 | 1999-04-27 | Harness Syst Tech Res Ltd | Display device for vehicles |
| JPH11151975A (en) * | 1997-11-25 | 1999-06-08 | Nissan Motor Co Ltd | Blind area display |
| JP2000071877A (en) * | 1998-08-26 | 2000-03-07 | Nissan Motor Co Ltd | Display device for vehicles |
| JP2000272415A (en) * | 1999-03-19 | 2000-10-03 | Aisin Aw Co Ltd | Drive support image composition device |
| WO2000064175A1 (en) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Image processing device and monitoring system |
| JP2001163132A (en) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | Image converting device for device for monitoring back of vehicle |
| JP2001339716A (en) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | Vehicle periphery monitoring device and method |
| JP2001339715A (en) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | Driving support device |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005057536A (en) * | 2003-08-05 | 2005-03-03 | Nissan Motor Co Ltd | Video presentation device |
| JP2005125828A (en) * | 2003-10-21 | 2005-05-19 | Fujitsu Ten Ltd | Vehicle surrounding visually confirming system provided with vehicle surrounding visually confirming device |
| JP2005231605A (en) * | 2004-02-23 | 2005-09-02 | Equos Research Co Ltd | Rear confirmation device |
| CN100401323C (en) * | 2004-08-05 | 2008-07-09 | 株式会社东芝 | Monitoring device and method for displaying a bird's-eye view |
| JP2006048451A (en) * | 2004-08-05 | 2006-02-16 | Toshiba Corp | Perimeter monitoring apparatus and overhead image display method |
| US7511734B2 (en) | 2004-08-05 | 2009-03-31 | Kabushiki Kaisha Toshiba | Monitoring apparatus and method of displaying bird's-eye view image |
| JP2006074105A (en) * | 2004-08-31 | 2006-03-16 | Equos Research Co Ltd | Vehicle peripheral image display device |
| JP2006135797A (en) * | 2004-11-08 | 2006-05-25 | Matsushita Electric Ind Co Ltd | Ambient condition display device for vehicles |
| WO2006093073A1 (en) * | 2005-03-01 | 2006-09-08 | National University Corporation Shizuoka University | In-vehicle cruising assistance information system |
| JP2006279752A (en) * | 2005-03-30 | 2006-10-12 | Denso Corp | Vehicle direct image display control apparatus and vehicle direct image display control program |
| JP2006290304A (en) * | 2005-04-14 | 2006-10-26 | Aisin Aw Co Ltd | Vehicle external display method and display device |
| JP2007164258A (en) * | 2005-12-09 | 2007-06-28 | Kurabo Ind Ltd | Image composition processing apparatus and method |
| JP2007300181A (en) * | 2006-04-27 | 2007-11-15 | Denso Corp | Peripheral recognition device, peripheral recognition method, and program |
| JP2008056080A (en) * | 2006-08-31 | 2008-03-13 | Alpine Electronics Inc | Device and method for displaying image around vehicle |
| US8553081B2 (en) | 2006-08-31 | 2013-10-08 | Alpine Electronics, Inc. | Apparatus and method for displaying an image of vehicle surroundings |
| JP2011155651A (en) * | 2011-02-10 | 2011-08-11 | Toshiba Corp | Apparatus and method for displaying vehicle perimeter image |
| JP2013246634A (en) * | 2012-05-25 | 2013-12-09 | Canon Inc | Image processing device, image processing method and program |
| WO2014021332A1 (en) * | 2012-07-30 | 2014-02-06 | 市光工業株式会社 | Warning device for vehicle and outside mirror device for vehicle |
| JP2014026564A (en) * | 2012-07-30 | 2014-02-06 | Ichikoh Ind Ltd | Warning device for vehicle |
| US9919649B2 (en) | 2012-07-30 | 2018-03-20 | Ichikoh Industries, Ltd. | Warning device for vehicle and outside mirror device for vehicle |
| CN105191297A (en) * | 2013-03-29 | 2015-12-23 | 爱信精机株式会社 | Image display control device and image display system |
| US9646572B2 (en) | 2013-03-29 | 2017-05-09 | Fujitsu Ten Limited | Image processing apparatus |
| US10032298B2 (en) | 2013-03-29 | 2018-07-24 | Aisin Seiki Kabushiki Kaisha | Image display control apparatus and image display system |
| CN105191297B (en) * | 2013-03-29 | 2018-07-10 | 爱信精机株式会社 | Image display control apparatus and image display system |
| JP2014197818A (en) * | 2013-03-29 | 2014-10-16 | 富士通テン株式会社 | Image processing unit, image processing method and image processing system |
| WO2014156786A1 (en) * | 2013-03-29 | 2014-10-02 | アイシン精機株式会社 | Image display control device and image display system |
| JP2014200018A (en) * | 2013-03-29 | 2014-10-23 | アイシン精機株式会社 | Image display control apparatus and image display system |
| JP2015074436A (en) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | Image processing apparatus, image processing method, and program |
| EP2860691A2 (en) | 2013-10-11 | 2015-04-15 | Fujitsu Limited | Image processing apparatus, method and program |
| US10475242B2 (en) | 2014-01-10 | 2019-11-12 | Aisin Seiki Kabushiki Kaisha | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image |
| US10293752B2 (en) | 2014-08-28 | 2019-05-21 | The University Of Tokyo | Display system for work vehicle, display control device, work vehicle, and display control method |
| WO2016031009A1 (en) * | 2014-08-28 | 2016-03-03 | 国立大学法人東京大学 | Display system of work vehicle, display control device, work vehicle, and display control method |
| JP2016055684A (en) * | 2014-09-05 | 2016-04-21 | アイシン精機株式会社 | Image display control device and image display system |
| DE112015004046B4 (en) | 2014-09-05 | 2021-11-18 | Aisin Seiki Kabushiki Kaisha | PICTURE DISPLAY CONTROL DEVICE AND PICTURE DISPLAY SYSTEM |
| JP2017111739A (en) * | 2015-12-18 | 2017-06-22 | 株式会社デンソー | Driving support apparatus and driving support method |
| JP2018052215A (en) * | 2016-09-27 | 2018-04-05 | 株式会社東海理化電機製作所 | Visual recognition device for vehicle and visual recognition image display method for vehicle |
| JP2018177133A (en) * | 2017-04-20 | 2018-11-15 | 株式会社Ｓｕｂａｒｕ | Image display device |
| JP2018177132A (en) * | 2017-04-20 | 2018-11-15 | 株式会社Ｓｕｂａｒｕ | Image display device |
| WO2019187283A1 (en) * | 2018-03-28 | 2019-10-03 | パナソニックＩｐマネジメント株式会社 | Image processing device, image display system, and image processing method |
| JP2019175133A (en) * | 2018-03-28 | 2019-10-10 | パナソニックＩｐマネジメント株式会社 | Image processing device, image display system, and image processing method |
| JP2019217970A (en) * | 2018-06-21 | 2019-12-26 | 日本電産コパル株式会社 | Electronic mirror device and image display method |
| JP7073237B2 (en) | 2018-09-25 | 2022-05-23 | アルパイン株式会社 | Image display device, image display method |
| JP2020052143A (en) * | 2018-09-25 | 2020-04-02 | アルパイン株式会社 | Image display apparatus and image display method |
| JP2021145195A (en) * | 2020-03-10 | 2021-09-24 | 住友重機械工業株式会社 | Image processing device, image processing method, and image processing system |
| JP7469083B2 (en) | 2020-03-10 | 2024-04-16 | 住友重機械工業株式会社 | Image processing device, image processing method, and image processing system |
| CN111918035A (en) * | 2020-07-31 | 2020-11-10 | 上海励驰半导体有限公司 | Vehicle-mounted looking-around method and device, storage medium and vehicle-mounted terminal |
| CN111918035B (en) * | 2020-07-31 | 2022-04-15 | 上海励驰半导体有限公司 | Vehicle-mounted looking-around method and device, storage medium and vehicle-mounted terminal |
| CN114640821A (en) * | 2020-12-16 | 2022-06-17 | 株式会社电装 | Peripheral image display device and display control method |
| CN114640821B (en) * | 2020-12-16 | 2025-04-25 | 株式会社电装 | Peripheral image display device and display control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4364471B2 (en) | 2009-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4364471B2 (en) | Image processing apparatus for vehicle | |
| US7212653B2 (en) | Image processing system for vehicle | |
| JP4593070B2 (en) | Image processing apparatus for vehicle | |
| JP4914458B2 (en) | Vehicle periphery display device | |
| JP4782963B2 (en) | Device for monitoring the surroundings of a parked vehicle | |
| JP3298851B2 (en) | Multi-function vehicle camera system and image display method of multi-function vehicle camera | |
| US8754760B2 (en) | Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle | |
| JP4907883B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| CN101327763B (en) | Anzeige system and program | |
| US10919450B2 (en) | Image display device | |
| JP2002316602A (en) | Method and apparatus for displaying captured image of vehicle-mounted camera | |
| CN113401059B (en) | Display system and method for compensating visual field blind area of trailer rearview mirror | |
| JP2003219413A (en) | Vehicle rearward monitoring system and monitoring apparatus | |
| JP4552525B2 (en) | Image processing apparatus for vehicle | |
| JP3876761B2 (en) | Vehicle periphery monitoring device | |
| JP2003319383A (en) | In-vehicle image processing device | |
| JP2012086684A (en) | Parking assist device | |
| JPH0717328A (en) | Peripheral recognition assistance device for vehicles | |
| JP2007302238A (en) | Image processing apparatus for vehicle | |
| EP4361999B1 (en) | Camera monitor system with angled awareness lines | |
| JP2003259356A (en) | Vehicle periphery monitoring device | |
| JP2009194938A (en) | Vehicle image processing apparatus | |
| JP3988551B2 (en) | Vehicle perimeter monitoring device | |
| JP3448443B2 (en) | Vehicle periphery confirmation system | |
| JP3033390B2 (en) | Vehicle image display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040622 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4364471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |