JP6868805B2 - 画像生成装置、画像生成方法、およびプログラム - Google Patents

画像生成装置、画像生成方法、およびプログラム Download PDF

Info

Publication number
JP6868805B2
JP6868805B2 JP2017051901A JP2017051901A JP6868805B2 JP 6868805 B2 JP6868805 B2 JP 6868805B2 JP 2017051901 A JP2017051901 A JP 2017051901A JP 2017051901 A JP2017051901 A JP 2017051901A JP 6868805 B2 JP6868805 B2 JP 6868805B2
Authority
JP
Japan
Prior art keywords
image
camera
distance
vehicle
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017051901A
Other languages
English (en)
Other versions
JP2017220923A (ja
Inventor
亜矢子 丸山
亜矢子 丸山
登　一生
一生 登
吾妻　健夫
健夫 吾妻
佐藤　智
智 佐藤
信彦 若井
信彦 若井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2017220923A publication Critical patent/JP2017220923A/ja
Application granted granted Critical
Publication of JP6868805B2 publication Critical patent/JP6868805B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、画像生成装置および画像生成方法に関するものであり、特に、車両に搭載した撮影装置により撮影した車両周辺画像を呈示する際の画像生成に関する。
安全運転支援を目的として、車両に搭載した撮影装置により撮影した車両周辺画像をドライバーに呈示する技術が数多く提案されている。
たとえば特許文献１に開示される画像生成装置は、予め定めた空間モデルに、撮影画像をマッピングする。この際、空間モデルとして、椀形状のモデルを用いることで、車両周辺に存在する物体を、車両の全周囲にわたってできるだけ現実に近くなるよう合成し、ドライバーに表示する方法が開示されている。このようにすることで、自車を俯瞰したような視点での画像が生成できるため、ドライバーが容易に自車周辺の状況を認識できるという利点がある。
また、特許文献２では、車両周辺を撮影するステレオカメラの画像データに基づいて、３次元画像データを算出する方法が提案されている。ここで示されるように、２台以上のカメラを、互いに異なる視点から重複する視野を撮影できるよう配置しておき、事前に各カメラの位置や向き等の情報を求めておけば、取得した画像間の各点の対応関係からいわゆる三角法により、前記重複した視野に存在する物体の３次元位置を計算できることがよく知られている。特許文献２では、３次元計測対象領域に制約をかけることで、ある程度計算コストを抑えながら、車両周辺の情報を、より実環境に近い３次元モデル上にマッピングし、視点変換画像を生成する方法が開示されている。
特許第３２８６３０６号公報 特許第５２９９１０１号公報
しかしながら、いずれの従来の技術も、例えばガラス面などの透過物体または反射物体を、ドライバーが容易に認識できる態様で車両周辺画像中に表示することが難しい。
そこで、本開示の非限定的で例示的な一態様は、透過物体および反射物体を含む画像の生成に適した画像生成装置を提供する。
上記課題を解決するために、本開示の一態様に係る画像生成装置は、車両に設置されるディスプレイに表示される画像を生成する画像生成装置であって、少なくとも１つのメモリと、制御回路とを備え、前記制御回路は、（ａ）車両に設置される複数のカメラで撮像された複数のカメラ画像を取得し、（ｂ）前記複数のカメラ画像を用いて、３次元空間における、前記カメラ画像に含まれる対象物と前記カメラとの距離を算出し、（ｃ）前記カメラ画像における透過物体または反射物体の位置を検出し、（ｄ）前記複数のカメラ画像の少なくとも１つと、前記距離とを用いて、前記複数のカメラ画像と異なる視点を有する生成画像を生成し、前記生成画像における前記透過物体または反射物体の位置に、所定の画像が表示されているものである。
なお、この包括的又は具体的な態様は、方法、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、方法、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
本開示によると、前記カメラ画像における前記透過物体または反射物体の位置を検出するので、前記生成画像における前記透過物体または反射物体の位置に、他の物体と異なる態様でドライバーが認識し易い画像を表示することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
実施の形態１に係る画像生成装置の機能的な構成の一例を示すブロック図。 実施の形態１に係る画像生成装置のハードウェア構成の一例を示すブロック図。 実施の形態１に係る画像生成装置の動作の一例を示すフローチャート。 実施の形態２に係るカメラ、画像生成装置、及びディスプレイの車載例を示す図。 実施の形態２に係るカメラ画像の一例を示す図。 実施の形態２に係るカメラ画像の一例を示す図。 カメラ画像に基づき算出された距離画像の一例を示す図。 正しい距離画像の一例を示す図。 カメラ画像中の反射成分の一例を示す図。 カメラ画像中の反射成分に対する測距を説明する図。 カメラ画像中の透過成分の一例を示す図。 カメラ画像中の透過成分に対する測距を説明する図。 ガラス面、窓枠、及び建物の一例を示す図。 従来の俯瞰視点による車両周辺画像の一例を示す図。 実施の形態２に係る生成画像の一例を示す図。 実施の形態２に係るカメラ画像の一例を示す図。 従来の俯瞰視点による車両周辺画像の一例を示す図。 実施の形態２に係る整形画像の一例を示す図。 実施の形態２に係る生成画像の一例を示す図。 実施の形態２に係るカメラ、画像生成装置、及びディスプレイの他の車載例を示す図。 実施の形態２に係るカメラ、画像生成装置、及びディスプレイの他の車載例を示す図。 実施の形態２に係るカメラ画像の一例を示す図。 実施の形態２に係るカメラ画像の一例を示す図。 実施の形態２に係るカメラ画像の一例を示す図。 実施の形態２に係るカメラ画像の一例を示す図。 従来の俯瞰視点による車両周辺画像の一例を示す図。 実施の形態２に係る生成画像の一例を示す図。 実施の形態２に係る生成画像の他の一例を示す図。 実施の形態３で解決される課題を説明する概念図。 従来の俯瞰視点による車両周辺画像の一例を示す図。 実施の形態３に係る生成画像の一例を示す図。 実施の形態４に係る画像生成装置の機能的な構成の一例を示すブロック図。 実施の形態５に係る除外領域の考え方を説明する図。 実施の形態５に係る画像生成装置の機能的な構成の一例を示すブロック図。 実施の形態５に係る除外領域の一例を示す図。 実施の形態５に係る除外領域の一例を示す図。 変形例に係る画像生成装置の機能的な構成の一例を示すブロック図。
（本開示の基礎となった知見）
先述したように、従来の技術によれば、例えばガラス面などの透過物体または反射物体を、ドライバーが容易に認識できる態様で車両周辺画像中に表示することが考慮されていない。
特許文献１では、そもそも物体の正確な位置を考慮していないため、生成画像上において、実際の透過物体または反射物体の位置とは異なる位置に、それらの物体の画像がマッピングされる可能性がある。そのため、生成画像において、実際の物体の位置と異なる位置に、物体が表示される可能性がある。
特許文献２に記載の周辺表示装置は、ステレオカメラの画像データを用いて、物体の３次元位置を計測している。したがって、実際の物体の位置を測定して、俯瞰画像を表示しているため、物体の位置がより正確に表示されると考えられる。
しかし、本発明者らは、ステレオカメラの画像データを用いて、物体の位置を計測する場合において、新たな課題があることに着目した。新たな課題は、反射物体または透過物体を考慮せずに、ステレオカメラの画像データを用いて、反射物体または透過物体の位置を計測することは、困難ということである。
例えば、透過物体または反射物体はテクスチャがないため、一般的な方法により、ステレオカメラの画像データを用いて、透過物体または反射物体の位置を特定することは困難である。さらに、透過物体または反射物体の位置として、透過物体の向こう側に位置する物体または反射物体に写った物体の位置が誤って推定される可能性もある。その結果、透過物体または反射物体よりも遠い位置に物体がある画像が生成される。
このように、透過物体または反射物体の正確な位置に物体が表示されていない画像が生成され、ユーザに提供されることは、安全運転支援において、望ましくない。
そこで、本開示の一態様に係る画像生成装置は、ディスプレイに表示される画像を生成する画像生成装置であって、少なくとも１つのメモリと、制御回路とを備え、前記制御回路は、（ａ）車両に設置される複数のカメラで撮像された複数のカメラ画像を取得し、（ｂ）前記複数のカメラ画像を用いて、３次元空間における、前記カメラ画像に含まれる対象物と前記カメラとの距離を算出し、（ｃ）前記カメラ画像における透過物体または反射物体の位置を検出し、（ｄ）前記複数のカメラ画像の少なくとも１つと、前記距離とを用いて、前記複数のカメラ画像と異なる視点を有する生成画像を生成し、前記生成画像における前記透過物体または反射物体の位置に、所定の画像が表示されている。
このような構成によれば、前記カメラ画像における前記透過物体または反射物体の位置を検出するので、前記生成画像における前記透過物体または反射物体の位置に、他の物体と異なる態様でドライバーが認識し易い画像を表示することができる。
また、前記制御回路は、さらに、（ｅ）前記透過物体または反射物体と前記カメラとの距離を推定し、（ｆ）前記カメラ画像の前記透過物体または反射物体の位置の前記対象物と前記カメラとの距離を、前記推定された距離に補正し、前記（ｄ）において、前記複数のカメラ画像と、前記補正された距離とを用いて、前記生成画像を生成してもよい。
このような構成によれば、前記透過物体または反射物体の距離をステレオ測距とは異なる方法で推定した上で、当該推定された距離を用いてレンダリングしたカメラ画像を前記生成画像として生成することができる。これにより、前記透過物体または反射物体を、ステレオ測距に基づく位置ではなく、推定された前記透過物体または反射物体の位置に表示することができるので、前記透過物体または反射物体の存在をドライバーに知らせるために有用な生成画像が得られる。
また、前記（ａ）において、偏光板を通して撮像を行う偏光カメラで撮像された偏光カメラ画像を取得し、前記（ｃ）において、前記偏光カメラ画像の輝度が周期的に変動する位置を、前記透過物体または反射物体の位置として検出してもよい。
このような構成によれば、光の偏光特性を利用することで、前記透過物体または反射物体の位置を検出することができる。
また、前記制御回路は、さらに、（ｇ）複数の遠赤外線カメラで撮像された複数の赤外線カメラ画像を取得し、（ｈ）前記複数の赤外線カメラ画像を用いて、３次元空間における、前記赤外線カメラ画像に含まれる対象物と前記遠赤外線カメラとの距離を算出し、前記（ｃ）において、前記カメラ画像を用いて算出された距離と前記赤外線カメラ画像を用いて算出された距離との差が、予め定めた閾値よりも大きい位置を、前記透過物体または反射物体の位置として検出してもよい。
このような構成によれば、可視光と遠赤外光とのガラスにおける吸収特性の差を利用することで、前記透過物体または反射物体の位置を検出することができる。
また、前記（ｃ）において、前記カメラ画像に含まれる枠状物を認識し、認識された枠状物の内部領域を前記透過物体または反射物体の位置として検出してもよい。
このような構成によれば、ガラス窓に設けられている窓枠など、一般に前記透過物体または反射物体の周囲に設けられる枠状物から、前記透過物体または反射物体の位置を検出することができる。
また、前記（ｄ）において、前記生成画像における前記透過物体または反射物体の位置に、前記複数のカメラ画像のうち何れか１つのカメラ画像の一部を表示してもよい。
このような構成によれば、前記透過物体または反射物体の位置に、前記透過物体または反射物体に映っている物体の見かけが表示されるので、視認性に優れた生成画像が得られる。
また、前記（ｄ）において、前記生成画像における前記透過物体または反射物体の位置に、前記複数のカメラ画像のうち、前記透過物体または反射物体をより広い面積で含むカメラ画像を優先的に表示してもよい。
このような構成によれば、生成画像における近接画素間での輝度の不一致が軽減されるので、見易い生成画像が得られる。
また、前記（ｄ）において、前記生成画像における複数の透過物体または反射物体のそれぞれの位置に、前記複数のカメラ画像のうち、当該透過物体または反射物体をより広い面積で含むカメラ画像を優先的に表示してもよい。
このような構成によれば、個々の透過物体または反射物体ごとに生成画像における近接画素間での輝度の不一致が軽減されるので、見易い生成画像が得られる。
また、前記制御回路は、さらに、（ｉ）前記カメラ画像の前記透過物体の位置に含まれる透過成分と反射成分とを分離し、前記（ｄ）において、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを所定の比率で重み付けをして表示してもよい。
このような構成によれば、反射成分と透過成分とを分離した上で、所定の比率で重み付けをして生成できるので、反射成分と透過成分の両方が混在し生成画像が煩雑で見づらくなる不具合を軽減できる。
また、前記（ｉ）において、偏光板を通して撮像を行う偏光カメラで撮像された偏光カメラ画像を取得し、前記偏光カメラ画像を用いて前記透過成分と前記反射成分とを分離してもよい。
このような構成によれば、光の偏光特性を利用することで、前記透過成分と前記反射成分とを分離することができる。
また、前記（ｄ）において、前記所定の比率をユーザから受け付け、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを前記ユーザから受け付けた比率で重み付けをして表示してもよい。
このような構成によれば、反射成分と透過成分とをユーザが見易いと感じる所望の比率で重み付けをして表示することができる。
また、前記（ｄ）において、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを、外光が明るいほど前記反射成分の重みが前記透過成分の重みに対して小さくなる重み付けをして表示してもよい。
例えば、晴れた昼間の時間帯には、降り注ぐ太陽光が強いために、ガラス面での鏡面反射がドライバーにとって眩しく見えることがある。反射成分が優位になりやすいため、このような時間帯、天候の場合は、他の時間帯、天候の場合と比べて、反射成分の比率を下げてもよい。また、夕方〜夜間の時間帯には、ガラス内外で明るさが大幅に異なることがある。ガラス内部が明るい場合は透過成分が優位になるため、他の時間帯と比べて、透過成分の比率を下げてもよい。
また、前記（ｄ）において、前記カメラ画像が適正な露出状態を表す所定の条件を満たさない場合、前記生成画像に、ドライバーに車両の周囲を目視するよう促すメッセージを表示してもよい。
このような構成によれば、カメラ画像から十分な精度で前記透過物体または反射物体の位置を検出できないことが懸念される場合、具体的に、自車かつ/または他車のライトの反射光により、カメラ画像中で予め定めた割合以上の画素が飽和するような場合、かつ/または、カメラ画像のヒストグラムが明るい部分と暗い部分に極端に偏るような場合に、ドライバーに注意喚起できる。
また、前記複数のカメラは、前記車両の前方を撮像する第１のカメラと、前記車両の後方を撮像する第２のカメラとを含み、前記制御回路は、さらに、（ｊ）前記車両の進行方向を取得し、前記（ｃ）において、前記第１のカメラ及び前記第２のカメラのうち、前記車両の進行方向と同じ方向を撮像するカメラのカメラ画像を用いて、前記透過物体または反射物体の位置を検出してもよい。
このような構成によれば、より少ない計算コストで、安全運転の支援に有用な生成画像を得ることができる。
また、前記（ｃ）において、前記推定された前記透過物体または反射物体と前記カメラとの距離が所定の閾値よりも大きければ、前記透過物体または反射物体の位置の前記対象物と前記カメラとの距離を補正しないとしてもよい。
このような構成によれば、より少ない計算コストで、安全運転の支援に有用な生成画像を得ることができる。
また、前記（ｃ）において、検出された前記透過物体または反射物体の最下端が路面から所定の閾値以上の高さであれば、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しないとしてもよい。
このような構成によれば、より少ない計算コストで、安全運転の支援に有用な生成画像を得ることができる。
また、前記（ｃ）において、検出された前記透過物体または反射物体のサイズが所定の閾値よりも小さければ、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しないとしてもよい。
このような構成によれば、より少ない計算コストで、安全運転の支援に有用な生成画像を得ることができる。
なお、本開示の画像生成装置は、各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部をステップとする画像生成方法として実現されることも可能である。あるいは、コンピュータ上のプログラムによって前記画像生成方法が実現されることも可能である。あるいは、前記プログラムを格納したＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、または、撮影された画像から任意の視点の画像を生成する画像処理装置等として実現されることも可能である。
（実施の形態１）
以下、実施の形態１に係る画像生成装置について、車両に搭載され、搭乗者（特にはドライバー）に呈示される車両周辺画像を生成する画像生成装置の例を用いて説明する。
図１は、実施の形態１に係る画像生成装置の機能的な構成の一例を示すブロック図である。図１に示すように、画像生成装置１００は、画像取得部１０１、距離算出部１０２、透過物体検出部１０３、及び画像生成部１０４を備える。
画像取得部１０１は、複数のカメラで撮影された動画像である複数のカメラ画像１０７を取得する。カメラ画像１０７の例は、車両周辺の画像である。
距離算出部１０２は、複数のカメラ画像１０７を用いて、カメラ画像１０７に含まれる対象物とカメラとの距離を算出する。
透過物体検出部１０３は、カメラ画像１０７における透過物体または反射物体の位置を検出する。
ここで、透過物体とは、可視光カメラで撮影した物体の画像において、透過光が支配的な物体である。透過物体の例は、透明なガラスまたはプラスチックなどである。
また、ここで、反射物体とは、可視光カメラで撮影した物体の画像において、鏡面反射光が支配的な物体である。反射物体の例は、鏡又は光沢を有する金属、などである。
画像生成部１０４は、複数のカメラ画像１０７と、距離算出部１０２で算出された前記距離とを用いて、カメラ画像１０７と異なる視点を有する生成画像である車両周辺画像１０８を生成する。車両周辺画像１０８における前記透過物体または反射物体の位置には、所定の画像が表示される。
ここで、画像取得部１０１は、例えば、カメラ、またはカメラと接続された通信インターフェースであってもよく、また、別途設けられた記憶装置に格納されているカメラ画像１０７を読み出すインターフェースであってもよい。
また、距離算出部１０２、透過物体検出部１０３、及び画像生成部１０４は、例えば、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。
図２は、コンピュータによって構成された画像生成装置のハードウェア構成を示す図である。
図２において、カメラ１２０は車両周辺の空間内にある物体を撮影してカメラ画像を出力し、コンピュータ２００はカメラ画像を取得して画像生成処理を行った結果である車両周辺画像をディスプレイ１３０上に表示する。
カメラ１２０の例は、ステレオカメラであり、特に、魚眼のステレオカメラである。また、ディスプレイ１３０の例は、液晶表示装置又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｔ）表示装置である。また、ディスプレイ１３０は、車両に搭載されていても良いし、ユーザに装着されるヘッドマウントディスプレイでも良い。
コンピュータ２００は、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０５、およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。なお、ＨＤＤ２０５は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の、ＨＤＤ同様の機能を有する装置によって実現されてもよい。
前記プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出され展開される。
ＣＰＵ２０２はＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。
Ｉ／Ｆ２０１は、前記プログラムの実行に応じて、カメラ１２０からカメラ画像をＲＡＭ２０４へ取り込む。ビデオカード２０６は、前記プログラムの実行に応じて生成された車両周辺画像を出力し、ディスプレイ１３０が当該車両周辺画像を表示する。
なお、前記プログラムは、半導体であるＲＯＭ２０３やＨＤＤ２０５に限られず、たとえばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ等に格納されていてもよい。また有線ないし無線のネットワーク、放送などを介して伝送され、コンピュータ２００のＲＡＭ２０４に取り込まれてもよい。
以下、画像生成装置１００の動作を、図３を用いて説明する。
図３は、本実施の形態における画像生成装置１００の動作を示すフローチャートである。
（Ｓ１０１（画像取得ステップ））
画像取得部１０１は、カメラ１２０からカメラ画像を取得する。カメラ画像は、例えば、ステレオ画像である。より具体的には、画像取得部１０１は、複数のカメラで撮像された複数のカメラ画像を取得する。
（Ｓ１０２（距離算出ステップ））
距離算出部１０２は、取得したカメラ画像とカメラパラメータ（後述）に基づき、カメラ画像に射影される車両周辺の空間内の点とカメラとの距離を算出する。
カメラ画像に射影される車両周辺の空間内の点とは、カメラ画像に映る対象物に相当する。つまり、距離算出部１０２は、カメラ画像に含まれる対象物とカメラとの距離を算出する。
対象物とは、車両の周辺に位置する全ての物体を含む。対象物の例は、他の車両、歩行者、道路、または建物である。例えば、対象物を建物全体としても良いし、カメラ画像の画素毎に対象物が特定されても良い。
また、距離算出部１０２は、複数のカメラのうち１つのカメラ（基準カメラとも表記する。）と、対象物との距離を算出する。例えば、メモリが基準カメラの位置を記憶しており、距離算出部１０２は、メモリから基準カメラの位置を取得しても良い。
（Ｓ１０３（透過物体検出ステップ））
透過物体検出部１０３は、カメラ画像における透過物体または反射物体の位置を検出する。つまり、カメラ画像のどの部分に透過物体または反射物体が写っているかを検出する。
透過物体検出部１０３は、さらに、透過物体または反射物体とカメラとの距離を推定し、前記カメラ画像の前記検出された前記透過物体または反射物体の位置に射影される前記空間内の点と前記カメラとの距離を、前記推定された距離に補正してもよい。
（Ｓ１０４（画像生成ステップＳ１０４））
画像生成部１０４は、少なくとも１つのカメラ画像と、算出された距離とを用いて、カメラ画像と異なる視点を有する生成画像である車両周辺画像を生成する。カメラ画像と異なる視点の例は、車両を上方から見た視点、または車両を後方から見た視点である。
車両周辺画像における前記透過物体または反射物体の位置には、所定の画像が表示される。
なお、図３の各ステップは、図２のコンピュータ２００で実行されるとしてもよい。以下、各ステップで実行される処理の詳細な内容について、順次説明する。
図４は、画像生成装置１００、カメラ１２０、及びディスプレイ１３０の車載例を示す図である。図４に、車両を上方から俯瞰した図を示す。
カメラ１２０１、１２０２はそれぞれ車両のリアの２箇所に、異なる視点でかつ視野が重なるよう備え付けられている。カメラ１２０１、１２０２は、ステレオカメラであるカメラ１２０を構成する。画像生成装置１００は、車両に搭載され、ディスプレイ１３０は、車室内のドライバーから視認可能な位置に設置されている。
なお、カメラ１２０を構成する個々のカメラ１２０１、１２０２は、互いに同期して一定時間間隔で画像を撮像して出力してもよい。この際、画像生成装置１００は、カメラ１２０の撮影動作と並行して、予め装置ないしコンピュータで指定したプログラムに従い、Ｓ１０１〜Ｓ１０４の動作を実行する。
図５Ａ、図５Ｂは、駐車シーンで撮影されたカメラ画像の一例を示す。この例では、ガラス面３００を含む窓を有する建物の前面に駐車場があるシーンの例を示しており、ドライバーが運転する車は、バックギアで、ガラス面３００に向かう方向での駐車動作を行っている。そのため、リアカメラにより撮影されるカメラ画像には、図５Ａ、図５Ｂに示すように後方のガラス面３００が大きく写りこむ。
図５Ａ、図５Ｂはそれぞれ、上記シーンにおいてカメラ１２０１、１２０２により撮影されたカメラ画像の例を示した図である。カメラ画像のガラス面３００の位置には、反射成分と透過成分が混在して表されている。カメラ画像には、反射成分としては、自車３１０及び、シーン中の木３１１が写っており、また、透過成分としては、ガラス面３００の向こう側の室内照明３２０が写っている。なお、図５Ａ、図５Ｂでは、理解の便宜のため、コントラスト及び輪郭を強調する加工を施した画像を例示している。
また、ここでは魚眼カメラで撮影した画像を例示しているが、カメラ画像は魚眼カメラで撮影した画像に限るものではない。魚眼カメラ、または、広視野角のカメラを用いることで、１台でより広視野の画像を取得することができるが、カメラの台数を増やせば、より狭い視野のカメラでも同様の効果を得ることができるためである。
以下、画像生成装置１００で実行されるステップＳ１０１〜Ｓ１０４の動作について詳しく説明する。
画像取得部１０１では、各カメラ１２０１、１２０２で撮影されたカメラ画像を構成する複数枚の画像を取得する。
距離算出部１０２は、画像取得部１０１で取得した、異なるカメラで撮影された画像組に対し、ステレオ視の手法により、画像に射影される車両周辺の空間内の各点の３次元位置を求める。
以下で、距離算出部１０２における３次元位置算出の詳細な動作を説明する。
距離算出部１０２は、まず事前に求めたカメラ１２０１、１２０２の内部パラメータおよび外部パラメータを含むカメラパラメータを読み出す。
各カメラの内部パラメータ（ｆ，ｋ）と３次元座標と画素座標との関係を（式１）に示す。
Figure 0006868805
（式１）は、カメラ座標系の３次元位置（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との関係を表しており、内部パラメータのｆは焦点距離、ｋは撮像素子上での画素サイズである。内部パラメータ（ｆ，ｋ）は、一般的にカメラ校正方法と呼ばれる広く知られた手法によってあらかじめ求めておく。なお、（式１）は、レンズの投影モデルが等距離射影の場合の内部パラメータを用いたが、投影モデルを限定するものではなく、立体射影または等立体角射影などの他の投影モデルであってもよい。
ここで、２眼ステレオカメラを構成する２台のカメラｑ、ｒにおける、カメラの外部パラメータ｛Ｍｑ，ｒ｝と３次元座標との関係を（式２）に示す。
Figure 0006868805
外部パラメータＭｑ，ｒは、２つのカメラｑ、ｒの各座標系の位置関係を表す行列であり、行列Ｍｑ，ｒは、カメラｑの座標系の３次元位置（ｘｑ，ｙｑ，ｚｑ）をカメラｒの座標系の３次位置（ｘｒ，ｙｒ，ｚｒ）に変換する４×４の行列を表している。外部パラメータＭｑ，ｒも、内部パラメータと同様に、一般的にカメラ校正方法と呼ばれる広く知られた手法によってあらかじめ求めておく。
距離算出部１０２は、前記画像取得部１０１で受け付けた、異なるカメラで撮影された２つのカメラ画像（画像データ）を１組として、画像カメラ組を構成する。
前記画像カメラ組において、カメラパラメータを用い、ステレオ視によりカメラ画像中の複数点の３次元位置を算出する。
続いて、距離算出部１０２は、前記２つのカメラ画像間の複数の対応点を算出する。
すなわち、カメラ１２０１、１２０２で撮影した２つのカメラ画像をそれぞれＩａ、Ｉｂとした場合に、カメラ画像の組（Ｉａ，Ｉｂ）に対して２画像間の対応点を複数点検出する。
２画像間の対応点とは、一方の画像に写っている被写体上の点が、もう一方の画像にも写っている場合の、前記２画像上の点の組のことである。例えば、カメラ画像の組が（Ｉａ，Ｉｂ）の場合、カメラ画像Ｉａ上の全ての画素について、その画素座標（ｕａｎ，ｖａｎ）に対応する、カメラ画像Ｉｂ上の対応点の画素座標（ｕｂｎ，ｖｂｎ）を検出する。
画像Ｉａの画素座標（ｕａｎ，ｖａｎ）と、画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）が対応点である場合、２点の画素値ｉａ（ｕａｎ，ｖａｎ）とｉｂ（ｕｂｎ，ｖｂｎ）が等しい。これを輝度拘束と呼ぶ。また、ある１つの被写体は、画像中の複数の隣接する画素を占めることから、画像Ｉａの画素座標（ｕａｎ，ｖａｎ）に隣接する画素の対応点は、画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）の近くにある可能性が高い。これを滑らかさ拘束と呼ぶ。カメラ画像（Ｉａ，Ｉｂ）間の対応点は、上述した輝度拘束と滑らかさ拘束の２つの条件を最もよく満たす（ｕａｎ，ｖａｎ）、（ｕｂｎ，ｖｂｎ）の組の集まりを推定することで、得ることができる。
なお、車両周辺環境の、より密な３次元情報を取得するためには、対応点は密に求まることが望ましい。２画像間の密な対応関係を示す画素座標の組を算出する手法については、非特許文献１、及び非特許文献２等に詳しく記載されているため、ここではこれ以上の詳細な説明を省略する。前記非特許文献手法によれば、密な対応点を実数精度で求めることができるため、車両周辺環境の３次元情報をより精度よく高密度に求められる。
（非特許文献１）C. Zach, T. Pock, and H. Bischof, "A duality based approach for realtime TV-L1 optical flow," In Proceedings of the 29th DAGM conference on Pattern recognition, pp.214-223, 2007
（非特許文献２）M. Werlberger, T. Pock, H. Bischof, "Motion estimation with non-local total variation regularization," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.2464-2471, 13-18 June 2010
次に、距離算出部１０２は、各対応点の座標（ｕａｎ，ｖａｎ）、（ｕｂｎ，ｖｂｎ）と、あらかじめ求めたおいたカメラ１２０１、１２０２の外部パラメータＭｂ，ａと、内部パラメータｆａ，ｋａ，ｆｂ，ｋｂとを用いて、（式３）の連立方程式を解くことで、各対応点の３次元位置（ｘａｎ、ｙａｎ、ｚａｎ）を算出する。
なお、ここでは３次元位置は、カメラ１２０１の視点座標系の座標値とする。
Figure 0006868805
２カメラ画像間の対応点と２つのカメラ位置から３次元位置を算出する２眼ステレオ手法、及び、２つの３次元座標系間での座標値の変換は、非特許文献３などに詳しく記載されているため、ここでは詳細な説明を省略する。
（非特許文献３）松山隆司、ほか, "コンピュータビジョン," 株式会社新技術コミュニケーションズ, pp.123-137
最後に、距離算出部１０２は、２カメラ画像間の対応点、及びその３次元位置を複数算出したものを、位置情報として出力する。以下に出力される情報の例を示す。
２つのカメラ画像をＩｑ，Ｉｒ（ｑとｒ）、２つのカメラ画像Ｉｑ、Ｉｒ間のＮｑ個の対応点の位置情報ｐｑ，ｒ，ｎの集まりであるＰｑ，ｒを（式４）で表す。また、全ての画像組の位置情報を｛Ｐｑ，ｒ｝と表す。
Figure 0006868805
位置情報は、（式４）のように、２つの画素を特定する画素ペア情報（画素座標と対応する画素座標）と、画素ペア情報で特定された画素のペアに対応する３次元位置を含む情報としてもよい。
なお、前記カメラパラメータについては、予め求めておいたものを距離算出部１０２内部で固定の値として使ってもよく、別途外部にパラメータ記憶部を設け、そこから読み込むようにしてもよい。外部にパラメータ記憶部を設けることで、パラメータにズレが生じた際に、パラメータ値を修正することが容易になる。
ここまでで、画像中の各対応点の３次元位置を求めることができた。
図６Ａは、図５Ａ、図５Ｂのステレオカメラの画像から距離算出部１０２において算出した距離に基づく距離画像の一例を示す。輝度の濃淡は、カメラからの距離を示す。すなわち、輝度が高いほどカメラからの距離が近く、輝度が低いほどカメラからの距離が遠いことを示す。なお、見やすくするために、自車が写っている領域とカメラのケラレに相当する部分は、黒色（輝度＝０）でマスクしてある。
また、図６Ｂは、正しいガラス面３００の３次元位置から作成した距離画像（既知のモデルに基づいて作成したシミュレーション画像）を示す。
ガラス面３００における距離を比較すると、図６Ｂで示されている正解の距離と比べて、図６Ａで示されている距離は、より遠方に算出されていることがわかる。このような測距誤差は、次のように説明される。
一般的に、画像中のエッジやテクスチャ領域など、輝度勾配が大きい領域ほど、２画像間の対応点を正確に算出できる。一方、透明なガラス面は、ガラスそのものによる輝度勾配が小さいため、対応点を正確に算出できない。
図７Ａは、図５Ａのうち、自車３１０及び木３１１など、ガラス面３００で反射した成分を、説明のため取り出して表示した画像である。
この例では、図７Ｂに示すように、自車３１０及び木３１１の距離は、ガラス面３００までの距離ｄ１、ｄ２ではなく、虚像までの距離ｄ１’、ｄ２’が測距される。これは、ステレオカメラ画像間で算出される対応点は、反射したテクスチャ間での対応点になるためである。そのため、図７Ｂで交わる点線が示すように、ガラス面３００ではなく自車３１０及び木３１１の虚像に対する距離が測られることになる。
図８Ａは、図５Ａのうち、室内照明３２０など、ガラス面３００を透過して画像に写った成分を、説明のため取り出して表示した画像である。
この例でも、図８Ｂに示すように、室内照明３２０の距離は、ガラス面３００までの距離ｄ３、ｄ４ではなく、室内照明３２０の本体までの距離ｄ３’、ｄ４’が測距される。これは、ステレオカメラ画像間で算出される対応点は、透過したテクスチャ間での対応点になるためである。そのため、図８Ｂで交わる点線が示すように、ガラス面３００ではなく室内照明３２０に対する距離が測られることになる。
このように、反射成分または透過成分で表される物体については、ガラスに映った虚像までの距離、および、ガラスの向こう側にある物体までの距離が算出される場合がある。つまり、カメラ画像のガラス面３００の位置に表される物体について、ガラス面３００とカメラとの実際の距離よりも遠い距離が推定される。これはガラス面３００がある位置には「何もない」と誤判定をしていることになる。
上記課題に対し、透過物体検出部１０３は、カメラ画像における透過物体または反射物体の位置（以下、ガラス領域とも言う）を検出し、さらに、前記透過物体または反射物体とカメラとの距離を推定する。そして、カメラ画像の前記検出された前記透過物体または反射物体の位置に射影される前記空間内の点について、距離算出部１０２が算出した３次元位置を、推定した距離で補正する。これにより、透過物体または反射物体までの距離が実際よりも遠くに推定されることを防ぐ。言い換えると、透過物体または反射物体がある位置に「何もない」と誤判定されることを防ぐ。
透過物体検出部１０３による、透過物体または反射物体の位置の検出及び距離の推定について、具体的に説明する。なお、以下の説明では、透過物体または反射物体をガラス面と称する。
カメラ画像におけるガラス面の位置、およびカメラとガラス面との距離は、一般的なステレオ法では推定することが困難である。したがって、ガラス面の位置およびガラス面までの距離は、ステレオ法とは異なる、例えば次のような手法で検出し推定する必要がある。
ガラス面などの透過物体の領域を推定する手法として、機械学習等を利用した画像認識手法を適用することが効果的である。前述のような、ガラス面と窓枠を含む窓領域を、画像中から検出可能な方法が、非特許文献４に示されている。画像から矩形の領域の候補を複数算出し、算出した候補の中から、確率的に「入り口らしい」領域を、事前知識に基づいて選び出すものである。非特許文献４では、主に入り口を検出するために、事前知識として検出される矩形間の距離に制約を与えているが、窓領域の検出に適用する場合は、前記制約の値をより小さくすることで、横並びに並んだ窓領域を検出できる。
（非特許文献４）J. Liu, T. Korah, V. Hedau, V. Parameswaran, R. Grzeszczuk and
Y. Liu, "Entrance detection from street-view images," Scene Understanding Workshop (SUNw), 2014
もちろん、学習に基づいて窓領域を検出する方法は非特許文献４の手法に限られず、例えばｄｅｅｐ ｌｅａｒｎｉｎｇ等の大規模なデータベースに基づく認識手法によって行ってもよい。事前に大量の学習データが準備できる場合は、精度のよい認識ができることが一般的に知られているため、より正確な窓領域の検出ができる。
上記のような認識に基づく手法によれば、別途特殊なセンサ等を備えることなく、ステレオ視に利用したカメラの画像を使って窓領域を検出できるという利点がある。
一方、認識に基づく手法は、見えの変動の影響を受けやすいことが知られている。たとえば、ガラス面に窓枠のような見えの物体が写りこんだ場合、ガラス面全体をガラス領域としてうまく検出できないことがある。
これに対し、光の偏光特性を利用することで、物体の反射を捉えることができることが広く知られている。たとえば、映りこみ防止のために、偏光フィルタが一般的に用いられる。これは、ガラスで反射した光は一方向に偏光するが、透過光は偏光しないことを利用している。すなわち、カメラ１２０のレンズ前方に回転偏光板を設け、異なる偏光向きの画像を撮像した際に、正弦波状の輝度変動が見られる部分に映りこみ、すなわち鏡面反射成分があるといえる。このような輝度変動がある領域を求めることで、窓枠のような見た目の映りこみ成分がガラス領域に存在するような場合であっても、ガラス領域の可能性が高い部分を求めることができる。
一方、上記の偏光特性を利用してガラス領域を推定する手法は、偏光板を回転させながら撮影した複数の画像において、被写体とカメラはともに静止していると仮定している。そのため、カメラ及び/または被写体が動くとガラス面領域を正確に推定できない課題がある。
これに対し、光は、可視光領域の波長帯ではガラスを透過するが、遠赤外領域の波長帯ではガラスに吸収されることが知られている。すなわち、ガラス面は遠赤外線カメラで撮影すると透過光も反射光も得られず、ガラス領域では輝度が低くなる。すなわち遠赤外のステレオカメラと通常のステレオカメラ間では、同じステレオ視の手法を使っても、ガラス領域に対して得られる距離が大幅に異なる可能性が高い。したがって、別途遠赤外のステレオカメラを設置すれば、シーン中において、遠赤外ステレオによって得られた距離と、距離算出部１０２において得られた距離が大幅に異なる領域であって、一定の広さをもつ領域を、ガラス面領域として検出してもよい。
なお、上記のように別途特殊なカメラを設置する場合は、カメラ１２０と別途設けるカメラとの間の位置及び向きの関係を表すカメラパラメータを、事前のキャリブレーションを行って算出しておく必要がある。前記カメラパラメータを用いて行列変換を行うことで、カメラ１２０よりステレオ視で求めたガラス面の３次元位置と、前記別途設けた遠赤外ステレオカメラから求めたガラス面の３次元位置を、容易に同じ座標系に合わせることができる。また上記の場合、遠赤外カメラの画像は、画像取得部１０１が受け付けた上で透過物体検出部１０３に入力する等すればよい。
透過物体検出部１０３では、ガラス領域に射影される車両周辺空間内の各点の３次元位置を推定し、距離算出部１０２において算出した当該点の３次元位置を、前記新たに推定した３次元位置で置き換える処理を行う。
図９のように、ガラス面３００は、多くの場合、窓枠３４０によって建物３５０に備え付けられている。したがって、ガラス面３００の外周に存在する非透過物体領域は窓枠３４０であると考えてよく、この窓枠３４０についてカメラ画像からステレオ法により算出された３次元位置に基づいて、ガラス面３００の位置を推定することができる。窓枠３４０は非透過物体であるので、距離算出部１０２においてその３次元位置は正しく求められている。したがって、窓枠３４０の３次元位置に基づいて３次元空間内の平面を算出し、この平面をガラス面３００の３次元位置と推定する。
一般的に、３次元空間内の平面は、最低３点の座標に基づいて推定することができる。そこで、窓枠上の点から３点を選択し、さらにＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等のロバスト推定法を適用することで、窓枠３４０上の点が張る平面を求め、当該平面を、ガラス面３００の３次元位置として推定することができる。透過物体検出部１０３では、以上の手順で推定したガラス面３００の３次元位置で、距離算出部１０２で求まっているガラス面領域の３次元位置を置き換えることで、ガラス面３００を含むシーンの３次元情報を補正する。
最後に、画像生成部１０４が、透過物体検出部１０３で補正したシーンの３次元情報に基づいて、車両周辺画像を生成する。具体的には、車両の上方に設けた、車両周辺を俯瞰する視野を有する仮想カメラから見た生成画像を、シーンの３次元情報とカメラ１２０で撮影した画像、およびあらかじめ定めた、前記カメラ１２０および仮想カメラのカメラパラメータに基づき、いわゆるＣＧ（コンピュータグラフィクス）のレンダリングを行って生成し、前記生成した生成画像を出力する。
以下、後方１組のステレオ画像から生成した位置情報｛Ｐｑ，ｒ｝（（式４）参照）を用いて、生成画像Ｉｓを生成する場合の、画像生成部１０４の動作を説明する。
画像生成部１０４では、最初に、位置情報｛Ｐｑ，ｒ｝の全対応点ｐｑ，ｒ，ｎについて、生成画像Ｉｓ上の画素座標（ｕｓ，ｖｓ）を算出する。生成画像Ｉｓ上の画素座標を算出する方法は以下の通りである。対応点ｐｑ，ｒ，ｎに含まれる、カメラｑの座標系の３次元位置（ｘｑ、ｙｑ、ｚｑ）および、カメラｑと生成画像Ｉｓに対応する仮想カメラｓの外部パラメタＭｑ，ｓを用いて、仮想カメラｓの座標系で３次元位置（ｘｓ、ｙｓ、ｚｓ）を算出する。そして、３次元位置（ｘｓ、ｙｓ、ｚｓ）と仮想カメラｓの内部パラメタ（ｆ，ｋ）と用いて、仮想カメラｓの画素座標（ｕｓ，ｖｓ）を算出する（式５）。
Figure 0006868805
画像生成部１０４は、対応点の２つの画像Ｉｑ，Ｉｒ上の画素値ｉｑ（ｕｑｎ，ｖｑｎ），ｉｒ（ｕｒｎ，ｖｒｎ）から画素値を算出し、これを生成画像Ｉｓの座標（ｕｓ，ｖｓ）の画素の画素値として設定する。対応点の２つの画像ｑ、ｒ上の画素値ｉｑ（ｕｑｎ，ｖｑｎ），ｉｒ（ｕｒｎ，ｖｒｎ）から、１つの画素値を算出する手法として、ここでは平均画素値を用いるものとする。
この処理を位置情報｛Ｐｑ，ｒ｝のすべてに繰り返し、生成画像Ｉｓの画素値を設定する。以上のようにすることで、カメラ１２０で撮影した画像に基づき仮想カメラ画像上における各画素の画素値が求められるため、仮想カメラから撮影されたような生成画像を生成することができる。
この際、透過物体検出部１０３で検出したガラス領域の３次元位置に画像が合成され、従来何も合成されなかった、図１０Ａのガラス面３００の位置に、カメラ１２０で撮影した画像が合成される。すなわち、図１０Ｂに示すような画像が合成できるため、ドライバーにガラス面３００の存在と、その位置を知らせることができる。
なお、３次元情報から任意視点の画像を生成する方法については非特許文献５に詳しいため、より詳細な説明は省略する。ここでは画素ベースでの視点変換方法を示したが、より滑らかで密な視点変換画像を得るため、２次元ないし３次元空間上で近接する３次元点群間で４角形のポリゴンまたは３角形のポリゴンを生成し、視点変換を行うものとしてもよい。
（非特許文献５）J. D. Foley, S. K. Feiner, A. V. Dam, J. F. Hughes, "コンピュ
ータグラフィックス 理論と実践," オーム社, pp.231-279
なお、画像を生成する方法については上記で説明したようにすべての３次元位置情報を用いて画像を生成する方法には必ずしも限らない。
前述したように、ガラス面の端部（具体的には窓枠）の３次元空間内での位置はステレオ測距が可能であり、３次元空間内での当該位置から、生成画像上でのガラス面の端部の位置（つまり、生成画像におけるガラス領域）が求まる。そこで、カメラ画像におけるガラス領域を、生成画像におけるガラス領域の形状に２次元的に変形して、生成画像上に貼り付けてもよい。これにより、より少ない計算コストで、図１０Ｂと類似する合成結果を得ることができる。
図１１Ａは、リアのカメラ１２０で撮影したカメラ画像である。点ａ〜ｄがガラス面３００の端点を示す。図１１Ｂは、図１１Ａのカメラ画像を、従来法で自車上方の仮想カメラよりガラス面３００と車両を見下ろした視点に変換した生成画像である。ガラス面３００には、何も合成されない。
図１１Ｃは、図１１Ａのカメラ画像からカメラパラメータに基づきゆがみを除いた整形画像である。図１１Ｃの整形画像の点ａ〜ｄで囲まれた領域の画像に２次元的な変形を施し、図１１Ｂの生成画像の点ａ〜ｄで囲まれた領域に貼り付けることで、図１１Ｄの生成画像が得られる。
このようにすることで、３次元ポリゴン処理のような重い処理を省略でき、高速化できるという効果がある。なお、図１１Ｃの整形画像を介在せず、図１１Ａの点ａ〜ｄで囲まれた領域の画像を２次元的に変形し、図１１Ｂの生成画像の点ａ〜ｄで囲まれた領域に貼り付ける（つまり、合成する）ことで、図１１Ｄの生成画像を得てもよい。
以上の説明をまとめると、本開示に係る画像生成装置および画像生成方法は、生成画像（例えば車両周辺画像）における透過物体または反射物体（例えばガラス面）の位置に、所定の画像が他の物体とは異なる態様で表示されることにより特徴付けられる。
前記所定の画像は、一例として、透過物体または反射物体の距離をステレオ測距とは異なる方法で補正した上で、当該補正後の距離を用いてレンダリングしたカメラ画像の一部である。また、他の一例では、透過物体または反射物体の位置に、２次元的に変形した上で貼り付けたカメラ画像の一部である。さらには、後述するように、特定の人工的なデザインを表す画像であってもよい。言い換えると、ここでのカメラ画像の一部とは、生成画像がカメラ画像と異なる視点を有するのに対して、カメラ画像と同じ視点を有する。つまり、カメラ画像の一部は、視点が変換されていない画像を意味する。
すなわち、前記所定の画像は、生成画像において、透過物体または反射物体以外の物体とは異なる態様で表示され、透過物体または反射物体の存在をドライバーに知らせることができる。これにより、ドライバーが透過物体または反射物体を認識しやすい、安全運転の支援に有用な生成画像である車両周辺画像が得られる。
（実施の形態２）
実施の形態１では車両後部に設けたカメラ１２０により、車両後方の画像および周辺環境の３次元位置を取得する例について説明した。これは、カメラの設置場所、および撮影向き及び/または撮影範囲を限定するものではなく、車両周辺を撮影できれば、他の位置及び/または、他の撮影方向となるよう設置してもよい。
図１２Ａ、図１２Ｂは、画像生成装置１００、カメラ１２０、及びディスプレイ１３０の他の車載例を示す図である。
図１２Ａ、図１２Ｂに、車両を上方から俯瞰した図を示す。カメラ１２０ａ〜１２０ｄはそれぞれが距離を測ることのできるステレオカメラであり、車両のフロント、右サイド、リア、左サイドの４箇所に備え付けられている。個々のカメラを符号の末尾に付した英字ａ〜ｄで区別するが、個々のカメラを区別しない場合は、カメラ１２０と総称する。各位置に、魚眼または広視野角のステレオカメラを配置することで、車両の全周囲を死角なくカバーする測距と、視点変換を伴う画像生成を行うことができる。
図１３Ａ〜図１３Ｄに、ガラス窓を有する店舗前面の駐車場における駐車シーンで撮影される画像の一例を示す。なお、図１３Ａ〜図１３Ｄでは、理解の便宜のため、図５Ａ、図５Ｂと同様の加工を施してある。
図１３Ａ〜図１３Ｄは、カメラ１２０ａ〜１２０ｄが魚眼のステレオカメラである場合に、それぞれのステレオカメラの片方のカメラで撮影されたカメラ画像の例を示した図である。フロントカメラ１２０ａで撮影された画像は図１３Ａ、右サイドカメラ１２０ｂで撮影された画像は図１３Ｂ、リアカメラ１２０ｃで撮影された画像は図１３Ｃ、左サイドカメラ１２０ｄで撮影された画像は図１３Ｄに、それぞれ対応する。車両の周囲を死角なく撮影できていることがわかる。
なお、カメラ１２０ａ〜１２０ｄは、望ましくは互いに同期して一定時間間隔で画像を撮像して出力する。
図１４Ａは、このように死角なく撮影した映像に基づき、従来法で生成した車両周辺画像の例を示した図である。図１４Ｂは、さらに、実施の形態１で説明した手法に従ってガラス領域を表示した車両周辺画像の例を示す図である。
このように、死角のない車両周辺画像を用いて生成処理を行うことで、図１４Ｂに示すような、車両周辺全体を俯瞰する画像を生成することができ、車両周辺において、どの方向にどれくらいの大きさのガラス面が存在するかを、より容易に視認できる映像をドライバーに呈示できる。
なお、ガラス領域に表示する画像については、ここまでカメラ１２０で撮影した画像を生成する例について説明した。本開示の画像生成装置は、ガラスの存在をドライバーに知らせることを目的としているため、ガラス領域には、前述のカメラ画像には限らず、例えば、特定の人工的なデザインを表す画像を表示してもよい。
例えば、路面から垂直方向（路面から垂直上方）へ延びる直線をガラス領域に合成表示することでも、ドライバーがガラス面の存在を容易に視認できる映像を生成することができる。路面に垂直な線を引くことで、面の位置と傾きが分かりやすい表示が実現できる。例えば、車の後方と側方とにガラス面３００、３０１がある場合は、図１４Ｃのような表示とすればよい。
（実施の形態３）
実施の形態１で説明した画像生成装置１００では、ガラス領域に、複数カメラで撮影した画像をそのまま合成して、生成画像を生成する。
図１５Ａは、当該合成における課題を説明するための図であり、ガラス面３００の上方に実像３６１を示し、ガラス面３００の下方にガラス面３００に映った虚像３６２を示している。
図１５Ａに示すように、ガラス面３００上の着目点３６０を通り、かつ異なる視点のカメラ１２０ｂ、１２０ｃのそれぞれに入射する光線は、ガラス面３００の向こうの異なる物体（ないし虚像）から到来する。これは、画像合成時に、近接画素間での輝度の不一致を引き起こす。このため、生成画像が図１５Ｂに示すように、見づらくなってしまうことがある。
そこで、本実施の形態においては、前述の課題に対応するため、画像生成部１０４において、ガラス領域においてカメラの視野が重なる部分において、ガラス面が視野に占める割合が最も高いカメラを選択し、当該カメラで撮影されたカメラ画像を合成に用いることとする。
これにより、図１５Ｃに示すように、前記ガラス領域の画像合成時に選択されたカメラの画像を利用するため、ガラス面を最も広く表すカメラ画像がガラス領域に合成され、ガラス領域の画像が見やすくなるという効果がある。
なお、上記の手法では、ガラス領域がシーン中に複数あるときに、各ガラス面を最もよく示すカメラが選ばれないことがある。これに対し、さらに前記カメラ選択部は、ガラス領域がシーン中に複数存在する場合、ガラス領域ごとに各ガラス領域が視野に占める割合が最も高いカメラを選択するとしてもよい。このようにすることで、各ガラス面を最もよく示すカメラが選ばれ、各ガラス領域の画像がより見やすくなるという効果がある。
（実施の形態４）
実施の形態１で説明した画像生成装置１００では、図５Ａ、図５Ｂに示すような、カメラ画像におけるガラス領域の画像をそのまま合成して、生成画像を生成するため、映りこみ成分と透過成分とが混在し、生成画像が煩雑で見づらくなることがある。
そこで、図１６に示すように、本実施の形態に係る画像生成装置１００ａでは、画像生成部１０４ａに、反射成分分離部１０４１と反射成分合成部１０４２とを設ける。
反射成分分離部１０４１では、画像中の（特にガラス面のような透過物体面における）透過光と映りこみを分離する機能を備え、反射成分合成部１０４２は、反射成分分離部１０４１における分離結果に基づき、所望の視点での画像を生成する際に、ガラス領域における反射成分の合成時の割合を、別途定めたパラメータに基づき調節したうえで合成する。つまり、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを所定の比率で重み付けをして表示する。
生成画像において、反射成分を考慮した合成を行うことで、生成画像の見えの煩雑さを低減できる効果がある。
以下では、まず反射成分分離部１０４１の動作を説明する。
画像から映りこみ、ないし鏡面反射成分を分離する手法は多数提案されている。当該手法には、主に、光の偏光特性を利用したものと、動きを利用したものとがある。
光の偏光特性を利用した手法については、非特許文献６に詳しい。回転偏光板を通して取得した画素値のうち、偏光の回転向きに応じて変動する輝度成分が鏡面反射成分に相当することが知られており、これを利用して鏡面反射成分を分離するものである。
特に、先に述べた透過物体検出部１０３について、回転偏光板を利用する構成とした場合、その構成をそのまま反射成分の分離にも利用することができ、同じカメラ構成で反射成分分離を行える。
（非特許文献６）S. K. Nayer, X. Fang, T. E. Boult, "Removal of specularities using color and polarization," Proceedings of Computer Vision and Pattern Recognition, pp.583-590, 1993
一方、動きを利用した手法については非特許文献７に詳しい。移動するカメラで、映りこみを含む画像を撮影した際、画像中の映りこみ成分と、ガラスの向こう側の物体が透過した透過成分の動きが大きく異なることを利用して、映りこみ成分を分離するものである。
特殊なカメラを用いることなく、距離算出部１０２に用いたカメラ構成で映りこみ成分を分離できるため、より簡易な構成で反射成分を分離することができる。
（非特許文献７）T. Xue, M. Rubinstein, C. Liu, W. T. Freeman, "A computational approach for obstruction-free photography," ACM Transactions on Graphics (Proc.
SIGGRAPH) 34(4), 2015
画像生成部１０４ａは、前記分離した反射成分について、所望の比率で合成した画像を再構成し、前記再構成した画像に基づいて、任意の視点の画像を生成する。
ドライバーは、ガラス面と自車との位置関係をガラス領域の反射成分から推測することが多い。特に、進行方向にガラス面がある場合、自車の進行に伴い、自車の鏡像が、周囲の静止物体よりも速く自車の方に近づいてくるように見えることから、鏡像が映る場所に反射面（ガラス面）があることを認識しやすくなる。そのため、カメラ１２０で撮影された画像中のガラス領域の透過成分が大きい場合、反射成分と混在することで、ドライバーの、反射成分に基づくガラス面位置の認識を妨げる可能性がある。
この課題に対し、所望の比率で各反射成分を合成し画像を再構成する際、透過成分の合成割合を低くすれば、自車の鏡像の視認性を落とす要因となる透過成分を抑制できる。このようにすることでドライバーが容易にガラス上の反射成分を視認できる。
一方、自車の反射成分はガラス上で、自車の動きとは異なる方向に動くようにも見えうる。すなわち自車の動きと大きく異なる動きをする成分がガラス上に重なって見えるために、ドライバーによっては、反射成分に基づいてガラス面の位置を推測することが難しいケースがある。
このような場合、反射成分を大きくしてしまうと、逆にガラス面位置の推測を妨げてしまう。したがって、前記所望の比率で各反射成分を合成し画像を再構成する際に、反射成分の割合を低くすることで、自車の反射成分を抑制できる。
このようにすることで、ドライバーは容易に透過成分を視認できる。透過成分が優位に表示されるため、一部のドライバーにとって、ガラスの位置を容易に推察できる効果がある。
先に述べたように、反射成分と透過成分とをどのような比率（重み）で合成すれば、ガラスの位置をドライバーが容易に認識できるかは、ドライバーごとに異なる。したがって、反射成分の合成時の比率を、ドライバーごとに予め設定できるようにしてもよい。
また、晴れた昼間の時間帯には、降り注ぐ太陽光が強いために、ガラス面での鏡面反射がドライバーにとって眩しく見えることがある。反射成分が優位になりやすいため、このような時間帯、天候の場合は、他の時間帯、天候の場合と比べて、反射成分の比率を下げてもよい。
また、夕方〜夜間の時間帯には、ガラス内外で明るさが大幅に異なることがある。ガラス内部が明るい場合は透過成分が優位になるため、他の時間帯と比べて、透過成分の比率を下げてもよい。
また、曇天、夜間の場合、車のヘッドランプ及びテールランプを点灯することが多い。この場合、撮影画像のガラス領域では、ランプの反射が目立ち、透過成分がより見えにくくなる。このような場合は、反射成分の比率を大幅に下げてもよい。
また上記のようにランプの反射が目立つ場合、そもそもガラス領域の検出自体がうまくいかない可能性がある。具体的には、自車及び/または他車のライトの反射光により、カメラ画像中で予め定めた割合以上の画素が飽和するような場合及び/または、カメラ画像のヒストグラムが明るい部分と暗い部分に極端に偏るような場合が該当する。
したがって、このような場合には俯瞰画像を生成しないようにし、俯瞰画像を表示していた部分に、代わりに「ガラスがある可能性があります、直接視認してください」等の、ドライバーに車両の周囲を目視するように促すメッセージを表示するとしてもよい。
（実施の形態５）
本開示に係る画像生成装置の目的は、安全運転の支援であり、ドライバーにとって危険なガラス面を知らせることである。したがって、必ずしも車両周辺にある全てのガラス面を検出し、距離を補正する必要はない。例えば、衝突の危険性が低いガラス面については、検出、距離推定、距離補正のうちの１つ以上の処理を省略し、従来法に従って視点変換して生成画像を生成してもよい。これにより、より少ない計算コストで、安全運転の支援に有用な生成画像を得ることができる。
具体的に、図１７に示すような自車の進行方向３７０と反対側のガラス面３０２については、ぶつかる危険性が低いと考えられる。そのため、透過物体検出部１０３で、カメラ画像のうち自車の進行方向３７０の反対側が写った部分を除いた部分において、透過物体または反射物体の位置を検出してもよい。これにより、計算コストを削減しながら、安全運転の支援に有用な生成画像を得ることができる。
図１８は、カメラ画像の一部の領域を対象外として透過物体検出処理を行う画像生成装置の機能的な構成の一例を示すブロック図である。図１８に示す画像生成装置１００ｂは、車載センサ情報取得部１０５を備え、透過物体検出部１０３ｂが変更される。
車載センサ情報取得部１０５は、自車の車載センサから車載センサ情報１０９を受け付け、受け付けた車載センサ情報１０９から自車のギア情報を取得し、前記ギア情報を透過物体検出部１０３ｂに渡す。車載センサ情報１０９は、車載ネットワークのＣＡＮバス（ＣＡＮ規格の場合）から読み出すことで得られる。なお、規格はＣＡＮに限らず、ＦｌｅｘＲａｙ等の他の車載ネットワーク規格の場合も、各規格に応じた情報読み出しを行えばよい。
また、前記ギア情報は、車のシフトレバーの位置に応じて割り振られた値であり、例えば、ギアがＤ（ドライブ）／Ｎ（ニュートラル）／Ｒ（リバース）／Ｐ（パーキング）である場合、それぞれに異なる値１／２／３／４が割り振られる、というものである。もちろん、ギアと値の関係は、車、及び/または、センサによって異なるため、上記はあくまで例であり、値は必ずしもこの限りではない。
透過物体検出部１０３ｂは、前記ギア情報に応じて、透過物体検出処理を行う範囲を決定した上で、先に述べた透過物体検出部１０３と同様に、車両周辺の透過物体領域を推定し、透過物体領域における距離値を補正する透過物体検出処理を行う。
具体的に、車両の前方を撮影する第１のカメラと、車両の後方を撮影する第２のカメラ（例えば、図１２に示したフロントカメラ１２０ａとリアカメラ１２０ｃ）を搭載した車両を考える。
当該車両のギア情報がＲ（リバース）に対応した値であった場合は、車は後進しているため、自車前方に存在するガラス面については、ぶつかる危険性が低いと考えられる。そのため、図１９Ａのように、第１のカメラ（フロントカメラ）で撮影したカメラ画像における自車前方の領域３７１は透過物体検出処理の対象外とし、第２のカメラ（リアカメラ）で撮影したカメラ画像を用いて透過物体または反射物体の位置を検出する。これにより、計算コストが削減できる。
同様に、ギア情報がＤ（ドライブ）に対応した値であった場合は、車は前進しているため、自車後方に存在するガラス面については、ぶつかる危険性が低いと考えられる。そのため、図１９Ｂのように、第２のカメラ（リアカメラ）で撮影したカメラ画像における自車後方の領域３７２は透過物体検出処理の対象外とし、第１のカメラ（フロントカメラ）で撮影したカメラ画像を用いて透過物体または反射物体の位置を検出する。これにより、計算コストが削減できる。
なお、より少ない計算コストで、安全運転の支援に有用な生成画像を得る画像生成装置は、上述の例には限られない。
例えば、透過物体検出部において、推定された前記透過物体または反射物体と前記カメラとの距離が所定の閾値よりも大きければ、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しないこととしてもよい。
また例えば、透過物体検出部において、検出された前記透過物体または反射物体の最下端が路面から所定の閾値以上の高さであれば、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しないこととしてもよい。
また例えば、透過物体検出部において、検出された前記透過物体または反射物体のサイズが所定の閾値よりも小さければ、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しないこととしてもよい。
これらの何れの構成によっても、ぶつかる可能性が低いと考えられるガラス面について処理を省略することで、より少ない計算コストで、安全運転の支援に有用な生成画像を生成することができる。
また、ドライバーは運転時、基本的には進行方向を視認しながら運転する。そのため、ガラス面が進行方向ではない方向に存在する場合は、よりガラス面の存在に気づきにくい。したがって、上記のような場合は、生成画像上でのガラス領域を一時的に点滅させるなど、目立たせる処理を行ってもよい。
また、自動運転の場合にも、本手法は適用できる。自動運転の場合、ドライバーに呈示する画像の意味合いは若干従来の安全運転支援とは異なることが知られている。すなわち、ドライバーに対して、自動運転車が周辺環境を正しく認識していることを知らせ、安心感を与えるためのＵＩとしての役割をも求められる。このような場合は、ガラス領域に、カメラで取得した画像を合成し、さらに、ガラス領域に対し、生成画像を点滅させ、また、赤または黄色等の別の色を重畳するなど、目立たせる処理を行うことで、自動運転車がガラス面の位置を認識できているということをドライバーに知らせることができる。
（変形例）
なお、変形例に係る画像生成装置は、生成した車両周辺画像を表示するための表示部を有していてもよい。
図２０は、変形例に係る画像生成装置の機能的な構成の一例を示すブロック図である。図２０の画像生成装置１００ｃは、図１の画像生成装置１００に、表示部１０６を追加して構成される。表示部１０６は、表示回路を含み、例えば、図２のディスプレイ１３０で構成されてもよい。
本明細書において説明される上述の種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。
本開示において、ユニット、デバイスの全部又は一部、又は図１に示される画像合成装置、図１６に示される画像合成装置、図１８に示される画像合成装置のそれぞれのブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩ又はＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の素子の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウェアが、処理装置（processor）によって実行された場合に、ソフトウェアは、処理装置（processor）はソフトウェア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウェアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えばインターフェースを備えていても良い。
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムを実行するとしてもよい。
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示は、例えば車載カメラシステムなど、ガラス面などの透過物体または反射物体を含む画像をユーザが見易い態様で生成する画像生成装置に利用できる。
１００、１００ａ、１００ｂ、１００ｃ 画像生成装置
１０１ 画像取得部
１０２ 距離算出部
１０３、１０３ｂ 透過物体検出部
１０４、１０４ａ 画像生成部
１０５ 車載センサ情報取得部
１０６ 表示部
１０７ カメラ画像
１０８ 車両周辺画像
１０９ 車載センサ情報
１２０、１２０ａ〜１２０ｄ、１２０１、１２０２ カメラ
１３０ ディスプレイ
２００ コンピュータ
２０１ Ｉ／Ｆ
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ＨＤＤ
２０６ ビデオカード
３００、３０１、３０２ ガラス面
３１０ 自車
３１１ 木
３２０ 室内照明
３４０ 窓枠
３５０ 建物
３６０ 着目点
３６１ 実像
３６２ 虚像
３７０ 進行方向
３７１、３７２ 領域
１０４１ 反射成分分離部
１０４２ 反射成分合成部

Claims (19)

  1. ディスプレイに表示される画像を生成する画像生成装置であって、
    少なくとも１つのメモリと、制御回路とを備え、
    前記制御回路は、
    （ａ）車両に設置される複数のカメラで撮像された複数のカメラ画像を取得し、
    （ｂ）前記複数のカメラ画像を用いて、３次元空間における、前記カメラ画像に含まれる対象物と前記カメラとの距離を算出し、
    （ｃ）前記カメラ画像における透過物体または反射物体の位置を検出し、
    （ｄ）前記複数のカメラ画像の少なくとも１つと、前記距離とを用いて、前記複数のカメラ画像と異なる視点を有する生成画像を生成し、前記生成画像における前記透過物体または反射物体の位置に、所定の画像が表示されている、
    画像生成装置。
  2. 前記制御回路は、
    さらに、
    （ｅ）前記透過物体または反射物体と前記カメラとの距離を推定し、
    （ｆ）前記カメラ画像の前記透過物体または反射物体の位置の前記対象物と前記カメラとの距離を、前記推定された距離に補正し、
    前記（ｄ）において、前記複数のカメラ画像と、前記補正された距離とを用いて、前記生成画像を生成する、
    請求項１に記載の画像生成装置。
  3. 前記（ａ）において、偏光板を通して撮像を行う偏光カメラで撮像された偏光カメラ画像を取得し、
    前記（ｃ）において、前記偏光カメラ画像の輝度が周期的に変動する位置を、前記透過物体または反射物体の位置として検出する、
    請求項１に記載の画像生成装置。
  4. 前記制御回路は、
    さらに、
    （ｇ）複数の遠赤外線カメラで撮像された複数の赤外線カメラ画像を取得し、
    （ｈ）前記複数の赤外線カメラ画像を用いて、３次元空間における、前記赤外線カメラ画像に含まれる対象物と前記遠赤外線カメラとの距離を算出し、
    前記（ｃ）において、前記カメラ画像を用いて算出された距離と前記赤外線カメラ画像を用いて算出された距離との差が、予め定めた閾値よりも大きい位置を、前記透過物体または反射物体の位置として検出する、
    請求項１に記載の画像生成装置。
  5. 前記（ｃ）において、前記カメラ画像に含まれる枠状物を認識し、認識された枠状物の内部領域を前記透過物体または反射物体の位置として検出する、
    請求項１に記載の画像生成装置。
  6. 前記（ｄ）において、前記生成画像における前記透過物体または反射物体の位置に、前記複数のカメラ画像のうち何れか１つのカメラ画像の一部を表示する、
    請求項１に記載の画像生成装置。
  7. 前記（ｄ）において、前記生成画像における前記透過物体または反射物体の位置に、前記複数のカメラ画像のうち、前記透過物体または反射物体をより広い面積で含むカメラ画像を優先的に表示する、
    請求項１に記載の画像生成装置。
  8. 前記（ｄ）において、前記生成画像における複数の透過物体または反射物体のそれぞれの位置に、前記複数のカメラ画像のうち、当該透過物体または反射物体をより広い面積で含むカメラ画像を優先的に表示する、
    請求項７に記載の画像生成装置。
  9. 前記制御回路は、さらに、
    （ｉ）前記カメラ画像の前記透過物体の位置に含まれる透過成分と反射成分とを分離し、
    前記（ｄ）において、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを所定の比率で重み付けをして表示する、
    請求項１に記載の画像生成装置。
  10. 前記（ｉ）において、偏光板を通して撮像を行う偏光カメラで撮像された偏光カメラ画像を取得し、前記偏光カメラ画像を用いて前記透過成分と前記反射成分とを分離する、
    請求項９に記載の画像生成装置。
  11. 前記（ｄ）において、前記所定の比率をユーザから受け付け、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを前記ユーザから受け付けた比率で重み付けをして表示する、
    請求項９に記載の画像生成装置。
  12. 前記（ｄ）において、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを、外光が明るいほど前記反射成分の重みが前記透過成分の重みに対して小さくなる重み付けをして表示する、
    請求項９に記載の画像生成装置。
  13. 前記（ｄ）において、前記カメラ画像が適正な露出状態を表す所定の条件を満たさない場合、前記生成画像に、ドライバーに車両の周囲を目視するよう促すメッセージを表示する、
    請求項１に記載の画像生成装置。
  14. 前記複数のカメラは、前記車両の前方を撮像する第１のカメラと、前記車両の後方を撮像する第２のカメラとを含み、
    前記制御回路は、
    さらに、
    （ｊ）前記車両の進行方向を取得し、
    前記（ｃ）において、前記第１のカメラ及び前記第２のカメラのうち、前記車両の進行方向と同じ方向を撮像するカメラのカメラ画像を用いて、前記透過物体または反射物体の位置を検出する、
    請求項１に記載の画像生成装置。
  15. 前記（ｃ）において、前記推定された前記透過物体または反射物体と前記カメラとの距離が所定の閾値よりも大きければ、前記透過物体または反射物体の位置の前記対象物と前記カメラとの距離を補正しない、
    請求項２に記載の画像生成装置。
  16. 前記（ｃ）において、検出された前記透過物体または反射物体の最下端が路面から所定の閾値以上の高さであれば、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しない、
    請求項２に記載の画像生成装置。
  17. 前記（ｃ）において、検出された前記透過物体または反射物体のサイズが所定の閾値よりも小さければ、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しない、
    請求項２に記載の画像生成装置。
  18. 車両に設置されるディスプレイに表示される画像を生成する画像生成方法であって、
    （ａ）前記車両に設置される複数のカメラで撮像された複数のカメラ画像を取得し、
    （ｂ）前記複数のカメラ画像を用いて、前記カメラ画像に射影される空間内の点と前記カメラとの距離を算出し、
    （ｃ）前記カメラ画像における透過物体または反射物体の位置を検出し、
    （ｄ）前記複数のカメラ画像と、前記距離とを用いて、前記複数のカメラ画像と異なる視点を有する生成画像を生成し、前記生成画像における前記透過物体または反射物体の位置に、所定の画像が表示されている、
    画像生成方法。
  19. 請求項１８に記載の画像生成方法をコンピュータに実行させるためのプログラム。
JP2017051901A 2016-06-07 2017-03-16 画像生成装置、画像生成方法、およびプログラム Active JP6868805B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016113886 2016-06-07
JP2016113886 2016-06-07

Publications (2)

Publication Number Publication Date
JP2017220923A JP2017220923A (ja) 2017-12-14
JP6868805B2 true JP6868805B2 (ja) 2021-05-12

Family

ID=59061777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017051901A Active JP6868805B2 (ja) 2016-06-07 2017-03-16 画像生成装置、画像生成方法、およびプログラム

Country Status (4)

Country Link
US (4) US11056001B2 (ja)
EP (1) EP3264367B1 (ja)
JP (1) JP6868805B2 (ja)
CN (1) CN107472135B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558661B (en) * 2017-01-16 2019-06-12 Jaguar Land Rover Ltd Vehicle lighting system
DE112017006840B4 (de) * 2017-01-16 2023-11-02 Fujitsu Limited Informationsverarbeitungsprogramm, Informationsverarbeitungsverfahren und Informationsverarbeitungsvorrichtung
KR102685268B1 (ko) * 2017-01-17 2024-07-16 엘지전자 주식회사 차량 및 차량의 디스플레이 제어 방법
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US10699152B1 (en) 2017-12-13 2020-06-30 Amazon Technologies, Inc. Image data illumination detection
US10664962B1 (en) * 2017-12-13 2020-05-26 Amazon Technologies, Inc. Determining direction of illumination
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
US10890758B1 (en) * 2018-03-23 2021-01-12 Amazon Technologies, Inc. Moisture deflection apparatus for aerial vehicle cameras
CN108416321A (zh) * 2018-03-23 2018-08-17 北京市商汤科技开发有限公司 用于预测目标对象运动朝向的方法、车辆控制方法及装置
JP6526351B1 (ja) * 2018-03-29 2019-06-05 三菱電機株式会社 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム
CN108665541B (zh) 2018-04-09 2019-06-07 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
DE112018007485T5 (de) * 2018-04-16 2021-01-07 Mitsubishi Electric Corporation Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
CN108995592B (zh) * 2018-08-02 2021-06-15 张士文 汽车影像系统
EP3776485B1 (en) * 2018-09-26 2022-01-26 Coherent Logix, Inc. Any world view generation
WO2020174623A1 (ja) * 2019-02-27 2020-09-03 オリンパス株式会社 情報処理装置、移動体及び学習装置
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information
US12366855B2 (en) * 2020-02-26 2025-07-22 Polaris Industries Inc. Environment monitoring system and method for a towed recreational vehicle
US11722705B2 (en) * 2020-03-26 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Camera support by a vehicular micro cloud for remote driving
US12257990B2 (en) 2020-04-21 2025-03-25 Polaris Industries Inc. Systems and methods for operating an all-terrain vehicle
US11651602B1 (en) * 2020-09-30 2023-05-16 X Development Llc Machine learning classification based on separate processing of multiple views
CN113103833A (zh) * 2021-03-11 2021-07-13 上海交通大学 一种基于tof相机的自动倒车上挂系统及方法
CN113467450A (zh) * 2021-07-01 2021-10-01 北京小狗吸尘器集团股份有限公司 无人机器控制方法、装置、计算机设备及存储介质
US12260532B2 (en) * 2021-11-03 2025-03-25 Apple Inc. Linear transform of undistorted image for fusion
JP7809973B2 (ja) * 2021-12-14 2026-02-03 株式会社Ｊｖｃケンウッド 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497824A (en) * 1990-01-18 1996-03-12 Rouf; Mohammad A. Method of improved heat transfer
JP3658036B2 (ja) * 1994-06-03 2005-06-08 キヤノン株式会社 画像入力システム及び画像入力システムの制御方法
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
EP2267656A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
JP3664362B2 (ja) * 1998-08-25 2005-06-22 ホーチキ株式会社 火災検出装置
US6184781B1 (en) * 1999-02-02 2001-02-06 Intel Corporation Rear looking vision system
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2002049403A (ja) * 2000-08-07 2002-02-15 Shin Caterpillar Mitsubishi Ltd 建設機械における音声機体制御装置
JP2002098650A (ja) * 2000-09-26 2002-04-05 Matsushita Electric Works Ltd 透明体検出方法およびそのシステム
KR100892269B1 (ko) * 2001-06-15 2009-04-09 가부시키가이샤 고마쓰 세이사쿠쇼 건설기계
JP4342146B2 (ja) * 2002-04-08 2009-10-14 アイシン精機株式会社 駐車補助装置
JP2007240314A (ja) * 2006-03-08 2007-09-20 Omron Corp 物体検出装置
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
JP2010146094A (ja) * 2008-12-16 2010-07-01 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5444338B2 (ja) * 2009-05-25 2014-03-19 パナソニック株式会社 車両周囲監視装置
JP5299101B2 (ja) * 2009-06-11 2013-09-25 コニカミノルタ株式会社 周辺表示装置
US9332229B2 (en) * 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
WO2012073722A1 (ja) * 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
KR101803973B1 (ko) * 2011-05-09 2017-12-01 엘지이노텍 주식회사 주차용 카메라 시스템과 그의 구동 방법
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
JP2013025544A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 周囲環境認識装置
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
EP3654286B1 (en) 2013-12-13 2024-01-17 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
EP3627360A1 (en) * 2018-09-21 2020-03-25 Bricsys NV Improved annotation positioning in a cad drawing

Also Published As

Publication number Publication date
US20170352275A1 (en) 2017-12-07
US11615709B2 (en) 2023-03-28
EP3264367A3 (en) 2018-03-14
US20200193832A1 (en) 2020-06-18
US20230196921A1 (en) 2023-06-22
CN107472135B (zh) 2022-03-25
US11948462B2 (en) 2024-04-02
US11183067B2 (en) 2021-11-23
JP2017220923A (ja) 2017-12-14
US11056001B2 (en) 2021-07-06
CN107472135A (zh) 2017-12-15
EP3264367A2 (en) 2018-01-03
EP3264367B1 (en) 2025-04-30
US20210398430A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
JP6868805B2 (ja) 画像生成装置、画像生成方法、およびプログラム
US11082678B2 (en) Vehicular vision system with customized display
CN111448591B (zh) 不良光照条件下用于定位车辆的系统和方法
CN103770708B (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
JP5208203B2 (ja) 死角表示装置
JP4970516B2 (ja) 周囲確認支援装置
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
KR20160072190A (ko) 사발형 영상 시스템
US10699376B1 (en) eMirror with 3-in-1 stitching by non-rectilinear warping of camera views
CN108460734A (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
JP7263731B2 (ja) 画像処理装置
US12434630B2 (en) Below vehicle rendering for surround view systems
CN108268833A (zh) 图像处理设备和图像处理方法
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
JP2016224610A (ja) 描画装置、描画方法および描画プログラム
JP2009077022A (ja) 運転支援システム及び車両
JP2008230561A (ja) 撮像制御装置および測光領域調整方法
US12617341B1 (en) Systems and methods for context-aware visibility improvements in low-visibility conditions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210325

R151 Written notification of patent or utility model registration

Ref document number: 6868805

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151