JP6519355B2 - カメラ装置及び車載システム - Google Patents

カメラ装置及び車載システム Download PDF

Info

Publication number
JP6519355B2
JP6519355B2 JP2015131311A JP2015131311A JP6519355B2 JP 6519355 B2 JP6519355 B2 JP 6519355B2 JP 2015131311 A JP2015131311 A JP 2015131311A JP 2015131311 A JP2015131311 A JP 2015131311A JP 6519355 B2 JP6519355 B2 JP 6519355B2
Authority
JP
Japan
Prior art keywords
processing
vehicle
camera module
processing unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015131311A
Other languages
English (en)
Other versions
JP2017017480A (ja
Inventor
中野 稔久
稔久 中野
泰樹 古武
泰樹 古武
大輔 ▲高▼間
大輔 ▲高▼間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015131311A priority Critical patent/JP6519355B2/ja
Priority to CN201610509129.4A priority patent/CN106331446B/zh
Priority to US15/198,539 priority patent/US10331963B2/en
Priority to DE102016211939.7A priority patent/DE102016211939B4/de
Publication of JP2017017480A publication Critical patent/JP2017017480A/ja
Application granted granted Critical
Publication of JP6519355B2 publication Critical patent/JP6519355B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/04Rear-view mirror arrangements mounted inside vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両に搭載して用いられるカメラ装置に関する。
車両にカメラ装置を設置し、当該カメラ装置による撮像画像に基づき車両の前方に存在する人や車両等を認識する技術が知られている(例えば、特許文献1参照)。
特開2014−164461号公報
撮像画像に基づいて実行されるアプリケーションの精度を向上させるため、より高品質である撮像画像が取得可能であるカメラ装置が望まれている。
本発明は、品質の高い撮像画像を撮像可能である車載用のカメラ装置を提供することを目的としている。
本発明の第1の態様は、車両に搭載して用いられるカメラ装置(1)であって、カメラモジュール(111)と、第1処理部(141a)と、第2処理部(141b)と、通信インタフェース(143)と、電源回路(145)と、筐体(114、115)と、カバー(16)と、固定部(12)と、を備える。
カメラモジュールは、車両のワイパ払拭領域を通して車両の前方を撮像する。第1処理部は、カメラモジュールにより撮像された撮像画像に基づき、車両の前方の状況を認識する認識処理の少なくとも一部を実行する。第2処理部は、認識処理の結果に基づき、車線逸脱警報処理、ヘッドライト制御処理、及び前方衝突回避処理のうち、少なくとも2つの処理を含む車両制御処理の少なくとも一部を実行する。
通信インタフェースは、第1処理部及び第2処理部を、車両に搭載される電子機器と通信させるためのインタフェース装置である。電源回路は、カメラモジュール、第1処理部、及び第2処理部に電力を供給する。筐体は、カメラモジュール、第1処理部、第2処理部、通信インタフェース、及び電源回路のうち、少なくともいずれか1つの少なくとも一部を収容する。カバーは、カメラモジュール、第1処理部、第2処理部、通信インタフェース、電源回路、及び筐体のうち、少なくともいずれか1つの少なくとも一部を覆う。固定部は、カメラモジュールを、カメラモジュールの撮像範囲が車両の前方となるように車両のウインドシールドに固定する。
また上記カメラモジュールは、複数のレンズ(121、122、123、124)と、上記複数のレンズを収容するレンズバレル(111b)と、露出を制御する露出制御回路(135)の少なくとも一部を備えており、撮像面が撮像対象側に凹面を向けた湾曲形状であって、上記複数のレンズを透過した光を撮像するイメージセンサ(131)と、を備える。
このようなカメラ装置では、上述したカメラモジュールによって品質の高い撮像画像を取得することができる。そのため、車両の前方の状況を高い精度で認識することができ、車両の制御を適切に実行することができるようになる。
なお、撮像画像の品質とは、例えば、周辺部の感度、収差、高解像度、高画素、広角といった要素の少なくともいずれか1つ以上を意味している。上述したカメラモジュールは、撮像画像の周辺部分、言い換えると撮像画像における縁側に近い部分の品質を高くすることができるため、特に車載カメラに適用させた本発明においては、その効果を顕著に発揮することができる。
本発明の第2の態様は、車両に搭載して用いられるカメラ装置(203)と、ルームミラー(105)内に配置される制御装置(205)と、を有する車載システム(201)である。
カメラ装置は、カメラモジュール(211)と、第1通信インタフェース(215、216)と、電源回路(214)と、筐体(114、115)と、カバー(223)と、固定部(12)と、を備える。カメラモジュールは、車両のワイパ払拭領域を通して車両の前方を撮像する。第1通信インタフェースは、カメラモジュールを、制御装置と通信させるためインタフェース装置である。電源回路は、カメラモジュールに電力を供給する。
筐体は、カメラモジュール、第1通信インタフェース及び電源回路のうち、少なくともいずれか1つの少なくとも一部を収容する。カバーは、カメラモジュール、第1通信インタフェース、電源回路、及び筐体のうち、少なくともいずれか1つの少なくとも一部を覆う。固定部は、カメラモジュールを、カメラモジュールの撮像範囲が車両の前方となるように車両のウインドシールドに固定する。
また上記カメラモジュールは、複数のレンズ(121、122、123、124)と、上記複数のレンズを収容するレンズバレル(111b)と、露出を制御する露出制御回路(135)の少なくとも一部を備えており、撮像面が撮像対象側に凹面を向けた湾曲形状であって、上記複数のレンズを透過した光を撮像するイメージセンサ(131)と、を備える。
また、上記制御装置は、第2通信インタフェース(231)と、第1処理部(141a)と、第2処理部(141b)と、第3通信インタフェース(233)と、電源回路(235)と、を備える。
第2通信インタフェースは、制御装置を、カメラモジュールと通信させるためのインタフェース装置である。第1処理部は、カメラモジュールにより撮像された撮像画像に基づき、車両の前方の状況を認識する認識処理の少なくとも一部を実行する。第2処理部は、認識処理の結果に基づき、車線逸脱警報処理、ヘッドライト制御処理、及び前方衝突回避処理のうち、少なくとも2つの処理を含む車両制御処理の少なくとも一部を実行する。第3通信インタフェースは、第1処理部及び第2処理部を、車両に搭載される電子機器と通信させるためのインタフェース装置である。電源回路(235)は、第1処理部及び第2処理部に電力を供給する。
このようなカメラ装置では、上述した本発明の第1の態様のカメラ装置と同様に、カメラモジュールによって品質の高い撮像画像を取得することができる。また、第1処理部及び第2処理部をルームミラー内に配置される制御装置に設けたので、カメラ装置の小型化が可能となる。
本発明の第3の態様は、車両に搭載して用いられるカメラ装置(1、203)であって、カメラモジュール(111、211)と、通信インタフェース(143、215)と、電源回路(145、214)と、筐体(114)と、カバー(16、223)と、固定部(12)と、を備える。
カメラモジュール(111、211)は、車両のワイパ払拭領域を通して車両の前方を撮像する。通信インタフェース(143、215、216)は、カメラモジュールを、車両に搭載される電子機器と通信させるためのインタフェース装置である。電源回路(145、214)は、カメラモジュールに電力を供給する。筐体(114、115)は、カメラモジュール、通信インタフェース及び電源回路のうち、少なくともいずれか1つの少なくとも一部を収容する。カバー(16、223)は、カメラモジュール、通信インタフェース、電源回路、及び筐体のうち、少なくともいずれか1つの少なくとも一部を覆う。固定部(12)は、カメラモジュールを、カメラモジュールの撮像範囲が車両の前方となるように車両のウインドシールドに固定する。
また上記カメラモジュールは、複数のレンズ(121、122、123、124)と、上記複数のレンズを収容するレンズバレル(111b)と、露出を制御する露出制御回路(135)の少なくとも一部を備えており、撮像面が撮像対象側に凹面を向けた湾曲形状であって、上記複数のレンズを透過した光を撮像するイメージセンサ(131)と、を備える。
このようなカメラ装置であれば、本発明の第1の態様のカメラ装置、又は、本発明の第2の態様の車載システムの一部を構成することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
カメラ装置の配置を説明する図である。 車両の前後及び上下に広がる平面によるカメラ装置の断面図である。 カメラ装置の分解斜視図である。 画像センサの分解斜視図である。 レンズバレルの軸と平行な平面によるレンズバレルの断面図である。 撮像基板の電気的構成を示すブロック図である。 画像センサの電気的構成を示すブロック図である。 イメージセンサの撮像面の形状を説明する模式的な断面図である。 車両の電気的な構成を表すブロック図である。 車両の前後及び上下に広がる平面によるカメラ装置及びルームミラーの断面図である。 撮像基板の電気的構成を示すブロック図である。 制御装置の電気的構成を示すブロック図である。
以下、本発明の例示的な実施形態について図面を参照しながら説明する。
[第1実施形態]
(1)カメラ装置の配置
図1に示すように、カメラ装置1は、車両101のウインドシールド2に取り付けて用いられる装置である。カメラ装置1が取り付けられる位置は、ウインドシールド2の内側(車室側)におけるウインドシールド2の上部における左右の中央部であって、図示しないワイパがウインドシールド2の外側面を拭うワイパ払拭範囲107の裏側である。この位置は、ルームミラー105の近傍である。
カメラ装置1の視野、即ちカメラ装置1の撮像範囲は、車両101の前方である。カメラ装置1はワイパ払拭範囲107を通して車両101の前方を撮像する。なお、以下では、車両101を単に自車両とも記載する。
(2)カメラ装置の構成
カメラ装置1の構成を図2〜図7を用いて説明する。カメラ装置1は、図2及び図3に示されるように、画像センサ11、ブラケット12、フード13、カバー16などを備える。
画像センサ11は、図4に示されるように、カメラモジュール111、電気接続配線112、制御基板113、筐体114及び下部カバー115などを備える。
カメラモジュール111は、ワイパ払拭範囲107を通して自車両の前方を撮像するための装置であって、レンズ部111aと、レンズバレル111bと、撮像基板111cと、を備える。レンズ部111aは、図5に示されるように、4つのレンズ121〜124の組み合わせにより構成される。レンズバレル111bは、円筒状の部位であり、その内部にてレンズ部111aを構成する複数のレンズを保持する。
なお、レンズ部111aを構成するレンズの数は4つに限定されない。レンズ部111aは、2つ以上のレンズより構成されるものであればよい。
レンズ部111aへ入射した入射光Lは、各レンズを通過して、撮像基板111cに設けられるイメージセンサ131の受光面131aに配置されるフォトセンサアレイ132上で結像する。イメージセンサ131は、入射光Lが結像して形成された被写体像を電気信号に変換して出力する。

なお、このイメージセンサ131は撮像される対象側に凹を向けて湾曲した形状である。この形状について詳細は後述する。
撮像基板111cは、図6に示されるように、上述したイメージセンサ131と、制御回路133と、を備える。イメージセンサ131は、上述したフォトセンサアレイ132と、露出を制御する露出制御回路135と、を備える。制御回路133は、撮像基板111cの各部に電力を供給する電源回路136と、画像信号インタフェース137(以降、画像信号I/F137と記載する)と、制御信号インタフェース138(以降、制御信号I/F138と記載する)と、を有する。
露出制御回路135は、イメージセンサ131から出力された信号に基づいて入力される撮像画像の輝度を検出し、検出された輝度に基づいて、露光タイミングなどを制御する。
画像信号I/F137は、イメージセンサ131が取得した撮像画像に関する信号を制御基板113に出力する。制御信号I/F138は、イメージセンサ131の動作を制御する制御信号を制御基板113から入力する。カメラモジュール111の撮像基板111cと制御基板113との電気的な接続は、電気接続配線112により実現される。
画像センサ11の電気的な機能について、図7を用いて説明する。制御基板113は、信号処理部141、通信インタフェース143(以降、通信I/F143と記載する)、電源回路145などを有している。
信号処理部141は、CPU、ROM及びRAMなどを中心に構成されており、第1処理部141a、及び、第2処理部141bとして機能する。
第1処理部141aは、自車両の前方の状況を認識する認識処理を、カメラモジュール111により撮像された撮像画像に基づき実行する。
第2処理部141bは、第1処理部141aによる認識処理の認識結果に基づき、自車両に搭載された機器を制御するための車両制御処理を実行する。なお、認識処理によって認識される認識対象、及び、車両制御処理の処理内容については後述する。
通信I/F143は、自車両に搭載された電子機器151と通信を行うためのインタフェースである。この通信I/F143は、例えば、電子機器151と通信線にて接続する場合において通信線を接続するコネクタ及び電気回路が該当する。以下の説明において、インタフェースとはコネクタ及び接続を確立するための電子回路を含むものとする。なお上述した電子機器151は、上述した車両制御処理を実現するための機器を含む。
電源回路145は、アクセサリ電源又はバッテリー電源からの電力供給を受け、カメラモジュール111(イメージセンサ131を含む)、制御基板113(信号処理部141を含む)に必要な電力を供給する。
説明を図4に戻る。筐体114は、下方が開放された、側壁及び上壁を有する容器状の部材であり、カメラモジュール111、電気接続配線112及び制御基板113を上方から覆うようにして収容する。下部カバー115は、筐体114の下方を閉じるための部材である。
また、筐体114における側壁部1141には、カメラモジュール111のレンズバレル111bをウインドシールド2側に露出させるための切欠部1142が形成されている。
ここで、側壁部1141とは、後述する方法でブラケット12を介して筐体114がウインドシールド2に固定された状態において、筐体114内部のカメラモジュール111よりもウインドシールド2側に位置する筐体114の上壁の一部である。
説明を図2及び図3に戻る。
ブラケット12は、画像センサ11の筐体114をウインドシールド2に固定するための部材である。ブラケット12は、樹脂製又は金属製であって、ウインドシールド2に沿って配置される板状部12aと、板状部12aにおけるウインドシールド2側の面とは反対側の面に立てられた一対の側壁部12bと、を有する。
板状部12aの中央部には板状部12aの表裏に貫通する略矩形の開口部12cが形成されている。また、板状部12aの一方の端部から開口部12cに繋がるように板状部12aを切り欠く欠損部12dが形成されている。これら開口部12c及び欠損部12dが形成されることにより、板状部12aは全体として略U字形状となる。
また側壁部12bは開口部12c及び欠損部12dの両側にそれぞれ設けられており、これら一対の側壁部12bの間にフード13が収まる。
本実施形態では、ブラケット12の板状部12aがウインドシールド2に固定(この例では接着)され、固定されたブラケット12に筐体114が組み付けられることで筐体114がウインドシールド2に固定される。
このようにブラケット12を介して筐体114がウインドシールド2に固定された状態において、ブラケット12には開口部12cが形成されているため、筐体114とウインドシールド2とは対向する。ここでいう「対向」とは、筐体114とウインドシールド2との間に何ら部材がない状態において筐体114とウインドシールド2とが互いに向き合うことを意味する。
また、ブラケット12の欠損部12dは、筐体114から露出したカメラモジュール111の前方に位置する。この欠損部12dは、カメラモジュール111の画角範囲に対応するように、カメラモジュール111の撮像方向の前方に向かって幅が広くなる台形状に形成されており、カメラモジュール111の視界が確保されるようになっている。
このように、ブラケット12は、カメラモジュール111を、カメラモジュール111の撮像範囲が自車両の前方となるようにウインドシールド2に固定する。このブラケット12が、本発明における固定部の一例である。
フード13は、台形状の底面と、台形状の底面の底辺以外の2辺に立設された2つの側面と、を有する樹脂製の部材である。フード13は、ブラケット12の一対の側壁部12bの間にはめ込まれて使用される。本実施形態では、フード13がはめ込まれたブラケット12に筐体114が組み付けられることにより、フード13がカメラモジュール111のレンズバレル111bを覆う構成となる。ここで、フード13の底面がカメラモジュール111のレンズバレル111bより下方に位置するように、フード13は配置される。このようにフード13が配置されることにより、カメラモジュール111の画角範囲外の景色のレンズ部111aへの映り込みが抑制される。
なおブラケット12は、接着剤を用いることでウインドシールド2に固定される。本実施形態では、ブラケット12をウインドシールド2に固定するための接着剤等が自車両の外から視認されることを抑制するために、黒セラミック3を介してブラケット12がウインドシールド2に取り付けられる。ここで、黒セラミック3には、カメラモジュール111の視界を遮らないようにするため、カメラモジュール111の画角範囲に相当する台形状の欠損部3aが形成されている。
カバー16は、上方が開放された、側面及び下面を有する容器状の部材であり、画像センサ11、ブラケット12及びフード13を下方から覆い、これらの構成が自車両の車室内から視認されにくくして美観の低下を抑制する。
(3)撮像基板のイメージセンサの形状
撮像基板111cのイメージセンサ131は、その受光面131aが湾曲した形状となった、すなわちフォトセンサアレイ132が湾曲面に配置された、いわゆる湾曲イメージャである。図8を用いて、イメージセンサ131の形状を説明する。図8においては、レンズ部111aは1つのレンズとして模式的に示されており、またイメージセンサ131は受光面131aに設けられたフォトセンサアレイ132だけが模式的に示されている。
レンズ部111a及びフォトセンサアレイ132は、レンズ部111aを透過した透過光がフォトセンサアレイ132にて被写体像を結像させるように配置されている。
フォトセンサアレイ132と、フォトセンサアレイ132に入射する光源の成す角と、が0degの際に、フォトセンサアレイ132の集光効率が最も良いものとなる。フォトセンサアレイ132の周辺部まで高い感度が得られる曲率条件は、曲率半径を“R”、フォトセンサアレイ132の対角弧の長さを“Y”、フォトセンサアレイ132に入射する主光線と光軸Xとの成す角度をθとしたときに、
R=Y/(2θ) …式1
となる。
車載のカメラモジュールにおいて、フォトセンサアレイ132に入射する光源の成す角θは、
π/36 <θ< π/6 …式2
となるため、式1及び式2から、Rは以下の範囲に設定されることが好ましい。
3/π < R/Y < 18/π …式3
この式3を満足するようにフォトセンサアレイ132の形状を設定することにより、光源のフォトセンサアレイ132に対する入射角度が大きくなってしまうことによるシェーディング(周辺部が暗くなる)現象の発生を抑制することができる。
(4)車両の電気的な構成
次に、自車両の電気的な機能について図9を用いて説明する。自車両は、共通のバス4に接続された検出部5、センサ部6、運動部7、ヒューマンマシンインタフェース部(以降、HMI部と記載する)8を備える。
検出部5は、自車両の周辺の状況を検出するための装置として、車載カメラ51及びレーダ装置52を備える。車載カメラ51は、上述したカメラモジュール111に加え、右側方カメラ511、左側方カメラ512、及び後方カメラ513を備える。右側方カメラ511は、自車両右側のサイドミラーに設置され、自車両右側方を撮像する。左側方カメラ512は、自車両左側のサイドミラーに設置され、自車両左側方を撮像する。後方カメラ513は、自車両後方のリアゲートに設置され、自車両の後方を撮像する。
レーダ装置52は、ミリ波帯又はレーザ光によるレーダ波を送受信することによって所定の探査範囲内に存在するレーダ波を反射した物体を検出する周知のものであり、車両からの距離、車両との相対速度、及び車両に対する横位置を少なくとも含んだ対象物情報を生成して、信号処理部141(第1処理部141a)に出力する。また、レーダ装置として、超音波を発信し、所定の方向にある物体からの反射波により物体を検出するソナー(図示せず)を備えてもよい。
センサ部6は、自車両に搭載された機器の状態を検出するための装置として、車速センサ61を備える。車速センサ61は、自車速(自車両の走行速度)を検出する。
運動部7は、自車両におけるボディ系、パワートレイン系及びシャーシ系の制御の制御対象となる装置として、車両の進行方向を変更する操舵装置71、減速やエネルギー回生を行うブレーキ72、エンジンやモーター等の発動機からなり車両を推進する動力発生装置73、回転速度とトルクの変換を行い動力を伝達する変速機74、ヘッドライト75、進路変更や右左折時の合図を行う方向指示器76及びガラスに付着した雨滴、雪、汚れ等により視界が不良となる場合に付着物を除去するワイパ77を備える。
HMI部8は、人間と装置とのコミュニケーションのためのインタフェースを提供するための装置として、ブザー81、スピーカ82、インジケータ83及びセンタコンソール内に設けられたナビゲーションディスプレイやセンタコンソール上に設けられたヘッドアップディスプレイなどのディスプレイ84を備える。また、電動モータなどからなりステアリングやシートを振動させる加振器(図示なし)やステアリングやブレーキペダルに反力を発生させる反力生成器(図示なし)を備え、これらの機器を作動させることにより装置から人間に対して情報伝達を行ってもよい。また、後述する認識処理の感度(認識のし易さの段階)や判断処理の処理タイミングを調整するための感度調整器を備え、人間から装置へ情報伝達を行ってもよい。
ところで、信号処理部141の第1処理部141aは、自車両の周辺の状況を認識する認識処理を、車載カメラ51による撮像画像及びレーダ装置52の検出結果に基づき実行する。なお、以下では、車載カメラ51のカメラモジュール111による撮像画像に基づく認識処理のみを指す場合には特に「第1の認識処理」と記載し、レーダ装置52による検出結果に基づく認識処理のみを指す場合には特に「第2の認識処理」と記載する。
本実施形態では、第1処理部141aは、認識処理により、車線、道路形状、路面状態、光源、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、標識、交通信号、道路標示、看板、トンネル、退避領域、カメラモジュール111の視界を遮るもの、気象環境及び建造物を認識する。
ここで、道路形状とは、道路の曲率や勾配等を意味し、路面状態とは、例えば、雨や雪等により光が反射しやすくなった路面の状態等を意味する。また、光源としては、例えば、先行車両のテールライトや対向車両のヘッドライト等が挙げられる。また、先行歩行者とは、自車両の前方を自車両の進行方向と同方向に歩いている歩行者であり、対向歩行者とは、自車両の前方を自車両の進行方向と逆方向に歩いている歩行者であり、静止者とは、静止している者である。
障害物としては、例えば、岩等が挙げられ、路側物としては、例えば、縁石、ガードレール、ポール、樹木、塀、建物、駐車車両、駐輪車両等の路側障害物や電柱等が挙げられる。また、退避領域とは、後方から接近して来る車両等を回避するための道路の脇に設けられた領域である。カメラモジュール111の視界を遮るものとしては、例えば、ウインドシールド2におけるカメラモジュール111のレンズ部111aの前方に位置する部分又はレンズ部111aに付着した汚れや、ウインドシールド2の上記部分に貼り付いた紙等の貼付物等が挙げられる。また、気象環境としては、例えば、雨、雪、霧や逆光等が挙げられる。
また、車線は、道路の白線の位置を認識することにより認識される。白線の位置は、カメラモジュール111による撮像画像に対して、周知の白線認識処理(例えば、画像二値化及びハフ変換を用いた白線認識処理)を行うことで、認識される。また、光源は、カメラモジュール111による撮像画像に対して、周知の認識処理を逐次行うことで認識される。すなわち、第1処理部141aは、撮像画像に写された物体のうち所定値以上の輝度、所定の形状に近い形状及び所定の色に近い色等を有する物体を光源として認識し、撮像画像におけるその位置座標を特定する。
また、第1処理部141aは、例えば、その光源が先行車両のテールライトであること、又は、その光源が対向車両のヘッドライトであること、を認識する。ここで、第1処理部141aは、例えば、光源の色が赤色に近い所定の範囲内の色であればその光源を先行車両のテールライトであると認識し、光源の色が白色に近い所定の範囲内の色であればその光源が対向車両のヘッドライトであると認識する。
第2処理部141bは、第1処理部141aの認識結果に基づき車両制御処理を実行する。本実施形態では、第2処理部141bは、車両制御処理として、車線逸脱警報処理、車線維持処理、ヘッドライト制御処理、出会頭衝突回避処理、交差点衝突回避処理、前方衝突回避処理、標識表示処理、制限速度表示処理、制限速度超過警報処理、オートワイパ処理、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理、全車速アダプティブクルーズコントロール処理、ブラインドスポット警報処理、後方クロストラフィック警報処理、前方クロストラフィック警報処理、車間警報処理、追突警報処理及び誤発進防止処理を実行する。
ここでいう車線逸脱警報処理とは、第2処理部141bが、車線逸脱判定を行い、車線逸脱判定の判定結果に応じて、ブザー81及びスピーカ82に自車両の乗員に対する警告を音声出力させる処理である。ここで、車線逸脱判定とは、自車両が車線を逸脱するおそれがあるか否かの判定及び自車両が車線を逸脱しているか否かの判定である。車線逸脱警報処理は、車線及び道路形状等に関する認識結果に基づき実行される。
車線維持処理とは、自車両が車線から逸脱しないように操舵装置71を制御する処理であり、車線及び道路形状等に関する認識結果に基づき実行される。
ヘッドライト制御処理とは、自車両のヘッドライト75のハイビームとロービームとを切り替える制御、又は、ヘッドライト75の光軸方向をスイブル(Swivel:旋回)させる制御、を実行する処理である。ヘッドライト制御処理は、車線、道路形状、路面状態及び光源等に関する認識結果に基づき実行される。
出会頭衝突回避処理とは、交差点の手前で自車両の前方を横断している車両等と自車両とが衝突する可能性がある場合に、衝突を回避するように操舵装置71やブレーキ72等の自車両の運動にかかわる制御対象を制御する処理である。交差点衝突回避処理とは、自車両が交差点を曲がっているときに歩行者や車両等と自車両とが衝突する可能性がある場合に、衝突を回避するように操舵装置71やブレーキ72等の自車両の運動にかかわる制御対象を制御する処理である。
前方衝突回避処理とは、先行車両等と自車両とが衝突する可能性がある場合に、衝突を回避するように操舵装置71やブレーキ72等の自車両の運動にかかわる制御対象を制御する処理である。また、出会頭衝突回避処理、交差点衝突回避処理及び前方衝突回避処理には、看板又はトンネルが認識された場合であって自車両が当該看板の下又は当該トンネルを通過できない場合にブザー81及びスピーカ82に警告を音声出力させる処理も含まれる。
なお、出会頭衝突回避処理及び交差点衝突回避処理は、路面状態、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、看板及びトンネル等に関する認識結果に基づき実行される。また、前方衝突回避処理は、出会頭衝突回避処理及び交差点衝突回避処理を実行する際に使用される認識結果に加えて退避領域に関する認識結果に基づき実行される。
標識表示処理とは、標識、交通信号、道路標示及び看板の指示内容等をディスプレイ84に表示させる処理であり、標識、交通信号、道路標示及び看板等に関する認識結果に基づき実行される。また、制限速度表示処理とは、標識に示された制限速度をディスプレイ84に表示させる処理であり、標識等の認識結果に基づき実行される。
制限速度超過警報処理とは、自車両の速度が制限速度を超過している場合に、ブザー81及びスピーカ82に自車両の乗員に対する警告を音声出力させる処理であり、標識等に関する認識結果に基づき実行される。
オートワイパ処理とは、降雨等に応じてワイパ77の動作を制御する処理であり、路面状態及び気象環境等に関する認識結果に基づき視認性低下の状況を判断して実行される。
車線変更支援処理とは、ドライバの車線変更を支援するように操舵装置71、ブレーキ72、変速機74及び方向指示器76を制御する処理であり、例えば、隣接車線を走行する車両を検出し、車線変更時ドライバに報知する。
また、アラウンドビュー表示処理とは、自車両の全周囲の撮像画像をディスプレイ84に表示させる処理である。また、自動駐車処理とは、自動で駐車を行うように操舵装置71及びブレーキ72を制御する処理であり、全車速アダプティブクルーズコントロール処理とは、先行車両に追従して走行するようにブレーキ72、動力発生装置73及び変速機74を制御する処理である。
なお、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理及び全車速アダプティブクルーズコントロール処理は、次の認識結果に基づき実行される。すなわち、これらの処理は、車線、道路形状、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、標識、交通信号及び道路標示等に関する認識結果に基づき実行される。
ブラインドスポット警報処理とは、走行中の自車両の死角に当たる斜め後方等に車両等が進入した場合に、ドライバに注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。後方クロストラフィック警報処理とは、駐車場等における自車両の後退時において自車両の死角に当たる後方等に車両等が進入した場合に、ドライバに注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。また、前方クロストラフィック警報処理とは、見通しの悪い交差点等において、自車両の前方の死角に車両等が存在する場合に、注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。
なお、ブラインドスポット警報処理、後方クロストラフィック警報処理及び前方クロストラフィック警報処理は、次の認識結果に基づき実行される。すなわち、これらの処理は、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、標識、交通信号及び道路標示等に関する認識結果に基づき実行される。
車間警報処理とは、先行車両との車間距離が所定の警報距離よりも短くなった場合に注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。また、追突警報処理とは、先行車両と衝突しそうな場合に注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。
なお、車間警報処理及び追突警報処理は、先行車両等に関する認識結果に基づき実行される。また、誤発進防止処理とは、自車両の停車時において自車両の前方に建造物があるにもかかわらずアクセルが踏まれた場合にブレーキ72及び動力発生装置73を制御する処理であり、建造物に関する認識結果に基づき実行される。
なお、第2処理部141bは、上記各車両制御処理においてカメラモジュール111の視界を遮るものが認識された場合は、当該車両制御処理において実行する少なくとも一部の制御、特に、操舵装置71やブレーキ72等の自車両の運動を伴う制御対象の制御を停止する。また、第2処理部141bは、上記各車両制御処理においてカメラモジュール111による画像認識が実行困難な豪雨等の気象環境が認識された場合にも、当該車両制御処理において実行する少なくとも一部の制御を停止する。
第2処理部141bは、画像センサ11内にある温度センサから取得した温度、つまりカメラモジュール111の温度が所定の閾値以上であるか否か、及び、カメラモジュール111の視界が遮られているか否かを判断する。そして、カメラモジュール111の温度が所定の閾値以上である場合と、カメラモジュール111の視界が遮られている場合には、第1処理部141aは、カメラモジュール111による撮像画像に基づく第1の認識処理よりも、レーダ装置52による検出結果に基づく第2の認識処理を優先して実行する。
なお、第1処理部141aによる認識処理は上述した第1の認識処理及び第2の認識処理に限定されず、様々な態様の認識処理を取りうる。例えば、第1処理部141aは第2の認識処理を実行しない構成であってもよい。また、第1処理部141aはカメラモジュール111とレーダ装置52を同時に用いた認識処理を実行してもよい。
(5)効果
(5a)本実施形態のカメラ装置1は、撮像画像に基づいて車両の外部を認識し、その認識結果に基づいて様々な車両制御を実行する。カメラ装置1は撮像画像の撮像にカメラモジュール111を用いているため、高品質な撮像画像を取得することができ、その結果、非常に精度の高い車両制御を実行することができる。
高品質な撮像画像を取得できる理由は、カメラモジュール111が撮像基板111cのイメージセンサ131として、フォトセンサアレイ132が撮像対象側(即ち前方側)に凹面を向けた湾曲形状であるいわゆる湾曲イメージャを採用しているためである。
湾曲イメージャは、撮像面が平面であるいわゆる平面イメージャを用いる場合と比較して、高品質な撮像画像、つまり、周辺部の感度が高く、また特に周辺部の収差が抑制された撮像画像を取得することができる。また、暗電流が低いためノイズが小さく、ダイナミックレンジが大きくなる。
車両制御においては、有効な撮影範囲の広角化、すなわち撮像画像の周辺部まで高い感度で撮像されることが望まれる。例えば、交差点の状況を認識したいときや人などの飛び出しを検出したいときは、撮像画像における車両の前方部分のみでなく、撮像画像の左右の隅々まで車や人などを正確に検出できることが望ましい。
よって、本実施形態のカメラモジュール111を備えたカメラ装置1を用いることで、撮像画像の高品質化を実現でき、撮像画像周辺部での物標認識性能の向上、夜間の物標認識性能の向上を達成することができる。
(5b)本実施形態のカメラ装置1は、カメラモジュール111が上述したように湾曲イメージャを採用しているため、撮像画像における特に周辺部の収差が小さい。よって、所望の品質の撮像画像を取得するために、平面イメージャを採用する場合と比較して必要なレンズの数が低減される。
その結果カメラ装置1は、フレア・ゴーストの抑制による認識性能の向上と、レンズ部111aが小型化できることによるカメラ装置1の小型化と、が実現できる。カメラ装置1が小型化できることにより、ドライバによる車両前方の視認性の向上、車室内の美観向上、カメラ装置1の製造や輸送のコスト低減などを図ることができる。
(5c)本実施形態のカメラ装置1は、カメラモジュール111が上述したように湾曲イメージャを採用しているため、高温側動作範囲が拡大される。よって、車両外部の環境の影響や、カメラモジュールの高機能化(高解像度、高フレームレート)に伴う発熱の増大の影響を低減でき、動作の安定性向上を図ることができる。
[第2実施形態]
第2実施形態の車載システムは、第1実施形態のカメラ装置1の機能を分散して配置したものである。第1実施形態と共通する構成については同一の符号を用いて説明を省略し、相違点を中心に説明する。
(1)車載システムの構成
図10に示すように、車載システム201は、カメラ装置203と、ルームミラー105内に配置される制御装置205と、を有する。
(2)カメラ装置の構成
カメラ装置203の画像センサ207は、第1実施形態の画像センサ11とは異なり、制御基板113を備えていない。一方で、画像センサ207に備えられるカメラモジュール211は、撮像基板111cに変えて、図11に示す撮像基板211cを有している。
撮像基板211cは、イメージセンサ131と、制御回路213と、を有する。制御回路213は、撮像基板211cの各部に電力を供給する電源回路214と、画像信号インタフェース215(以降、画像信号I/F215と記載する)と、制御信号インタフェース216(以降、制御信号I/F216と記載する)と、を有する。画像信号I/F215及び制御信号I/F216は、コネクタ218(図10参照)を有している。
画像信号I/F215は、イメージセンサ131が取得した撮像画像に関する信号を制御装置205に出力する。制御信号I/F216は、イメージセンサ131の動作を制御する制御信号を制御装置205から入力する。カメラモジュール211の撮像基板211cと制御装置205との電気的な接続は、通信線221により実現される。画像信号I/F215及び制御信号I/F216が、本発明における第1通信インタフェースの一例である。
説明を図10に戻る。カメラ装置203は、カメラ装置1と同様に、ブラケット12を備えている。これらの機能は第1実施形態と同様である。また筐体114及び下部カバー115は、カメラモジュール211を収容する。
またカメラ装置203は、画像センサ207と通信線221とを覆うカバー223を備えている。カバー223は、ルームミラー105をウインドシールド2に対して固定する支持部105aにまで到達しており、通信線221は自車両の室内に露出せずに隠されることとなる。
(3)制御装置の構成
制御装置205は、図12に示されるように、信号処理部141、カメラ側通信インタフェース231(以降、カメラ側I/F231と記載する)、電子機器側通信インタフェース233(以降、機器側I/F233と記載する)、電源回路235などを有している。
カメラ側I/F231は、カメラモジュール211にコネクタ218を介して接続される通信線221に接続されている。この通信線221により、カメラモジュール211と制御装置205の通信が可能となる。カメラ側I/F231が、本発明における第2通信インタフェースの一例である。
機器側I/F233は、自車両に搭載された電子機器151と通信を行うためのインタフェースである。機器側I/F233が本発明における第3通信インタフェースの一例である。
電源回路235は、アクセサリ電源又はバッテリー電源からの電力供給を受け、信号処理部141を含む制御装置205の各部に必要な電力を供給する。
(4a)カメラ装置203の機能の一部がルームミラー105に移動したため、カメラ装置203を小型化することができる。それにより、ドライバによる車両前方の視認性の向上、車室内の美観向上、カメラ装置1の製造や輸送のコスト低減などを図ることができる。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(a)上記第2実施形態においては、ルームミラー105内に制御装置205が配置される構成を例示したが、自車両内のルームミラー105以外の場所に配置されていても良い。その場合、画像信号I/F215及び制御信号I/F216は有線ではなく無線により制御装置205と通信する通信モジュールとして構成されていてもよい。
(b)上記第1実施形態及び第2実施形態においては、第1処理部141aが自車両の周辺の状況を認識する認識処理を実行する構成を例示したが、第1処理部141aは認識処理の一部を実行する構成であってもよい。例えば、第1処理部141aが自車両の電子機器151と協働して認識処理を実行する構成であってもよい。
(c)上記第1実施形態及び第2実施形態においては、第2処理部141bが、認識処理の認識結果に基づいて自車両に搭載された機器を制御するための車両制御処理を実行する構成を例示したが、第2処理部141bは車両制御処理の一部を実行する構成であってもよい。例えば、第2処理部141bが自車両の電子機器151と協働して車両制御処理を実行する構成であってもよい。
(d)第1処理部141aと第2処理部141bは、それぞれ制御基板113又は制御装置205に実装された信号処理部141の有する機能部である構成、すなわち同一の電気部品を用いて構成される態様を例示した。しかしながら、第1処理部141aと第2処理部141bは、異なる電気部品を用いて構成されていてもよい。ここでいう電気部品とは、集積回路、チップセット、マイクロコンピュータ、回路基板などが該当する。
より具体的には、第1処理部141aと第2処理部141bは、同一のチップセットやマイクロコンピュータにより構成されていてもよいし、別々のチップセット等により構成されていてもよい。また、第1処理部141aと第2処理部141bは、同一の回路基板に搭載されていてもよいし、別々の回路基板に搭載されていてもよい。
(e)露出制御回路135は露出制御の一部を担うものであってもよい。すなわち、露出制御回路135は撮像基板111c及び撮像基板211cの外部に設けられた制御回路と協働して露出制御を実行する構成であってもよい。
(f)上記第1実施形態においては、筐体114及び下部カバー115は、カメラモジュール111、電気接続配線112及び制御基板113を収容する構成を例示したが、カメラモジュール111、信号処理部141、通信I/F143、電源回路145のうちの少なくともいずれか1つの少なくとも一部を収容する構成であればよい。
また上述した各部位が複数の構成要素からなる場合、例えば信号処理部141の第1処理部141aと第2処理部141bとが別部品である場合には、それら構成要素のいずれか一つを収容する構成であればよい。
またカバー16は、画像センサ11、ブラケット12及びフード13を下方から覆う構成を例示したが、カメラモジュール111、信号処理部141、通信I/F143、電源回路145、筐体114、下部カバー115のうち、の少なくともいずれか1つの少なくとも一部を覆う構成であればよい。上述した各部位が複数の構成要素からなる場合、例えば信号処理部141の第1処理部141aと第2処理部141bとが別部品である場合には、それら構成要素のいずれか一つの少なくとも一部を覆う構成であればよい。
(g)上記第2実施形態においては、筐体114及び下部カバー115は、カメラモジュール211を収容する構成を例示したが、カメラモジュール211、画像信号I/F215、制御信号I/F216、電源回路214のうち、少なくともいずれか1つの少なくとも一部を収容する構成であればよい。
またカバー223は、画像センサ207及び通信線221を覆う構成を例示したが、カメラモジュール211、画像信号I/F215、制御信号I/F216、電源回路214、筐体114、下部カバー115のうち、の少なくともいずれか1つの少なくとも一部を覆う構成であればよい。
(h)上記第1実施形態及び第2実施形態においては、カメラ装置1及びカメラ装置203は単眼カメラである構成を例示したが、カメラ装置はこれらに限られない。例えば、カメラ装置はステレオカメラであってもよい。
(i)上記第1実施形態及び第2実施形態においては、ブラケット12は筐体114を介してカメラモジュール111、211をウインドシールド2に固定する構成を例示したが、ブラケット12はカメラモジュール111、211をウインドシールド2に固定するものであれば、その具体的な態様は特に限定されない。つまり、カメラモジュールはブラケットを介してウインドシールド2に固定されていればよく、カメラモジュールとブラケットの間、及びブラケットとウインドシールドの間に他の部品が介在していてもよい。
(j)上記第1実施形態及び第2実施形態においては、第1処理部141aは、車線、道路形状、路面状態、光源、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、標識、交通信号、道路標示、看板、トンネル、退避領域、前記カメラモジュールの視界を遮るもの、気象環境及び建造物を認識処理により認識する構成を例示した。
しかしながら、第1処理部141aが、これらをすべて認識する必要はなく、上述したもの中から選択される少なくとも1つを認識する構成であればよい。
(k)上記第1実施形態及び第2実施形態においては、第2処理部141bは車両制御処理として、車線逸脱警報処理、車線維持処理、ヘッドライト制御処理、出会頭衝突回避処理、交差点衝突回避処理、前方衝突回避処理、標識表示処理、制限速度表示処理、制限速度超過警報処理、オートワイパ処理、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理、全車速アダプティブクルーズコントロール処理、ブラインドスポット警報処理、後方クロストラフィック警報処理、前方クロストラフィック警報処理、車間警報処理、追突警報処理及び誤発進防止処理を実行する構成を例示した。
しかしながら、第2処理部141bは、車線逸脱警報処理、ヘッドライト制御処理、及び前方衝突回避処理のうち少なくとも2つの処理を実行する構成であればよい。そして、それらに加えて、車線維持処理、出会頭衝突回避処理、交差点衝突回避処理、標識表示処理、制限速度表示処理、制限速度超過警報処理、オートワイパ処理、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理、全車速アダプティブクルーズコントロール処理、ブラインドスポット警報処理、後方クロストラフィック警報処理、前方クロストラフィック警報処理、車間警報処理、追突警報処理及び誤発進防止処理からなる群から選択される少なくとも1つの処理を実行する構成としてもよい。
(l)上記実施形態におけるM個(Mは1以上の整数)の構成要素が有する機能をN個(NはMより大きい整数)の構成要素として分散させたり、N個の構成要素が有する機能をM個の構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
1…カメラ装置、2…ウインドシールド、11…画像センサ、12…ブラケット、16…カバー、101…車両、105…ルームミラー、111…カメラモジュール、111a…レンズ部、111b…レンズバレル、111c…撮像基板、114…筐体、131…イメージセンサ、133…制御回路、135…露出制御回路、141…信号処理部、141a…第1処理部、141b…第2処理部、143…通信インタフェース、145…電源回路、201…車載システム、203…カメラ装置、205…制御装置、211…カメラモジュール、211c…撮像基板、214…電源回路、215…画像信号インタフェース、216…制御信号インタフェース、223…カバー、231…カメラ側通信インタフェース、233…電子機器側通信インタフェース、235…電源回路

Claims (9)

  1. 車両に搭載して用いられるカメラ装置(1)であって、
    前記車両のワイパ払拭領域を通して前記車両の前方を撮像するカメラモジュール(111)と、
    前記カメラモジュールにより撮像された撮像画像に基づき、前記車両の前方の状況を認識する認識処理の少なくとも一部を実行する第1処理部(141a)と、
    前記認識処理の結果に基づき、車線逸脱警報処理、ヘッドライト制御処理、及び前方衝突回避処理のうち、少なくとも2つの処理を含む車両制御処理の少なくとも一部を実行する第2処理部(141b)と、
    前記第1処理部及び前記第2処理部を、前記車両に搭載される電子機器と通信させるための通信インタフェース(143)と、
    前記カメラモジュール、前記第1処理部、及び前記第2処理部に電力を供給する電源回路(145)と、
    前記カメラモジュール、前記第1処理部、前記第2処理部、前記通信インタフェース、及び前記電源回路のうち、少なくともいずれか1つの少なくとも一部を収容する筐体(114、115)と、
    前記カメラモジュール、前記第1処理部、前記第2処理部、前記通信インタフェース、前記電源回路、及び前記筐体のうち、少なくともいずれか1つの少なくとも一部を覆うカバー(16)と、
    前記カメラモジュールを、前記カメラモジュールの撮像範囲が前記車両の前方となるように前記車両のウインドシールドに固定する固定部(12)と、
    を備え、
    前記カメラモジュールは、
    複数のレンズ(121、122、123、124)と、
    前記複数のレンズを収容するレンズバレル(111b)と、
    露出を制御する露出制御回路(135)の少なくとも一部を備えており、撮像面が撮像対象側に凹面を向けた湾曲形状であるフォトセンサアレイを備え、前記複数のレンズを透過した光を撮像するイメージセンサ(131)と、を備え
    前記イメージセンサは、前記フォトセンサアレイの曲率半径をR、対角弧の長さをYとしたときに、
    3/π < R/Y < 18/π
    を満たすように構成される
    ことを特徴とするカメラ装置。
  2. 車両に搭載して用いられるカメラ装置(203)と、ルームミラー(105)内に配置される制御装置(205)と、を有する車載システム(201)であって、
    前記カメラ装置は、
    前記車両のワイパ払拭領域を通して前記車両の前方を撮像するカメラモジュール(211)と、
    前記カメラモジュールを、前記制御装置と通信させるための第1通信インタフェース(215、216)と、
    前記カメラモジュールに電力を供給する電源回路(214)と、
    前記カメラモジュール、前記第1通信インタフェース及び前記電源回路のうち、少なくともいずれか1つの少なくとも一部を収容する筐体(114、115)と、
    前記カメラモジュール、前記第1通信インタフェース、前記電源回路、及び前記筐体のうち、少なくともいずれか1つの少なくとも一部を覆うカバー(223)と、
    前記カメラモジュールを、前記カメラモジュールの撮像範囲が前記車両の前方となるように前記車両のウインドシールドに固定する固定部(12)と、
    を備え、
    前記カメラモジュールは、
    複数のレンズ(121、122、123、124)と、
    前記複数のレンズを収容するレンズバレル(111b)と、
    露出を制御する露出制御回路(135)の少なくとも一部を備えており、撮像面が撮像
    対象側に凹面を向けた湾曲形状であるフォトセンサアレイを備え、前記複数のレンズを透過した光を撮像するイメージセンサ(131)と、を備えており、
    前記イメージセンサは、前記フォトセンサアレイの曲率半径をR、対角弧の長さをYとしたときに、
    3/π < R/Y < 18/π
    を満たすように構成され、
    前記制御装置は、
    前記制御装置を、前記カメラモジュールと通信させるための第2通信インタフェース(231)と、
    前記カメラモジュールにより撮像された撮像画像に基づき、前記車両の前方の状況を認識する認識処理の少なくとも一部を実行する第1処理部(141a)と、
    前記認識処理の結果に基づき、車線逸脱警報処理、ヘッドライト制御処理、及び前方衝突回避処理のうち、少なくとも2つの処理を含む車両制御処理の少なくとも一部を実行する第2処理部(141b)と、
    前記第1処理部及び前記第2処理部を、前記車両に搭載される電子機器と通信させるための第3通信インタフェース(233)と、
    前記第1処理部及び前記第2処理部に電力を供給する電源回路(235)と、
    を備えることを特徴とする車載システム。
  3. 車両に搭載して用いられるカメラ装置(1、203)であって、
    前記車両のワイパ払拭領域を通して前記車両の前方を撮像するカメラモジュール(111、211)と、
    前記カメラモジュールを、前記車両に搭載される電子機器と通信させるための通信インタフェース(143、215、216)と、
    前記カメラモジュールに電力を供給する電源回路(145、214)と、
    前記カメラモジュール、前記通信インタフェース及び前記電源回路のうち、少なくともいずれか1つの少なくとも一部を収容する筐体(114、115)と、
    前記カメラモジュール、前記通信インタフェース、前記電源回路、及び前記筐体のうち、少なくともいずれか1つの少なくとも一部を覆うカバー(16、223)と、
    前記カメラモジュールを、前記カメラモジュールの撮像範囲が前記車両の前方となるように前記車両のウインドシールドに固定する固定部(12)と、
    を備え、
    前記カメラモジュールは、
    複数のレンズ(121、122、123、124)と、
    前記複数のレンズを収容するレンズバレル(111b)と、
    露出を制御する露出制御回路(135)の少なくとも一部を備えており、撮像面が撮像対象側に凹面を向けた湾曲形状であるフォトセンサアレイを備え、前記複数のレンズを透過した光を撮像するイメージセンサ(131)と、を備え
    前記イメージセンサは、前記フォトセンサアレイの曲率半径をR、対角弧の長さをYとしたときに、
    3/π < R/Y < 18/π
    を満たすように構成される
    ことを特徴とするカメラ装置。
  4. 請求項1に記載のカメラ装置であって、
    前記認識処理は、車線、道路形状、路面状態、光源、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、標識、交通信号、道路標示、看板、トンネル、退避領域、前記カメラモジュールの視界を遮るもの、気象環境及び建造物のうち少なくとも1つを認識する処理である
    ことを特徴とするカメラ装置。
  5. 請求項1又は請求項4に記載のカメラ装置であって、
    前記車両制御処理は、前記認識処理の結果に基づき、前記車線逸脱警報処理、前記ヘッドライト制御処理、及び前記前方衝突回避処理のうち少なくとも2つの処理に加えて、車線維持処理、出会頭衝突回避処理、交差点衝突回避処理、標識表示処理、制限速度表示処理、制限速度超過警報処理、オートワイパ処理、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理、全車速アダプティブクルーズコントロール処理、ブラインドスポット警報処理、後方クロストラフィック警報処理、前方クロストラフィック警報処理、車
    間警報処理、追突警報処理及び誤発進防止処理からなる群から選択される少なくとも1つの処理を含む
    ことを特徴とするカメラ装置。
  6. 請求項1、請求項4及び請求項5のいずれか1項に記載のカメラ装置であって、
    前記第1処理部及び前記第2処理部は、同一の電気部品を用いて構成されている
    ことを特徴とするカメラ装置。
  7. 請求項2に記載の車載システムであって、
    前記認識処理は、車線、道路形状、路面状態、光源、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、標識、交通信号、道路標示、看板、トンネル、退避領域、前記カメラモジュールの視界を遮るもの、気象環境及び建造物のうち少なくとも1つを認識する処理である
    ことを特徴とする車載システム。
  8. 請求項2又は請求項7に記載の車載システムであって、
    前記車両制御処理は、前記認識処理の結果に基づき、前記車線逸脱警報処理、前記ヘッドライト制御処理、及び前記前方衝突回避処理のうち少なくとも2つの処理に加えて、車線維持処理、出会頭衝突回避処理、交差点衝突回避処理、標識表示処理、制限速度表示処理、制限速度超過警報処理、オートワイパ処理、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理、全車速アダプティブクルーズコントロール処理、ブラインドスポット警報処理、後方クロストラフィック警報処理、前方クロストラフィック警報処理、車間警報処理、追突警報処理及び誤発進防止処理からなる群から選択される少なくとも1つの処理を含む
    ことを特徴とする車載システム。
  9. 請求項2、請求項7及び請求項8のいずれか1項に記載の車載システムであって、
    前記第1処理部及び前記第2処理部は、同一の電気部品を用いて構成されている
    ことを特徴とする車載システム。
JP2015131311A 2015-06-30 2015-06-30 カメラ装置及び車載システム Active JP6519355B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015131311A JP6519355B2 (ja) 2015-06-30 2015-06-30 カメラ装置及び車載システム
CN201610509129.4A CN106331446B (zh) 2015-06-30 2016-06-30 摄像机设备和车载系统
US15/198,539 US10331963B2 (en) 2015-06-30 2016-06-30 Camera apparatus and in-vehicle system capturing images for vehicle tasks
DE102016211939.7A DE102016211939B4 (de) 2015-06-30 2016-06-30 Kameravorrichtung und Fahrzeugbordsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015131311A JP6519355B2 (ja) 2015-06-30 2015-06-30 カメラ装置及び車載システム

Publications (2)

Publication Number Publication Date
JP2017017480A JP2017017480A (ja) 2017-01-19
JP6519355B2 true JP6519355B2 (ja) 2019-05-29

Family

ID=57682859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015131311A Active JP6519355B2 (ja) 2015-06-30 2015-06-30 カメラ装置及び車載システム

Country Status (4)

Country Link
US (1) US10331963B2 (ja)
JP (1) JP6519355B2 (ja)
CN (1) CN106331446B (ja)
DE (1) DE102016211939B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11938795B2 (en) * 2019-10-18 2024-03-26 Magna Electronics Inc. Vehicular vision system with glare reducing windshield

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289921B2 (en) * 2014-03-24 2019-05-14 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method of operating an in-vehicle camera
CN110290945A (zh) 2016-08-26 2019-09-27 奈特雷代恩股份有限公司 记录操作员和周围视场的视频
JP6926643B2 (ja) * 2017-05-01 2021-08-25 株式会社デンソー 車載カメラ
JP2018195951A (ja) 2017-05-16 2018-12-06 パナソニックIpマネジメント株式会社 撮像システム及び移動体制御システム
JP6953839B2 (ja) * 2017-06-30 2021-10-27 株式会社デンソー カメラ装置及びカメラ装置の製造方法
CN107564334B (zh) * 2017-08-04 2020-04-21 武汉理工大学 一种停车场车辆盲区危险预警系统及方法
KR102443493B1 (ko) * 2017-08-11 2022-09-14 닝보 써니 오포테크 코., 엘티디. 광학 렌즈, 카메라 모듈 및 이의 조립 방법
CN109387921B (zh) 2017-08-11 2024-06-18 宁波舜宇光电信息有限公司 光学镜头、摄像模组及其组装方法
US10479289B2 (en) * 2017-08-22 2019-11-19 Trw Automotive U.S. Llc Active surround view system with self-cleaning mechanism
JP6922706B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
JP6922705B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
US10558873B2 (en) 2017-12-14 2020-02-11 Waymo Llc Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
JP7143636B2 (ja) * 2018-06-01 2022-09-29 株式会社デンソー 撮像装置
JP7099103B2 (ja) * 2018-07-12 2022-07-12 株式会社デンソー カメラモジュール
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
US20200243113A1 (en) * 2019-01-30 2020-07-30 Alice Wilson Roberson Vehicle Camera and Record System
US12513263B2 (en) 2019-01-30 2025-12-30 Roosevelt Roberson Vehicle camera and record system
KR102883647B1 (ko) * 2019-11-07 2025-11-10 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
JP7466367B2 (ja) * 2020-04-24 2024-04-12 日立Astemo株式会社 画像処理装置
JP7537262B2 (ja) * 2020-12-15 2024-08-21 株式会社デンソー 車載用カメラ
JP7669967B2 (ja) * 2022-04-07 2025-04-30 株式会社デンソー 画像処理装置
JP7676353B2 (ja) * 2022-12-28 2025-05-14 キヤノン株式会社 撮像装置及び移動体
KR20240167483A (ko) * 2023-05-17 2024-11-27 주식회사 에이치엘클레무브 도로 반사경을 이용한 차량 충돌 주의 안내 장치 및 안내 방법

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58225321A (ja) * 1982-06-25 1983-12-27 Hitachi Ltd 凹面回折格子分光器
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
CN1352754A (zh) * 1999-01-04 2002-06-05 塞克维森技术公司 全景成象装置
DE60028907T2 (de) * 1999-11-24 2007-02-15 Donnelly Corp., Holland Rückspiegel mit Nutzfunktion
JP2002053080A (ja) * 2000-06-01 2002-02-19 Nippon Lsi Card Co Ltd 自動車の内外状況監視装置及びシステム並びにこれら装置を用いた安全運転証明方法
US7697027B2 (en) * 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US7115853B2 (en) * 2003-09-23 2006-10-03 Micron Technology, Inc. Micro-lens configuration for small lens focusing in digital imaging devices
US7460165B2 (en) * 2004-01-09 2008-12-02 Aptina Imaging Corporation Photo-array layout for monitoring image statistics
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP4242334B2 (ja) * 2004-11-30 2009-03-25 本田技研工業株式会社 車両周辺監視装置
EP1906339B1 (en) * 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
JP4947700B2 (ja) * 2006-09-21 2012-06-06 富士フイルム株式会社 広角撮像レンズ、撮像装置、およびカメラモジュール
JP4322913B2 (ja) * 2006-12-19 2009-09-02 富士通テン株式会社 画像認識装置、画像認識方法および電子制御装置
JP4310348B2 (ja) * 2007-04-04 2009-08-05 シャープ株式会社 固体撮像装置およびそれを備えた電子機器
JP4667430B2 (ja) * 2007-08-09 2011-04-13 日立オートモティブシステムズ株式会社 車載用カメラ
DE502007004154D1 (de) * 2007-11-21 2010-07-29 Delphi Tech Inc Optisches Modul
JP4571179B2 (ja) * 2007-12-07 2010-10-27 パナソニック株式会社 撮像装置
US20110080481A1 (en) * 2009-10-05 2011-04-07 Bellingham David W Automobile Rear View Mirror Assembly for Housing a Camera System and a Retractable Universal Mount
JP5617561B2 (ja) * 2010-11-25 2014-11-05 株式会社リコー 撮像装置
JP5585663B2 (ja) 2010-12-28 2014-09-10 コニカミノルタ株式会社 広角レンズ,撮像光学装置及びデジタル機器
JP5414714B2 (ja) * 2011-03-04 2014-02-12 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
JP6209308B2 (ja) * 2011-04-26 2017-10-04 ソニー株式会社 撮像装置および電子機器
JPWO2012173026A1 (ja) * 2011-06-15 2015-02-23 コニカミノルタ株式会社 撮像装置用の撮像レンズ及び撮像装置
CN202156354U (zh) * 2011-07-08 2012-03-07 杭州新星光电有限公司 单镜头安全驾驶辅助系统
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
JP6354117B2 (ja) * 2012-08-31 2018-07-11 セイコーエプソン株式会社 保持部材、および液体収容容器
JP2014164461A (ja) 2013-02-25 2014-09-08 Denso Corp 歩行者検出装置、および歩行者検出方法
JP6286667B2 (ja) * 2013-05-29 2018-03-07 パナソニックIpマネジメント株式会社 レンズ鏡筒及び撮像装置
JP2015031564A (ja) * 2013-08-01 2015-02-16 株式会社リコー 付着物検出装置及び移動装置用機器制御システム
US20150042798A1 (en) * 2013-08-08 2015-02-12 Honda Elesys Co., Ltd. In-vehicle camera
JP2015131311A (ja) 2014-01-10 2015-07-23 新日鐵住金株式会社 表面品位に優れた鋼材の熱間加工方法
US9555736B2 (en) * 2015-04-03 2017-01-31 Magna Electronics Inc. Vehicle headlamp control using sensing and communication systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11938795B2 (en) * 2019-10-18 2024-03-26 Magna Electronics Inc. Vehicular vision system with glare reducing windshield
US12600207B2 (en) 2019-10-18 2026-04-14 Magna Electronics Inc. Vehicular vision system with glare reducing windshield

Also Published As

Publication number Publication date
US20170001565A1 (en) 2017-01-05
DE102016211939B4 (de) 2022-10-20
DE102016211939A1 (de) 2017-03-02
CN106331446B (zh) 2020-07-10
CN106331446A (zh) 2017-01-11
JP2017017480A (ja) 2017-01-19
US10331963B2 (en) 2019-06-25

Similar Documents

Publication Publication Date Title
JP6519355B2 (ja) カメラ装置及び車載システム
JP6493087B2 (ja) 車載カメラ装置
JP6303974B2 (ja) 車載カメラ装置及び車載システム
JP6565806B2 (ja) カメラシステム
US10432829B2 (en) Optical device and imaging device with mechanism for reducing condensation
JP5680573B2 (ja) 車両の走行環境認識装置
EP3770020B1 (en) Imaging system and vehicle window for use in same
CN100533748C (zh) 安装在机动车上帮助驱动和/或自动启动该机动车上所设置系统的光学传感器装置
WO2018025481A1 (ja) 車載カメラ、車載用カメラ装置、並びに車載カメラの支持方法
US20200119474A1 (en) Connector device and connector system
WO2013144998A1 (ja) 車両用視認支援装置
US20230375800A1 (en) Semiconductor device and optical structure body
WO2020166284A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R151 Written notification of patent or utility model registration

Ref document number: 6519355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250