JP7705960B2 - 電子制御装置、及びオブジェクトの管理方法 - Google Patents

電子制御装置、及びオブジェクトの管理方法 Download PDF

Info

Publication number
JP7705960B2
JP7705960B2 JP2023570643A JP2023570643A JP7705960B2 JP 7705960 B2 JP7705960 B2 JP 7705960B2 JP 2023570643 A JP2023570643 A JP 2023570643A JP 2023570643 A JP2023570643 A JP 2023570643A JP 7705960 B2 JP7705960 B2 JP 7705960B2
Authority
JP
Japan
Prior art keywords
blind spot
area
solid
spot area
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023570643A
Other languages
English (en)
Other versions
JPWO2023127186A1 (ja
Inventor
英弘 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Astemo Ltd filed Critical Astemo Ltd
Publication of JPWO2023127186A1 publication Critical patent/JPWO2023127186A1/ja
Application granted granted Critical
Publication of JP7705960B2 publication Critical patent/JP7705960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

参照による取り込み
本出願は、令和3年(2021年)12月27日に出願された日本出願である特願2021-211927の優先権を主張し、その内容を参照することにより、本出願に取り込む。
本発明は、電子制御装置に関し、特に車載用電子制御装置において車外のオブジェクトを管理する技術に関する。
自動運転や高度運転支援において、車外の物体をセンサで検出し、車両を制御したり、運転者を支援する。
本技術分野の背景技術として、以下の特許文献がある。特許文献1(特開2011-248870公報)には、車両に搭載され、自車両の周囲において死角となる領域を表す死角領域を検出する死角領域検出装置であって、自車両の周囲に存在する物体を表す周囲物体の高さを含む形状および該周囲物体までの距離についての情報を表す物体情報を取得する物体情報取得手段と、前記取得した物体情報に基づいて、前記周囲物体によって死角となる領域である死角領域の大きさを検出する死角領域検出手段と、を備えたことを特徴とする死角領域検出装置が記載されている。
また、特許文献2(特開2020-135215公報)には、走行環境を認識する環境認識部を搭載する車両において用いられ、前記車両の行動を制御する行動制御方法であって、少なくとも一つのプロセッサにて実行される処理に、右左折又は車線変更を含むよう設定された前記車両の走行ルートに対し前記環境認識部の死角となる死角領域を特定し、当該死角領域から前記走行ルートへの移動物体の飛び出し可能性を判断し、前記死角領域からの前記飛び出し可能性がある場合に、前記飛び出し可能性を低い状態に遷移させる可能性低減行動を実施させ、前記可能性低減行動の開始後に前記走行ルートに従う前記車両の走行行動を実施させ、というステップを含む行動制御方法が記載されている。
障害物によって生じる死角領域(オクルージョンと称することがある)は、障害物の背面側にあるので、障害物の大きさや障害物に隠れた物体を検出できない。さらに、死角領域に内在するリスクの推定が困難となっている。例えば、障害物の陰に隠れた物体は車両の進路に急に飛び出す可能性がある。さらに、物体の観測を妨げる障害物を含まない死角領域の大きさや形状の正確な推定が困難である。
本発明は、死角領域に隠れたオブジェクトを正確に推定し、さらに、隠れたオブジェクトによって生じるリスクを正確に予測して、車両の走行安全性の向上を目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、電子制御装置であって、外界センサが取得した外界情報に基づいて、周囲の物体を認識する物体認識部と、前記認識された物体のうち、前記外界センサによる観測を遮蔽して死角領域を生成する物体に関する障害オブジェクトを生成する障害オブジェクト生成部と、前記障害オブジェクトが生成する死角領域を死角オブジェクトとして管理する死角オブジェクト管理部と、前記死角オブジェクトの情報を用いて、車両の走行危険度を示す潜在リスクを計算するリスク計算部とを備え、前記物体認識部は、前記認識された物体のうち、前記死角領域に出入り可能な物体に関する固体オブジェクト情報を生成し、前記死角オブジェクト管理部は、前記死角領域に入った固体オブジェクトを、当該死角領域の死角オブジェクトと関連付け、前記死角領域から出た固体オブジェクトの当該死角領域の死角オブジェクトとの関連付けを解除し、前記リスク計算部は、前記死角オブジェクトに内包される種類毎の固体オブジェクトの密度によって前記潜在リスクを計算することを特徴とする。
本発明の一態様によれば、死角領域に隠れたオブジェクトを正確に予測できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
本発明の実施例の電子制御装置の論理的な構成を示すブロック図である。 死角オブジェクト管理部の構成を示すブロック図である。 障害オブジェクトデータベースの構成例を示す図である。 固体オブジェクトデータベースの構成例を示す図である。 死角オブジェクトデータベースの構成例を示す図である。 仮想固体オブジェクトデータベースの構成例を示す図である。 死角オブジェクト管理処理のフローチャートである。 本実施例の電子制御装置によって処理されるオブジェクトの例を示す図である。 本実施例の電子制御装置によって処理される別のオブジェクトの例を示す図である。
本発明の実施例の電子制御装置10は、観測された物体のうち、外界センサ32による観測が妨げられる死角領域を発生する障害物を検知し、死角領域に出入りする固体オブジェクトを時系列で管理する。すなわち、一度認識されたオブジェクトは、死角領域に入っても継続して管理される。また、死角領域の面積又は体積を正確に把握し、死角領域の形状や大きさに応じて、死角領域に内包される歩行者、二輪車、自動車などの仮想固体オブジェクトを設定する。そして、死角領域に内包されるオブジェクトの数や内容に応じて、自車両の進行を妨げるリスクを計算する。
図1は、本発明の実施例の電子制御装置10の論理的な構成を示すブロック図である。
本実施例の電子制御装置10は、演算装置、記憶装置、及び通信インターフェイスを有する。演算装置は、記憶装置に格納されたプログラムを実行するプロセッサ(例えばCPU)である。演算装置が、所定のプログラムを実行することによって、各種機能を提供する機能部として動作する。記憶装置は、不揮発性記憶領域及び揮発性記憶領域を含む。不揮発性記憶領域は、演算装置が実行するプログラムを格納するプログラム領域と、演算装置がプログラム実行時に使用するデータを一時的に格納するデータ領域を含む。揮発性記憶領域は、演算装置がプログラム実行時に使用するデータを格納する。通信インターフェイスは、CANやイーサネットなどのネットワークを介して他の電子制御装置と接続する。
電子制御装置10は、自車位置推定部11、外界情報取得部12、物体認識部13、車両情報取得部14、周辺地図生成部15、地図格納部16、通信部17、現在周辺地図検索部18、障害オブジェクト検知・判断部19、死角検知部20、死角オブジェクト管理部21、リスク計算部22、運転行動計画部23、自動運転管理部24、自動運転制御部25、操作情報取得部26、及び手動/自動運転切替部27を有する。
電子制御装置10には、位置情報31と、外界センサ32からの外界情報と、車両センサ33からの車両挙動情報とが入力される。位置情報31は、GNSSユニットや慣性航法ユニット(図示省略)から出力される位置情報(緯度・経度や、相対位置の情報)である。外界センサ32は、車両外部の状態を観測して外界情報を出力するセンサであり、例えば、カメラ、レーダー、LiDARなどである。車両センサ33は、車両の挙動(加速度、速度、ロール、ピッチ、ヨーなど)を測定するセンサである。さらに、電子制御装置10には、ステアリング装置34からの操作角と、アクセルペダル35の操作量と、ブレーキペダル36の操作量とが入力される。
自車位置推定部11は、電子制御装置10に入力される位置情報31と、車両情報取得部14から出力される車両情報と、操作情報取得部26から出力される操作情報とから、車両の位置を推定する。外界情報取得部12は、外界センサ32による観測結果(撮影画像、点群データなど)から周囲情報を生成する。物体認識部13は、外界情報取得部12が生成した周囲情報に含まれる物体を認識し、認識された物体を表す固体オブジェクト情報を生成する。固体オブジェクト情報は、外界センサ32による観測の結果として認識された歩行者、二輪車、自動車、壁、ガードレール等であり、体積又は底面積などの属性が明確であり現実に存在する移動物体及び固定物体である。固体オブジェクト情報は、当該固体オブジェクトが死角領域内に移動、又は自車両と障害物との相対位置の変化に伴い死角領域自体が変形することによって、観測不能になった場合でも、その属性を維持するとよい。車両情報取得部14は、車両センサ33からの車両挙動情報から車両の状態を示す車両情報を生成する。
周辺地図生成部15は、自車位置推定部11が推定した車両位置と、外界情報取得部12が生成した周囲情報と、物体認識部13が生成したオブジェクト情報とから、車両の周辺の地図を生成する。通信部17は、地図配信サーバ(図示省略)と無線通信して、地図更新用情報を取得したり、リスク計算用パラメータ(計算式)更新する。地図格納部16は、周辺地図生成部15が生成した周辺地図と、通信部17を介してサーバから取得した地図とを格納する。地図格納部16が格納する地図は、ナビゲーション装置が使用する地図より高い精度(例えば、数10cm程度の精度)を有し、車道と歩道が区別できたり、車線が区別できるものであるとよく、自動運転用の高精度地図でも、自車両の観測結果から生成した地図でも、地図配信サーバから取得した地図を周辺地図生成部15が生成した周辺地図で更新したものでもよい。現在周辺地図検索部18は、自車位置推定部11が推定した車両の位置の周辺の現在地図を地図格納部16から取得する。
障害オブジェクト検知・判断部19は、外界情報取得部12が生成した周囲情報と、物体認識部13が生成したオブジェクト情報とから、自車両からの観測を妨げる障害オブジェクトを選択し、障害オブジェクト情報を生成する。死角検知部20は、現在周辺地図検索部18が取得した現在地図と、障害オブジェクト検知・判断部19が生成した障害オブジェクト情報とから、観測が妨げられる死角領域を計算し、死角情報を生成する。初回の一方向からの観測結果では、障害オブジェクトの形状や死角領域内の物体を認識できないことから、死角領域の正味の形状の正確な推定が困難である。このとき、死角検知部20は、現在位置の地図情報を使って障害オブジェクトが占有する領域を除外した正味の死角領域を計算する。また、複数回の観測結果を用いて推定された障害オブジェクトの形状や死角領域内の物体を減じて死角領域の正味の形状を正確に推定してもよい。
死角オブジェクト管理部21は、死角検知部20が生成した死角情報と、障害オブジェクト検知・判断部19が生成した障害オブジェクト情報と、物体認識部13が生成した固体オブジェクト情報とから、死角領域を表す死角オブジェクト情報を生成する。死角オブジェクト管理部21の詳細は図2、図7を参照して説明する。
死角オブジェクトは、自車両からの観測を妨げる障害オブジェクトによって生じる不定形の形状の死角領域を、時系列に継続して管理するためのオブジェクトである。死角オブジェクトは、二次元空間では多角形、三次元空間では多角柱又はポリゴンで構成され、使用する地図が二次元地図か三次元地図かによって構成が異なり、時間の経過によって形状が変化する。死角オブジェクトは、二次元空間では面積、三次元空間では体積を計算できるように、平面又は立体の頂点座標で表されるとよい。死角オブジェクトは、死角オブジェクトデータベース214の対応障害オブジェクト2145によって、当該死角領域を生じている障害オブジェクトと関連付けられる。死角領域を生じる障害オブジェクトは、外界センサ32によって観測され、物体認識部13によって認識された物体(移動しない建築物、移動する車両など)や、外界センサ32によって観測されたが、物体認識部13によって種別を認識できなかった物体も、一定の形状を持つ物体であれば種別不明の障害オブジェクトとするとよい。
リスク計算部22は、死角オブジェクト管理部21が生成した死角オブジェクト情報から車両の進路上の走行危険度を計算し、走行危険度を示す潜在リスク情報を生成する。すなわち、死角オブジェクト情報には死角領域に内包される固体オブジェクト情報及び仮想固体オブジェクト情報との関連付けが含まれていることから、これらの固体オブジェクト及び仮想固体オブジェクトによって車両の走行に支障が生じる可能性であるリスク値を計算する。例えば、駐車車両の後方にいる歩行者(固体オブジェクト)が車道に飛び出してくる可能性や、建物の陰にいる可能性がある車両(仮想固体オブジェクト)が車線に出てくる可能性を計算する。例えば、死角オブジェクトに内包される種類毎のオブジェクトの密度によってリスク値を計算するとよい。また、出入口、駐車車両の隙間等などの高リスク箇所には、所定の係数を乗じてリスク値を高くするとよい。そして、計算されたリスク値を地図の区切られた領域毎に割り当て、潜在リスク情報を生成する。
運転行動計画部23は、リスク計算部22が生成した潜在リスク情報から運転行動を生成する。例えば、車両の進路周辺のリスクが小さい領域を選択することによって、低リスクの運転行動を生成できる。自動運転管理部24は、運転行動計画部23が生成した運転行動から自動運転のための制御指令と、手動運転/自動運転切替信号とを生成する。自動運転制御部25は、自動運転管理部24が生成した制御指令に従って、ステアリング制御信号37と、加速制御信号38と、減速制御信号39とを生成する。操作情報取得部26は、ステアリング装置34からの操作角と、アクセルペダル35の操作量と、ブレーキペダル36の操作量とを取得し、操作情報を生成する。
手動/自動運転切替部27は、自動運転管理部24が生成した手動運転/自動運転切替信号に従って、手動運転か自動運転かを切り替える。例えば、手動運転であれば、ステアリング装置34と、アクセルペダル35と、ブレーキペダル36の操作量とから生成された操作情報が、各々、ステアリング制御信号37と、加速制御信号38と、減速制御信号39として出力されるように信号回路を切り替える。一方、自動運転であれば、自動運転制御部25が生成したステアリング制御信号37と、加速制御信号38と、減速制御信号39が出力されるように信号回路を切り替える。
図2は、死角オブジェクト管理部21の構成を示すブロック図である。
死角オブジェクト管理部21は、死角オブジェクト生成部211と、障害オブジェクトデータベース212と、固体オブジェクトデータベース213と、死角オブジェクトデータベース214と、仮想固体オブジェクトデータベース215とを有する。死角オブジェクト管理部21には、死角検知部20から死角情報が、障害オブジェクト検知・判断部19から障害オブジェクト情報が、物体認識部13から固体オブジェクト情報が入力される。また、死角オブジェクト管理部21は、死角オブジェクト情報を出力する。
死角オブジェクト生成部211は、入力される死角情報と、障害オブジェクト情報と、固体オブジェクト情報とを用いて死角オブジェクト情報を生成し、生成した死角オブジェクト情報を死角オブジェクトデータベース214に格納する。死角オブジェクト生成部211が実行する処理の詳細は図7を参照して説明する。障害オブジェクトデータベース212は、障害オブジェクトが登録されるデータベースであり、その詳細は図3を参照して説明する。固体オブジェクトデータベース213は、固体オブジェクトが登録されるデータベースであり、その詳細は図4を参照して説明する。死角オブジェクトデータベース214は、死角オブジェクトが登録されるデータベースであり、その詳細は図5を参照して説明する。仮想固体オブジェクトデータベース215は、仮想固体オブジェクトが登録されるデータベースであり、その詳細は図6を参照して説明する。仮想固体オブジェクトは、死角領域内に存在する可能性がある仮想的な移動物体である。仮想固体オブジェクトには、固体オブジェクトと同様の種別(歩行者、二輪車、自動車)や属性と、種別毎の平均的な形状及び底面積又は体積が定められる。
図3は、障害オブジェクトデータベース212の構成例を示す図である。
障害オブジェクトデータベース212は、障害オブジェクトが登録されるデータベースであり、ID2121と、種別2122と、形状2123と、底面形状2124と、底面積2125と、体積2126と、様態2127と、TTL2128とのデータを含む。
ID2121は、障害オブジェクトを一意に識別するための識別情報である。種別2122は、障害オブジェクトの種別であり、例えば、自動車、構造物などである。形状2123は、障害オブジェクトの形状であり、例えば、定型立方体、非定型立方体などである。底面形状2124は、障害オブジェクトの底面の形状であり、例えば、定型立方体においては底面の縦横の大きさ、非定型立方体においては底面を構成する座標で表される。底面積2125は、障害オブジェクトの底面積であり、平方メートルで表される。体積2126は、障害オブジェクトの体積であり、立方メートルで表される。様態2127は、障害オブジェクトの属性であり、例えば、移動したり形状が変わる動的物体、動かない静止物体などである。TTL(Time to Live)2128は、過去に検知された障害オブジェクトを整理するために使用されるカウンタ値であり、障害オブジェクトが検知されると上限値が設定され、当該障害オブジェクトが検知されないと減算される。
図4は、固体オブジェクトデータベース213の構成例を示す図である。
固体オブジェクトデータベース213は、固体オブジェクトが登録されるデータベースであり、ID2131と、種別2132と、底面形状2133と、底面積2134と、体積2135と、TTL2136とのデータを含む。
ID2131は、固体オブジェクトを一意に識別するための識別情報である。種別2132は、固体オブジェクトの種別であり、例えば、歩行者、二輪車、自動車などである。底面形状2133は、固体オブジェクトの底面の形状であり、例えば、当該固体オブジェクトが占有する矩形の縦横の大きさや、底面を構成する座標で表される。底面積2134は、固体オブジェクトの底面積であり、平方メートルで表される。体積2135は、固体オブジェクトの体積であり、立方メートルで表される。TTL(Time to Live)2136は、過去に検知された固体オブジェクトを整理するために使用されるカウンタ値であり、固体オブジェクトが検知されると上限値が設定され、当該固体オブジェクトが検知されないと減算される。
図5は、死角オブジェクトデータベース214の構成例を示す図である。
死角オブジェクトデータベース214は、死角オブジェクトが登録されるデータベースであり、ID2141と、形状2142と、底面積2143と、体積2144と、対応障害オブジェクト2145と、内包オブジェクト2146と、TTL2147とのデータを含む。
ID2141は、死角オブジェクトを一意に識別するための識別情報である。形状2142は、死角オブジェクトの形状であり、例えば、当該死角オブジェクトが占有する立体の頂点座標で表される。底面積2143は、死角オブジェクトの底面積(死角領域の広さ)であり、平方メートルで表される。体積2144は、死角オブジェクトの体積であり、立方メートルで表される。対応障害オブジェクト2145は、死角オブジェクトを生成する、すなわち、自車両からの死角オブジェクトの死角領域の観測を妨げる障害オブジェクトの識別情報である。内包オブジェクト2146は、死角オブジェクトに内包される仮想固体オブジェクトの識別情報である。TTL(Time to Live)2147は、過去に検知された死角オブジェクトを整理するために使用されるカウンタ値であり、死角オブジェクトが検知されると上限値が設定され、当該死角オブジェクトが検知されないと減算される。
図6は、仮想固体オブジェクトデータベース215の構成例を示す図である。
仮想固体オブジェクトデータベース215は、仮想固体オブジェクトが登録されるデータベースであり、ID2151と、種別2152と、底面形状2153と、底面積2154と、体積2155とのデータを含む。
ID2151は、仮想固体オブジェクトを一意に識別するための識別情報である。種別2152は、仮想固体オブジェクトの種別であり、例えば、歩行者、二輪車、自動車などである。底面形状2153は、仮想固体オブジェクトの底面の形状であり、例えば、当該仮想固体オブジェクトが占有する矩形の縦横の大きさや、底面を構成する座標で表される。底面積2154は、仮想固体オブジェクトの底面積であり、平方メートルで表される。体積2155は、仮想固体オブジェクトの体積であり、立方メートルで表される。
図7は、死角オブジェクト管理部21、すなわち死角オブジェクト生成部211が実行する死角オブジェクト管理処理のフローチャートである。
電子制御装置10は車両のイグニッションオンで起動し、死角オブジェクト管理部21が起動し、所定時間毎にステップS2~S6の処理を繰り返し実行する。まず、死角オブジェクト生成部211は、障害オブジェクトデータベース212、固体オブジェクトデータベース213、及び死角オブジェクトデータベース214を初期化する(ステップS1)。例えば、各データベースに記録された全データを消去する。
次に、死角オブジェクト生成部211は、事前処理を実行する(ステップS2)。この事前処理は、ステップS3以後の処理の前段階として実行されるもので、ステップS3以後の処理と同期して実行されても、独立したタイミングで繰り返し実行されてもよい。具体的には、死角オブジェクト生成部211は、現在位置の周辺地図を検索し、現在位置の周辺地図を取得する。そして、死角オブジェクト生成部211は、取得した周辺地図に記載される周囲の物体の情報と外界センサ32が認識したオブジェクト情報から、所定のサイズより大きいオブジェクトを障害オブジェクトであると判定する。また、死角オブジェクト生成部211は、物体認識部13による物体認識結果(固体オブジェクト情報)から固体オブジェクトを判定する。さらに、死角オブジェクト生成部211は、障害オブジェクト検知・判断部19からの障害オブジェクト情報及び死角検知部20が現在地図から検知した死角情報に基づいて、現在位置(観測点)からの死角領域を計算する。
次に、死角オブジェクト生成部211は、障害オブジェクトデータベース212を更新する(ステップS3)。具体的には、死角オブジェクト生成部211は、新たに検知された障害オブジェクトを、障害オブジェクトデータベース212に記録する(ステップS3)。なお、検知された障害オブジェクトが障害オブジェクトデータベース212に記録されていれば、死角オブジェクト生成部211は、当該レコードのTTL2128を上限値に設定する。
次に、死角オブジェクト生成部211は、死角オブジェクトデータベース214を更新する(ステップS4)。具体的には、死角オブジェクト生成部211は、障害オブジェクトデータベース212を検索し、死角検知部20が検知し、所定サイズより大きく死角領域を発生する障害オブジェクトを抽出し、当該障害オブジェクトによって発生する死角領域のレコードを新たに死角オブジェクトデータベース214に登録する。
そして、新たに登録された死角領域のレコードの初期設定として、死角オブジェクトのサイズに応じて当該死角オブジェクトに内包される仮想固体オブジェクトを決定する。死角オブジェクトに内包される仮想固体オブジェクトは、死角オブジェクトの種類及び面積によって定めるとよい。具体的には、単位面積の死角オブジェクトに内包される仮想固体オブジェクトの数を死角オブジェクトの種類(歩道、車道など)毎かつ仮想固体オブジェクトの種類毎に定めておき、登録される死角オブジェクトの種類及び面積によって内包される仮想固体オブジェクトを定めることができる。また、当該死角オブジェクトの周囲の固体オブジェクトの単位面積当たりの数(密度)によって、内包される仮想固体オブジェクトを定めてもよい。死角オブジェクト内は周囲と同程度の密度で固体オブジェクトが存在すると推測されるからである。さらに、当該死角オブジェクトの形状によって、内包される仮想固体オブジェクトを定めてもよい。例えば、車両が存在できない程度に狭い幅の死角オブジェクトは、車両の仮想固体オブジェクトではなく、歩行者の仮想固体オブジェクトを内包するように決定するとよい。そして、決定した仮想固体オブジェクトを仮想固体オブジェクトデータベース215に設定し、死角オブジェクトと仮想固体オブジェクトを対応付けるリンク情報を記録する。死角オブジェクトの位置に応じて仮想固体オブジェクトの密度を変えてもよい。例えば、出入口、駐車車両の隙間等などの高リスク箇所の近傍にある死角オブジェクトには仮想固体オブジェクトを多く配置することによって、リスク計算部22で計算される高リスク箇所のリスク値を高めることができる。
また、死角オブジェクトの近傍に観測された固体オブジェクトは、死角オブジェクトに入ることがある、外界センサ32の観測結果から固体オブジェクトによる死角オブジェクトの出入りを把握し、死角領域に内包される固体オブジェクトを管理する。
死角オブジェクトに内包可能な固体オブジェクト及び仮想固体オブジェクトの数の上限を設け、多数の固体オブジェクトが死角オブジェクト内に残留しないようにするとよい。死角オブジェクトの底面積又は体積が減少し、内包する仮想固体オブジェクト及び固体オブジェクトの総面積又は総体積が死角オブジェクトの底面積又は体積を超えた場合、仮想固体オブジェクトを削減する。死角オブジェクトが小さくなるにつれて仮想固体オブジェクトが減少することで、リスク予測の確度を向上できる。
また、死角オブジェクトの新規登録時に、当該死角オブジェクトのTTL2147を上限値に設定する。また、観測範囲から所定の閾値を超えて大きく外れた死角オブジェクトは、観測範囲に復活する可能性が低いので、消去してもよい。但し、観測範囲から外れた死角オブジェクトをTTL2147がゼロになるまでの時間だけ維持しておけば、死角領域を発生させる障害オブジェクトが観測範囲に復活して再観測されても、死角オブジェクトデータベース214に再登録する必要がない。この場合、観測範囲から外れた死角オブジェクトと観測範囲で再認識された死角オブジェクトの同一性を判定する必要がある。このため、障害オブジェクトデータベース212に死角オブジェクトと対応付けされる障害オブジェクトの特徴量を記録し、観測された障害オブジェクトの特徴量と比較して、観測された障害オブジェクトが新たに観測された障害オブジェクトであるか、再観測された障害オブジェクトであるかを判定するとよい。また、自車両の進行方向に所定時間で移動可能な範囲から大きく外れた(例えば、自車両より後方へ移動など)死角オブジェクトは、観測範囲に復活する可能性が低いので、消去してもよい。観測範囲内の死角オブジェクトを、所定時間(例えば10秒)のライフタイムを設けて、初めて観測されてからライフタイム経過後に死角オブジェクトを死角オブジェクトデータベース214から削除し、観測された死角オブジェクトが死角オブジェクトデータベース214に記録されていなければ死角オブジェクトデータベース214に登録してもよい。この場合、死角オブジェクトがライフタム毎にリフレッシュされるので、TTLによる生死管理が不要になる。
次に、死角オブジェクト生成部211は、固体オブジェクトデータベース213を更新する(ステップS5)。具体的には、時間の経過に伴って死角オブジェクトデータベースで死角オブジェクトとして管理されている死角領域に、検知された固体オブジェクトが入る場合、死角オブジェクと仮想固体オブジェクトを対応付けるリンク情報を死角オブジェクトデータベース214に記録する。死角オブジェクトと関連付けられた固体オブジェクトが死角オブジェクトから出てきた場合、当該固体オブジェクトと死角オブジェクトの関連付け(リンク)を削除する。
次に、死角オブジェクト生成部211は、障害オブジェクト、死角オブジェクト及び固体オブジェクトを削除する(ステップS6)。具体的には、死角オブジェクト生成部211は、障害オブジェクトが観測されているかを判定し、障害オブジェクトが観測されればTTL2128を上限値に設定し、障害オブジェクトが観測されなければTTL2128を所定値(例えば、1)減じる。また、死角オブジェクト生成部211は、TTL2128がゼロ以下になった障害オブジェクトを障害オブジェクトデータベース212から削除する。そして、削除された障害オブジェクトに関連付けられた死角オブジェクトを死角オブジェクトデータベース214から削除し、削除された死角オブジェクトに関連付けられた仮想固体オブジェクトを仮想固体オブジェクトデータベース215から削除する。さらに、死角オブジェクト生成部211は、固体オブジェクトが観測されているかを判定し、固体オブジェクトが観測されればTTL2136を上限値に設定し、固体オブジェクトが観測されなければTTL2136を所定値(例えば、1)減じる。そして、TTL2136がゼロ以下になった固体オブジェクトを固体オブジェクトデータベース213から削除する。なお、固体オブジェクトが死角オブジェクトに内包される間は観測されないので、TTLが下限値になっても、当該固体オブジェクトは削除しない。
また、死角オブジェクト生成部211は、死角オブジェクトを生成する障害オブジェクトが観測されているかを判定し、障害オブジェクトが観測されれば死角オブジェクトデータベース214のTTL2147を上限値に設定し、障害オブジェクトが観測されなければTTL2147を所定値(例えば、1)減じる。また、死角オブジェクト生成部211は、TTL2147がゼロ以下になった死角オブジェクトを死角オブジェクトデータベース214から削除する。そして、削除された死角オブジェクトに関連付けられた仮想固体オブジェクトを仮想固体オブジェクトデータベース215から削除する。
なお、障害オブジェクトの消滅によって、当該障害オブジェクトによって生じる死角オブジェクトが消滅することから、障害オブジェクト又は死角オブジェクトの一方にTTLを設ければ足りる。
図8は、本実施例の電子制御装置10によって処理されるオブジェクトの例を示す図である。
自車両81から見て駐車車両82a、82bの奥側に死角領域83が生じる。死角領域83は、障害オブジェクトである駐車車両82a、82bや、後方の障害物を除外した範囲に定められる。また、自車両81から、死角領域83に入ろうとする固体オブジェクト(歩行者)84aが観測される。固体オブジェクト(歩行者)84aは、死角領域83に入ると、死角オブジェクト83内の内包オブジェクト84bとなり、死角オブジェクト83と固体オブジェクト84aの関連付け情報が死角オブジェクトデータベース214の内包オブジェクト2146に記録される。その後、内包オブジェクト(歩行者)84bが駐車車両82a、82bの間から死角オブジェクト83を出ると、死角オブジェクト83と内包オブジェクト84bの関連付け情報である内包オブジェクト2146の記録が削除される。内包オブジェクト(歩行者)84bが駐車車両82a、82bの間から死角オブジェクト83を出ると、自車両81と接触するおそれがあるため、駐車車両82a、82bの間の死角オブジェクト83に隣接する領域85が高リスク領域として計算される。
また、自車両81から見て先行車両86の前方に死角領域87が生じる。死角領域87には、さらなる先行車両88aがあるが、先行車両88aは自車両81から観測できない。このため、死角オブジェクト(死角領域)87内に存在する可能性がある仮想固体オブジェクト(先行車両)88aを生成し、死角オブジェクト87と仮想固体オブジェクト88aの関連付け情報を死角オブジェクトデータベース214の内包オブジェクト2146に記録する。その後、仮想固体オブジェクト88bが車線変更すると、先行車両86の前方の死角領域87から出て、死角オブジェクト87と仮想固体オブジェクト88aの関連付け情報である内包オブジェクト2146の記録が削除される。内包オブジェクト(先行車両)88bが先行車両86によって生じる死角領域87を出ると、自車両81の進路変更が必要となる可能性があるため、先行車両86前方の隣接レーン領域89が高リスク領域として計算される。
図9は、本実施例の電子制御装置10によって処理される別のオブジェクトの例を示す図である。
図8で前述したと同様に、自車両81から見て先行車両90の前方に死角領域91が生じる。死角領域91は、障害オブジェクトである障害物93を除外した範囲に定められる。死角オブジェクト(死角領域)91内は観測できないので、死角領域91内に存在する可能性がある仮想固体オブジェクト(先行車両)を生成し、死角オブジェクト91と仮想固体オブジェクトの関連付け情報を死角オブジェクトデータベース214の内包オブジェクト2146に記録する。その後、仮想固体オブジェクトが車線変更すると、先行車両90の前方の死角領域91から出て、死角オブジェクト87と仮想固体オブジェクト88aの関連付け情報である内包オブジェクト2146の記録が削除される。内包オブジェクト(先行車両)が先行車両90によって生じる死角領域91を出ると、自車両81の進路変更が必要となる可能性があるため、先行車両90前方の隣接レーン領域92が高リスク領域として計算される。
また、道路脇の建物は障害物93となり、交差点において横方向から交わる脇道の観測を妨げ、死角領域94を生じる。死角オブジェクト(死角領域)94内は観測できないので、死角領域94内に存在する可能性がある仮想固体オブジェクト(歩行者、二輪車、自動車など)を生成し、死角オブジェクト94と仮想固体オブジェクトの関連付け情報を死角オブジェクトデータベース214の内包オブジェクト2146に記録する。その後、仮想固体オブジェクトが脇道から死角領域94を出ると、自車両81と接触するおそれがあるため死角オブジェクト94に隣接する領域95が高リスク領域として計算される。
図8、図9に示すように、障害物を除外した正味の死角領域を定める。また、死角領域内に出入りするオブジェクトは、死角領域内では観測できなくても内包オブジェクトとして管理され、死角オブジェクトから出てくることを予想して、潜在的なリスクが計算される。また、死角領域内に存在する可能性があるオブジェクトを仮想固体オブジェクトとして管理し、仮想固体オブジェクトが死角オブジェクトから出てくることを予想して、潜在的なリスクが計算される。
以上に説明したように、本実施例の電子制御装置10は、外界センサが取得した外界情報に基づいて、周囲の物体を認識する物体認識部13と、認識された物体のうち、外界センサ32による観測を遮蔽して死角領域を生成する物体に関する障害オブジェクトを生成する障害オブジェクト生成部(障害オブジェクト検知・判断部19)と、障害オブジェクトが生成する死角領域を死角オブジェクトとして管理する死角オブジェクト管理部21とを備え、物体認識部13は、認識された物体のうち、死角領域に出入り可能な物体に関する固体オブジェクト情報を生成し、死角オブジェクト管理部21は、死角領域に入った固体オブジェクトを、当該死角領域の死角オブジェクトと関連付け、死角領域から出た固体オブジェクトの当該死角領域の死角オブジェクトとの関連付けを解除するので、死角領域に出入りする固体オブジェクトを経時的に管理できる。
また、死角オブジェクト管理部は、死角領域の形状と、死角領域の大きさと、死角領域を生成する障害オブジェクトと、死角領域に出入りする固体オブジェクトとをデータベースに登録して、死角オブジェクトを生成するので、死角領域を正確に把握できる。
また、本実施例の電子制御装置は、死角オブジェクト情報を用いて、車両の走行危険度を示す潜在リスクを計算するリスク計算部を備えるので、死角領域に隠れたオブジェクトによって生じるリスクを正確に予測して、車両の走行安全性を向上できる。
また、本実施例の電子制御装置は、地図に含まれる建築物の情報、及び物体認識部が認識した物体の形状の少なくとも一つを用いて、障害オブジェクトが占有する領域を除外した死角領域を計算する死角検知部を備えるので、死角領域を発生する構造物を含まない死角領域の大きさや形状を正確に把握でき、死角領域に含まれる仮想固体オブジェクトを推定でき、不要な潜在リスクを正確に予測できる。
また、死角オブジェクト管理部21は、死角領域の大きさ及び形状に基づいて、当該死角領域に内包される仮想固体オブジェクトを推定し、推定された仮想固体オブジェクトを当該死角領域の死角オブジェクトと関連付けて管理するので、死角領域に内包される固体オブジェクトを推定でき、死角領域によって生じる潜在リスクを予想できる。このため、飛出しリスクの低い予測を減らして妥当な範囲に抑制し、可能性が低い予測や、間違った予測による過敏な判断や、過剰な制御を抑制できる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (5)

  1. 電子制御装置であって、
    外界センサが取得した外界情報に基づいて、周囲の物体を認識する物体認識部と、
    前記認識された物体のうち、前記外界センサによる観測を遮蔽して死角領域を生成する物体に関する障害オブジェクトを生成する障害オブジェクト生成部と、
    前記障害オブジェクトが生成する死角領域を死角オブジェクトとして管理する死角オブジェクト管理部と、
    前記死角オブジェクトの情報を用いて、車両の走行危険度を示す潜在リスクを計算するリスク計算部とを備え、
    前記物体認識部は、前記認識された物体のうち、前記死角領域に出入り可能な物体に関する固体オブジェクト情報を生成し、
    前記死角オブジェクト管理部は、前記死角領域に入った固体オブジェクトを、当該死角領域の死角オブジェクトと関連付け、前記死角領域から出た固体オブジェクトの当該死角領域の死角オブジェクトとの関連付けを解除し、
    前記リスク計算部は、前記死角オブジェクトに内包される種類毎の固体オブジェクトの密度によって前記潜在リスクを計算することを特徴とする電子制御装置。
  2. 請求項1に記載の電子制御装置であって、
    前記死角オブジェクト管理部は、前記死角領域の形状と、前記死角領域の大きさと、前記死角領域を生成する前記障害オブジェクトと、前記死角領域に出入りする固体オブジェクトとをデータベースに登録して、前記死角オブジェクトを生成することを特徴とする電子制御装置。
  3. 請求項1に記載の電子制御装置であって、
    地図に含まれる建築物の情報、及び前記物体認識部が認識した物体の形状の少なくとも一つを用いて、前記障害オブジェクトが占有する領域を除外した死角領域を計算する死角検知部を備えることを特徴とする電子制御装置。
  4. 請求項3に記載の電子制御装置であって、
    前記死角オブジェクト管理部は、
    前記死角領域の大きさ及び形状に基づいて、当該死角領域に内包される仮想固体オブジェクトを推定し、
    前記推定された仮想固体オブジェクトを当該死角領域の死角オブジェクトと関連付けて管理することを特徴とする電子制御装置。
  5. 電子制御装置が観測したオブジェクトの管理方法であって、
    前記電子制御装置は、プログラムを実行する演算装置と、前記演算装置がアクセス可能な記憶装置とを有し、
    前記オブジェクトの管理方法は、
    前記演算装置が、外界センサが取得した外界情報に基づいて、周囲の物体を認識する物体認識手順と、
    前記演算装置が、前記認識された物体のうち、前記外界センサによる観測を遮蔽して死角領域を生成する物体に関する障害オブジェクトを生成する障害オブジェクト生成手順と、
    前記演算装置が、前記障害オブジェクトが生成する死角領域を死角オブジェクトとして管理する死角オブジェクト管理手順と、
    前記演算装置が、前記死角オブジェクトの情報を用いて、車両の走行危険度を示す潜在リスクを計算するリスク計算手順と、
    前記演算装置が、前記認識された物体のうち、前記死角領域に出入り可能な物体に関する固体オブジェクト情報を生成する固体オブジェクト生成手順とを含み、
    前記死角オブジェクト管理手順では、前記演算装置は、前記死角領域に入った固体オブジェクトを、当該死角領域の死角オブジェクトと関連付け、前記死角領域から出た固体オブジェクトの当該死角領域の死角オブジェクトとの関連付けを解除し、
    前記リスク計算手順では、前記演算装置は、前記死角オブジェクトに内包される種類毎の固体オブジェクトの密度によって前記潜在リスクを計算することを特徴とするオブジェクトの管理方法。
JP2023570643A 2021-12-27 2022-07-19 電子制御装置、及びオブジェクトの管理方法 Active JP7705960B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021211927 2021-12-27
JP2021211927 2021-12-27
PCT/JP2022/028120 WO2023127186A1 (ja) 2021-12-27 2022-07-19 電子制御装置、及びオブジェクトの管理方法

Publications (2)

Publication Number Publication Date
JPWO2023127186A1 JPWO2023127186A1 (ja) 2023-07-06
JP7705960B2 true JP7705960B2 (ja) 2025-07-10

Family

ID=86998537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023570643A Active JP7705960B2 (ja) 2021-12-27 2022-07-19 電子制御装置、及びオブジェクトの管理方法

Country Status (4)

Country Link
US (1) US20250061807A1 (ja)
JP (1) JP7705960B2 (ja)
DE (1) DE112022005214T5 (ja)
WO (1) WO2023127186A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7751127B2 (ja) * 2022-09-26 2025-10-07 株式会社Subaru 運転支援装置、車両、コンピュータプログラムを記録した記録媒体及び運転支援方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248870A (ja) 2010-04-27 2011-12-08 Denso Corp 死角領域検出装置、死角領域検出プログラム、および死角領域検出方法
JP2013011939A (ja) 2011-06-28 2013-01-17 Mitsubishi Motors Corp 運転支援装置
JP2018101295A (ja) 2016-12-20 2018-06-28 トヨタ自動車株式会社 物体検知装置
WO2018198186A1 (ja) 2017-04-25 2018-11-01 日産自動車株式会社 走行支援方法及び走行支援装置
WO2018216066A1 (ja) 2017-05-22 2018-11-29 三菱電機株式会社 車載装置、走行支援方法および走行支援プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4572772B2 (ja) * 2005-08-05 2010-11-04 アイシン・エィ・ダブリュ株式会社 車両周辺監視装置
JP5233432B2 (ja) * 2008-06-16 2013-07-10 アイシン・エィ・ダブリュ株式会社 運転支援システム、運転支援方法及び運転支援プログラム
JP5573617B2 (ja) * 2010-11-12 2014-08-20 トヨタ自動車株式会社 危険度算出装置
JP6700623B2 (ja) * 2016-10-07 2020-05-27 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
KR102756198B1 (ko) * 2018-10-08 2025-01-17 주식회사 에이치엘클레무브 초음파 센서를 이용한 후측방 사각 지대의 차량 위치 추적 방법 및 시스템
JP7180436B2 (ja) 2019-02-15 2022-11-30 株式会社デンソー 行動制御方法、及び行動制御装置
JP7145815B2 (ja) * 2019-05-27 2022-10-03 日立Astemo株式会社 電子制御装置
JP7565663B2 (ja) * 2021-02-12 2024-10-11 パナソニックオートモーティブシステムズ株式会社 車両、及び、制御装置
JP7533372B2 (ja) * 2021-06-17 2024-08-14 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
JP7537391B2 (ja) * 2021-07-20 2024-08-21 トヨタ自動車株式会社 物体検出装置
JP7602451B2 (ja) * 2021-12-17 2024-12-18 株式会社日立製作所 自律体移動制御システム、制御装置、及び制御方法
CN120573096A (zh) * 2025-06-24 2025-09-02 上海擎剑汽车技术有限公司 基于车载摄像头的自动泊车方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248870A (ja) 2010-04-27 2011-12-08 Denso Corp 死角領域検出装置、死角領域検出プログラム、および死角領域検出方法
JP2013011939A (ja) 2011-06-28 2013-01-17 Mitsubishi Motors Corp 運転支援装置
JP2018101295A (ja) 2016-12-20 2018-06-28 トヨタ自動車株式会社 物体検知装置
WO2018198186A1 (ja) 2017-04-25 2018-11-01 日産自動車株式会社 走行支援方法及び走行支援装置
WO2018216066A1 (ja) 2017-05-22 2018-11-29 三菱電機株式会社 車載装置、走行支援方法および走行支援プログラム

Also Published As

Publication number Publication date
US20250061807A1 (en) 2025-02-20
WO2023127186A1 (ja) 2023-07-06
JPWO2023127186A1 (ja) 2023-07-06
DE112022005214T5 (de) 2024-08-14

Similar Documents

Publication Publication Date Title
CN104802793B (zh) 用于对行人在横穿车辆的行车道时的行为进行分类的方法和装置以及车辆的人员保护系统
JP6599986B2 (ja) きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習
CN110001643A (zh) 车辆控制装置、车辆控制方法、存储介质、以及信息获取装置
CN114426030B (zh) 一种行人穿行意图估计方法、装置、设备和汽车
KR20190058520A (ko) 자율 주행 차량 제어 시스템을 위한 위치에 따른 지원
JP2018152056A (ja) 視界に制限のある交差点への接近のためのリスクベースの運転者支援
JP5587170B2 (ja) 運転支援装置及びプログラム
CN111204342B (zh) 地图信息系统
JPWO2018002985A1 (ja) 物体追跡方法及び物体追跡装置
JP2014203465A (ja) 車線ベースの位置特定
CN113335311B (zh) 一种车辆碰撞检测方法、装置、车辆及存储介质
US12567331B2 (en) Systems and methods to manage tracking of objects through occluded regions
CN113071521A (zh) 无人驾驶车辆的控制方法及控制装置、无人驾驶车辆
US20240166204A1 (en) Vehicle Collision Threat Assessment
CN119058669A (zh) 自主行驶车辆及其控制方法
CN113147788A (zh) 园区物流车的控制方法及控制装置、无人驾驶车辆
CN113276885A (zh) 无人驾驶车辆的控制方法及控制装置、无人驾驶车辆
JP7705960B2 (ja) 電子制御装置、及びオブジェクトの管理方法
KR20260040391A (ko) 본선 합류를 위해 우회전하는 것을 계획중인 자율 주행 차량의 행동 결정 방법, 장치 및 컴퓨터-판독가능 기록매체
US20240300486A1 (en) Systems and Methods for Managing Tracks Within an Occluded Region
CN120894939B (zh) 车辆碰撞时间的确定方法、装置、电子设备及存储介质
CN118991816A (zh) 对弱势道路使用者的对抗性行为的响应
KR102499023B1 (ko) 차로 별 트래픽 흐름을 결정하는 장치 및 방법
KR102513382B1 (ko) 보행자의 위치를 결정하는 방법 및 장치
US20240300487A1 (en) Systems and Methods for Adjusting a Driving Path Using Occluded Regions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250630

R150 Certificate of patent or registration of utility model

Ref document number: 7705960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150