TWI417207B - Image - based obstacle detection reversing warning system and method - Google Patents

Image - based obstacle detection reversing warning system and method Download PDF

Info

Publication number
TWI417207B
TWI417207B TW99146425A TW99146425A TWI417207B TW I417207 B TWI417207 B TW I417207B TW 99146425 A TW99146425 A TW 99146425A TW 99146425 A TW99146425 A TW 99146425A TW I417207 B TWI417207 B TW I417207B
Authority
TW
Taiwan
Prior art keywords
image
obstacle
signal
horizontal line
height
Prior art date
Application number
TW99146425A
Other languages
English (en)
Other versions
TW201226234A (en
Original Assignee
Automotive Res & Testing Ct
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automotive Res & Testing Ct filed Critical Automotive Res & Testing Ct
Priority to TW99146425A priority Critical patent/TWI417207B/zh
Priority to US13/033,154 priority patent/US8913128B2/en
Publication of TW201226234A publication Critical patent/TW201226234A/zh
Application granted granted Critical
Publication of TWI417207B publication Critical patent/TWI417207B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

影像式障礙物偵測倒車警示系統及方法
本發明是關於一種障礙物偵測警示系統及方法,特別是一種利用影像技術作為障礙物偵測的警示系統及方法。
對於國內大部分的駕駛人來說,要在車水馬龍的市區道路上開車並非一件容易的事,要在擁擠街道上好好地的將車子倒入狹窄的停車格內更是讓人感到手忙腳亂,不當的駕駛方式會發生車輛直接碰撞障礙物或是因為沒有良好的警示系統可以適時地警示駕駛人而導致發生不幸的意外事故。
所幸,隨著汽車工業的進步,許多停車導引系統(Parking Guidance System,PGS)和停車輔助系統(Parking Assistance System,PAS)相關的發明因應產生,但是在過去一般的停車導引系統大多使用如雷達、超音波作為感測元件會因為無法辨識環境而降低辨識率,而且還有電磁功率過高對人體產生傷害的問題,因此雷達、超音波的感測元件開始逐漸不被市場所接受。
受惠於現代科技進步使然,我們可以選擇使用影像偵測,其相關應用前案如大陸公告號CN101436300所揭示障礙物分割方法及裝置,使用邊緣與直線檢測來偵測障礙物,或是如大陸公告號CN1782668所揭示以視頻感知的障礙物防撞方法與裝置,使用水平掃瞄線與障礙物陰影以及反射光亮度遞減特性來偵測障礙物。一般而言,影像技術可使用單攝影機或複數攝影機作為影像擷取單元,單攝影機影像技術具有高度整合性功能,價格競爭優勢且安裝容易,卻無法建立三維場景,無法突破遇到震動或角度變化,所造成的距離估測錯誤。使用複數攝影機會導致系統運算量大且不易架設等缺失產生,其影像處理時間多過於單攝影機,因此處理裝置在計算處理上所需花費的時間同樣多過於單攝影機,無法即時提供駕駛者適當的警訊。
因此本發明提出一種利用單攝影機影像偵測障礙物之辨識系統及方法,其辨識率更甚於使用複數攝影機所建立的三維場景效果,可更進一步降低生產成本。
本發明主要目的係在提供一種利用單攝影機影像偵測辨識做為障礙物偵測警示系統及方法,提供駕駛人更直接且完整之道路資訊,使用單攝影機除了價格競爭優勢之外且安裝容易,可進一步降低生產成本。
本發明另一目的在於提出一種有效率的影像處理技術辨識方法來偵測障礙物,其辨識率更甚於使用複數攝影機所建立的三維場景效果,並且降低系統誤判或過靈敏之機率,更可避免因為使用複數攝影機會導致系統運算量大且不易架設等缺失產生,本發明更進一步利用影像處理與電腦視覺技術取代雷達或超音波陋習,搭配使用警示裝置所顯示的環境畫面讓駕駛者可以直接且清楚的看到目前車輛及車體周圍環境的相對位置關係,當障礙物存在時處理裝置則適時又適當地提出相關性的警示,增加了停車倒車的便利性和安全性,並且在有危險性存在時作出警示通知,這將會有效降低意外事故的發生。
本發明之影像式障礙物偵測警示系統,包括至少一影像擷取裝置或是再選擇性地搭配至少一外部訊號擷取單元、至少一處理裝置及至少一警示裝置,影像擷取裝置譬如設置於車後方,以偵測有一定高度的障礙物。
本發明之影像式障礙物偵測警示方法,由處理裝置內建水平線偵測演算法、障礙物高度與寬度偵測演算法、障礙物距離演算法做為執行程序決策核心,在定義地平線與定義高度區間(ROI-H)和地面區間(ROI-G)之後進行判斷高度區間水平線訊號遮斷、障礙物輪廓偵測、依水平邊緣位置與高度判斷是否為障礙物以及地面區間障礙物距離估算,當系統偵測到有障礙物時,可透過警示裝置提出警示並顯示障礙物離車輛的距離。
以下將藉由具體實施例配合所附的圖式詳加說明,更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
請參閱第1圖,說明本發明之系統架構方塊圖,影像式障礙物偵測警示系統10由至少一影像擷取單元11電性連接處理裝置14,做為擷取影像的感測元件,影像擷取單元11可使用如電荷耦合元件(Charge-coupled Device,CCD)或是互補式金屬-氧化-半導體元件(Complementary Metal-Oxide-Semiconductor,CMOS),處理裝置14可選擇性的電性連接至少一外部訊號擷取單元12來接收如車速訊號、檔位訊號或方向盤轉角等外部訊號以提供參考。處理裝置14具有至少一運算處理單元144電性連接至少一訊號演算單元142,其中運算處理單元144可使用如中央處理器(Central Processing Unit,CPU)、微處理器(Micro Processor,μP或uP)或單片微型電腦(Single-Chip Microcomputer)以接收並處理外部訊號,並且內建一水平線偵測演算法、一障礙物高度與寬度偵測演算法、一障礙物距離演算法做為執行程序處理核心,訊號演算單元142使用數位訊號處理器(Digital Signal Processor,DSP)連接影像擷取單元11以轉換影像並產生警示訊號。處理裝置14電性連接警示裝置16將已判斷的訊號傳送至警示裝置16適時地發出警示來提醒駕駛人,其中警示裝置16可藉由顯示單元162來顯示障礙物與車輛之間距離與系統的狀態、LED單元164警示系統狀態、揚聲單元166則用來發出語音訊號來告知駕駛人目前障礙物與車輛逼近狀況,警示裝置16可以單獨使用顯示單元162、LED單元164、揚聲單元166其中之一,或是選擇性的交互搭配使用,顯示單元162可應用所有顯示螢幕的相關產品,如陰極射線管(Cathode ray tube,CRT),液晶顯示器(Liquid Crystal Display,LCD)或是電漿顯示器(Plasma Display Panel,PDP),LED單元164可以使用發光二極體(Light-Emitting Diode,LED)或是有機發光二極體(Organic Light-Emitting Diode,OLED),揚聲單元166可單獨使用蜂鳴器或揚聲器,亦可選擇性的交互搭配使用蜂鳴器或揚聲器。影像式障礙物偵測警示系統10可整合應用在停車導引系統(Parking Guidance System,PGS)和停車輔助系統(Parking Assistance System,PAS),給予駕駛人適當的警示。
本發明之方法的各步驟流程請同時一併參閱第1圖~第8圖,如第2圖所示,說明影像式障礙物偵測警示方法,如步驟S10與步驟S12所示,系統啟動後,處理裝置14開始擷取一道路影像,隨後依據道路影像中之至少一車道線所決定開始定義水平線與定義興趣區間(Region Of Interest,ROI),其中興趣區間設定方法與設定範圍可參閱第3A圖~第3D圖,如第3A圖中所示為定義水平線,如第3B圖,興趣區間再預設一消失點水平線訊號之高度區間(Region Of Interest-Height,ROI-H)以偵測障礙物之高度,興趣區間再設置一地面區間(Region Of Interest-Ground,ROI-G)以偵測障礙物位置,如第3C圖,本發明所設置之影像擷取單元11採用一般視角130度之攝影機,當中的設定範圍,由於水平線會因影像擷取單元11架設位置與俯仰角的不同,造成畫面中水平線消失點位置隨之不同,因為行進中的車輛實際操作時因為路面不平之情形產生晃動,或是因為偵測目標也有可能是一面牆面與地面的垂直夾角,因此使用單一線段容易產生位置改變,如第3D圖,影像擷取單元11所設定的角度、焦距與預設水平線位置關係,可由公式(1)說明實際操作時如何取得各函數值:
其中,θ係以影像擷取單元11透鏡之中心軸作旋轉之夾角,b 為影像平面中的預設消失點位置;a 為影像平面中的消失點位置,故,為水平線位移量;f為影像擷取單元11之透鏡至影像平面間之距離,亦即為焦距。
當水平線位置設定完成之後,再由水平線為基準線往上、往下設定消失點水平線偵測區域大約各佔畫面5%~10%(本發明之影像擷取單元11 30pixels為7.5%)的範圍來設定30~35pixels,以解決偵測如牆面與地面垂直夾角的問題。
如第4A圖~第4D圖以及第5A圖~第5D圖所示,說明不同的距離所產生的不同遮蔽結果,處理裝置14利用成像幾何原理由影像擷取單元11取得的焦距推測出障礙物距離與影像中像素大小,藉此設定所需之預設閥值與消失點水平偵測範圍。因此,障礙物寬度設定的實施方式如下:以障礙物距離3公尺,寬為10公分為初始偵測設定值,在3公尺處為偵測10公分大小之障礙物,設定為10pixels為預設閥值,在1.5公尺處,10pixels則可偵測7.5公分大小之障礙物(ISO17386建議之障礙物為直徑75毫米,高1000毫米之圓管),障礙物高度設定以障礙物距離3公尺,高為30公分為初始設定值,設定為3公尺距離可偵測寬度為30公分之障礙物,(攝影機安裝高度約為25CM,30CM已高於攝影機與消失點之連線,因此會遮斷消失點連線),障礙物位置以影像擷取單元11架設完成後,經由校正所得之影像擷取單元11參數,換算影像擷取單元11參數與距離幾何關係,可得障礙物位置。
當處理裝置14定義水平線與興趣區間定義完成之後開始進行障礙物偵測,如步驟S14,處理裝置14進行判斷水平線訊號是否存在?如第6A圖~第6C圖所示,本發明偵測方法係利用Sobel遮罩或Canny遮罩等高頻影像之邊緣資訊進行水平與垂直邊緣進行邊緣影像處理,分別以膨脹與侵蝕運算來強化所需邊緣,水平邊緣投影至水平軸之後轉換成直方圖,如第6A圖,說明本發明之實景標示記錄示意圖,如第6B圖,說明本發明之灰階影像標示記錄示意圖,其中所得到的水平邊緣做為高度區間水平線訊號連線遮斷依據,如第6C圖,當有障礙物遮斷時會產生如圖所示之直方圖缺口,處理裝置14將小於閥值之直方圖位置進行統計判斷是否存在?並且標記符合障礙物條件之區域加以記錄直方圖缺口之高度及寬度以利後續處理。接續步驟S14,處理裝置14依據內建水平線偵測演算法進行判斷高度區間之水平線訊號是否存在?當高度區間水平線訊號是存在時,判斷無障礙物,程序返回步驟10;當高度區間水平線訊號不存在時,判斷可能出現障礙物,則繼續進行步驟S16。如步驟S16,判斷高度區間之水平線訊號是否完全遮蔽?若非完全遮蔽時,依據障礙物高度與寬度偵測演算法進行步驟S18進行遮斷之水平線訊號障礙物上下輪廓偵測並且紀錄每個障礙物之底部位置與其高度資訊;當高度區間之水平線訊號為完全遮蔽時,處理裝置14依先前已定義之水平線進行步驟S22以高度區間之水平線訊號中心為設定範圍向下搜尋水平邊緣。如步驟S20,利用興趣區間再增設預設閥值做為邊緣偵測判斷輪廓偵測之障礙物高度與寬度是否大於預設閥值?並與之前已做記錄的直方圖缺口高度及寬度和預設閥值做一比較分析,其中判斷方式可以偵測障礙物之高度為主,再以偵測障礙物之寬度為輔的方式進行,如第7A圖,說明本發明之障礙物與預設閥值關係實景偵測狀況,如第7B圖,當偵測到的障礙物高度與寬度大於預設閥值時,判斷此障礙物有一定夠大的體積會阻礙車輛的行進,因此處理裝置14依據障礙物距離演算法進行判斷步驟S28地面區間之障礙物距離估算;如第7C圖,為本發明之障礙物小於預設閥值示意圖當障礙物高度與寬度並非大於於預設閥值時,(因為其偵測到的目標有可能是標線或是牆面與地面的垂直夾角),判斷此障礙物體積尚不足以阻礙車輛的行進,程序返回步驟10。如步驟S16,當高度區間之水平線訊號為完全遮蔽時,處理裝置14依先前已定義之水平線進行步驟S22以高度區間之水平線訊號中心為設定範圍向下搜尋水平邊緣,利用影像高頻資訊進行步驟S24標示並紀錄障礙物遮蔽水平線之上下邊緣,紀錄障礙物之底部位置與其高度資訊(請參考第8圖),依據步驟S26水平邊緣位置與高度判斷是否為障礙物?處理裝置14判斷為障礙物時進行步驟S28地面區間障礙物距離估算;若水平邊緣位置與高度判斷非為障礙物,則程序返回步驟10。當步驟S20判斷障礙物之高度與寬度大於閥值以及步驟S26依水平邊緣位置與高度判斷為障礙物時,進行步驟S28地面區間障礙物距離估算,障礙物距離估算未達到設定範圍時,程序返回步驟10;障礙物距離估算達到設定範圍時,進行步驟S30警示。如步驟S30,當障礙物距離估算達設定範圍時,警示裝置16開始作動,程序返回步驟10並持續進行障礙物偵測動作。
參閱第9圖,其中步驟S14判斷高度區間水平線訊號是否存在更包括步驟S32~S40,請同時參考第1圖~第2圖,處理裝置14於步驟10擷取一道路影像中之後進行步驟S32,如步驟S32,設定消失點水平線偵測範圍之後進行步驟S34,如步驟S34,水平邊緣處理消失點水平線偵測範圍之後進行步驟S36,如步驟S36,擷取影像垂直投影至水平軸,隨後進行步驟S38,如步驟S38直方圖統計。如步驟S40,判斷小於預設閥值之直方圖是否存在?若是存在,判定無障礙物,程序返回步驟10;若不存在時,處理裝置14判定可能出現障礙物,進行步驟S16判斷高度區間之水平線訊號是否完全遮蔽。
參閱第10圖,其中步驟S18障礙物輪廓偵測更包括步驟S42~S58,請同時參考第1圖~第2圖,如步驟S42,處理裝置14利用Sobel遮罩或Canny遮罩等高頻影像之邊緣資訊做一邊緣處理後,進行步驟S42邊緣偵測,利用先前已定義之水平線做為上半部及下半部影像偵測中心分界線,水平線中心以上稱之為步驟S44上半部影像,水平線中心以下稱之為步驟S54下半部影像,如步驟S44,上半部影像進行步驟S46垂直邊緣估算與步驟S48水平邊緣估算隨後進行步驟S50相減,再如步驟S54,取下半部影像進行步驟S56水平邊緣估算隨後利用步驟S58膨脹和侵蝕再加以增強影像。
參閱第11圖,步驟S32設定消失點水平線偵測範圍更包括步驟S60~S76,請同時參考第1圖及第9圖,如步驟S60,利用道路車道線影像特性進行車道線辨識流程,再經過步驟S62的高灰階值辨識,步驟S64的車道線邊緣特性辨識,以及步驟S66的車道寬度辨識,分析道路影像內容取得車輛車道線特徵點(圖未示),且配合ROI方式將道路影像下半部由下而上等分成多區域掃描,即時修正更新車道線特徵點最新位置;此時,若是僅偵測到道路一側有車道線特徵點,則可建立一即時車道線,即進入步驟S68,若是在道路兩側都有辯識到車道線特徵點,就表示處理裝置14可以同時建立二即時車道線L 1L 2 ,也就是進入步驟S72中,特別說明的是,許多鄉間道路並非都有劃設標線,為顧及此狀況的發生,是以持續一段時間都未偵側到車道線特徵點的情況下,進入步驟S74。
承上述,參閱第1圖及第11圖並請參考第12圖,若係進入步驟S68,表示經過步驟S66後,處理裝置14僅建立起單側即時車道線,在此以右側即時車道線L 1 為例;此時,如步驟S70,將已取得之該即時車道線L 1 加上預設標準車道寬度而得以建立一虛擬即時車道線L 2 ,也就等同於步驟S72取得二即時車道線之意,接著,就可以進入步驟S76,藉由該即時車道線L 1 與該虛擬即時車道線L 2 取得延伸於道路遠端之瞬時消失點P x :此外該虛擬即時車道線亦可設定為任一與該即時車道線平行之線段,藉此亦可取得二者延伸於道路遠端之瞬時消失點P x
當道路未繪製有左車道線或右車道線任何一者時,為了取得車道線消失點P x ,此時,即必須利用步驟S74無法取得車道線,而以影像處理建立至少一虛擬車道線,處理裝置14建立至少一虛擬車道線程序,配合第13圖所示,首先,在步驟S80進行邊緣偵測,利用影像邊緣得到的複數虛擬車道特徵點,此特徵點的取得,可以利用前方車輛或者路邊建築物等影像, 透過該等平行排列於車行方向之物體,接著步驟S82,利用霍式轉換分析車道特徵點並進行特徵轉換,此後在步驟S84進行直線偵測,將對應複數虛擬車道線特徵點取出,連接前後每一虛擬車道線特徵點,藉此,建立起一或複數虛擬即時車道線,透過估算所有虛擬車道線延伸於遠方之一交會點,也就會形成步驟S76需要的瞬時消失點P x
參閱第14A圖~第14D圖,並且請同時參考第2圖、第8圖及第10圖,如第14A圖,障礙物輪廓偵測其細節步驟為利用一開始定義之水平線,將畫面切成水平線之上的上半部影像以及水平線之下的下半部影像兩部份,如第14B圖,上半部影像主要偵測障礙物水平邊緣之高度(如第8圖所示),如第14C圖,上半部影像主要以找出障礙物垂直邊緣之高度(如第8圖所示),如第14D圖,下半部影像主要偵測障礙物之底部位置,以找出障礙物水平邊緣-底(如第8圖所示),其中上半部影像針對之前所處理之水平邊緣與垂直邊緣來進行高度判斷分別以膨脹與侵蝕運算來強化所需邊緣,再將垂直邊緣減掉水平邊緣,留下主要垂直邊緣,下半部影像以水平邊緣進行膨脹與侵蝕來強化底部邊緣,當上半部影像及下半部影像所記錄之高度與距離皆大於設定之預設閥值時,將所標記可能障礙物邊緣投影到垂直軸並進行直方圖統計,其中上半部影像由上往下掃瞄最上方的邊緣,加以標示、紀錄障礙物最高位置,計算障礙物高度是否超過預設閥值,下半部影像由上往下掃瞄最上方的邊緣,加以標示障礙物的底部位置,計算障礙物底部位置之距離,最後將距離與警示資訊在加回原始影像上,顯示在畫面上。
最後,請參閱第15圖,本發明障礙物距離估算公式(2)為: D=H*f/(Yv-Ov) (2);其中D=影像擷取單元11與障礙物之距離,H=影像擷取單元11安裝高度,f=影像擷取單元11焦距,Ov=影像中心點,Yv:影像中之障礙物底部位置。其中處理裝置14可依據不同的距離設定給予相關的警示方式。
本發明所提出一種可靠度高且辨識效率佳的影像式障礙物偵測警示系統及方法來偵測障礙物,克服了目前現有的障礙物辨識系統所產生的誤判或過靈敏之機率,並更進一步的提升了系統可靠度,利用影像處理與電腦視覺技術取代現有的雷達或超音波障礙物偵測技術,駕駛者可以直接且清楚的看到目前車輛及車體周圍環境的相對位置關係,更進一步增加了使用上的便利性。
雖然,本發明前述之實施例揭露如上,然其並非用以限定本發明。在不脫離本發明之精神和範圍內所為之更動與潤飾,均屬於本發明專利範圍之主張。關於本發明所界定之專利範圍請參考所附之申請專利範圍。
10‧‧‧影像式障礙物偵測警示系統
11‧‧‧影像擷取單元
12‧‧‧外部訊號擷取單元
14‧‧‧處理裝置
142‧‧‧訊號演算單元
144‧‧‧運算處理單元
16‧‧‧警示裝置
162‧‧‧顯示單元
164‧‧‧LED單元
166‧‧‧揚聲單元
20‧‧‧車輛
30‧‧‧障礙物
L 1 ‧‧‧右側即時車道線
L 2 ‧‧‧虛擬即時車道線
H‧‧‧基準水平線
P x ‧‧‧瞬時消失點
第1圖為本發明之系統架構方塊圖。
第2圖為本發明之方法流程圖。
第3A圖為本發明之定義水平線示意圖。
第3B圖為本發明之定義ROI示意圖。
第3C圖為本發明之ROI預設範圍示意圖。
第3D圖為本發明之影像擷取單元焦距與預設水平線關係示意圖。
第4A圖為本發明之無障礙物示意圖。
第4B圖為本發明之障礙物距離3公尺示意圖。
第4C圖為本發明之障礙物距離1公尺示意圖。
第4D圖為本發明之障礙物距離0.5公尺示意圖。
第5A圖為本發明之無障礙物灰階示意圖。
第5B圖為本發明之障礙物距離3公尺灰階示意圖。
第5C圖為本發明之障礙物距離1公尺灰階示意圖。
第5D圖為本發明之障礙物距離0.5公尺灰階示意圖。
第6A圖為本發明之實景標示記錄示意圖。
第6B圖為本發明之灰階影像標示記錄示意圖。
第6C圖為本發明之直方圖標示記錄示意圖。
第7A圖為本發明之障礙物與預設閥值關係實景圖。
第7B圖為本發明之障礙物大於預設閥值示意圖。
第7C圖為本發明之障礙物小於預設閥值示意圖。
第8圖為本發明之垂直軸直方圖統計示意圖。
第9圖為本發明之進行水平線連線偵測的流程圖。
第10圖為本發明之進行障礙物輪廓偵測的流程圖。
第11圖為本發明之車道線辨識流程圖
第12圖為本發明之遠端瞬時消失點示意圖。
第13圖為本發明之虛擬即時車道線之流程圖。
第14A圖為本發明之上下半部影像偵測之示意圖。
第14B圖為本發明之上半部影像水平邊緣高示意圖。
第14C圖為本發明之上半部影像垂直邊緣高示意圖。
第14D圖為本發明之下半部影像水平邊緣底示意圖。
第15圖為本發明之系統架構示意圖。

Claims (10)

  1. 一種影像式障礙物偵測警示系統,包括:至少一影像擷取單元,以擷取一道路影像;至少一處理裝置,電性連接該影像擷取單元,依據道路影像以定義出一消失點水平線訊號之高度區間,使該處理裝置判斷該高度區間之水平線訊號是否存在或呈現不連續連線狀態以及判斷該地面區間的障礙物距離估算,以據此作為偵測障礙物之一警示訊號;以及至少一警示裝置,接收該處理裝置之該警示訊號並做出相關警示作用。
  2. 如申請專利範圍第1項所述之影像式障礙物偵測警示系統,其中該處理裝置更利用一遮斷之水平線訊號障礙物上下輪廓偵測作為偵測障礙物之該警示訊號。
  3. 如申請專利範圍第1項所述之影像式障礙物偵測警示系統,更包括一外部訊號擷取單元,電性連接該處理裝置,以擷取一外部訊號,以提供給該處理裝置參考,該外部訊號可為車速訊號、檔位訊號或方向盤轉角訊號。
  4. 如申請專利範圍第1項所述之影像式障礙物偵測警示系統,其中該消失點水平線訊號之高度區間係由該處理單元所預設。
  5. 如申請專利範圍第1項所述之影像式障礙物偵測警示系統,其中該消失點水平線訊號之高度區間係由該道路影像中之至少一車道線所決定。
  6. 一種影像式障礙物偵測警示方法,包括下列步驟:(a)擷取一道路影像;(b)依據該道路影像定義出一消失點水平線訊號之高度區間;(c)判斷位於該高度區間之該消失點水平線訊號是否存在,若是返回步驟(a),若否則進行步驟(d);(d)於該高度區間之水平線訊號判斷是否完全被遮蔽,若是進行步驟(e),若否則於該高度區間之水平線訊號非完全遮蔽時進行障礙物輪廓偵測,並判斷該輪廓偵測之障礙物高度與寬度是否大於預設閥值,若否返回步驟(a),若是則直接進行步驟(h);(e)以該高度區間之水平線訊號中心為設定範圍向下搜尋水平邊緣;(f)於該水平邊緣中找出並標示遮蔽該高度區間之水平線訊號連線之障礙物上下邊緣;(g)依據該水平邊緣位置與高度判斷是否為障礙物,若否返回步驟(a),若是進行步驟(h);(h)進行障礙物距離估算,若非在該地面區間之範圍內時返回步驟(a),若是進行步驟(i);以及(i)進行警示,同時持續步驟(a)。
  7. 如申請專利範圍第6項所述之影像式障礙物偵測警示方法,其中該步驟(c)更包括下列步驟:(c1)於該擷取影像中設定消失點水平線偵測範圍;(c2)水平邊緣處理該消失點水平線偵測範圍;(c3)將該擷取影像垂直投影至水平軸;(c4)進行直方圖統計;以及(c5)判斷小於該預設閥值之該直方圖是否存在,若是返回步驟(b),若否進行步驟(d)。
  8. 如申請專利範圍第6項所述之影像式障礙物偵測警示方法,其中該步驟(d)之障礙物輪廓偵測更包括下列步驟:(d1)邊緣偵測,偵測上半部影像及偵測下半部影像;(d2)該上半部影像進行垂直邊緣估算與水平邊緣估算並相減,該下半部影像則進行水平邊緣估算;以及(d3)利用膨脹和侵蝕加以增強該影像。
  9. 如申請專利範圍第6項所述之影像式障礙物偵測警示方法,其中步驟(b)中該消失點水平線訊號之高度區間係由該處理單元所預設。
  10. 如申請專利範圍第6項所述之影像式障礙物偵測警示方法,其中步驟(b)中該消失點水平線訊號之高度區間係由該道路影像中之至少一車道線所決定。
TW99146425A 2010-12-28 2010-12-28 Image - based obstacle detection reversing warning system and method TWI417207B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW99146425A TWI417207B (zh) 2010-12-28 2010-12-28 Image - based obstacle detection reversing warning system and method
US13/033,154 US8913128B2 (en) 2010-12-28 2011-02-23 Image-based barrier detection and warning system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW99146425A TWI417207B (zh) 2010-12-28 2010-12-28 Image - based obstacle detection reversing warning system and method

Publications (2)

Publication Number Publication Date
TW201226234A TW201226234A (en) 2012-07-01
TWI417207B true TWI417207B (zh) 2013-12-01

Family

ID=46316217

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99146425A TWI417207B (zh) 2010-12-28 2010-12-28 Image - based obstacle detection reversing warning system and method

Country Status (2)

Country Link
US (1) US8913128B2 (zh)
TW (1) TWI417207B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI561418B (en) * 2014-03-19 2016-12-11 Altek Autotronics Corp Obstacle detection device
EP3182161A1 (en) 2015-12-17 2017-06-21 H.P.B Optoelectronic Co., Ltd. Image detection system of vehicle
TWI605963B (zh) * 2017-01-23 2017-11-21 威盛電子股份有限公司 行車輔助方法及裝置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112012006758T5 (de) * 2012-07-31 2015-08-27 Harman International Industries, Incorporated System und Verfahren zum Erkennen von Hindernissen unter Verwendung einer einzigen Kamera
US9740942B2 (en) * 2012-12-12 2017-08-22 Nissan Motor Co., Ltd. Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
US9836053B2 (en) 2015-01-04 2017-12-05 Zero Zero Robotics Inc. System and method for automated aerial system operation
US10126745B2 (en) 2015-01-04 2018-11-13 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
US10358214B2 (en) 2015-01-04 2019-07-23 Hangzhou Zero Zro Technology Co., Ltd. Aerial vehicle and method of operation
US9916508B2 (en) 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
US9576204B2 (en) * 2015-03-24 2017-02-21 Qognify Ltd. System and method for automatic calculation of scene geometry in crowded video scenes
TWI596361B (zh) 2015-12-07 2017-08-21 Metal Ind Res And Dev Centre Using structured light sensing barrier reversing warning method
WO2017187275A2 (en) 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. Aerial system propulsion assembly and method of use
EP3309707A1 (en) * 2016-10-13 2018-04-18 Conti Temic microelectronic GmbH Device and method for gradient-based object recognition of an input image
GB2556911A (en) * 2016-11-25 2018-06-13 Continental Automotive Gmbh Object recognition system and object recognition method
JP7119317B2 (ja) * 2016-11-28 2022-08-17 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
WO2018097331A1 (en) * 2016-11-28 2018-05-31 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and information processing program
US10067513B2 (en) * 2017-01-23 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd Multi-camera system and method of use
US11328822B2 (en) * 2017-02-01 2022-05-10 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
CN106953977B (zh) * 2017-03-22 2019-02-12 北京字节跳动科技有限公司 一种基于移动终端的监测方法及系统
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
US11227167B2 (en) * 2019-06-28 2022-01-18 Baidu Usa Llc Determining vanishing points based on lane lines
CN113734048B (zh) * 2020-05-29 2024-05-07 广州汽车集团股份有限公司 一种倒车预警方法和装置
US20230278574A1 (en) * 2020-07-28 2023-09-07 Ception Technologies Ltd. Onboard hazard detection system for a vehicle
US11634124B2 (en) * 2020-08-26 2023-04-25 Carvi Inc. Method of recognizing median strip and predicting risk of collision through analysis of image
CN116872919B (zh) * 2023-07-21 2025-04-22 东风汽车集团股份有限公司 一种障碍物避让方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057599A1 (en) * 2002-06-27 2004-03-25 Kabushiki Kaisha Toshiba Image processing apparatus and method
US20060184297A1 (en) * 2004-12-23 2006-08-17 Higgins-Luthman Michael J Object detection system for vehicle
WO2009027090A2 (en) * 2007-08-31 2009-03-05 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
CN101436300A (zh) * 2008-12-10 2009-05-20 东软集团股份有限公司 障碍物分割方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4205825B2 (ja) * 1999-11-04 2009-01-07 本田技研工業株式会社 対象物認識装置
CN1782668A (zh) 2004-12-03 2006-06-07 曾俊元 以视频感知的障碍物防撞方法与装置
WO2007124502A2 (en) * 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
JP4622001B2 (ja) * 2008-05-27 2011-02-02 トヨタ自動車株式会社 道路区画線検出装置および道路区画線検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057599A1 (en) * 2002-06-27 2004-03-25 Kabushiki Kaisha Toshiba Image processing apparatus and method
US20060184297A1 (en) * 2004-12-23 2006-08-17 Higgins-Luthman Michael J Object detection system for vehicle
WO2009027090A2 (en) * 2007-08-31 2009-03-05 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
CN101436300A (zh) * 2008-12-10 2009-05-20 东软集团股份有限公司 障碍物分割方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI561418B (en) * 2014-03-19 2016-12-11 Altek Autotronics Corp Obstacle detection device
EP3182161A1 (en) 2015-12-17 2017-06-21 H.P.B Optoelectronic Co., Ltd. Image detection system of vehicle
TWI605963B (zh) * 2017-01-23 2017-11-21 威盛電子股份有限公司 行車輔助方法及裝置

Also Published As

Publication number Publication date
US8913128B2 (en) 2014-12-16
TW201226234A (en) 2012-07-01
US20120162415A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
TWI417207B (zh) Image - based obstacle detection reversing warning system and method
CN102170558B (zh) 障碍物侦测警示系统及方法
JP3822515B2 (ja) 障害物検知装置及びその方法
CN104508727B (zh) 三维物体检测装置和三维物体检测方法
JP6254083B2 (ja) 車載用周囲環境認識装置
EP2993654B1 (en) Method and system for forward collision warning
JP3596314B2 (ja) 物体端の位置計測装置および移動体の通行判断装置
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN104509102B (zh) 三维物体检测装置和异物检测装置
JP5664787B2 (ja) 移動体検出装置及び移動体検出方法
CN104508726B (zh) 三维物体检测装置和三维物体检测方法
CN102303563B (zh) 前车碰撞预警系统及方法
JP2007234019A (ja) 車両画像領域特定装置およびその方法
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
US20090052742A1 (en) Image processing apparatus and method thereof
JP2012168592A (ja) 環境認識装置
CN107229906A (zh) 一种基于可变部件模型算法的汽车超车预警方法
JP4067340B2 (ja) 対象物認識装置および対象物認識方法
JP2001195698A (ja) 歩行者検知装置
CN108021849A (zh) 一种行人预警方法及装置
CN102275558A (zh) 双视觉前车安全警示装置及其方法
JP3925285B2 (ja) 走行路環境検出装置
JP2007264712A (ja) 車線検出装置
JPH0996525A (ja) 車載用距離測定装置
JP2009193130A (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法