2020年11月18日 星期三

.智慧外部攝影機可增強車輛安全性

EN | Bosch Multi-camera system – All-around vision when parking and maneuvering



3S MARKET 整理

安裝在車輛外部各個位置的攝影機,與經濟高效、功能強大,且節能的處理器相結合,可帶來眾多便利和保護優勢。

先進的駕駛輔助系統(ADAS)市場,是當今技術領域最耀眼的明星之一,其採用範圍已迅速從高端車輛,擴展到大批量車型。 它也是汽車電子領域增長最快的應用領域之一。 例如,市場分析公司 Strategy Analytics 現在預計,到 2021 年,汽車 OEM 市場,每年將在各種輔助和安全解決方案上,花費超過 280 億 美元(圖1)。

圖1.預計未來幾年,先進的駕駛輔助系統(ADAS)市場,將以各種實施形式快速成長。

ADAS 技術的核心,是用於檢測車輛內部和外部情況的感測器。在外部關注的感測器技術中,Strategy Analytics 預測,由於以下原因,攝影機將提供成長和量化的最佳融合:

.某些 ADAS 功能,例如車道偏離警告、交通號誌辨識和行人檢測,比需要使用攝影機來輔助,當前無法使用其他方法有效地完成(圖2)。

在傳統上與雷達或雷射雷達(光檢測和測距)感測器相關的應用(如自適應巡航控制和自動緊急制動)中,攝影機現在在價格和性能方面,以非常具有經濟性。

對於許多 ADAS 功能,雷達加攝影機組合平台,可提供最佳解決方案。但是,對於價格敏感的低端產品,Strategy Analytics認為,僅使用攝影機的方法,比僅使用雷達的方法,更有可能成功。

攝影機正成為泊車輔助解決方案,不可或缺的一部分,其中包括高端環視系統,每輛車包括四個或更多攝影機。

圖2.行人檢測算法,比車輛檢測算法複雜得多,僅有雷達系統不足以可靠地警告駕駛員,此類非金屬物體的存在。

因此,Strategy Analytics 預計,全球對外部車載攝影機的總需求,將從 2013 年的 2300 萬台,增加到 2018 年的 8300 萬台,年均複合成長率為 29%。

到 2021 年,預計將安裝近 1.2 億個攝影機,平均每輛車配備一台以上。根據 Strategy Analytics 的分析,ADAS 市場快速成長背後的關鍵因素,是安全性和便利性的要求與需求。

全球各地的政府,都在致力於透過提高公眾意識的運動,立法和其他手段,來提高汽車安全性。日益嚴重的交通堵塞,和漫長的通勤時間,使駕駛員開始意識到,利用增加的車輛自動化,以減輕通勤壓力,並在全自動駕駛的未來,提高時間效率的想法。

從歷史上看,只有使用大型、笨重、昂貴,且耗電的電腦,才能實現自動圖像理解,從而將電腦視覺的使用,局限於工廠自動化等少數利基應用。

除了這些成功的故事以外,在過去的幾十年中,電腦視覺已成為主要的學術研究領域。但是,隨著功能越來越強大的處理器、圖像感測器、儲存設備,和其他半導體設備的出現,以及強大的算法的出現,將實用的電腦視覺功能,整合到包括 ADAS 設計在內的各種系統中,已變得切實可行。

本文章概述了 ADAS 中的視覺處理,然後重點介紹了車載 ADAS 應用程序。本文著重於車輛外部 ADAS 應用,討論實現細節和各種方法之間的權衡。它引入了一個行業聯盟,旨在幫助產品創建者,將視覺功能納入其 ADAS 設計中,並提供與該聯盟提供的技術資源的鏈接。

後置攝影機的應用
2014 年 3 月,美國運輸部國家公路交通安全管理局(NHTSA),頒布了一項最終裁決,要求到 2018 年 5 月,所有重量不足 10,000 磅的新車,都必須配備後方能見度技術。

NHTSA 援引了統計數據,例如每年因倒車事故,造成 210 人死亡及 15,000 人受傷。根據美國國家公路交通安全管理局(NHTSA)的數據,5 歲以下的兒童,佔每年倒車死亡人數的31%; 70 歲及以上的成年人佔 26%。

NHSTA 後視只需要一個簡單的攝影機,即可捕獲汽車後方的視野,以便在中央控制台或傳統的後視鏡位置(補充甚至更換)顯示給駕駛員。

許多汽車製造商正在將這項技術,帶入下一步車輛生產的標配。結合電腦視覺的智慧功能,防倒車系統可以自動檢測物體,並警告駕駛員(被動安全),甚至制動(主動安全)以防止與行人,或其他物體發生碰撞。

前置攝影機的應用
前置攝影機應用,在短時間內有了長足的發展,並且步伐正在加快。早期視覺處理系統僅提供資訊,其功能包括車道偏離警告,前向碰撞警告,以及在更高級的車種,實現中的交通標誌辨識,以提醒駕駛員即將發生的速度限制變化,道路急轉彎等。在系統中,他們提供了駕駛員反饋(例如,照亮儀表板圖標,並帶有警告蜂鳴器),但駕駛員仍保持對車輛的完全控制。

後代主動安全系統的發展,例如,從車道偏離警告,過渡到車道保持,而汽車主動抵制沒有駕駛員激活的轉向信號燈的變道。主動安全現在同樣包括自動緊急制動,以防止與其他車輛的向前碰撞。製造商採用主動安全性增強的動機,包括政府法規,例如 EuroNCAP,該法規要求各種 ADAS 功能,才能獲得五星級評級。

現在,許多其他前置攝影機應用,正在進入下一代汽車。例如,自適應大燈控制,可根據交通狀況數據傳入,自動從遠光模式切換到近光模式。自適應巡航控制系統,使車輛能夠自動在前方車輛後面保持足夠的間距(圖3)。

智慧速度自適應功能,可檢測到道路號誌顯示的速度限制,並在更早的被動交通標誌辨識基礎上擴展功能,自動調整汽車速度以進行補償。自適應懸架系統,可以辨識前方道路的變化(例如洼坑),並相應地調節車輛的懸架,以保持平穩的行駛。

圖3.自適應巡航控制系統自動調整車輛的速度,以跟上前方交通的步伐,並且可以在其算法中,結合攝影機捕獲和視覺處理器,區分的限速,以及其他路標數據。

側面攝影機的應用
側面攝影機的一項關鍵應用,是盲點物體檢測。安裝在車輛兩側的攝影機可檢測相鄰車道中的行人、自行車和摩托車,車輛和其他物體。

被動實施透過閃爍的燈光、聲音警報、或振動方向盤、或座椅來警告駕駛員。積極的實現方式會施加阻力,以阻止駕駛員轉動方向盤的嘗試。

盲點物體檢測,可以使用雷達或視覺技術來實現。但是,如前所述,主流車輛越來越多地採用嵌入前裝攝影機,或僅用後裝加裝攝影機的方法,其多功能性使其能夠支持眾多的 ADAS 功能。

側面物體檢測,不僅在車輛高速行駛時有用,而且對於輔助或全自動停車系統也很有用。或考慮使用後視鏡。它們具有長期的車輛功能,但仍具有多個缺點:例如,它們的視線經常受到乘客或車輛底盤的阻礙,並且它們增加的空氣阻力,降低了燃油效率。

高幀率(約60 fps)的側面攝影機,驅動位於傳統後視鏡位置(為了駕駛員熟悉)或中央控制台的顯示器,還可能帶有其他「智慧」資訊,例如疊加在攝影機頂部的,即將到來的交通警告,由於空氣動力學、人體工程學和其他原因,這些觀點是有吸引力的繼承者。

側面攝影機還可用於實現,各種駕駛員便利功能。例如,自然的使用者介面應用,在客廳中變得越來越普遍,並且也可能進入車輛的應用。

正如主要用於避免後部碰撞的後置攝影機,結合智慧鑰匙接近檢測功能,可以重新用於手勢辨識,以自動打開行李箱一樣,主要用於盲點檢測的側面攝影機,也可以用於手勢辨識以打開車門,和升降窗戶。

或者考慮完全免除密鑰卡的機會,而是依靠人臉辨識,僅允許特定註冊使用者(車主),開啟(和操作)車輛。

全景視圖應用
多攝影機無源 ADAS 系統,在發展中的國家已經相當普遍,它們可以幫助駕駛員在擁擠的空間停車。它們被稱為環視或環視監控系統,通常包括安裝在前、側面和後部的四攝影機(用於汽車)或六攝影機(用於公共汽車等)設置,以形成 360° 的「鳥瞰」車輛周圍的全視野。

過去的多攝影機系統,採用具有 VGA 或 D1 解析度的類比攝影機。目前的監視系統,將是具有 1MP 或更高解析度的數位系統。同樣,當前系統提供 2D 輸出,而下一代系統,將提供車輛周圍場景的深度增強渲染。

攝影機的輸出經過亮度調整,併在幾何上對齊,以準備創建「縫合」的統一圖像。這項工作取得成功的關鍵,是每個攝影機內部圖像信號處理,和圖像感測器設置的同步。

例如,如果增益或自動白平衡設置不同,則在合成的合成圖像中,將出現明顯的攝影機間「接縫」。同樣要考慮到,汽車周圍的照明條件,從汽車的一個部位,到另一個部位,可能會明顯不同。

例如,前置攝影機可能會捕捉到,迎面而來的車輛的大燈,而後置攝影機只會看到黑暗的空曠道路。要最大程度地減少合成圖像中的偽影,需要使用一種集中式算法,來動態調整每個攝影機的設置。

廣角攝影機通常用於 ADAS 系統,因為與具有「普通」焦距鏡頭的攝影機相比,它們捕獲的場景要多得多。但是,所捕獲的圖像會失真,特別是如果使用超寬動態「魚眼鏡頭」鏡頭。

因此,需要隨後的圖像處理,以多種實現複雜度,和結果品質來實現多種技術之一。最簡單的方法是鏡筒透鏡畸變校正,它透過使圖像恢復為「平坦」狀態,來補償廣角鏡效果。

將捕獲的圖像,投影到平面上(例如,地面是視點是從汽車上方看),可以提供更加「自然」的整體效果,但地面上的物體(例如人或人行道)除外被拉伸,不再看起來自然。投影到碗上會產生更自然的圖像。

對於某些自動駕駛場景,必須圍繞車輛 360° 全景(圖4)。 一個例子是前面提到的自助停車系統。 對於自動系統而言,自動駕駛可能顯然更具挑戰性,但這裡也正在進行有形的過程。 

谷歌備受推崇的自動駕駛汽車計劃,就是一個例子,奧迪的自動駕駛汽車 A7 ,也在很大程度上,從加利福尼亞州的帕洛阿爾托,駕車前往一月份舉行的消費電子展的內華達州拉斯維加斯,而賓士的 F 015 概念車也在 CES 上亮相。 

最近,特斯拉宣布,其 Model S 電動汽車,將透過今年夏天發布的軟體更新,獲得高速公路自動駕駛功能。

圖4.本文討論的許多 ADAS 技術在(近乎?)未來的全自動駕駛汽車的道路上是墊腳石。

攝影機機替代品
隨著 ADAS 系統在本質上變得越來越活躍,快速而精確的到物體的距離測量,變得越來越重要。儘管如前所述,出於深度感應的目的,有可能(並且在高端實施中,出於冗餘和其他原因,可能)將攝影機與其他技術(例如超音波和雷達)結合使用,但僅攝影機設置將在入門級和主流ADAS系統。

而且,儘管傳統的 2D 攝影機可以得出,適合於被動制導的距離近似值,但主動型 ADAS 和自動駕駛汽車,得益於真正 3D 攝影機系統所具有的固有精度。

立體攝影機設置,可能是在車輛外部 ADAS 應用中,使用的最常見的深度感應選項,這是因為其在寬距離範圍內的適用性,以及對照明差異,各種與天氣相關的退化,和其他環境的相對抗擾性效果。

諸如結構光和飛行時間之類的,替代深度攝影機方法,可能會在車輛內部更大程度地被採用,並用於頭部跟踪,精確的手勢介面控制和其他目的。但是,立體聲技術需要計算密集的視差映射和立體聲匹配算法。隨著攝影機解析度的提高,性能要求也成比例地成長。

更一般而言,隨著 ADAS 系統從簡單的場景應用,發展到更智慧的對象檢測和跟踪方法,所需的處理級別迅速提高。處理器必須管理多個分類器(用於行人、自行車、摩托車、車輛等)以及用於運動跟踪的光流算法。

此外,算法需要在各種挑戰性環境(例如雨雪),以及從明亮的中午陽光,到最暗的夜晚中可靠地工作。而且,隨著處理器性能要求的急劇提高,還必須滿足極具挑戰性的功耗、散熱、尺寸和重量規格。當然,物料清單成本始終是關鍵的設計指標。針對任何一個參數進行優化,可能會迫使其他參數妥協。

處理方法
由於 ADAS 系統,還不如車輛中的資訊娛樂系統普及,因此一些製造商在短期內,考慮採用後置攝影機來替換鏡子,以增強現有的資訊娛樂系統。儘管這種被動式 ADAS 實施相對簡單,但在運行高級操作系統的資訊娛樂系統中,要求攝影機在幾百毫秒內,完全可操作的要求頗具挑戰性。

還要考慮功能安全規範,例如 ISO 26262,在該規範中,汽車安全完整性等級(ASIL)最高可能的 D 等級,現在通常是主動安全 ADAS 系統的強制性要求。滿足 ASIL D 可能需要具有挑戰性的設計方法,例如多 CPU 鎖步容錯處理。

因此,一項關鍵的設計考慮因素,涉及確定電腦視覺處理的位置。在可能的實現方式的一端,它發生在單個強大的集中式處理器上。其他 ADAS 系統基於多個分佈式處理單元,每個單元負責一組專門的功能。

這樣的分佈式系統,具有許多優點。各種 ADAS 功能在不同的時間出現,並在市場中獨立發展。這些獨立的系統,由不同的供應商提供,並由汽車製造商作為離散的出廠,和售後選項提供,因此已針對低成本和易於整合進行了優化。

分佈式處理單元,也更易於獨立測試。例如,如果製造商想要包括後視攝影機,則可以在基本設計中,簡單地添加一個「智慧」模組,並在其中內置一個低成本的中央 ECU。


類似地,可以選擇支持成熟的環視系統,而不會影響入門級車輛的基礎成本。隨著時間的流逝,大眾市場的車輛,將繼承經過測試的當前高端車型的 ADAS 單元,這對於當前缺乏此類安全性和便利性功能的消費者來說,是一個有利的情況。

分佈最廣的處理模型可能會繼續流行。但是,隨著高端車輛都增加了自動駕駛等新功能,並進一步優化了現有的 ADAS 功能,越來越需要整合來自多個攝影機(和其他感測器)和處理器的數據,從而實現統一的決策,類似於當前,人類在駕駛時會處理資訊。

新興的解決方案,將首先利用透過視覺處理任務的,智慧劃分所實現的優化,不僅在各個硬體單元之間,而且在單元內和單元間的硬體和軟體之間。隨著時間的流逝,處理分區的擺錘可能會朝著統一處理的方向擺動,類似於人腦的集中處理器。https://www.embedded-vision.com/platinum-members/embedded-vision-alliance/embedded-vision-training/documents/pages/externalvehicleadas 560191204

沒有留言:

張貼留言