The Challenge of
Building a Self-Driving Car
來源:亿欧网
日前據彭博援引知情人士表示,英飛凌(Infineon Technologies AG)前年曾就收購意法半導體(STMicroelectronics NV)舉行早期會談,若該並購成功完成,英飛凌將一躍成為歐洲半導體巨頭。不過法國政府反對這項併購。
英飛凌是歐洲一家晶片廠商,成立於 1999 年,在汽車半導體領域有著豐富的經驗。在其發佈的 2018 年業務報告中,自動駕駛業務已經佔公司總業務的 42%。其對於 2017 年自動駕駛半導體業務市場佔有率的排名為,NXP、英飛凌、瑞薩、TI、意法半導體、博世、安森美、羅姆集團、東芝、ADI。
那麼為什麼自認為是業內排行老二,還有收購老五呢?除了半導體領域要不斷通過保持壟斷地位,才能持續有競爭力以外,還有沒有別的原因?
英飛凌在自動駕駛領域的業務,已經遠遠大於其它 IPC、PMM、CCS 業務,在自動駕駛領域其主要的業務是雷達、微處理器、數據傳輸,以及電源管理等部分,基於機器視覺的 ADAS 晶片還沒有。
意法半導體在晶片領域也是巨頭,在汽車領域有鼎鼎大名的 STM 系列微處理器,邏輯 IC,以及資訊娛樂處理單元。在自動駕駛時代,更是聯合 Mobileye 研發生產了 EyeQ 系列 ADAS 晶片。
英飛凌跟意法半導體之間有很多重合的業務,而在自動駕駛領域,其欠缺的就是 ADAS 視覺處理晶片的能力,此次傳出英飛凌有意向收購意法半導體,會否是想要彌補視覺處理晶片方面的短板?
視覺處理晶片是自動駕駛晶片陣列中重要的一環,由於可以同雷達等感測器形成互補,基於深度學習的視覺辨識處理,在道路、交通標誌、障礙物、行人等辨識中重要性愈發凸顯。
因此各大廠商也都在爭相佔領高地,NVIDIA 和 Mobileye 目前是市場翹楚,佔據了較大的市佔,二者在汽車晶片領域,都是新生。其它傳統汽車晶片廠商,正在迎頭趕上。
而在即將到來的 ADAS 普及浪潮中,視覺 ADAS 方案由於價格低廉,技術成熟,產業鏈完善,必然會成為 OEM 首先選擇的對象。那麼方案商有哪些 ADAS 主處理晶片的選擇呢? OEM 又意下如何呢?
高處不勝寒
Mobileye 聯合意法半導體推出的 EyeQ 系列的視覺處理晶片,在自動駕駛 CV 領域,聲名卓著,其中 EyeQ4 於 2016 年發佈,在其官網上這樣顯示,EyeQ 4 是目前市場上最先進的專用視覺運算 SoC。
除了能夠應付雷達和 LIDAR 的數據外,還可支持 8 個攝影機感測器,每秒處理 2.5 萬億次操作,而功耗僅為 3-5瓦。EyeQ4 有一組工作在 1GHZ 的工業級四核 MIPS 處理器,多個專用的向量微碼處理器(VMP),用來應對 ADAS 相關的圖像處理任務。
EyeQ 系列的晶片是由 Mobileye 和 ST 意法半導體聯合生產的,在意法半導體的 2017 年報中,也提到了雙方將繼續聯合協作,研製 2020 年將要推出的 EyeQ5。
英偉達 2016 年推出 DRIVE PX2 (Autocruise 和 Autochauffeur,Autochauffeur 相當於前者性能 X2+
Pascal 架構的獨立 GPU),Autochauffeur 配置兩個 SoC Tegra Parker (Cpu Cores 是 4 個 Denver 和 8 個 Cortex A57)和兩個分離式的 Pascal GPU(單精度計算能力達到 8TFlops),支持 12 路 200 萬像素攝影機,每秒 60 幀的拍攝圖像的攝影機數據。
這種可擴展的構架,可以配置從運行 10 瓦特的被動冷卻的行動處理器,到用兩個行動處理器,以及兩個分離式 GPU 可達到每秒 24 萬億次深度學習的操作。多個 Drive PX 2 平台的並行使用,可以實現完全的自主駕駛。
2016 年 NVIDIA 發佈 Xavier,它是一款完整的 SoC,整合了被稱為 Volta 的全新 GPU 架構、定制 8 核 CPU 架構以及新的計算機視覺加速器,採用 16nm FinFET 加工技術進行製造。
該處理器提供 20 TOPS(萬億次運算/秒)的高性能,而功耗僅為 20 瓦。充當自動駕駛汽車大腦的 Xavier 在設計上符合 ISO 26262 道路車輛功能安全規定等嚴格的汽車標準。
NVIDIA 和 Mobileye 在 ADAS 視覺處理中,無疑是最有話語權的,前者代表著算力,後者代表著量產經驗,但市場可能暫時不會選擇二者。
原因也很簡單,前者算力雖高,但價格和功耗都不低,在 ADAS 領域綜合的性價比並沒有優勢,在消費者市場還屬於教育階段的時候,以一個高價智慧駕駛配置入局,結局不會太好。
而 Mobileye 則相對封閉,且有成熟的從晶片到解決方案的完整產業鏈,價格也不低,對於 OEM 和 Tier1 佔主導地位的汽車市場,需要在供應鏈上有充足的可選項,因此 Mobileye 不會是唯一選項,OEM 和 Tier1 樂見更多的選項出現。
此時,傳統汽車電子晶片領域的玩家,就出現了。
既得利益者
NXP(恩智浦)推出的第二代視覺處理器系列 S32V234,目的在支持圖像處理的運算密集型應用,並提供了一個 ISP、強大的 3D GPU、雙 APEX-2 視覺加速器和安全性,以及支持SafeAssure。
有運行頻率高達 1GHz 的 64 位 Arm Cortex-A53 四核,以及頻率高達 133 MHz 的 M4 內核。S32V234 帶兩個 MIPI CSI2 接口,4 個通道用於攝影機輸入(支持 1080 像素@ 30 fps),支持 2x1 或 1x2 百萬像素@ 30 fps 和 4x2 百萬像素圖像輸入。
S32V234 具有 S32 Design Studio IDE for Vision 支持的完整支持平台,包括編譯器、調試器、Vision SDK、Linux BSP 和圖形工具,還有 MATLAB 的恩智浦視覺工具箱是針對 S32V234 處理器附送的整合開發環境。
S32V234 適用於 ADAS、NCAP 前視攝影機、異物檢測和辨識、環視、機器學習和感測器融合應用。S32V234 專為汽車級可靠性、功能安全和安全措施而設計,以支持汽車和工業自動化。可支持前視攝影機、智慧後視攝影機、環視等的一些自動駕駛應用。符合 ISO26262 以及 ASIL 的相關標準。
瑞薩(Renesas) 2017 年 4 月 11 日宣佈推出針對 NCAP 前置攝影機的 R-Car
V3M SoC ,配有雙核 800MHz 的 ARM CA53 (ARMv8),以及單顆 ARM CR7 (ARMv7),串口可輸入單通道 4 路影像,單路影像傳輸速度可達 1.5Gbps。
V3M 的硬體加速器使 CNN 能夠以超低功耗水準執行,該加速器可實現越來越多的道路檢測,或對象分類等功能,在汽車自動駕駛應用中。V3M SoC 以及包括瑞薩開源 e2 工作室 IDE,整合開發環境(IDE)在內的支持軟體和工具。
2018 年 2 月 28 日推出全新的 R-Car
V3H SoC,其電腦視覺性能比其前身 R-Car V3M SoC 高出五倍,使用了雙圖像信號處理器(ISP),四顆 1.0-GHz的Cortex -A53 MPCore 的內核,雙鎖步 800 MHz的Cortex - R7 核心,同時 CNN 的專用 IP 加速了深度學習。
該 SoC 將會用於批量生產的 L3 級和 L4 級自動駕駛汽車,V3H SoC 樣品於 Q4 上市,量產計劃於 2019 年第三季開始。
瑞薩的 V3M 和 V3H 使用不同的加速器,實現了一流的性能電腦視覺異構平台:多功能管道引擎(IMP)和電腦視覺引擎(CVE),輔以 DMA 來控制暫存記憶體傳輸。此外,兩個 SoC 都帶有卷積神經網路(CNN)的整合 IP。
這使得 R-Car V3M 和 V3H 適用於電腦視覺算法,如物體檢測和分類,深度神經網路和卷積神經網路。此外,對於上述硬體加速器,V3H 具有用於密集光流,密集立體視差和對象分類的專用 IP。
德州儀器(TI)針對 ADAS 前視視覺辨識推出的是 TDAx SOC 系列晶片,包括 TDA3x、TDA2x、TDA2Px,這些處理器都包含有雙核 Arm Cortex-A15MPU,以及雙核 Arm Cortex M4、C66x DSP。
TDA 系列晶片分不同型號,可支持 1-3 路攝影機,像素也從 1.3-2.5MP,儲存頻寬從 4.0-10.7 GB/s。晶片可達到從 ASIL-B 到 ASIL-D 安全級別。
德州儀器(TI) 提供針對 Arm,DSP 和 EVE 協處理器的完整開發工具集,其中包括 C 語言編譯器、一個可簡化編程和調度的 DSP 匯編優化器和一個針對源代碼,執行可視性的調試接口。
亞德諾(ADI)推出的 ADSP-BF60x 系列晶片,是專門針對 ADAS 視覺處理的,可以囊括 LDW、FCW、TSR、HBA、PD 函數五項功能,且系統的總體成本降低了 30%。
BF60x 是基於雙核 Blackfin,單核的工作頻率最高可達 500
MHz,採用 ADI公司/Intel 微信號架構(MSA)。每個內核包含 2 個 16 位乘法器、2 個 40 位累加器、2 個 40 位 ALU、4 個影像 ALU 和 1 個 40 位移位器。計算單元處理來自寄存器文件的 8 位、16 位或 32 位數據。
流水線視覺處理器(PVP)提供硬體來處理信號和圖像算法,從而預處理和協處理先進汽車輔助駕駛(ADAS),或其它影像處理應用中的影像幀。其中 BF608 的 PVP 可支持 VGA, VGA 為每幀 640 x 480 像素,每秒 30 幀。
BF609 可支持 HD,HD 為每幀 1280 x 960 像素,每秒 30 幀。ADSP-BF60x 在 105°C 環境溫度下的功耗不足 1.3 W,具有同級產品的最低功耗。
以上,是傳統汽車晶片領域的玩家,他們都有著在傳統視覺處理領域的解決方案,在自動駕駛浪潮席捲而來的時候,他們並沒有著急跟風。而是基於原有的晶片基礎,進行功能上的適配,滿足 ADAS 的需求。
這些晶片解決方案,基本可以覆蓋汽車前視的預警功能需求,且在價格、功耗、量產經驗上,都佔優勢。因此,在未來汽車普及 ADAS 功能的過程中,他們可能才是真正的食利者。
這些廠商,對於推出符合更高級別自動駕駛算力要求的視覺處理晶片的時間點,都更為保守。甚少談 L4、L5 自動駕駛,更多的集中在 L3 以下的需求,晶片性能也在滿足百萬像素級圖像、影像處理,主頻多是 1GHz 左右的 Arm Cortex - A53,輔以完整的開發工具,方便用戶上手。
傳統廠商在自動駕駛浪潮中的集體低調甚至緘默,是源於對市場以及 OEM 需求的熟稔於心。沒有誰,比他們更清楚氣候冷暖了。
商機覬覦者
高通(Qualcomm)推出的面向汽車的處理器 820,配備有客製化 64 位 Kryo 四核處理器,Qualcomm Adreno 530 GPU,Qualcomm Hexagon 680 DSP,可支持多達 8 個攝影機感測器同時輸入。
由於擁有多個異構計算引擎,Zeroth 機器智慧平台使驍龍 820 車用處理器,可提供設備認知技術和神經網路處理能力。
820 定位於車用處理器,因此包含了汽車通訊、資訊娛樂、顯示、感知等多種能力,由於在消費市場擁有大量的出貨,820 一經推出,就得到了眾多主機廠的青睞。
賽靈思(Xilinx)推出的 Zynq-7000 / Zynq UltraScale + MPSoC 可用於前視攝影機數據的處理,ARM A9 或 A53 用於目標分類和連接車輛網路,PL 用於連接感測器、預處理圖像/數據和軟體算法的硬體加速。
(XA) Zynq -7000 SoC 非常適合高級駕駛員輔助系統 (ADAS) 的高計算要求,採用了 28nm 工藝,使用了ARM 雙核 Cortex-A9 MPCore,頻率超過 667MHz,可在可編程邏輯 (PL) 中實現額外的硬體加速器。
XA
Zynq UltraScale + MPSoC 系列完全通過 ISO26262 ASIL-C 級認證,符合 AEC-Q100 測試規範。該產品在單個器件中高度整合一個特性豐富的、基於 64 位四核 ARM Cortex -A53 及雙核 Cortex-R5 的處理系統 (PS) 和 Xilinx 可編程邏輯 (PL) UltraScale 架構。與 Zynq-7000 SoC 相比,系統級性能功耗比提升 5 倍。
安霸(Ambarella)在 2018 年的 CES 展上,發佈了電腦視覺晶片CV1,晶片是基於 CVflow 架構,CV1 能夠對解析度高達 4K 的影像,進行電腦視覺處理,其重要的應用領域之一就是ADAS。為了造出這款晶片,VisLab 和安霸通力合作,結合了雙方在深度學習和高清圖像處理、低功耗方面的經驗。
2018 年 3 月 28 日,安霸公佈了升級版的 CV2 視覺晶片,CVflow 的優勢在於可以提高每個處理單元的性能。CV2 的深度神經網路性能是 CV1 的 20 倍。它能夠提供深度神經網路和立體視覺處理,瞄向的是 ADAS 和自動駕駛汽車市場。二者都是 4K 級的立體視覺處理器。
與通用 CPU 和 GPU 相比,CVflow 採用了一種根本不同的方法,包括使用高級算法描述編程的靈活 CV 硬體引擎。這使得晶片的架構,能夠以非常低的功耗,和不限制的靈活性,將性能擴展到每秒數萬億次操作,同時提供了行業標準工具(如 Caffe 和 TensorFlow)對其 CNN 網路進行有效映射,以在基於 CVflow 的晶片上運行。
Altera 作為排名第二的 FPGA 廠商,被英特爾收購,英特爾
FPGA 可提供理想的解決方案,滿足系統對靈活 IO 和高數據速率的要求。
FPGA
可收集多個感測器(接口類型、數據速率等各不相同)的數據,並將它們轉化成統一格式(例如 MIPI CSI-2)以輸出至運算要素,並進一步傳輸至 ADAS 系統。
被英特爾納入麾下以後,針對自動駕駛的 FPGA 解決方案,並沒有大力的推廣,這可能是收購了 Mobileye 後,在汽車晶片領域的發展步伐有所放緩。但作為一項被業內廣泛使用的技術,FPGA 未來在自動駕駛中,還會充當重要的角色。因此英特爾的 FPGA,也是一支不能忽視的力量。
以上這些廠商,在汽車晶片領域,算是新來者。賽靈思在加大投入,開始重視汽車市場,安霸借著原有汽車市場的一些經驗,也在意圖更多 CV 市場佔有率。高通從傳統消費者市場闖進來,自知閱歷不足,意圖收購 NXP 來一統江湖。但臨煮熟的鴨子飛了,往後的路還要靠自己走。
自動駕駛視覺處理晶片的賽跑,才剛剛開始,領頭羊、傳統勢力、新入局者各自的節奏都不一樣的,但市場一致 —— 我們目力所及的汽車,ADAS 還遠未普及。誰能掌握真正的話語權,在於佔領足夠大的市場,而這些故事,將會在接下來的 5-10 年完成。
【任何經過翻譯或轉載之中文資訊,我們為了盡量使用台灣常用相關名詞與慣用語法,將與原中文有所變更,但不改內容意義 – 3S MARKET】