cookieOptions = {...}; .自動駕駛多感測器感知的探索 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2019年9月4日 星期三

Camera Radar Fusion Project with TI Automotive Processors


任何顏色車牌——都拍攝的清清楚楚!


Pony.ai 在多感測器感知上,累積了很多的經驗,尤其是今年年初在卡車上開始了新的嘗試。我們有不同的感測器配置,以及不同的場景,對多感測器融合的一些新的挑戰,有了更深刻的認識,今天把這些經驗,總結一下,分享給大家,與大家一起討論。


本次分享分為三部分:
  • 為什麼需要多感測器融合?
  • 感測器融合的一些先決條件
  • 如何做感測器融合?
為什麼需要多感測器融合?
首先,單一感測器在自動駕駛中,都有各自的挑戰,所以先瞭解下常用的感測器的挑戰是什麼:

1. Camera data


攝影機數據遇到的挑戰:

① 沒有深度資訊。

② 視場角有限,以卡車的感測器配置來說,需要比較多的攝影機,這裡用到了 6 個攝影機覆蓋了 270° 的視場角。

③ 攝影機受外界條件的影響也比較大,(上圖右下方)這是當車行駛到橋下時,由於背光,且光線變化比較大,導致無法辨識正前方的交通燈。

2. Lidar data


雷射雷達數據的,一個比較大的挑戰是感知範圍比較近,如右圖所示,感知範圍平均在 150m 左右,這取決於環境和障礙物的不同。


雷射雷達在角分辨度上遠遠不如攝影機,如上圖,有三條小狗在過馬路,在攝影機上可以清楚的看到,但是在雷射雷達上,採集到的點是比較少的,這樣的場景在每天複雜道路路測的時候,會經常遇到。


雷射雷達對環境的敏感度也是比較大的,上圖為 Pony 路測的時候經常遇到的,虛擬噪點的 Case,在車經過建築工地的時候,在圖像上可以看到並沒有任何的障礙物,但是在雷達上前面有很多的噪點,右邊是雨天中的測試,車輛行駛中濺起來的水花,在雷射雷達上都是有噪點的,如何去除這樣的噪點,是我們經常面臨的挑戰。

3. Radar data


毫米波雷達,本身的一個挑戰是沒有高度資訊,毫米波雷達能告訴你這個物體在哪個位置,但是不知道多高,這個 case 就是前面有一個比較高的指路牌,毫米波雷達知道這兒有個障礙物,但是不知道是懸空的。

4. Why sensor fusion


當看過了這些單一感測器,在自動駕駛中面臨的挑戰,自然會想到,做多感測器融合,進行感測器之間的取長補短,來幫助整個感知系統效果的提升。

這裡的例子是,如何利用多感測器來提升感知的探測距離,當障礙物距離 150m 左右時,雷射雷達的反射點,已經比較少了,但是這時毫米波雷達和攝影機還是比較穩定的。


當障礙物駛出 200m 的範圍,基本上沒有任何的雷射雷達反射點了,但是 200m 取決於自動駕駛車輛本身的車速是多少,200m 的感知距離還是必要的,這時只能透過毫米波雷達和攝影機,來提升對障礙物的感知距離,從圖中可以看到障礙物,還是可以穩定辨識出來的。

感測器融合的先決條件
1. 運動補償&時間同步
① Ego motion


為什麼做運動補償?在自動駕駛感測器感知過程中,感測器採集數據,一般都不是瞬時發生的,以雷射雷達為例,採集一圈數據需要 0.1s,在這 0.1s 內,本身車會發生一定的位移,障礙物也會發生一定的位移,如果我們不考慮這樣的位移的話,我們檢測出來的位置就會不準確。

位移有倆種,第一種就是車自身的位移 Ego motion。右邊畫了一個示意圖,虛線部分可以認為是世界坐標系,紅色的點代表一個靜態的障礙物,它在坐標系中有一個穩定的坐標(5,5),藍色部分代表車自己的坐標系是局部坐標系,(4,0)為這個坐標系的原點,在 t+1 時刻,這個坐標系移動到了(6,0)的位置,車沿著 X 方向向前移動了 2,在 t 時刻在車自身的坐標系下,障礙物的坐標是(1,5),在 t+1 是時刻,則是(-1,5)。

如果不做車自身運動的補償,靜止的物體在 2 幀之間,測量的局部坐標是不一樣的,就會產生錯誤的速度,因此,要去補償車本身的位移,做自身的 Motion compensation 運動補償。這個問題比較簡單,因為車是有比較準確的定位資訊的,它會提供這倆個時刻,車本身的姿態差距,我們可以利用姿態差,比較容易的補償車移動了多少,那我們就可以知道這個障礙物其實是沒有移動的。

② Motion from others


第二種要考慮的是運動物體在感測器採集的時間段內,運動物體發生的位移,相對於自身運動補償,這是一個更難的 case,首先快速移動的物體,在雷射點雲裡,很可能會被掃到倆次,大家可以看下紅圈內,尾部會有拖影。

所以我們如何想辦法消除對方車的 Motion,也是要考慮的。解決的方式有很多,現在雷射雷達本身從硬體上也會有些配置,來舒解這樣的現象,簡單解釋下,當你用多個雷射雷達在自動駕駛車輛時,可以讓雷射雷達按照同樣的方式一起轉,在某一個特定的時段,特定的方向,應該掃到同樣的東西,這樣來減少快速移動的物體產生拖影這樣的問題。

③ 時間同步


在很多自動駕駛車輛感測器中,大部分支持 GPS 時間戳的時間同步方法。這個方法比較簡單,如果感測器硬體,支援這些時間同步的方法,拿到感測器數據的時候,數據包中就會有全局的時間戳,這樣的時間戳以 GPS 為基準,非常方便。


但是,時間戳查詢數據,會有一個比較明顯的問題,舉個例子,圖中有三個數據,三個感測器和時間軸,不同感測器是以不同頻率來採集數據的,以感測器 2 為例,在 T1 時刻,感測器 2 有一個數據,在這個時刻,想知道對應的感測器 1 和感測器 3 的數據是多少,肯定需要去查找,查找的方式是找對應的感測器數據和傳感器 2 時間差最近的數據包,然後拿過來用,這就取決於查的時候,數據包的時間和 T1 時刻感測器 2 數據包的時間到底差多少,如果差距比較大,本身障礙物都是在移動的,這樣誤差會比較大。


然後就有了第二種時間同步的方法,來舒解剛剛說的這種現象。就是主動數據同步的方法,比如以雷射雷達作為觸發其它感測器的源頭,當雷射雷達轉到某個角度時,觸發那個角度的攝影機,這樣就可以大大減少時間差的問題,如果把這套時間方案做到硬件中,做到比較低的誤差,那麼對齊的效果比較好。如上圖所示,這時雷射雷達的數據,就很好的和攝影機的數據結合在了一起。


剛才說到如果一個自動駕駛車輛,用了多個雷射雷達,雷射雷達之間如何同步,減少掃到同樣車在不同時間這樣的問題,velodyne 是我們常用的一個品牌,支持一種 Phase Lock 功能,能夠保證在某一時刻,所有的雷射雷達的角度,都可以根據 Phase Lock 的配置,在固定的角度附近。

這樣如果用倆個前向的雷射雷達,都設置一個角度,在同一時刻,掃到的東西應該是類似的,這樣一個快速行駛的車,被掃到 2 次的機率就會減少,當然這個辦法也不能完全解決問題,比如有個人和我們的雷射雷達以同樣的頻率一起轉,那麼在雷射雷達掃描的點雲中,人一直會出現,所以還要透過軟體的方法,設置的一些規則或者模型來想辦法剔除。

2. 感測器標定
接下來是另外一個比較大的話題:Sensor Calibration 感測器標定。這裡主要是指感測器外參的標定。


感測器外參其實就是剛體旋轉,因為物體上的倆個點,在經過旋轉和平移之後,兩個點之間的 3D 位置是不會變的,所以叫剛體旋轉,在自動駕駛和機器人上,剛體旋轉還是比較常見的。感測器外參的標定,就是要找到這樣的一個剛體旋轉,可以把一個感測器的數據,和另一個對齊。

相當於把一個感測器測量的數據,從其本身的坐標系,透過剛體旋轉,轉到另一個感測器坐標系,這樣就可以進行數據融合了。

上圖中,左邊為圖像,中間為雷達,如果有一個比較好的外參工具,可以把 3D 的點投射到 2D 圖像上,所有的障礙物的點都可以對應上,相當於把 2D 上的像素都加上了深度的估計。這樣在圖像品質並不是很高的情況下,可以通過這樣的方式把資訊補回來。

感測器的標定一般有兩種思路,第一種是有雷射雷達的感測器標定,第二種是無雷射雷達的感測器標定,之所以這麼分,是因為雷射雷達採集的數據是完整的 3D 資訊,空間中的 ( x,y,z ) 都是準確的,並不會有資訊的丟失,而攝影機得到的數據,可以認為是極坐標系下的坐標,沒有深度和角度,而毫米波雷達是沒有高度的。

所以,如果有這樣的感測器能夠提供完全的 ( x,y,z ) 坐標,以此為參照物,其他感測器和雷射雷達做綁定的話,會更容易和更準確。Pony 是有雷射雷達的,所以今天主要講有雷射雷達的傳感器標定方法。

① Multi-Lidar Calibration


首先講下多雷射雷達是如何標定的,上圖可以看到正好用到的是兩個前向雷射雷達,這兩個雷射雷達在前向 180° 是有比較大的覆蓋區域,如果對雷射雷達之間的旋轉和平移,沒有比較好的估計,當把兩張雷射雷達的點雲放在一起,進行感知處理的時候,在紅框位置會發現,存在比較大的分隔(黃線和藍線分別代表兩個前向雷射雷達),這種情況肯定是不想遇到的,所以需要把多個雷射雷達做比較準確的標定。


標定的方法是已知的,非常好解決的問題,因為雷射雷達本身是有完全的 3D 資訊,解決這樣兩個數據集匹配的問題,就是 ICP(Iterative Closest Point)更新式最近點方法。

這個方法有很多的變種,感興趣的同學可以百度或者 Google 搜索下。

② Camera Lidar Calibration


另外一個就是攝影機和雷射雷達之間的標定。攝影機本身是沒有距離資訊的,那麼如何去做標定?同樣雷射雷達是有 3D 資訊的,可以透過標定的方式,把雷射雷達投到圖像的坐標系中,建立圖像的像素點,和雷射雷達投影後的點之間的匹配,然後透過某種優化方程,來解決這樣一個匹配問題。

舉一個簡單的例子,比如現在要選取一系列,雷射雷達檢測出來的候選點,如何選這些點呢?這些點一定是在圖像上,比較容易能夠辨識出來的邊界點。

選取方法也比較簡單,因為雷射雷達有距離資訊,只需要找相鄰兩個雷射點之間的距離差,就可以判斷這樣一個點是不是邊界點,我們可以輕易的選出這樣的候選點,透過這樣的投影方式,紅框是我們要求的標定參數,K 矩陣為相機本身的內參,透過這個數學關係,我們可以把剛才 3D 中檢測的候選點,投到 2D 上,上圖中的 X 就是投射後的位置。


我們可以根據 3D 投影點和 2D 檢測的邊界,進行匹配,然後根據他們之間的距離比對程度,建立這樣一個優化方程,然後解這樣一個優化問題,來估計出 Calibration 的參數。


大家如果感興趣可以參考這篇 paper:Automatic Online Calibration of Cameras and Lasers,詳細的講述了其中的數值原理,可以看到綠色的是 3D 點投射到圖像上,是一些邊界點候選的區域,如果有一個比較好的標定結果,這些邊界點會比較好的和圖像匹配起來。

3. 感測器視場角
接下來看下感測器不同視場角,帶來的融合問題。


這裡有一個簡單的示意圖,假設在這個位置上有兩個雷射雷達,它們有各自不同的視場角,但是前方有個障礙物 A ,剛好在感測器 2 的視場角內,把障礙物 B 完全遮擋了,障礙物 B 只出現在一個感測器檢測的視場角內部,這帶來的問題是:我們到底該不該相信,這裡存在一個障礙物?這是比較常見的問題,需要我們經過不斷的路測,來完善。

如何做感測器融合?
1. Camera Lidar Fusion


首先講一下攝影機和雷射雷達融合,方法 1 之前大概講過,就是說雷射雷達有 ( x,y,z ) 比較明確的 3D 觀測,透過標定參數,透過攝影機本身的內參,就可以把 3D 點投到圖像上,圖像上的某些像素,就會打上深度資訊,然後可以做基於圖像的分割或者 Deep Learning Model。

需要注意的是,多感測器的時候,視場角可能會不一樣,可能會造成噪點或者漏點,這裡比較推薦的方法,是把攝影機和雷達安裝在一起,越近越好。


另一個比較直觀的方法,是否能將 2D 檢測出來的障礙物,直接投影到 3D,然後生成這樣的 3D 障礙物,這種方法,在做很多的假設條件下(比如障礙物的大小,地面是否平整),也是可以做的,如上圖,攝影機的內參,車的位置高度,都是已知的,這時在 2D 上辨識出的每個幀的障礙物,都可以還原成 3D 在攝影機坐標系下的一條射線,然後找這條射線在 3D 坐標系下和平面的交點,就可以估計出 2D 障礙物在 3D 上的距離。


上圖為 Pony 在建築工地旁採集的數據,可看到這些路障,都是直接生成到 3D 的(圖中有個漏點,也是我們還需要努力提高的)。

2. Radar Lidar Fusion


至於毫米波雷達和雷射雷達的融合方式就更簡單了。因為在笛卡爾坐標系下,它們都有完整的 ( x,y ) 方向的資訊,那麼在普適的笛卡爾坐標系下,做針對於距離的融合,而且毫米波雷達還會測速,對障礙物速度也是有一定觀測的,然後雷射雷達透過位置的追蹤,也會得到障礙物速度的估計,這些速度的資訊也可以用來做融合,幫助篩選錯誤的比對候選集。


這是 Pony 雷射雷達和毫米波雷達融合的效果,紅圈裡的障礙物是 Radar 補充的。


當然,不同感測器之間融合的特例還是很多的,比如雷射雷達和毫米波雷達融合的時候,可以看到,這個場景是前方有比較高的路牌時,毫米波雷達會在這個位置產生障礙物,恰好雷射雷達也有噪音,因為恰好前方有車,這時在牌子底下也會產生噪點,所以雷射雷達和毫米波雷達,都在這個地方檢測出來,本不應該出現的障礙物,這時兩個感測器都告訴你,前方有個障礙物,只有攝影機說前方只有一個障礙物,這時該怎麼辦?(如果想瞭解 Pony 具體如何解決的,歡迎大家加入 Pony,我會告訴你答案 o(_)o)

總結


總結來說,每個感測器都有自己的一些問題,感測器融合就是說,我們要把這些感測器結合起來做取長補短,提升整個感知系統的精度和召回度,今天就分享到這裡,謝謝大家。

作者介紹
劉博聰, Pony.ai Tech lead,公司創始成員。CMU 電子與電腦工程碩士,作為 Pony.ai 創始成員之一,參與了多個無人車模組的設計開發工作,目前主要負責感知系統技術研發。曾就職於百度美國研究院,負責自動駕駛研發;曾就職於 Qualcomm 聖迭戈總部,參與 QNX 車載晶片的嵌入式開發項目。
AKD 寰楚專業級全系列監控設備

0 comments: