2018年3月9日 星期五

.Mavic Air:從隨行無人機看大疆的 L3 自動駕駛

御“Mavic Air系列教學視頻 慧拍



今年初,大疆發佈了一款Mavic系列的新成員——Mavic Air隨行無人機,號稱全球最便攜的可折疊無人機。Mavic Air的重量有430克,最長飛行時間為21分鐘,最大飛行速度可達68公里/小時,主打智慧飛行和球型全景。

從續航、圖傳距離等性能指標上來看,Mavic Air的定位似乎介於Mavic Pro和Spark之間。但從支持智慧功能的角度來說,Mavic Air比起Mavic Pro只有過之而無不及。其中最值得一提的是,全新的以手勢控制為核心的「慧拍」功能,其效果可見上方影片。

可以看到,「慧拍」相比於Spark的手勢操控來說,在體驗上有了質的提升,這也許就是改叫「慧拍」的主要原因。小編今天借該功能來管中窺豹,聊一下大疆在自主飛行上的技術累積。

「慧拍」——隨行攝影師
玩無人機的同學都知道,拍照和操控方式,是消費級無人機最重要的兩個方面。大疆的各個產品,也一直都圍繞著提升拍照和遙控器的便攜化來展開。尤其對於入門級用戶來說,遙控器操作是一個相當高的門檻。

例如像拍攝跟隨、刷鍋這樣的鏡頭,需要同時操作飛機的姿態及雲台的俯仰角,來對準目標來拍攝,即使對於專業的航模愛好者來說,也是有相當的難度,更不用說入門級用戶。

Mavic Air推出的慧拍功能,主要意圖就在對人像進行跟隨、拍攝和操控調整視角,這一典型場景的全覆蓋,尤其對於時奔跑、跳躍、騎車、攀岩這樣的場景,以往想要完成拍攝,一定需要一個非常有經驗的專業飛手來輔助才可以,而慧拍功能就時為瞭解決這部分使用者使用無人機的痛點。

從教學影片當中可以看出,使用者可以透過手勢的方式,控制無人機的起飛、降落,也可以調整機位角度、和遠近距離(2米~6米),更細心的是,即使當使用者放下雙手,飛機也會始終保持跟隨拍攝目標,並且雲台會始終鎖定在目標身上,使得目標保持在畫面的中間。

Mavic Air:从随行无人机看大疆的L3自动驾驶

Mavic Air:从随行无人机看大疆的L3自动驾驶

Mavic Air:从随行无人机看大疆的L3自动驾驶

Mavic Air:从随行无人机看大疆的L3自动驾驶

據小編親測,Mavic Air對於人的跟隨準確度和流暢度,比之前Phantom 4和Mavic Pro的Activetrack,有了很大程度的提升,並且在奔跑、跳躍、騎車、攀岩等場景做了強化。

當使用者使用單手手勢,控制到合適的拍攝角度,雙手手勢控制到合適的拍攝距離,並找到合適的拍攝地點後,做出yeah或者相框手勢,Mavic Air就會進行拍照或者錄影動作。如果這時候有兩個人同時做出yeah手勢,還會觸發集體照的彩蛋,進行三個角度的拍攝。

Mavic Air:从随行无人机看大疆的L3自动驾驶

可以看到,啓動慧拍功能後,Mavic Air化身成為用戶的隨行攝影師,不僅能夠跟隨用戶運動而運動,還能夠理解用戶的手勢來調整拍攝角度、拍攝距離和進行拍攝動作。起飛,跟隨,控制,拍攝,降落整個過程一氣呵成,在完全脫離遙控器的情況下,用戶依然可以對Mavic Air進行靈活的操控。

根據實際評測使用中可以發現,啓動慧拍模式後,透過手掌自如地控制6米外的Mavic Air進行飛行和拍攝,如同實現了Phantom X中隔空操縱無人機,可謂相當酷炫。

另外,慧拍,或許會是熱愛戶外運動的使用者的福音——在進行跑步、踢球、騎車、攀岩、滑雪等運動的時候,往往不太方便使用遙控器,來操作無人機對自己進行拍攝。

而在這些場景下啓動慧拍功能,這個問題就能夠在較大程度上得到解決。

Mavic Air:从随行无人机看大疆的L3自动驾驶
PhantomX概念片中,神盾局特工主演汪可盈手勢操縱無人機飛行

「慧拍」背後的技術
Mavic Air慧拍這一功能背後,是大疆在無人機自主飛行技術上的創新和突破。這涉及到多個學科、多個層面的深入技術累積和錘鍊。

具體來說,包括物體檢測和跟蹤、手部手勢辨識與跟蹤、肢體手勢辨識、多傳感器融合定位、深度圖測距與建圖、路徑規劃、以及控制等技術,並且克服各個單點技術的缺陷,將它們有機地整合在一起。

應該說,慧拍背後的技術,是大疆在電腦視覺、人工智慧、機器人這顆技術樹上,點的最為全面的一次

物體檢測與跟蹤
物體檢測,指的是找到畫面中的感興趣物體(比如行人、車輛、船隻等)並框出來。目前採用的主流算法框架,大都基於Faster R-CNN。


Mavic Air:从随行无人机看大疆的L3自动驾驶

物體跟蹤,指的是用戶選擇了要跟蹤的物體後,如果該物體以後移動了、姿態變化了,依然能夠將其找到並框出來。其中GOTURN算法能夠達到每秒100幀以上的處理速度。

Mavic Air:从随行无人机看大疆的L3自动驾驶

手部手勢辨識與跟蹤
一般常說的手勢辨識其實有兩種,一種是更關注於手部(手掌、手指關節),比如Deep Hand可以辨識使用者是否張開手掌,比yeah;另外一種是則更關注於肢體與手臂的相對位置,比如類似CPM可以辨識用戶平舉雙手、抬起單手等。

從慧拍的實現方式上推測,或許是同時兼顧了上述兩種技術。另外,手勢跟蹤能夠利用上時序訊息,將手勢辨識的結果變得更加穩定、可靠。

Mavic Air:从随行无人机看大疆的L3自动驾驶

Mavic Air:从随行无人机看大疆的L3自动驾驶

多傳感器融合定位
Mavic Air上具有視覺、IMU、TOF等多種傳感器,使用VIO技術進行融合後,能夠構成足夠的冗餘,當單一傳感器失效的時候,依然能夠較好地估計自己的姿態和位置。

Mavic Air:从随行无人机看大疆的L3自动驾驶

深度圖測距與建圖
深度圖的產生方法有多種,比如可以透過TOF傳感器,直接得到,也可以透過雙目立體視覺來計算得到,得到深度圖後,無人機能夠知道環境中,各物體距離自身的遠近,再配合多傳感器融合定位,能夠建立三維地圖,供後續避障或者軌跡規劃使用。

Mavic Air:从随行无人机看大疆的L3自动驾驶

軌跡規劃
軌跡規劃,指的是用戶指定某個目標地點,無人機需要結合自身定位和建好的地圖,推算出一條通往目標地點的軌跡,為了最優化路徑,以及後續控制上的平滑,需要考慮滿足某些約束,比如考慮了最小化速度的導數等。

Mavic Air:从随行无人机看大疆的L3自动驾驶

無人機控制
在軌跡規劃之後,需要透過控制算法,改變無人機的飛行姿態,從而完成既定的軌跡,這部分常用的算法是PID控制算法。

Mavic Air:从随行无人机看大疆的L3自动驾驶

在上述算法中,有不少算法需要耗費巨大的計算資源,比如物體檢測與跟蹤、手部和肢體的姿勢辨識等。能在Mavic Air緊湊的機身裡面,濃縮整合如此高密度和高計算強度的算法,並有機整合成慧拍功能,反映出來大疆在各個相關領域的深入累積。

「空中的L3自動駕駛」——Mavic Air
大家可能會疑惑,Mavic Air又不是無人車,為何可以說是「自動駕駛」呢?其實,無人機與無人車雖然一個在天上飛,一個在地上跑,在動力系統、控制系統、硬體平台上,確實需要因地制宜。

但另一方面,這兩者的內核都是要實現「無人」二字,即智慧化程度要足夠高。而在無人機上的智慧化,稱為自主飛行,在無人車上的智慧化,稱為自動駕駛。

自動駕駛的等級一般劃分為L0~L5。L0為完全受控駕駛,即完全靠人類來駕駛;L1為駕駛輔助,一般我們常說的「ADAS」屬於這個級別,能夠具有前向碰撞提醒、車道線偏離預警等功能,具有一定的安全提醒功能;

L2稱為部分自動駕駛,特斯拉使用的AutoPilot系統屬於這個級別,提供了自主巡航功能,能夠在較為簡單的路況下自動駕駛,但需要司機緊握方向盤,以準備隨時接管;

L3是有條件的自動駕駛,預計在今年4月開售的全新奧迪A8,宣稱它是首款實現了L3的量產車型,在限速60公里的條件下,能夠在較為複雜的路況下,進行自動駕駛,並允許司機雙手離開方向盤。

L4與L5由於目前沒有對應的量產車型,不在這裡展開。

仿照自動駕駛的分級,可以給出自主飛行的分級,如下表所示:

Mavic Air:从随行无人机看大疆的L3自动驾驶

在表格中可以看到,啓動了慧拍功能的Mavic Air,在諸多核心技術加持下,已經能夠達到L3的自主飛行。它在特定的場景下脫離遙控器使用,可類比於在L3的自動駕駛中允許司機的雙手離開方向盤。

可以說,大疆從來沒有停止過在電腦視覺、人工智慧、機器人等的技術的探索,而這些技術構成了大疆最為核心的競爭力,足以在Mavic Air上支撐起了一整套「空中自動駕駛」的解決方案——慧拍。

2018 智慧城市展 3月27-30日@南港展覽館
3S Market 為您連結智慧應用商機


                                                                                                                                                                                                                 


沒有留言:

張貼留言