2020年11月25日 星期三

.自動駕駛汽車數據不再封閉,Uber 開源新的數據可視化系統

Autonomous Driving Dataset Visualization with Uber AVS and Cruise Webviz




leiphone  作者:丛末

:日前,Uber 開源了基於 Web 的自動駕駛可視化系統(AVS),稱該系統為自動駕駛行業,帶來理解和共享數據的新方式。AVS 由 Uber 旗下負責自動駕駛汽車研發的技術事業群(ATG)開發,目前該系統已在 Voyage、Applied Intuition 等多家公司應用。Uber 在其官網上發佈了這一開源消息, AI 科技評論編譯如下。


自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统


當自動駕駛汽車在城市環境中駕駛時,瞭解它們感知到了,什麼對於開發,使其能夠安全運行的系統相當重要。並且,正如我們為街道標誌和交通基礎設施,制訂標準以幫助人類駕駛員一樣,也需要為自動駕駛汽車的開發者,提供標準的可視化平台,使其能夠表示來自感測器、圖像分類、運動推理,以及用於建構直接環境的,準確圖像的其他技術的輸入。


正如我們此前在「Engineering Uber's Self-Driving Car Visualization Platform for the Web」(閱讀網址:https://eng.uber.com/atg-dataviz/)這篇文章所寫到的,為了支持不斷成長的自動化用例池,自動駕駛 Uber 的 ATG(技術事業群)和可視化團隊,借助基於 web 的可視化技術,來解釋這些感測器,以及算法衍生的世界。


現在我們很高興,對這個經過重新設計,和增強的自動駕駛可視化系統(AVS)進行開源,對於自動駕駛行業來說,這個系統是其理解和共享,自動駕駛系統數據的新方式。

AVS 網址:https://avs.auto/
自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统

AVS 可以顯示自動駕駛汽車在真實世界場景中的性能


AVS 是一個描述和可視化自動駕駛汽車的感知、運動,以及數據規劃的新標準,提供了一個強大的基於 Web 的工具包,來創建可應用於使用該數據探索、交互,以及(更關鍵的是)做出重要的開發決策的應用。


作為獨立的標準化的可視化層,AVS 可以讓開發人員,無需再為自動駕駛汽車,創建自定義可視化軟體。借助 AVS 的抽象可視化,開發人員可以專注於駕駛系統、遠端協助、地圖繪製,以及模擬等核心的自動駕駛研發。


需要標準統一的可視化

包括科技公司、基金會、研究機構、原始設備商(OEM)以及新創公司等,在內的諸多機構組織,都面臨著自動駕駛所帶來的挑戰。能夠顯示自動駕駛汽車,在其環境中感知到了什麼的可視化工具,對於開發出安全的自動駕駛系統非常重要。


從靠近硬體和感測器堆棧起,系統就需要用到這些工具,此外,自動駕駛系統日誌數據的網路上線或離線回,放也需要反覆用到它們。隨著平台的成熟,圍繞分類、模擬、地圖繪製,安全、圖像收集,以及標注的新的用例就會出現。生產之路需要能提供監控、遠端協助,以及支持的全新的工具和基礎架構。


除了快速展開這些需求,自動駕駛工程師為了交付有效的工具解決方案,通常也不得不學習複雜的電腦繪圖方法,和數據可視化技術。可視化標準的缺失造成的結果是,工程師為了快速交付解決方案,會圍繞現成的技術和框架,來組裝客製化的工具。然而,在我們的經驗中,嘗試用各種現成組件,組裝出來的開發工具,會造成系統難以維修或變得不靈活性,並且各組件間的結合度,還不足構成平台的堅實基礎。


我們現在將 AVS 共享給更廣泛的自動駕駛界,就是希望工業界能夠通力合作,推動這一領域的進展,並定義出一個新的標準,最終為大眾帶來一個更安全、更高效的交通工具方案。


將運動的世界可視化

自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统

在使用 Uber ATG 的基於 Web 的 AVS 的案例中,透過對車輛使用該系統之前和之後的比較,我們可以看到汽車檢測得到改善。


自動駕駛汽車開發,是一個快速發展的領域,擁有新的服務、數據集(尤其是透過 LiDAR)以及許多需要新解決方案的應用案例。在 Uber,多個工程團隊都對需要處理的解決方案,有著獨一無二的需求。使用基於 Web 的可視化應用,顯而易見是一種選擇,因為它為跨團隊的快速更替、應用案例特定的應用、簡化的資訊共享、客製化,以及現有服務的整合創造了機會。


雖然基於 Web 的可視化系統,擁有顯而易見的優勢,但它也面臨著,如何在保留與基於桌面系統相當的性能的同時,還能高效地管理數據的挑戰。解決這些挑戰,就需要一個新的抽象來管理,和描述 Web 應用使用的生成數據。


基於上述需求,我們圍繞兩個關鍵的部分,建立了自己的系統:XVIZ 提供了數據(包括管理和規格);而 streetscape.gl 則是一個組件工具包,能夠強化 Web 應用。


XVIZ

自動駕駛系統生成的數據,需要一個正式且兼具靈活性的規格,例如可以與展開的基礎框架整合、符合多個客戶端、並且足夠接近數據源,以定義必要的控件,和綁定來高效地管理數據的數據格式。


自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统


XVIZ 的高級數據流包括:伺服器端上的編碼器和建構器,和客戶端上的解碼器、數據緩衝器和同步器。


XVIZ 提供了隨時間變化的場景的(數據)流導向視圖,以及聲明性的使用者介面顯示系統。像影像錄製一樣,您可以隨意搜索並瞭解系統當時的現狀。同時它也像 HTML 文檔一樣,其表示會根據允許內省的模式,進行聚焦和結構化處理。不過,XVIZ 還允許透過將單獨的數據流捆綁在一起,並更新到單個目標中,來輕鬆探索和查詢數據。


XVIZ 流是在特定時間使用特定的基元類型(primitive types)時,發生的一系列離散的更新。基元是能夠描述 LiDAR 點雲、攝影機圖像、目標範圍、軌跡、隨時間變化的車輛速度,以及預測的規劃的目標。為了簡化給使用者呈現的演示,這些目標被單獨設置了樣式(包括數據流級別)或分配了樣式類(style class)。


XVIZ 透過分層命名來組織數據流,其中單獨的元數據部分列出了數據流、它們的類型、相對變換、聲明性 UI 面板和樣式類。然後,使用者介面將目標的圖形面板與數據捆綁在一起,透過 YAML (https://en.wikipedia.org/wiki/YAML)為使用者提供控件,進而安裝一系列佈局和顯示組件。


自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统

XVIZ 的數據結構,其允許研究者從數據集切換流。

streetscape.gl
自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统
streetscape.gl 提供了各種 UI 組件,包括攝影機、回放控件、目標標注和繪圖功能

streetscape.gl 是一個工具包,它用於創建使用 XVIZ 協議中的數據的 Web 應用。它為以 3D 視圖、圖表、表格、影像等形式將 XVIZ 流可視化,提供了可立即投入使用的組件。同時,它還解決了常見的可視化痛點,例如跨數據流的時間同步(time synchronization)、坐標系統、攝影機、動態樣式,以及與 3D 目標和交叉組件的交互等,從而讓使用者可以投入更多的時間,來創建出自動駕駛汽車軟體本身。


渲染性能(Render performance)是 streetscape.gl 的首要目標。借助 React 和 Uber 成熟的基於 WebGL 的可視化平台(http://vis.gl/),我們能夠支持即時回放,以及與支持數十萬種幾何尺寸的場景的平滑交互。


可組合性也是設計 streetcape.gl 的前線和中心。我們的內部可視化平台為分類、標注、調試、遠端協助和場景編輯等十幾個不同的用例提供支持,透過從該平台的工作中學習,我們設計的組件,具有高度的樣式可客製化和可擴展性,因而所有的團隊都能根據其獨特的工作流程,來體驗這一系統。


AVS 有何不同

AVS 被設計成開放和模組化的系統,從其開發之初,我們就鼓勵內部團隊出謀劃策來實現去耦(decoupling)。從架構上來說,它提供了一個分層的方法,該方法可以最小化自動駕駛堆棧的組件間的耦合,並為數據交換提供一個明確的定義。每個層都可以按需形成,而不需要改變全系統,並且系統還可以按照特定的場景,或應用案例來客製化層。


這一指導原則有助於將 AVS ,與當前的解決方案區分開來。具體而言,AVS 的架構使該系統獨樹一幟,因為:


    • 它在設計上故意將數據與所有的底層平台分離;
    • 它的有限的小規格可以讓開發者更易於開發工具;
    • 它的數據格式要求可以實現快速的轉移和處理。


此外,AVS 還可以迎合自動駕駛生態系統中各類人的需求,包括工程師、操作員、分析家,以及專業的開發者等。自動駕駛工程師可以使用 XVIZ ,輕易地對他們的系統進行描述,然後還可以使用有限的經費,來驗證和實踐他們的預想。


專業的開發者可以使用 streetscape.gl,快速地創建與數據源無關的具有強大的性能特徵,和簡化的整合的應用程序。最後,操作者也能夠透過多個應用,以影像等視覺格式來查看數據,從而使得協作、知識理解、更深入的分析,以及總體信任數據的品質,都變得更加容易。


透過將 AVS 開源給工業界,我們鼓勵更多開發者基於這一系列原始的思路貢獻更多想法,並開發出更多系統。


自動駕駛行業及該行業以外的應用

對於 Voyage、 Applied Intuition,以及 Uber ATG 等開發或支持自動駕駛汽車的公司來說,透過從模擬到道路測試的方法,來尋找自動駕駛問題的根本原因,是一個極度耗時的過程。


據 Voyage 的首席技術官 Drew Gray 所提到的,能夠可見地探索自動駕駛感測器數據、預測路徑、追蹤目標和速度,及加速等狀態資訊,對於分類過程來說是價值巨大的,並且還可以對開發人員的效率帶來積極影響。此外,該資訊還可用於設置基於數據的工程的優先順序。


Voyage 的聯合創始人 Warren Ouyang ,也隨聲附和了 Gray 對於 AVS 的發展潛力所發表的觀點。他表示「我們非常高興能夠使用 Uber 的自動駕駛可視化系統,並共同協作為自動駕駛界的向前發展,開發出更好的工具。」


自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统


AVS 在其他應用中,提供了豐富的上下文,例如這個案就增強了 Uber ATG ,在景點視察方面的應用。


除了對根本原因的分析之外,Uber 團隊也在其他案例中使用了 AVS,例如基於 Web 的日誌查看、開發人員環境和映射維護等。同時,我們還打算透過開源這些技術,讓無人機、機器人、貨車運輸、車隊管理、增強和虛擬現實,以及零售等其他新興和相鄰行業的開發人員,也能為此工具包找到應用場景。


未來規劃

讓 AVS 進入更廣泛的工業界只是一個開始。我們希望為更多開發者和操作者提供自主化的訪問,以期為自動駕駛領域做出貢獻。


通過與 Voyage、Applied Intuition、開源基金會等組織機構及貢獻者的合作,我們計劃通過更多數據源和規格(尤其是 ROS 支持)、性能優化以及更豐富的功能(如並排比較)來強化該產品。


Applied Intuition 的首席技術官 Peter Ludwig 說道:「在 Applied Intuition,我們正在與世界上最先進的 AV 團隊合作,他們需要的是最先進的工具... 而 AVS 正好符合這一點,並且特別值得注意的是,它是基於網路的,同時還滿足了自動駕駛領域的這一需求:不需要一遍又一遍地重建相同的可視化工具。此外, Uber 開源 AVS 對於其他的 AV 領域來說,也意義重大。」


自动驾驶汽车数据不再封闭,Uber 开源新的数据可视化系统

Uber ATG 的 AVS 賦能的 AV 日誌,查看這一應用,讓我們可以分析車輛應對交叉路口的方法。


Uber 熱衷於實現自動駕駛汽車的長遠願景:為每個人帶來更安全、更清潔和更高效的交通解決方案。遺憾的是,各個行業中的早期開發工具往往是原始的,並且適用於解決能夠擴展其功能的新例。鑒於技術正在快速地改變交通運輸方式,和我們所居住的城市,因此我們比以往,更加迫切地需要更好的工具,來加速這一變化。

無論這個產品是用來改善城市規劃投資(相關閱讀:https://medium.com/uber-movement/bringing-more-data-to-uber-movement-with-street-speeds-32da498329a7)、更多樣的地理空間分析(相關閱讀:https://eng.uber.com/keplergl/)、更先進的地圖繪制(相關閱讀:https://eng.uber.com/uber-visualization-mapbox/)還是新的行動趨勢(相關閱讀:https://www.uber.com/newsroom/mobility-dashboard-for-jump-bikes/),我們都發現:開源數據和工具的策略能夠幫助政府、開發者和研究者以及整個工業界,加快邁向未來更智慧化的交通生態系統的步伐。

viahttps://eng.uber.com/avs-autonomous-vehicle-visualization/ 雷鋒網


沒有留言:

張貼留言