Autonomous Driving Dataset Visualization with Uber AVS and Cruise Webviz
leiphone 作者：丛末
按：日前，Uber 開源了基於 Web 的自動駕駛可視化系統（AVS），稱該系統為自動駕駛行業，帶來理解和共享數據的新方式。AVS 由 Uber 旗下負責自動駕駛汽車研發的技術事業群（ATG）開發，目前該系統已在 Voyage、Applied Intuition 等多家公司應用。Uber 在其官網上發佈了這一開源消息， AI 科技評論編譯如下。
當自動駕駛汽車在城市環境中駕駛時，瞭解它們感知到了，什麼對於開發，使其能夠安全運行的系統相當重要。並且，正如我們為街道標誌和交通基礎設施，制訂標準以幫助人類駕駛員一樣，也需要為自動駕駛汽車的開發者，提供標準的可視化平台，使其能夠表示來自感測器、圖像分類、運動推理，以及用於建構直接環境的，準確圖像的其他技術的輸入。
正如我們此前在「Engineering Uber's Self-Driving Car Visualization Platform for the Web」（閱讀網址：https://eng.uber.com/atg-dataviz/）這篇文章所寫到的，為了支持不斷成長的自動化用例池，自動駕駛 Uber 的 ATG（技術事業群）和可視化團隊，借助基於 web 的可視化技術，來解釋這些感測器，以及算法衍生的世界。
現在我們很高興，對這個經過重新設計，和增強的自動駕駛可視化系統（AVS）進行開源，對於自動駕駛行業來說，這個系統是其理解和共享，自動駕駛系統數據的新方式。
AVS 網址：https://avs.auto/
AVS 可以顯示自動駕駛汽車在真實世界場景中的性能
AVS 是一個描述和可視化自動駕駛汽車的感知、運動，以及數據規劃的新標準，提供了一個強大的基於 Web 的工具包，來創建可應用於使用該數據探索、交互，以及（更關鍵的是）做出重要的開發決策的應用。
作為獨立的標準化的可視化層，AVS 可以讓開發人員，無需再為自動駕駛汽車，創建自定義可視化軟體。借助 AVS 的抽象可視化，開發人員可以專注於駕駛系統、遠端協助、地圖繪製，以及模擬等核心的自動駕駛研發。
需要標準統一的可視化
包括科技公司、基金會、研究機構、原始設備商（OEM）以及新創公司等，在內的諸多機構組織，都面臨著自動駕駛所帶來的挑戰。能夠顯示自動駕駛汽車，在其環境中感知到了什麼的可視化工具，對於開發出安全的自動駕駛系統非常重要。
從靠近硬體和感測器堆棧起，系統就需要用到這些工具，此外，自動駕駛系統日誌數據的網路上線或離線回，放也需要反覆用到它們。隨著平台的成熟，圍繞分類、模擬、地圖繪製，安全、圖像收集，以及標注的新的用例就會出現。生產之路需要能提供監控、遠端協助，以及支持的全新的工具和基礎架構。
除了快速展開這些需求，自動駕駛工程師為了交付有效的工具解決方案，通常也不得不學習複雜的電腦繪圖方法，和數據可視化技術。可視化標準的缺失造成的結果是，工程師為了快速交付解決方案，會圍繞現成的技術和框架，來組裝客製化的工具。然而，在我們的經驗中，嘗試用各種現成組件，組裝出來的開發工具，會造成系統難以維修或變得不靈活性，並且各組件間的結合度，還不足構成平台的堅實基礎。
我們現在將 AVS 共享給更廣泛的自動駕駛界，就是希望工業界能夠通力合作，推動這一領域的進展，並定義出一個新的標準，最終為大眾帶來一個更安全、更高效的交通工具方案。
將運動的世界可視化
在使用 Uber ATG 的基於 Web 的 AVS 的案例中，透過對車輛使用該系統之前和之後的比較，我們可以看到汽車檢測得到改善。
自動駕駛汽車開發，是一個快速發展的領域，擁有新的服務、數據集（尤其是透過 LiDAR）以及許多需要新解決方案的應用案例。在 Uber，多個工程團隊都對需要處理的解決方案，有著獨一無二的需求。使用基於 Web 的可視化應用，顯而易見是一種選擇，因為它為跨團隊的快速更替、應用案例特定的應用、簡化的資訊共享、客製化，以及現有服務的整合創造了機會。
雖然基於 Web 的可視化系統，擁有顯而易見的優勢，但它也面臨著，如何在保留與基於桌面系統相當的性能的同時，還能高效地管理數據的挑戰。解決這些挑戰，就需要一個新的抽象來管理，和描述 Web 應用使用的生成數據。
基於上述需求，我們圍繞兩個關鍵的部分，建立了自己的系統：XVIZ 提供了數據（包括管理和規格）；而 streetscape.gl 則是一個組件工具包，能夠強化 Web 應用。
XVIZ
自動駕駛系統生成的數據，需要一個正式且兼具靈活性的規格，例如可以與展開的基礎框架整合、符合多個客戶端、並且足夠接近數據源，以定義必要的控件，和綁定來高效地管理數據的數據格式。
XVIZ 的高級數據流包括：伺服器端上的編碼器和建構器，和客戶端上的解碼器、數據緩衝器和同步器。
XVIZ 提供了隨時間變化的場景的（數據）流導向視圖，以及聲明性的使用者介面顯示系統。像影像錄製一樣，您可以隨意搜索並瞭解系統當時的現狀。同時它也像 HTML 文檔一樣，其表示會根據允許內省的模式，進行聚焦和結構化處理。不過，XVIZ 還允許透過將單獨的數據流捆綁在一起，並更新到單個目標中，來輕鬆探索和查詢數據。
XVIZ 流是在特定時間使用特定的基元類型（primitive types）時，發生的一系列離散的更新。基元是能夠描述 LiDAR 點雲、攝影機圖像、目標範圍、軌跡、隨時間變化的車輛速度，以及預測的規劃的目標。為了簡化給使用者呈現的演示，這些目標被單獨設置了樣式（包括數據流級別）或分配了樣式類（style class）。
XVIZ 透過分層命名來組織數據流，其中單獨的元數據部分列出了數據流、它們的類型、相對變換、聲明性 UI 面板和樣式類。然後，使用者介面將目標的圖形面板與數據捆綁在一起，透過 YAML （https://en.wikipedia.org/wiki/YAML）為使用者提供控件，進而安裝一系列佈局和顯示組件。
XVIZ 的數據結構，其允許研究者從數據集切換流。
streetscape.gl 是一個工具包，它用於創建使用 XVIZ 協議中的數據的 Web 應用。它為以 3D 視圖、圖表、表格、影像等形式將 XVIZ 流可視化，提供了可立即投入使用的組件。同時，它還解決了常見的可視化痛點，例如跨數據流的時間同步（time synchronization）、坐標系統、攝影機、動態樣式，以及與 3D 目標和交叉組件的交互等，從而讓使用者可以投入更多的時間，來創建出自動駕駛汽車軟體本身。
渲染性能（Render performance）是 streetscape.gl 的首要目標。借助 React 和 Uber 成熟的基於 WebGL 的可視化平台（http://vis.gl/），我們能夠支持即時回放，以及與支持數十萬種幾何尺寸的場景的平滑交互。
可組合性也是設計 streetcape.gl 的前線和中心。我們的內部可視化平台為分類、標注、調試、遠端協助和場景編輯等十幾個不同的用例提供支持，透過從該平台的工作中學習，我們設計的組件，具有高度的樣式可客製化和可擴展性，因而所有的團隊都能根據其獨特的工作流程，來體驗這一系統。
AVS 有何不同
AVS 被設計成開放和模組化的系統，從其開發之初，我們就鼓勵內部團隊出謀劃策來實現去耦（decoupling）。從架構上來說，它提供了一個分層的方法，該方法可以最小化自動駕駛堆棧的組件間的耦合，並為數據交換提供一個明確的定義。每個層都可以按需形成，而不需要改變全系統，並且系統還可以按照特定的場景，或應用案例來客製化層。
這一指導原則有助於將 AVS ，與當前的解決方案區分開來。具體而言，AVS 的架構使該系統獨樹一幟，因為：
- 它在設計上故意將數據與所有的底層平台分離；
- 它的有限的小規格可以讓開發者更易於開發工具；
- 它的數據格式要求可以實現快速的轉移和處理。
此外，AVS 還可以迎合自動駕駛生態系統中各類人的需求，包括工程師、操作員、分析家，以及專業的開發者等。自動駕駛工程師可以使用 XVIZ ，輕易地對他們的系統進行描述，然後還可以使用有限的經費，來驗證和實踐他們的預想。
專業的開發者可以使用 streetscape.gl，快速地創建與數據源無關的具有強大的性能特徵，和簡化的整合的應用程序。最後，操作者也能夠透過多個應用，以影像等視覺格式來查看數據，從而使得協作、知識理解、更深入的分析，以及總體信任數據的品質，都變得更加容易。
透過將 AVS 開源給工業界，我們鼓勵更多開發者基於這一系列原始的思路貢獻更多想法，並開發出更多系統。
自動駕駛行業及該行業以外的應用
對於 Voyage、 Applied Intuition，以及 Uber ATG 等開發或支持自動駕駛汽車的公司來說，透過從模擬到道路測試的方法，來尋找自動駕駛問題的根本原因，是一個極度耗時的過程。
據 Voyage 的首席技術官 Drew Gray 所提到的，能夠可見地探索自動駕駛感測器數據、預測路徑、追蹤目標和速度，及加速等狀態資訊，對於分類過程來說是價值巨大的，並且還可以對開發人員的效率帶來積極影響。此外，該資訊還可用於設置基於數據的工程的優先順序。
Voyage 的聯合創始人 Warren Ouyang ，也隨聲附和了 Gray 對於 AVS 的發展潛力所發表的觀點。他表示「我們非常高興能夠使用 Uber 的自動駕駛可視化系統，並共同協作為自動駕駛界的向前發展，開發出更好的工具。」
AVS 在其他應用中，提供了豐富的上下文，例如這個案就增強了 Uber ATG ，在景點視察方面的應用。
除了對根本原因的分析之外，Uber 團隊也在其他案例中使用了 AVS，例如基於 Web 的日誌查看、開發人員環境和映射維護等。同時，我們還打算透過開源這些技術，讓無人機、機器人、貨車運輸、車隊管理、增強和虛擬現實，以及零售等其他新興和相鄰行業的開發人員，也能為此工具包找到應用場景。
未來規劃
讓 AVS 進入更廣泛的工業界只是一個開始。我們希望為更多開發者和操作者提供自主化的訪問，以期為自動駕駛領域做出貢獻。
通過與 Voyage、Applied Intuition、開源基金會等組織機構及貢獻者的合作，我們計劃通過更多數據源和規格（尤其是 ROS 支持）、性能優化以及更豐富的功能（如並排比較）來強化該產品。
Applied Intuition 的首席技術官 Peter Ludwig 說道：「在 Applied Intuition，我們正在與世界上最先進的 AV 團隊合作，他們需要的是最先進的工具... 而 AVS 正好符合這一點，並且特別值得注意的是，它是基於網路的，同時還滿足了自動駕駛領域的這一需求：不需要一遍又一遍地重建相同的可視化工具。此外， Uber 開源 AVS 對於其他的 AV 領域來說，也意義重大。」
Uber ATG 的 AVS 賦能的 AV 日誌，查看這一應用，讓我們可以分析車輛應對交叉路口的方法。
Uber 熱衷於實現自動駕駛汽車的長遠願景：為每個人帶來更安全、更清潔和更高效的交通解決方案。遺憾的是，各個行業中的早期開發工具往往是原始的，並且適用於解決能夠擴展其功能的新案例。鑒於技術正在快速地改變交通運輸方式，和我們所居住的城市，因此我們比以往，更加迫切地需要更好的工具，來加速這一變化。
無論這個產品是用來改善城市規劃投資（相關閱讀：https://medium.com/uber-movement/bringing-more-data-to-uber-movement-with-street-speeds-32da498329a7）、更多樣的地理空間分析（相關閱讀：https://eng.uber.com/keplergl/）、更先進的地圖繪制（相關閱讀：https://eng.uber.com/uber-visualization-mapbox/）還是新的行動趨勢（相關閱讀：https://www.uber.com/newsroom/mobility-dashboard-for-jump-bikes/），我們都發現：開源數據和工具的策略能夠幫助政府、開發者和研究者以及整個工業界，加快邁向未來更智慧化的交通生態系統的步伐。
via：https://eng.uber.com/avs-autonomous-vehicle-visualization/ 雷鋒網
沒有留言:
張貼留言