Exploring Waymo Open Dataset - High Quality Camera Labels
 |
|
任何顏色車牌——都拍攝的清清楚楚！
|
lei phone 作者：杨鲤萍
按：近日，谷歌母公司 Alphabet ，旗下的自動駕駛公司 Waymo 宣佈，開源他們團隊的自動駕駛數據庫，以幫助研究界在機器感知與自動駕駛技術方面，實現突破。公開的數據集由 Waymo 自駕汽車，在各種條件下採集的高度標注數據組成，包括了覆蓋多個地點的 1000 個駕駛段上收集的數據。
Waymo 首席科學家兼項目負責人 Drago Anguelov 表示，該數據集是有史以來最大、最豐富、最多樣化的自動駕駛數據集之一。Waymo 也發佈了相關博客來介紹該數據集，雷鋒網(公眾號：雷鋒網) AI 開發者將其整理編譯如下。
數據集簡介
數據是機器學習的關鍵要素。我們的車輛在 25 個城市，收集了超過 1000 萬英里的自動行駛里程數據；這一豐富多樣的實際數據，幫助我們的工程師和研究人員，開發了 Waymo 的自動駕駛技術和創新的模型及算法。
現在，我們邀請研究界加入我們的 Waymo 開放數據集中，該數據集是一個，用於自主駕駛的高品質多模式標注數據集。它由 Waymo 自駕車輛收集的高度標注數據組成，數據集涵蓋了各種各樣的環境，從密集的城市中心到郊區景觀，以及白天和黑夜、黎明和黃昏、晴天和下雨天中收集的數據。所有感興趣的研究人員都可以在 https://waymo.com/open/ 免費下載。
數據集簡介
數據是機器學習的關鍵要素。我們的車輛在 25 個城市，收集了超過 1000 萬英里的自動行駛里程數據；這一豐富多樣的實際數據，幫助我們的工程師和研究人員，開發了 Waymo 的自動駕駛技術和創新的模型及算法。
現在，我們邀請研究界加入我們的 Waymo 開放數據集中，該數據集是一個，用於自主駕駛的高品質多模式標注數據集。它由 Waymo 自駕車輛收集的高度標注數據組成，數據集涵蓋了各種各樣的環境，從密集的城市中心到郊區景觀，以及白天和黑夜、黎明和黃昏、晴天和下雨天中收集的數據。所有感興趣的研究人員都可以在 https://waymo.com/open/ 免費下載。
圖 1 Waymo 開放數據集涵蓋了從密集的城市中心，到郊區景觀的各種環境
數據集具體內容
我們相信它是有史以來最大、數據最豐富、最多樣化的自動駕駛數據集之一。數據集包含：
- 尺寸和覆蓋範圍：此版本包含 1,000 個自動駕駛路段的數據。每個數據片段捕獲 20 秒的連續駕駛過程，相當於每個鏡頭標注參數為 10 Hz 的 200,000 幀。這樣的連續鏡頭可以使得研究人員易於開發模型來跟蹤和預測其它道路使用者的行為。
- 多樣化的駕駛環境：該數據集涵蓋鳳凰城、亞利桑那州、柯克蘭、華盛頓州、山景城、加利福尼亞州和加利福尼亞州舊金山的密集城市和郊區環境，並捕捉了各種駕駛條件下的數據（包含：白天和黑夜、黎明和黃昏、晴天和下雨天）。
- 高分辨率的 360 度視圖：每個分段包含了來自五個高分辨率 Waymo 雷射雷達和五個前置與側面攝影機的數據。
- 密集標注：數據集包括雷射雷達框架和圖像；車輛、行人、騎自行車者和標識牌，都經過了精心的標記，共捕獲了 1200 萬個 3D 標注和 120 萬個 2D 標注。
數據集具體內容
我們相信它是有史以來最大、數據最豐富、最多樣化的自動駕駛數據集之一。數據集包含：
- 尺寸和覆蓋範圍：此版本包含 1,000 個自動駕駛路段的數據。每個數據片段捕獲 20 秒的連續駕駛過程，相當於每個鏡頭標注參數為 10 Hz 的 200,000 幀。這樣的連續鏡頭可以使得研究人員易於開發模型來跟蹤和預測其它道路使用者的行為。
- 多樣化的駕駛環境：該數據集涵蓋鳳凰城、亞利桑那州、柯克蘭、華盛頓州、山景城、加利福尼亞州和加利福尼亞州舊金山的密集城市和郊區環境，並捕捉了各種駕駛條件下的數據（包含：白天和黑夜、黎明和黃昏、晴天和下雨天）。
- 高分辨率的 360 度視圖：每個分段包含了來自五個高分辨率 Waymo 雷射雷達和五個前置與側面攝影機的數據。
- 密集標注：數據集包括雷射雷達框架和圖像；車輛、行人、騎自行車者和標識牌，都經過了精心的標記，共捕獲了 1200 萬個 3D 標注和 120 萬個 2D 標注。
圖 2 數據集包括 Waymo 高清攝影機的攝影機鏡頭和 120 萬個 2D 標籤
- 攝影機 - 雷射雷達同步：我們一直致力於融合了來自多個攝影機和雷射雷達數據的 3D 感知模型。我們設計了整個自驅動系統，包括可以無縫地協同工作的硬體和軟體，也包括了對感測器位置的選擇，和高品質時間同步設置。
圖 3 數據集包含了高品質時間同步的雷射雷達與攝影機拍攝數據
數據集現狀
Waymo 開發的數據集，目前包含來自 1000 個片段（每個數據片段大小為 20s）的雷射雷達，和相機拍攝數據，以下是當前包含的內容：
- 1000 個片段，每段 20s 錄像，在不同的地理位置和條件下以 10 Hz（200000 幀）參數進行收集。
- 感測器數據
數據集現狀
Waymo 開發的數據集，目前包含來自 1000 個片段（每個數據片段大小為 20s）的雷射雷達，和相機拍攝數據，以下是當前包含的內容：
- 1000 個片段，每段 20s 錄像，在不同的地理位置和條件下以 10 Hz（200000 幀）參數進行收集。
- 感測器數據
1 個中程雷射雷達4 個短程雷射雷達5 個攝影機（正面和側面）時間同步的雷射雷達和相機拍攝數據雷射雷達到影機的投影數據
感測器校準和車輛姿態數據
- 標記數據
4 個對象類別的標注，包括：車輛、行人、騎自行車者、標誌所有 1000 個區段的雷射雷達數據的高品質標注帶有雷射雷達數據跟蹤 ID 的 12M 3D 邊界框標注100 段攝影機數據的高品質標注（之後將添加更多內容）
具有攝影機數據追蹤 ID 的 1.2M 2D 邊界框標注
- 代碼
可透過 GitHub 進行訪問，https://github.com/waymo-research/waymo-open-dataset。
這些數據可用於非商業用途，但研究的定義相當廣泛，其他企業、學者和研究人員都可以使用；可透過（https://waymo.com/open/terms/）查看詳細許可協議。
數據集意義及未來計劃
在機器學習研究方面，獲得相應的數據，能很好的將想法變成真正的創新。這些數據有可能幫助研究人員在 2D 和 3D 感知方面取得進展，並在場景適應、場景理解和行為預測等領域取得進展。我們希望研究界能夠透過我們的數據，發現更多令人興奮的研究方向，這不僅有助於使自動駕駛車輛更加安全強大，而且還會影響其他相關領域和應用，例如：電腦視覺和機器人技術。
雖然這個數據集，不能反映我們感測器系統的全部功能，並且它只包含 Waymo 自動駕駛系統訓練所依據數據的一小部分，但我們相信出於研究目的，這個大型、多樣化和高品質的數據集是非常有價值的。
我們計劃，將很快擴大這個數據集的規模。除此之外，我們還計劃後續在此數據集上，發佈一些基準模型的性能；到時，我們會為使用該數據集的人，提供相應的挑戰賽。
Waymo 官網博客地址GitHub 地址
0 comments:
張貼留言