 |
leiphone 作者：包永刚
人工智慧晶片，早已成為晶片巨頭關注的焦點。早些時候，Nvidia就宣佈，將把某些Nvidia的技術，整合到ARM的晶片設計中，特別是針對物聯網設備，實現AI的處理器優化。
近日高通推出視覺智慧平台，搭載了採用10nm FinFET製程技術、專門針對IoT的SoC。QCS605和QCS603 SoC整合ISP、高通AI Engine及連接和安全技術，能為終端側的攝影機處理，和機器學習，提供強大的計算能力，針對廣泛的物聯網應用。
高通新SoC平台，如何讓IoT設備也實現AI功能？高通IoT產品經理Seshu Madhavapeddy為此做了進一步解讀。
為什麼需要視覺智慧SoC平台？
正如20世紀80年代，PC消除了高價值計算，必須在大型主機上運行，智慧物聯設備，以及支撐這些設備的晶片，正在證明AI計算也可以在邊緣完成，而非僅僅在雲端。
越早打破數據中心在AI中的獨特地位，AI能更早和容易被普通終端用戶和開發者所接受。
Madhavapeddy表示新的SoC平台，為IoT邊緣計算而設計，透過讓更多地計算，在設備中進行盡可能減少數據，向遠端基礎設施傳輸，讓物聯網終端變得更加智慧。
QCS605和QCS603 主要針對智慧視覺領域，應用於監控攝影機、運動攝影機、可穿戴攝影機、虛擬現實（VR）360°與180°攝影機、機器人，和智慧顯示螢幕等。
Madhavapeddy進一步解釋，之所以要推出新的平台，是因為IoT攝影機與手機攝影機有較大的區別。
首先，與手機攝影機不同，IoT攝影機往往工作在低光照環境；其次，IoT攝影機有非常不一樣的圖像穩定需求，IoT攝影機所需的並非模糊不清的快照，而是運動場景中頭盔上的影片拍攝，或無人機在執行任務過程中攝影機的清晰和即時回饋。
高通視覺智慧平台（Qualcomm Vision Intelligence Platform）
詳解QCS605和QCS603
高通AI Engine
高通新推出的視覺智慧SoC平台，整合Qualcomm人工智慧引擎AI Engine，AI Engine由多個繼承的硬體和軟體組件組成。包括了驍龍神經處理引擎（NPE）軟體框架，其中包含採用TensorFlow、Caffe和Caffe2框架進行開發的分析、優化與調試工具，ONNX（Open Neural Network Exchange）交換格式，以及Android Neural Network API和Qualcomm Hexagon Neural Network庫。AI Engine還包括軟體開發工具包SKD。
當然，高通希望開發者和OEM廠商，能輕鬆將訓練網路接入到此平台。
基於AI Engine和驍龍神經處理引擎軟體框架，視覺智慧平台可為深度神經網路推理，提供高達每秒2.1萬億次運算（TOPS）的計算性能。
同時，人工智慧引擎也可以優化推理，即根據部署到設備的機器學習模型，對圖像數據進行評分。當然，模型訓練仍然會在使用大量GPU，具有更強性能的雲端進行。
影像特性
Madhavapeddy表示，圖像不僅僅是靜態的，也有動態的視頻，不過603和605都具有強勁的影像性能。605支持4K@60fps和1080p@60fps、4K@30fps和720p@30fps的視訊流，以及更低解析度的多個併發視訊流。
為了實現非凡的圖像品質，視覺智慧平台整合了支持雙1600萬像素傳感器的雙14位Qualcomm Spectra 270 ISP。此外，該視覺智慧平台，包括物聯網細分領域，所必需的視覺處理功能，如可防止高動態範圍影像出現「疊影」效果的交錯式HDR（staggered HDR）、電子穩像、畸變校正、降噪、色差校正，以及硬體運動補償時域濾波（MCTF）。
異構計算架構
視覺智慧平台QCS605晶片組的異構計算架構，整合八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量處理器。該視覺智慧平台的整合式顯示處理器，可為一系列顯示螢幕，提供硬體加速合成、3D覆蓋，以及包括OpenGL、OpenCL和Vulkan在內的主流圖形API支持。
該架構支持多種高級操作系統，能幫助開發者和製造商，在其解決方案中輕鬆構建差異化特性，如VR 360°攝影機的端側內容拼接，自主機器人導航與避障，以及運動攝影機的影像摘要。
QCS603和605都整合Adreno GPU、多核Kryo CPU、和Hexagon 685向量處理器，以及高通AI Engine，都屬於為電池供電產品設計的低功耗產品。對比而言，605是8核CPU，603是雙核CPU， 603的運行功率更低、晶片更小，以更低的規格實現更多的功能。
Wi-Fi、音訊、安全特性
據記者瞭解，高通視覺智慧平台都板載Wi-Fi，605具備MU-MIMO和雙頻併發特性的2x2 802.11ac Wi-Fi、603具備1x1 802.11ac Wi-Fi。
音訊方面，支持Qualcomm 3D音訊套件、Qualcomm Aqstic音訊技術和Qualcomm aptX音訊。該平台還具備Qualcomm噪音抑制與回音消除技術，以終端側音訊分析與處理特性，支持自然語言處理、音訊語音辨識和語音插播功能，打造可靠的語音介面，甚至在吵鬧或嘈雜的環境，或當使用者遠離終端時，也可實現。
視覺智慧平台基於硬體的安全特性，可透過下列功能，支持可靠的物聯網終端，包括硬體可信根的安全啓動、可信執行環境、硬體加密引擎、儲存安全、貫穿生命週期控制的調試安全、密鑰分發和無線協議安全等。
0 comments:
張貼留言