What is a digital twin?
來源:AI 智道 作者:房叔话安防
數位孿生的前世今生下篇
毫無疑問,這是一個精彩的故事,本文在 原出處的關注者圈裡,引起了廣泛的關注。好的故事需要好的編劇,好的產品更需要好的規劃者,本文重新進行了編排和內容更新,以饗讀者,歡迎互動和交流。(數位孿生的前世今生上篇)
數位孿生是近10年10大策略科技發展趨勢,本文將分上、下兩篇來講述數位孿生的前世今生,本篇為下篇:數位孿生的今生 – 數位現實,10+幅動畫,利用 3D 技術、影像融合技術,和 AI 技術,完整還原一個數位現實世界。
數位園林
文/紐豪斯 發佈/AI智道
最新的 AI 和安控技術的落地場景在哪裡嗎?小編認為第一落地場景,就是電影和遊戲。
從碼文字來賺錢,目前對岸網路作家唐家三少做的最好,2018年4月,唐家三少六度蟬聯網路作家富豪榜榜首。唐家三少本名張威。1981年1月生於北京,中國內地網路小說作家,炫世唐門文化傳媒有限公司董事長,畢業於河北大學政法學院。
小編對唐家三少本人並沒有什麼興趣,不過在研究數位孿生的時候,發現了一部神劇《鬥羅大陸》,開啓了小編的孿生思路。
小編對唐家三少本人並沒有什麼興趣,不過在研究數位孿生的時候,發現了一部神劇《鬥羅大陸》,開啓了小編的孿生思路。
如果你是一位影迷的話,可能就會有追劇的經歷,一個星期僅更新一集,而且平均一集僅有 15.64 分鐘,那麼製作一集動畫片有那麼難麼?
而《鬥羅大陸》就是這樣一部動畫片,以小編視角,《鬥羅大陸》雖然沒有做到電影《頭號玩家》中的綠洲遊戲效果,但確實採用了類似的手法進行拍攝,小編認為,《鬥羅大陸》是一部比較好的數位孿生作品(不過孿生的是小說,並不是真實世界),其思路可以借鑒,讓我們來看一組數據(來源於第50集片尾字幕):
而《鬥羅大陸》就是這樣一部動畫片,以小編視角,《鬥羅大陸》雖然沒有做到電影《頭號玩家》中的綠洲遊戲效果,但確實採用了類似的手法進行拍攝,小編認為,《鬥羅大陸》是一部比較好的數位孿生作品(不過孿生的是小說,並不是真實世界),其思路可以借鑒,讓我們來看一組數據(來源於第50集片尾字幕):
斗羅大陸主要製作數據
「鬥羅大陸從 2017 年 4 月 1 日決定動畫化至今( 2019 年 5 月 4 日),第 50 集動畫播出完成近 731天 」,主要數據如下:
正片總時長: 782 分鐘 總鏡頭數:21640 個 總特效量: 18295 個
總武戲鏡頭規劃: 8141 場(類似數位現實的場景)
總場模型景數:近 352 個(建構 3D 場景)
總人物建模完成數:近 434 個(參考遊戲人物造型,在數位現實中,是否對人口建模?這是值得我們思考的一個問題)
總道建模道具數: 13078 個(參考道具建模,就是對數位現實系統中的「物」進行建模)
小編在數位孿生的前世今生(上篇):數位孿生的前世 – 數位雙胞胎中曾經提到,在科幻電影《頭號玩家》,現實世界中的人,在遊戲「綠洲」的虛擬世界裡,有另外一個自己,形成自己的「數位雙胞胎」。
動畫神劇《鬥羅大陸》,並沒有完全模擬一個真實的社會,而是按照設定好的故事情節逐步鋪開,在特定視角、特定人物按照設定好的劇情進行演繹,即使是這樣,一個強大的團隊一周才能完成 15.64 分鐘的數位孿生。
動畫神劇《鬥羅大陸》,並沒有完全模擬一個真實的社會,而是按照設定好的故事情節逐步鋪開,在特定視角、特定人物按照設定好的劇情進行演繹,即使是這樣,一個強大的團隊一周才能完成 15.64 分鐘的數位孿生。
以小編的專業知識,《鬥羅大陸》正片總時長 782 分鐘,也就是46920秒,按照影像監控的標準,每秒影像有 25 幀,那麼 50 集的《鬥羅大陸》總共有1173000幀(約117萬),117萬幀(畫面)對雲計算大概不算什麼,但這僅僅可以被視為 1 路影像畫面的數位孿生,可以想像,如果對城市中幾萬路影像,或者幾十萬路影像畫面,進行數位孿生會是什麼場景,以本動畫片的製作來看,數位孿生實現完整的世界孿生,還有很長的路要走。
如果我們要開啓真正的數位孿生系統,那麼總場模型建模、總人物建模(將13億+人口建模)、總道具建模(比如「物體」建模)就是三大基礎。
如果我們要開啓真正的數位孿生系統,那麼總場模型建模、總人物建模(將13億+人口建模)、總道具建模(比如「物體」建模)就是三大基礎。
對於 7×24 小時的不間斷影像監控而言,如果按照鬥羅大陸模式,實現每一路監控畫面的「數位現實」,對於一個動輒幾十萬路影像監控的城市而言,簡直是無法想像的。
儘管如此,對岸已經出現了很多家的團隊,開啓了數位孿生之旅,這篇文章,小編就是要和大家探討數位孿生的今生:數位現實,和大家分享一下,當下的數位孿生落地應用和效果,如何用初級的方法,實現我們的願景。
儘管如此,對岸已經出現了很多家的團隊,開啓了數位孿生之旅,這篇文章,小編就是要和大家探討數位孿生的今生:數位現實,和大家分享一下,當下的數位孿生落地應用和效果,如何用初級的方法,實現我們的願景。
數位雙胞胎
數位雙胞胎 |
小編在數位孿生的前世今生(上篇),提到數位孿生的前世是數位雙胞胎,效果就如上圖動畫所示。在畫面的上半部分,是真實世界(錄像畫面),下半部分是電腦顯示螢幕畫面,幾乎無延遲(延遲小於0.5秒)的「雙胞胎」了真實世界,現實場景中的箱子,在運動讓後被載入貨梯,數位孿生系統裡面,完整復刻了箱子的運動,用 3D 的方式呈現出來,這樣的數位孿生系統,透過 3D Max 建模技術 + 物聯網感測器,來復刻設備的動作,被稱之為「數位雙胞胎」。
數位孿生技術,是最早被應用於智慧製造領域(或者工業 4.0),在智慧製造領域,不能簡單的將工廠或者生產線,進行 BIM(建築資訊模型) 3D 建模,和外部數據接入,必須透過 3D Max 這樣的技術,進行 3D 模型建構,類似動畫片,或者遊戲的方式,需要復刻設備的動作,然後再透過大量的物聯網感測器,告知設備的位置和狀態,最後再導入完整的第三方數據,進行 3D 、動作和數據的融合。深圳火元素就是智慧製造數位孿生系統的代表企業。
小編在之前,曾經採訪過深圳火元素的創始人王聰,和他的合作夥伴盧要全。王聰、盧要全和小編分享到,數位孿生數位工廠,可視化的應用,目前主要包括四大場景:設備結構可視化、生產設備可視化、生產廠房可視化,和生產流程可視化。
設備結構可視化 |
設備結構可視化,可以支援靜態/動態結構可視化。靜態可視化透過設備結構拆解、展示設備組成、結構設計;動態可視化可展現設備運行狀態、流程,也可播放預置腳本,用於模擬、演示、培訓等用途。
生產設備可視化 |
透過 3D 可視化手段,對工業生產製造設備形態,進行真實展現,並對生產設備的結構、工藝、工作原理進行動態展示,基於數據驅動,可接入即時採集數據,對設備進行即時仿真。
生產廠房可視化 |
透過 3D 虛擬現實技術,對工業生產廠房進行真實展現,從廠房的外部環境、樓宇到廠房內部結構和獨立設備,均可進行立體仿真展示,並可進行任意角度的調整,及場景的切換。
生產流程可視化 |
將虛擬現實技術,有機融入到工業監控系統,以真實廠房生產線的仿真場景為基礎,對各個工段、重要設備的形態,進行復原,並即時反映其生產流程和運行狀態。
除了四大場景之外,在智慧製造的應用中,系統還要可支援大螢幕、多螢幕操控模式,統一的可視化模式控制機制,整合螢幕拼接控制,實現一鍵同時切換軟體系統,和螢幕拼接模式。使用戶可以簡便快速的切換應用場景。
大屏多屏操控模式 |
螢幕的多種交互操控模式,系統還要支援透過 iPAD、智慧手機等手持設備作為控制終端,以及手勢辨識、語音控制( AI 的另外兩中技術)等,來實現對大螢幕顯示佈局、系統模式的切換,以及軟體介面內容的交互控制,為客戶提供多種靈活、便捷的操控體驗。
全時空平台方案
全時空平台方案,以數位 3D 平台為基礎,實現 PGIS 和影像監控平台的整合及應用,最終實現海量資訊資源的 3D 可視化與大數據分析,這在 2015 年 7 月提出的想法,放在 2019 年依然不落後。
掀屋頂看影像 |
在 3D 建築物模型中,從任意一層任何部位掀掉屋頂,就能夠看到室內的即時影像,並和 3D 模型進行融合,這個想法真的很棒,可以將室內監控和 BIM 完美的結合起來,實現各種應用。
立交橋視頻融合 |
而立交橋多角度影像融合技術,就是另外一項很棒的技術,將高點、低點、攝影機預置位影像,進行 360° 融合,然後實現 360° 影像和 3D 模型的融合,僅僅這一個想法,就能夠促成數位現實技術的落地。
正是基於數位孿生技術,和影像技術的融合,小編在和王聰和盧要全交流的時候,提出了「數位現實」的概念。
繼 VR(Virtual Reality,虛擬現實)、AR(Augmented Reality,增強現實)、MR(Mixed Reality,混合現實)之後,即將興起 DR 的熱潮,DR 就是 Digital Reality (數位現實),通俗的來講,就是數位雙胞胎、數位孿生(Digital Twin),而 DR 是在 DT 基礎之上,再融合影像圖像資訊。
小編的觀點是,數位孿生在 2019 年之後,在安控領域的應用,就是數位現實,也是數位孿生的今生。
繼 VR(Virtual Reality,虛擬現實)、AR(Augmented Reality,增強現實)、MR(Mixed Reality,混合現實)之後,即將興起 DR 的熱潮,DR 就是 Digital Reality (數位現實),通俗的來講,就是數位雙胞胎、數位孿生(Digital Twin),而 DR 是在 DT 基礎之上,再融合影像圖像資訊。
小編的觀點是,數位孿生在 2019 年之後,在安控領域的應用,就是數位現實,也是數位孿生的今生。
雖然小編提出了 DR 這個概念,實際上這些技術,是叫夏冰的團隊,最早是在 2012 年就提出來了,那時他們的系統還叫做城市之眼。所以說,要感謝夏冰!
前文述及,數位孿生城市,有機會成為城市大腦的升級版。數位孿生城市,就是要在虛擬環境中,去孿生現實環境(包括準確的描述和同步的變化),只要接入虛擬環境,就可以跨越時空的感知現實世界,並且透過累積數據、模型、算法中辨識行為,再透過控制影響現實世界。
數位孿生城市= 3D 數位城市+即時影像監控 + 數據挖掘 + 行為辨識 + 行為預測
數位孿生系統,需要採用分級處理技術、場景剔除技術等,支持援城市級, 3D 場景的流暢展現與操作;採集數據透過暫存記憶體管道,直接傳遞給圖形繪製模組,滿足城市數十萬海量採集資訊的即時顯示;
採用開放/開源技術,開發跨平台的 GIS 引擎,在統一的數據平台基礎上,實現桌面應用與移動應用的無縫結合;支持 2D GIS 數據、 3D GIS 數據、實景 3D 模型(傾斜攝影)和 BIM 模型的無縫融合顯示,讓原本相互獨立的數據,整合於統一的資訊管理平台。
採用開放/開源技術,開發跨平台的 GIS 引擎,在統一的數據平台基礎上,實現桌面應用與移動應用的無縫結合;支持 2D GIS 數據、 3D GIS 數據、實景 3D 模型(傾斜攝影)和 BIM 模型的無縫融合顯示,讓原本相互獨立的數據,整合於統一的資訊管理平台。
城市級快速三維化 |
支持點線面等基礎地理資訊矢量數據,直接生成 3D 模型,方便用戶的 2D 數據的快速 3D 。然後就可以快速低成本的建構智慧城市 3D 模型,疊加政務、交通、物流、醫療、社區、公安、環衛、應急大數據,搭建領先的綜合資源一張圖,準確、即時、高效、生動、直接的進行展示,為領導決策和為民服務,提供有力支撐。
園區級三維化 |
對於區域級的數位孿生平台,可以是基於 GIS 和 BIM 相結合的方式,而搭建的可視化 3D 虛擬平台,並在 3D 中,對接實際的業務數據和感測器數據,在實現線上管理和監控的同時,對地理位置、空間結構更加直接地瞭解,可以即時地把握現場運行數據和施工狀態。
單棟建築物 3D 化 |
建築智慧化應用 |
對於單棟建築物而言,會更加關注細節和內部,故需要精細化 BIM 建模系統支撐。以 3D GIS 模型和 BIM 模型為基礎的 3D 空間模型為載體,將建築中的設備、安控、影像、能耗、環境等資訊融合在一起,打破管理過程中,不同系統之間的資訊溝通的壁壘,實現資訊的準確傳遞,加強總部大樓人、車、物的安全管理,提升大樓內人員工作生活的便捷性,進一步提升企業園區管理的科學有效性。
PS.能夠提供以上數位孿生城市平台的正是上海迅圖公司。
智慧維運 AIOps
小編在數位孿生的前世今生(上篇),提到過八大關係,其中之一正是 PLM(產品生命週期,Product Lifecycle Management)。數位孿生伴隨產品的全生命週期,故而包含維護數據和報廢數據,對安控行業而言,就是智慧維運AIOps,關於這個話題,小編之前曾經採訪過維聯眾誠的肖詠澤。以下為採訪的內容和觀點,供大家參考。
AIOps 倡導,由AI取代緩慢易錯的人力決策,快速給出維運決策建議,有助於降低問題的影響,或者提前規避問題。智慧維運,作為目前維運發展的最高階段目標。
AIOps 的眼是維運大數據平台,腦是維運的決策計算系統,手是維運自動化系統。眼、腦、手的有機融合,才有助於實現 AIOps 的最終目標。AIOps 的目標就是追求「穩、省、快」的效果;AIOps 的終極形態,就是無人值守維運,自動應對故障、變更、擴縮容和自動進行防禦。
AIOps 的眼是維運大數據平台,腦是維運的決策計算系統,手是維運自動化系統。眼、腦、手的有機融合,才有助於實現 AIOps 的最終目標。AIOps 的目標就是追求「穩、省、快」的效果;AIOps 的終極形態,就是無人值守維運,自動應對故障、變更、擴縮容和自動進行防禦。
基於數位孿生的 AIOps ,要能夠實現可視、可控、可管和整合四大特性。
可視。充分利用數位孿生技術,直接展示從園區、建築、室內結構,到設備的空間佈局,及整合數據;搭建的場景,可以作為 3D CAD 圖紙,為使用者未來應用提供便捷的參考。
可控。基於產品可遠端控制,實體設備的開關和模擬量,便於突發情況下,能夠透過系統快速處理事故。甚至能夠實現在影像畫面裡面,直接控制被監控的對象,比方說自接點擊閥門,實現關閉功能。
可管。系統提供權限控制功能,為不同的角色,提供不同應用場景、交互手段的控制。
整合。統一的人機交互形式,實現與樓宇自控、弱電系統、智慧化系統等實現整合,作為智慧樓建築靜態數據展示的基礎。
系統架構 |
在新型的 AIOps 維運系統中,能夠實現 3D 渲染、 3D 模型導入、大數據可視化、設備控制等功能,透過數據接口平台,能夠無縫整合第三方智慧化系統,尤其是可實現對影像監控系統的智慧化維運,確保數位現實能力的實現,保障影像還原能力。
影像監控診斷 |
能夠支持十餘種異常診斷(如上圖),充分發揮電腦視覺辨識技術,判斷攝影機的監控畫面,透過 AI 算法,使得診斷的準確度可達 95%,大大降低了系統的維護成本。
數位現實的規劃及未來
小編在這裡當一回產品經理,以全新視角,定義數位現實和預測數位現實的未來發展趨勢。
數位現實的核心,在於大路數影像融合,併依賴即時影像分析技術,而這些基礎的技術已經有了。眾所皆知,城市治理中最重要三元素是「人、車、物」,分兩大場景:
- 有人場景。有人就會有交通工具(車輛、地鐵、火車、飛機、輪船),人要在城市中「動」起來,主要依賴交通工具,物體要「動」起來,核心也是一樣,故而有人場景是最複雜的一種場景。
「人」是整個城市治理的核心,所謂「以人為本」就是這個道理,故而有人場景需要關注三個元素的「數位現實」復刻還原能力;
「人」是整個城市治理的核心,所謂「以人為本」就是這個道理,故而有人場景需要關注三個元素的「數位現實」復刻還原能力;
- 無人場景。主要包括無人駕駛、無人車間、無人商店、無人值守(比如變電站、無人車間)、無人區等等,這種場景主要的監控對象,是「物」和「設備」,典型的應用場景,就是工業4.0,很多情況下,被稱之為數位孿生。
小編判斷數位現實的最大應用場景,會落在「無人場景」上面,自動化生產線、無人車間、無人商店、倉儲、高風險區域等,就需要依賴「數位現實」系統,實現遠端的即時監視、錄影( 3D 系統的錄影,而不僅僅是影像)和回放(有點像影像監控,但可以實現時空軌道的穿梭能力,完全實現 3D 世界的回放)。這樣子就能夠解決建設數位現實的核心意義:提高效率、增加收入、降低成本。
在有人場景下,平台將會更加關注「人」的身份辨識、行為辨識和行為預測,這個公共安全領域顯得尤為重要,這也恰恰帶來 AI 能力賦能落地,正是獨角獸企業願意看到的場景應用。
2019 年是 AI 的落地之年,那麼最佳的落地姿勢是什麼,每天早上睡覺醒來,擺在每一位 AI 創業者、合伙人、測略家、銷售總監面前的首要問題,小編的觀點是,建構 3D 世界是基礎能力之一。
在無人駕駛領域需要 3D 空間辨識、在醫療領域需要核磁共振的 3D 診斷能力、在安控領域需要 3D 的人臉辨識和人體辨識,而不是在 3D 世界裡面採用《三體》(劉慈欣的科幻作品)世界的降維打擊一樣,我們竟然還在 3D 世界裡面,用 2D 進行智慧分析、辨識和處理。
2D 世界的同質化競爭太過於嚴重,如果想要立於不敗之地,聚焦「數位現實」技術,為未來的業務發展打下堅實的基礎,不失是一種好方法。
在無人駕駛領域需要 3D 空間辨識、在醫療領域需要核磁共振的 3D 診斷能力、在安控領域需要 3D 的人臉辨識和人體辨識,而不是在 3D 世界裡面採用《三體》(劉慈欣的科幻作品)世界的降維打擊一樣,我們竟然還在 3D 世界裡面,用 2D 進行智慧分析、辨識和處理。
2D 世界的同質化競爭太過於嚴重,如果想要立於不敗之地,聚焦「數位現實」技術,為未來的業務發展打下堅實的基礎,不失是一種好方法。
小編和一位朋友聊天,他提出了一個觀點,人的基本需求,實際上是有五個「衣食住行看」,多了一個看字,解決「衣食住行」,離不開「看」的能力,日常生活人們已經離不開手機,實際上我們是在看手機(這是一種人機交互),看書、看電視、看報紙、看電腦,「看」是人和世界的一種交互能力(資訊輸入),而「數位現實」解決的正是看的能力,人不用移動,讓世界移動到你的面前。而「看」的能力,正是 AI 最擅長的兩大能力之一(語音和視覺能力),當然這裡並不想歧視盲人。
現實情況還是令人比較沮喪的,「數位現實」系統的造價高(動輒百萬)、好看大於實用(目前主要功能還是各種「秀」),尚需要解決以下問題:
提供殺手鐧應用,比如全生命週期的自動化維運
能夠提高用戶的產出、產生效益(銷售收入增加),降低用戶成本(首先就是降低人力成本,這個比較容易實現),提高生產效率(這個是隱形的不好衡量)
數位孿生智慧提供數位化世界的復刻能力,而使用者真正需要的完整的「數位現實」,這就依賴於影像融合技術,可以實現錄影和回放現實世界,實現時空穿梭。
傳統的影像回放時空穿梭,通常是90天,如果採用數位現實技術,則可以大大提高錄影和保存的時間(比方說一年)
傳統的影像回放時空穿梭,通常是90天,如果採用數位現實技術,則可以大大提高錄影和保存的時間(比方說一年)
大規模的影像融合能力,幾百路、幾千路,甚至幾萬路的影像融合,可快速實現可視化,和現實世界還原能力,同時具備錄影能力
數位現實要具備「水池」能力(小編自己的「水池」理論),只要是數據(結構化的、非結構化的),都能夠透過一根「水管」接入,然後再透過兩外一根輸出的「水管」輸出,使用者需要的數據(可視化)並帶控制能力。
基於此,未來的數位現實平台,應該具備以下能力(規劃):
語音控制(已實現)
單場景的影像融合路數大規模增加(超過 50 路、100 路甚至上 1000 路)
影像融合能力增強,支持球機影像畫面的融合、支持雲台預置位的影像融合、支持無人機影像的融合(部分實現)
即時影像結構化處理能力(部分實現),包括人臉辨識、車輛辨識
動作辨識(肢體孿生,已實現)
多終端融合,全面支持手機、平板、電腦、VR,手機端支持操控能力
人、車、物的標準化建模,再附加結構化特徵,進行即時建模(類似鬥羅大陸中的人和道具建模),將最複雜的對象簡化到最基本的模型
支持雷達建模
能夠判斷畫面中目標的大小、速度、重量、GPS 座標系
標準化建模參考
以安控應用行業為例,建立數位現實系統,有兩大功能應用:安全功能、對象辨識功能,取決於應用場景的需求。
比如在某些區域不允許「人」進入,只要系統判斷出現了「人」就警報,這就是安全功能,這樣就可以極大的簡化數位現實系統的設計,我們只需要對所有的人,建立一個「人」的標準化模型就可以了,將複雜的世界簡單化。
同樣我們可以建立「車」、「輪船」、「飛機」、「動物」的模型,這樣就可以把模型數量減少到 10 個以內。
同樣我們可以建立「車」、「輪船」、「飛機」、「動物」的模型,這樣就可以把模型數量減少到 10 個以內。
人的模型-進入警報(圖片來源:Siemens SiteIQ) |
車的模型-進入警報(圖片來源:Siemens SiteIQ) |
人、車、輪船標準化模型效果圖(圖片來源:Siemens SiteIQ) |
還有一種需要就是對象辨識,比方說只要有權限的人,進入這個區域不警報,沒有權限的人進入就會觸發警報,要知道這個人是誰,這就是對象辨識能力,類似的道理,我們一樣可以簡化這個模型,在每個模型上面疊加一張人臉照片(而不是整段的影像),只要知道這個模型是那個人就好了。
在這種標準化模型建模基礎之上,還可以再附加結構化特徵,進行即時建模,使得系統具備更多能力,可擴展出更多應用。
4+ 像素判別物體類型、100+ 像素用於影像分析。
事實上標準化建模,並不需要太過於複雜的 AI 技術,基於 3D 辨識,能夠實現 4+ 像素判別物體類型、100+ 像素用於影像分析。
基於最少橫向 2 個像素、縱向 4 個像素的探測移動目標物能力。
4+像素就可精確探測目標(圖片來源:Siemens SiteIQ) |
對於實現目標物分類,實際上基於 10 個像素,便可以判斷目標物大小、速度和方向,並且可以可靠的區分,至少以下類型:行人、汽車、小卡車、大卡車、小船、大船、小飛機、大飛機。
如果能夠有 100+ 像素,就能夠實現更為複雜的目標偵測能力,除了目標物大小、速度和方向之外,還能夠實現地理位置的定位,這對 3D 數位現實的建構尤為重要。
100+像素用于目标侦测(圖片來源:Siemens SiteIQ) |
這才是數位現實發展的未來。
0 comments:
張貼留言