2020年6月29日 星期一

.影像分析現今應用和未來機會導覽

Deep Learning and Video Surveillance






在過去的幾年中,影像分析(也稱為影像內容分析或智慧影像分析)引起了業界和學術界的越來越多的興趣。 得益於深度學習的巨大進步,影像分析引入了曾經是人類專有權限的任務自動化。

影像分析的最新發展,已經改變了遊戲規則,從事件發生時統計人員把影像分析應用到自動車牌辨識,以及其他更知名的場景(例如臉部辨識或智慧停車),都改變了應用的遊戲規則。


這種技術看起來很棒,但是它如何工作,以及如何使您的業務受益呢?

在本導覽中,您將了解影像分析的基本概念,在現實世界中,如何使用它來自動化流程,並獲得有價值性的觀點,以及在組織中,實施智慧影像分析解決方案時,應考慮的事項。

什麼是智慧影像分析?
影像分析的主要目標,是自動辨識影像中時間和空間條件下的場景事件。可疑移動的人,沒有未遵守交通標誌;突然出現的火焰和煙霧;這些只是影像分析解決方案,可以檢測到的幾個案例。

即時影像分析和影像挖掘
通常,這些系統執行即時監視,其中檢測到與監視環境有關的對象、對象屬性、運動軌跡或行為模式。但是,影像分析也可以用於分析歷史數據,以挖掘事實真相。此取證分析任務,可以檢測到回答業務問題的趨勢和模式,例如:

什麼時候客戶在我的商店中達到高峰,他們的年齡分佈是什麼?紅燈行駛多少次,車輛的具體牌照是什麼?

一些已知的應用
影像分析領域的某些應用,已為大眾所熟知。影像監控就是一個這樣的例子,這項任務已經存在了大約 50 年。原則上,這個想法很簡單:從安裝攝影機,以允許操作員控制房間、區域或公共空間中發生的事情。

然而,實際上,這是一項遠非簡單的任務。通常,操作員負責一台以上的攝影機,並且如多項研究所示,增加要監視的攝影機的數量,會對操作員的表現產生不利影響。換句話說,即使有大量的硬體可用並生成信號,由於人為限制,當需要處理這些信號時也會形成瓶頸。

影像分析軟體可以透過提供一種,準確處理大量資訊的方法,來做出主要貢獻。

具有深度學習的影像分析
機器學習,尤其是深度學習方法的驚人發展,徹底改變了影像分析。

深度神經網路(DNN)的使用,使訓練模仿人類行為的影像分析系統,成為可能從而導致範式轉變。它始於基於經典電腦視覺技術的系統(例如,如果攝影機圖像太暗,或劇烈變化會觸發警報),然後轉移到能夠辨識圖像中特定對象,並跟踪其路徑的系統。


例如,光學字符辨識(OCR)已經使用了數十年,以從圖像中提取文本。原則上,將 OCR 算法直接應用於車牌圖像,以辨識其編號就足夠了。在以前的範例中,如果將攝影機定位為在執行 OCR 時,確定我們正在拍攝車牌,則這可能會起作用。

這在現實世界中的應用,是在停車設施中辨識車牌,其中攝影機位於大門附近,並且可以在汽車停車時拍攝車牌。但是,在交通攝影機的圖像上,連續運行 OCR 是不可靠的:如果 OCR 返回結果,我們如何確定它確實與車牌相對應?

在新的範例中,基於深度學習的模型,能夠辨識出現車牌的圖像的確切區域。有了這些資訊,OCR 僅應用於相關的確切區域,從而獲得可靠的結果。

行業應用
衛生保健
從歷史上看,醫療機構在影像監控解決方案上,投入了大量資金,以確保其患者、員工和訪客的安全,而這通常是由嚴格的法規來控制的。盜竊、嬰兒綁架和藥物轉換,是監視系統解決的一些最常見問題。

除了簡化監視任務之外,影像分析還使我們可以利用收集到的數據,來實現業務目標,從而走得更遠。例如,影像分析解決方案,可以根據患者的需求,檢測何時還沒對患者進行檢查,並向工作人員發出警報。在確定縮短等待時間,同時確保通向急診區的通道時,對患者和訪客流量的分析,可能是非常有價值。

在家中監視老年人或有健康問題的人,是提供巨大價值的應用是另一個案例。例如,跌倒是老年人受傷和死亡的主要原因。儘管個人醫療設備可以檢測到跌倒,但它們必須穿戴,並且經常被消費者忽視。影像分析解決方案,可以處理家用攝影機的信號,以即時檢測是否有人倒下。透過適當的設置,例如,這樣的系統還可以確定,一個人是否應該服藥。

精神保健是影像分析,可以做出重大貢獻的另一個領域。可以開發分析臉部表情、身體姿勢和注視的系統,以幫助臨床醫生評估患者。這樣的系統能夠從肢體語言,和微表情中檢測出情緒,從而為臨床醫生提供客觀的資訊,從而可以證實他們的假設,或為他們提供新的線索。

真實的例子
布法羅大學開發了一款智慧手機應用 APP,目的在幫助檢測出患有自閉症譜系障礙(ASD)的兒童。該應用僅使用智慧手機攝影機即可跟踪臉部表情,並注視著看著社交場景(顯示多個人物)的孩子的注意力。該應用 APP 可以監視眼睛的運動,並可以準確地檢測出患有 ASD 的兒童,因為他們的眼動與沒有自閉症的人的眼動不同。

智慧城市/交通
影像分析已被證明在交通領域有巨大幫助,有助於智慧城市的發展。

如果不採取適當的交通管理措施,交通的增加,特別是在城市地區,可能導致事故和交通堵塞的增加。在這種情況下,智慧影像分析解決方案可以發揮關鍵作用。

交通分析可用於動態調整交通號誌燈控制系統,和監視交通擁塞。它對於即時檢測危險情況也很有用,例如,停在高速公路上未經許可的空間中的車輛,錯誤方向行駛的人,行進不規律的車輛,或發生事故的車輛。在發生事故的情況下,這些系統有助於在發生訴訟時收集證據。

車輛計數或在汽車、卡車、公共汽車、出租車等之間進行區分,會生成高價值的統計資訊,用於獲取有關交通的資訊。安裝測速攝影機,可實現對駕駛員整體的精確控制。自動車牌辨識可以辨識出違規的汽車,或者透過即時搜索,辨識出被盜或用於犯罪的車輛。


基於影像分析的智慧停車系統,無需在每個停車位中使用感測器,而是可以透過來自安全攝影機的圖像分析,來幫助駕駛員找到停車空位。

這些只是影像分析技術,可以為建設更舒適的城市,而做出的貢獻的一些示例。

真實的例子
用於解決現實問題的影像分析,是一個紐約市的很好的例子。為了更好地了解重大交通事件,紐約市交通局使用影像分析和機器學習來檢測交通擁塞、天氣模式、違章停車等。攝影機捕獲活動,對其進行處理,並將即時警報發送給城市官員。

零售
近年來,在零售行業中使用機器學習,尤其是影像分析,一直是最重要的技術趨勢之一。

實體店零售商可以使用影像分析,來了解他們的客戶是誰,以及他們的行為。

先進的算法能夠辨識出人臉,並確定人們的關鍵特徵,例如性別和年齡。這些算法還可以跟踪顧客在商店中的旅程,並分析導航路線,以檢測步行模式。加上對視線方向的檢測,零售商可以確定顧客看某一種產品的時間,並最終回答一個關鍵問題:為了使銷售最大化和改善顧客體驗,放置物品的最佳位置在哪裡?


影像分析解決方案,可以收集許多可行的資訊,例如:客戶數量、客戶特徵、訪問持續時間和步行方式。所有這些數據都可以,在考慮其時間性質的情況下進行分析,以便根據星期幾、一年中的季節,或假日來優化商店的組織。透過這種方式,零售商可以非常準確地了解客戶的身份,訪問商店的時間,以及進入商店後的行為。

影像分析對於開發防盜機制,也非常有用。例如,可以訓練臉部辨識算法,來發現已知的扒手,或即時發現隱藏在其背包中的物品的人。

此外,從影像分析中提取的資訊,可以用作訓練機器學習模型的輸入數據,以解決更大的挑戰。例如,步行模式和商店中的人數可能是有用的資訊,可以添加到機器學習支持的解決方案中,以進行需求預測,價格優化和庫存預測。

真實的例子
Marine Layer 是一家總部位於舊金山的服裝零售商,該公司佈署了智慧影像分析解決方案,以獲取有關商店中客戶流量的見解。他們實施的系統會自動統計商店訪客,並顯示每小時或某天的流量證據。在公司在實施影像分析解決方案之前,估算這些數字的同時,它現在對它們有 100% 的確定性,並節省了手動分析流量的時間。

安全
影像監視是安全領域的一項古老任務。但是,從僅由人類監控系統,到基於影像分析的當前解決方案之時,橋下就流了很多水。

臉部和車牌辨識(LPR)技術,可用於即時辨識人員和車輛,並做出適當的決策。例如,可以即時時搜索和儲存錄影中的嫌疑人,或者辨識授權人員並授予對安全設施的訪問權限。

人群管理是安全系統的另一個關鍵功能。先進的影像分析工具可以在大型購物中心、醫院、體育館和機場等地方,產生巨大影響。這些工具可以即時提供估計的人群計數,並在達到或超過臨界值時觸發警報。他們還可以分析人群流動,以檢測不想要或禁止的方向的運動。

在上面的影片中,訓練了一個監視系統來即時辨識人員。這為獲得其他結果,奠定了基礎。最直接的:每天路過的人數統計。根據歷史數據,更高級的目標可能是根據星期幾和一天中的時間確定「正常」人流,並在流量異常時生成警報。如果監視區域僅是行人專用區,則可以對系統進行訓練,以檢測未經授權的物體(例如摩托車或汽車),並再次觸發某種警報。

這是這些方法的一大優勢:可以訓練影像內容分析系統,以檢測特定事件,有時甚至具有很高的複雜度。這樣的例子之一就是儘早發現火災。或者,對於機場而言,當有人進入禁區,或朝著為乘客準備的方向行走時發出警報。另一個很好的案例,是在公共場所即時檢測無人看管的行李。

對於經典任務(例如入侵者檢測),由於算法可以過濾掉由風、雨、雪或動物引起的運動,因此可以可靠地執行這些任務。

智慧影像分析所提供的功能,在安全領域中日益成長,並且這種趨勢將在未來持續下去。

真實的例子
丹麥足球俱樂部布隆德比(Brondby),是第一家在 2019 年正式引入臉部辨識技術,以提高其比賽日安全性的足球俱樂部。該系統辨識被禁止的人參加比賽,並使員工能夠阻止他們進入體育場。

影像分析如何工作?
讓我們看一下影像分析解決方案的一般方案。根據特定的案例,解決方案的架構可能會有所不同,但是方案保持不變。

影像內容分析可以透過兩種不同的方式進行:即時,透過將系統配置為針對當前發生的特定事件,或事件觸發警報,或者在後期處理中,透過執行高級搜索,以促進取證分析任務。

供料系統
被分析的數據可以來自各種串流影像源。最常見的是閉路電視攝影機,交通攝影機和線上影像源。但是,使用適當協議(例如 RTSP:即時串流協議或 HTTP)的任何影像源通常都可以整合到解決方案中。

一個關鍵目標是覆蓋範圍:我們需要從可能發生監視事件的各個角度,清楚地了解整個區域。請記住,可以處理的數據越多越好。

集中處理與邊緣處理
影像分析軟體可以在,通常位於監視站中的伺服器上集中運行,這被稱為中央處理。或者,也可以將其嵌入攝影機本身,這種策略稱為邊緣處理。

設計解決方案時,應仔細考慮攝影機的選擇。許多舊版軟體僅具有中央處理功能。但是,近年來,遇到混合解決方案並不少見。實際上,一個好的實踐是在可能的情況下,將即時處理集中在攝影機和中央伺服器上的取證分析功能上。

使用混合方法時,攝影機執行的處理,會減少中央伺服器正在處理的數據,否則隨著攝影機數量的增加,可能需要大量的處理能力和頻寬。此外,可以將軟體配置為僅透過網露,將有關可疑事件的數據發送到伺服器,從而減少網路流量和儲存需求。

同時,集中數據進行取證分析,允許使用多種搜索和分析工具,從通用算法到臨時實施,所有工具都利用不同的參數集,來幫助平衡所獲得結果中的噪聲和靜默度。本質上,您可以輸入自己的算法,以獲得所需的結果,這是一種特別靈活且有吸引力的方案。

定義方案和訓練模型
規劃並安裝了實體體系結構之後,有必要定義要關注的場景,然後訓練將要檢測目標事件的模型。

車禍?人流?在零售商店進行臉部辨識,以辨識已知的入店行竊者?每種情況都會導致系統必須知道,如何執行一系列基本任務。

例如:檢測車輛,最終辨識其類型(例如,摩托車、汽車、卡車),逐幀跟踪其軌跡,然後研究這些路徑的演變,以檢測可能的碰撞。

影像分析中最常見的基本任務是:
.圖像分類:從一組預定類別中,選擇圖像的類別(例如汽車、人、馬、剪刀、雕像)。
.本地化:在圖像中定位對象(通常涉及在對象周圍繪製邊框)。
.對象檢測:對圖像中的對象,進行定位和分類。
.對象辨識:給定目標對象,在圖像中辨識其所有實例(例如,找到圖像中的所有足球運動員)。
.對象跟踪:跟踪影像中隨時間移動的對象。
要了解有關執行的基本任務,以及用於開發影像分析軟體的算法類型的更多資訊,建議您閱讀此電腦視覺入門指南。


從頭開始訓練模型需要大量的精力。幸運的是,有相當多的可用資源,使此任務變得不那麼繁重。

諸如 ImageNet 或上下文中的 Microsoft Common Objects(COCO)之類的圖像數據集,是簡化新模型訓練的關鍵資源。

有幾種預訓練的模型可用於諸如圖像分類,物體檢測和臉部辨識等任務,這要歸功於轉移學習技術,可以針對給定的用例對模型進行調整(微調)。這比完整的訓練要便宜得多。

最後,社區近年來越來越多地公開開源項目,以促進定制影像分析系統的建構。依賴於電腦視覺庫(例如以下段落中提供的庫)極大地有助於更快,更準確地建構解決方案。

人工審查
在幾乎所有情況下,都需要人工監視影像分析系統生成的警報,並確定應採取的措施(如果有)。從這個意義上講,這些系統為操作員提供了寶貴的支持,幫助他們檢測可能被忽略的事件,或需要較長時間,才能手動檢測的事件。

開源項目
目前尚無完善的影像分析庫。存在的那些通常是研究論文的某種實現,因此在實際環境中往往很難使用它們。在其他情況下,這些庫目的在易於使用,但性能較差。

最好的選擇是尋找對象跟踪,或姿勢跟踪庫,並創建自定義對象。

在 Tryolabs,我們使用諸如對象檢測,和姿態估計之類的圖像級算法,來執行影像分析,然後在它們之上添加我們自己的跟踪算法層,並從那裡開始。

OpenCV 的
開源電腦視覺庫(OpenCV)是最著名的電腦視覺庫。它包含一組全面的機器學習算法,可以執行常見任務,例如圖像分類,臉部辨識以及對象檢測和跟踪。它可以透過其本機 C ++介面,或透過 Java 和 Python 包裝器使用,因此已被公司和研究小組廣泛使用。

由於它是一個透用的電腦視覺庫,因此可以使用 OpenCV 實施影像分析系統。但是,由於它不是專門的影像分析庫,因此轉向其他可用的庫,可能會更有趣(取決於用例)。

發光的
如上所述,我們在 Tryolabs 建立了自己的工具,來執行影像分析。 Luminoth 是使用 TensorFlow 在 Python 中建構的對象檢測庫。我們將其與 OpenCV 一起用於影像分析案例,例如零售領域的店面和人群流分析。

目前,我們正在開發基於 PyTorch 的庫 2.0 版,並增加了對人體姿勢估計和實例分割的支持。 我們還計劃很快將影像支持和跟踪添加到庫中。


偵探
在 2019 年,Facebook AI Research 開源了 Detectron 2,這是他們著名的 Caffe 庫 Detectron 的 PyTorch 重寫。

該庫專注於對象檢測,分割和姿勢估計。 Detectron 的優勢在於,它不僅能夠在單個對象周圍繪製邊框,而且還能創建定義對象邊界的像素級蒙版。

Detectron 是一個強大的研究圖書館,可以訓練定制的電腦視覺模型。

影像分析解決方案
影像分析中有大量現成的解決方案,從經典的安全系統,到更複雜的場景,例如智慧家庭或醫療保健應用。

如果這些標準解決方案之一滿足您的案例,則可以選擇使用它們。請注意,通常必須對軟體進行某種改編或參數化,並且這些解決方案僅允許進行一定程度的定制。

但是,大多數公司的目標,是透過影像分析解決方案,來獲得特定的見解,以實現個人目標,而影像分析解決方案需要更優化的軟體。在這種情況下,理想的解決方案是求助於一家,專門從事影像案例。

結論
影像分析解決方案,在幫助我們完成日常任務中非常寶貴。可以從該技術中受益的行業很多,尤其是隨著近年來潛在應用程序的複雜性不斷成長。

從智慧城市,到醫院和機場的安全控制,再到跟踪零售和購物中心的人員,影像分析領域使流程既更有效,又對人類減少了繁瑣,對公司而言則更便宜。

我們希望您喜歡這篇文章,並且希望您更好地了解影像分析的全部內容,其工作方式以及如何在組織中利用它,從而使流程自動化並獲得有價值的見解,以做出更好的決策。

自 2010 年以來,我們在 Tryolabs 一直在開發機器學習解決方案。與不同行業的公司合作,可以讓我們更好地了解他們的挑戰,以及他們如何使用數據來推動業務成果。如果您有任何疑問或意見,請隨時給我們留言。

按此回今日3S Market新聞首頁

沒有留言:

張貼留言