Deep Learning and Video Surveillance
在過去的幾年中，影像分析（也稱為影像內容分析或智慧影像分析）引起了業界和學術界的越來越多的興趣。 得益於深度學習的巨大進步，影像分析引入了曾經是人類專有權限的任務自動化。
影像分析的最新發展，已經改變了遊戲規則，從事件發生時統計人員把影像分析應用到自動車牌辨識，以及其他更知名的場景（例如臉部辨識或智慧停車），都改變了應用的遊戲規則。
這種技術看起來很棒，但是它如何工作，以及如何使您的業務受益呢？
在本導覽中，您將了解影像分析的基本概念，在現實世界中，如何使用它來自動化流程，並獲得有價值性的觀點，以及在組織中，實施智慧影像分析解決方案時，應考慮的事項。
什麼是智慧影像分析？
影像分析的主要目標，是自動辨識影像中時間和空間條件下的場景事件。可疑移動的人，沒有未遵守交通標誌；突然出現的火焰和煙霧；這些只是影像分析解決方案，可以檢測到的幾個案例。
即時影像分析和影像挖掘
通常，這些系統執行即時監視，其中檢測到與監視環境有關的對象、對象屬性、運動軌跡或行為模式。但是，影像分析也可以用於分析歷史數據，以挖掘事實真相。此取證分析任務，可以檢測到回答業務問題的趨勢和模式，例如：
什麼時候客戶在我的商店中達到高峰，他們的年齡分佈是什麼？紅燈行駛多少次，車輛的具體牌照是什麼？
一些已知的應用
影像分析領域的某些應用，已為大眾所熟知。影像監控就是一個這樣的例子，這項任務已經存在了大約 50 年。原則上，這個想法很簡單：從安裝攝影機，以允許操作員控制房間、區域或公共空間中發生的事情。
然而，實際上，這是一項遠非簡單的任務。通常，操作員負責一台以上的攝影機，並且如多項研究所示，增加要監視的攝影機的數量，會對操作員的表現產生不利影響。換句話說，即使有大量的硬體可用並生成信號，由於人為限制，當需要處理這些信號時也會形成瓶頸。
影像分析軟體可以透過提供一種，準確處理大量資訊的方法，來做出主要貢獻。
具有深度學習的影像分析
機器學習，尤其是深度學習方法的驚人發展，徹底改變了影像分析。
深度神經網路（DNN）的使用，使訓練模仿人類行為的影像分析系統，成為可能從而導致範式轉變。它始於基於經典電腦視覺技術的系統（例如，如果攝影機圖像太暗，或劇烈變化會觸發警報），然後轉移到能夠辨識圖像中特定對象，並跟踪其路徑的系統。
例如，光學字符辨識（OCR）已經使用了數十年，以從圖像中提取文本。原則上，將 OCR 算法直接應用於車牌圖像，以辨識其編號就足夠了。在以前的範例中，如果將攝影機定位為在執行 OCR 時，確定我們正在拍攝車牌，則這可能會起作用。
這在現實世界中的應用，是在停車設施中辨識車牌，其中攝影機位於大門附近，並且可以在汽車停車時拍攝車牌。但是，在交通攝影機的圖像上，連續運行 OCR 是不可靠的：如果 OCR 返回結果，我們如何確定它確實與車牌相對應？
在新的範例中，基於深度學習的模型，能夠辨識出現車牌的圖像的確切區域。有了這些資訊，OCR 僅應用於相關的確切區域，從而獲得可靠的結果。
行業應用
衛生保健
從歷史上看，醫療機構在影像監控解決方案上，投入了大量資金，以確保其患者、員工和訪客的安全，而這通常是由嚴格的法規來控制的。盜竊、嬰兒綁架和藥物轉換，是監視系統解決的一些最常見問題。
除了簡化監視任務之外，影像分析還使我們可以利用收集到的數據，來實現業務目標，從而走得更遠。例如，影像分析解決方案，可以根據患者的需求，檢測何時還沒對患者進行檢查，並向工作人員發出警報。在確定縮短等待時間，同時確保通向急診區的通道時，對患者和訪客流量的分析，可能是非常有價值。
在家中監視老年人或有健康問題的人，是提供巨大價值的應用是另一個案例。例如，跌倒是老年人受傷和死亡的主要原因。儘管個人醫療設備可以檢測到跌倒，但它們必須穿戴，並且經常被消費者忽視。影像分析解決方案，可以處理家用攝影機的信號，以即時檢測是否有人倒下。透過適當的設置，例如，這樣的系統還可以確定，一個人是否應該服藥。
精神保健是影像分析，可以做出重大貢獻的另一個領域。可以開發分析臉部表情、身體姿勢和注視的系統，以幫助臨床醫生評估患者。這樣的系統能夠從肢體語言，和微表情中檢測出情緒，從而為臨床醫生提供客觀的資訊，從而可以證實他們的假設，或為他們提供新的線索。
真實的例子
布法羅大學開發了一款智慧手機應用 APP，目的在幫助檢測出患有自閉症譜系障礙（ASD）的兒童。該應用僅使用智慧手機攝影機即可跟踪臉部表情，並注視著看著社交場景（顯示多個人物）的孩子的注意力。該應用 APP 可以監視眼睛的運動，並可以準確地檢測出患有 ASD 的兒童，因為他們的眼動與沒有自閉症的人的眼動不同。
智慧城市/交通
影像分析已被證明在交通領域有巨大幫助，有助於智慧城市的發展。
如果不採取適當的交通管理措施，交通的增加，特別是在城市地區，可能導致事故和交通堵塞的增加。在這種情況下，智慧影像分析解決方案可以發揮關鍵作用。
交通分析可用於動態調整交通號誌燈控制系統，和監視交通擁塞。它對於即時檢測危險情況也很有用，例如，停在高速公路上未經許可的空間中的車輛，錯誤方向行駛的人，行進不規律的車輛，或發生事故的車輛。在發生事故的情況下，這些系統有助於在發生訴訟時收集證據。
車輛計數或在汽車、卡車、公共汽車、出租車等之間進行區分，會生成高價值的統計資訊，用於獲取有關交通的資訊。安裝測速攝影機，可實現對駕駛員整體的精確控制。自動車牌辨識可以辨識出違規的汽車，或者透過即時搜索，辨識出被盜或用於犯罪的車輛。
基於影像分析的智慧停車系統，無需在每個停車位中使用感測器，而是可以透過來自安全攝影機的圖像分析，來幫助駕駛員找到停車空位。
這些只是影像分析技術，可以為建設更舒適的城市，而做出的貢獻的一些示例。
真實的例子
用於解決現實問題的影像分析，是一個紐約市的很好的例子。為了更好地了解重大交通事件，紐約市交通局使用影像分析和機器學習來檢測交通擁塞、天氣模式、違章停車等。攝影機捕獲活動，對其進行處理，並將即時警報發送給城市官員。
零售
近年來，在零售行業中使用機器學習，尤其是影像分析，一直是最重要的技術趨勢之一。
實體店零售商可以使用影像分析，來了解他們的客戶是誰，以及他們的行為。
先進的算法能夠辨識出人臉，並確定人們的關鍵特徵，例如性別和年齡。這些算法還可以跟踪顧客在商店中的旅程，並分析導航路線，以檢測步行模式。加上對視線方向的檢測，零售商可以確定顧客看某一種產品的時間，並最終回答一個關鍵問題：為了使銷售最大化和改善顧客體驗，放置物品的最佳位置在哪裡？
影像分析解決方案，可以收集許多可行的資訊，例如：客戶數量、客戶特徵、訪問持續時間和步行方式。所有這些數據都可以，在考慮其時間性質的情況下進行分析，以便根據星期幾、一年中的季節，或假日來優化商店的組織。透過這種方式，零售商可以非常準確地了解客戶的身份，訪問商店的時間，以及進入商店後的行為。
影像分析對於開發防盜機制，也非常有用。例如，可以訓練臉部辨識算法，來發現已知的扒手，或即時發現隱藏在其背包中的物品的人。
此外，從影像分析中提取的資訊，可以用作訓練機器學習模型的輸入數據，以解決更大的挑戰。例如，步行模式和商店中的人數可能是有用的資訊，可以添加到機器學習支持的解決方案中，以進行需求預測，價格優化和庫存預測。
真實的例子
Marine Layer 是一家總部位於舊金山的服裝零售商，該公司佈署了智慧影像分析解決方案，以獲取有關商店中客戶流量的見解。他們實施的系統會自動統計商店訪客，並顯示每小時或某天的流量證據。在公司在實施影像分析解決方案之前，估算這些數字的同時，它現在對它們有 100％ 的確定性，並節省了手動分析流量的時間。
安全
影像監視是安全領域的一項古老任務。但是，從僅由人類監控系統，到基於影像分析的當前解決方案之時，橋下就流了很多水。
臉部和車牌辨識（LPR）技術，可用於即時辨識人員和車輛，並做出適當的決策。例如，可以即時時搜索和儲存錄影中的嫌疑人，或者辨識授權人員並授予對安全設施的訪問權限。
人群管理是安全系統的另一個關鍵功能。先進的影像分析工具可以在大型購物中心、醫院、體育館和機場等地方，產生巨大影響。這些工具可以即時提供估計的人群計數，並在達到或超過臨界值時觸發警報。他們還可以分析人群流動，以檢測不想要或禁止的方向的運動。
在上面的影片中，訓練了一個監視系統來即時辨識人員。這為獲得其他結果，奠定了基礎。最直接的：每天路過的人數統計。根據歷史數據，更高級的目標可能是根據星期幾和一天中的時間確定「正常」人流，並在流量異常時生成警報。如果監視區域僅是行人專用區，則可以對系統進行訓練，以檢測未經授權的物體（例如摩托車或汽車），並再次觸發某種警報。
這是這些方法的一大優勢：可以訓練影像內容分析系統，以檢測特定事件，有時甚至具有很高的複雜度。這樣的例子之一就是儘早發現火災。或者，對於機場而言，當有人進入禁區，或朝著為乘客準備的方向行走時發出警報。另一個很好的案例，是在公共場所即時檢測無人看管的行李。
對於經典任務（例如入侵者檢測），由於算法可以過濾掉由風、雨、雪或動物引起的運動，因此可以可靠地執行這些任務。
智慧影像分析所提供的功能，在安全領域中日益成長，並且這種趨勢將在未來持續下去。
真實的例子
丹麥足球俱樂部布隆德比（Brondby），是第一家在 2019 年正式引入臉部辨識技術，以提高其比賽日安全性的足球俱樂部。該系統辨識被禁止的人參加比賽，並使員工能夠阻止他們進入體育場。
影像分析如何工作？
讓我們看一下影像分析解決方案的一般方案。根據特定的案例，解決方案的架構可能會有所不同，但是方案保持不變。
影像內容分析可以透過兩種不同的方式進行：即時，透過將系統配置為針對當前發生的特定事件，或事件觸發警報，或者在後期處理中，透過執行高級搜索，以促進取證分析任務。
供料系統
被分析的數據可以來自各種串流影像源。最常見的是閉路電視攝影機，交通攝影機和線上影像源。但是，使用適當協議（例如 RTSP：即時串流協議或 HTTP）的任何影像源通常都可以整合到解決方案中。
一個關鍵目標是覆蓋範圍：我們需要從可能發生監視事件的各個角度，清楚地了解整個區域。請記住，可以處理的數據越多越好。
集中處理與邊緣處理
影像分析軟體可以在，通常位於監視站中的伺服器上集中運行，這被稱為中央處理。或者，也可以將其嵌入攝影機本身，這種策略稱為邊緣處理。
設計解決方案時，應仔細考慮攝影機的選擇。許多舊版軟體僅具有中央處理功能。但是，近年來，遇到混合解決方案並不少見。實際上，一個好的實踐是在可能的情況下，將即時處理集中在攝影機和中央伺服器上的取證分析功能上。
使用混合方法時，攝影機執行的處理，會減少中央伺服器正在處理的數據，否則隨著攝影機數量的增加，可能需要大量的處理能力和頻寬。此外，可以將軟體配置為僅透過網露，將有關可疑事件的數據發送到伺服器，從而減少網路流量和儲存需求。
同時，集中數據進行取證分析，允許使用多種搜索和分析工具，從通用算法到臨時實施，所有工具都利用不同的參數集，來幫助平衡所獲得結果中的噪聲和靜默度。本質上，您可以輸入自己的算法，以獲得所需的結果，這是一種特別靈活且有吸引力的方案。
定義方案和訓練模型
規劃並安裝了實體體系結構之後，有必要定義要關注的場景，然後訓練將要檢測目標事件的模型。
車禍？人流？在零售商店進行臉部辨識，以辨識已知的入店行竊者？每種情況都會導致系統必須知道，如何執行一系列基本任務。
例如：檢測車輛，最終辨識其類型（例如，摩托車、汽車、卡車），逐幀跟踪其軌跡，然後研究這些路徑的演變，以檢測可能的碰撞。
影像分析中最常見的基本任務是：
．圖像分類：從一組預定類別中，選擇圖像的類別（例如汽車、人、馬、剪刀、雕像）。
．本地化：在圖像中定位對象（通常涉及在對象周圍繪製邊框）。
．對象檢測：對圖像中的對象，進行定位和分類。
．對象辨識：給定目標對象，在圖像中辨識其所有實例（例如，找到圖像中的所有足球運動員）。
．對象跟踪：跟踪影像中隨時間移動的對象。
要了解有關執行的基本任務，以及用於開發影像分析軟體的算法類型的更多資訊，建議您閱讀此電腦視覺入門指南。
從頭開始訓練模型需要大量的精力。幸運的是，有相當多的可用資源，使此任務變得不那麼繁重。
諸如 ImageNet 或上下文中的 Microsoft Common Objects（COCO）之類的圖像數據集，是簡化新模型訓練的關鍵資源。
有幾種預訓練的模型可用於諸如圖像分類，物體檢測和臉部辨識等任務，這要歸功於轉移學習技術，可以針對給定的用例對模型進行調整（微調）。這比完整的訓練要便宜得多。
最後，社區近年來越來越多地公開開源項目，以促進定制影像分析系統的建構。依賴於電腦視覺庫（例如以下段落中提供的庫）極大地有助於更快，更準確地建構解決方案。
人工審查
在幾乎所有情況下，都需要人工監視影像分析系統生成的警報，並確定應採取的措施（如果有）。從這個意義上講，這些系統為操作員提供了寶貴的支持，幫助他們檢測可能被忽略的事件，或需要較長時間，才能手動檢測的事件。
開源項目
目前尚無完善的影像分析庫。存在的那些通常是研究論文的某種實現，因此在實際環境中往往很難使用它們。在其他情況下，這些庫目的在易於使用，但性能較差。
最好的選擇是尋找對象跟踪，或姿勢跟踪庫，並創建自定義對象。
在 Tryolabs，我們使用諸如對象檢測，和姿態估計之類的圖像級算法，來執行影像分析，然後在它們之上添加我們自己的跟踪算法層，並從那裡開始。
OpenCV 的
開源電腦視覺庫（OpenCV）是最著名的電腦視覺庫。它包含一組全面的機器學習算法，可以執行常見任務，例如圖像分類，臉部辨識以及對象檢測和跟踪。它可以透過其本機 C ++介面，或透過 Java 和 Python 包裝器使用，因此已被公司和研究小組廣泛使用。
由於它是一個透用的電腦視覺庫，因此可以使用 OpenCV 實施影像分析系統。但是，由於它不是專門的影像分析庫，因此轉向其他可用的庫，可能會更有趣（取決於用例）。
發光的
如上所述，我們在 Tryolabs 建立了自己的工具，來執行影像分析。 Luminoth 是使用 TensorFlow 在 Python 中建構的對象檢測庫。我們將其與 OpenCV 一起用於影像分析案例，例如零售領域的店面和人群流分析。
目前，我們正在開發基於 PyTorch 的庫 2.0 版，並增加了對人體姿勢估計和實例分割的支持。 我們還計劃很快將影像支持和跟踪添加到庫中。
偵探
在 2019 年，Facebook AI Research 開源了 Detectron 2，這是他們著名的 Caffe 庫 Detectron 的 PyTorch 重寫。
該庫專注於對象檢測，分割和姿勢估計。 Detectron 的優勢在於，它不僅能夠在單個對象周圍繪製邊框，而且還能創建定義對象邊界的像素級蒙版。
Detectron 是一個強大的研究圖書館，可以訓練定制的電腦視覺模型。
影像分析解決方案
影像分析中有大量現成的解決方案，從經典的安全系統，到更複雜的場景，例如智慧家庭或醫療保健應用。
如果這些標準解決方案之一滿足您的案例，則可以選擇使用它們。請注意，通常必須對軟體進行某種改編或參數化，並且這些解決方案僅允許進行一定程度的定制。
但是，大多數公司的目標，是透過影像分析解決方案，來獲得特定的見解，以實現個人目標，而影像分析解決方案需要更優化的軟體。在這種情況下，理想的解決方案是求助於一家，專門從事影像案例。
結論
影像分析解決方案，在幫助我們完成日常任務中非常寶貴。可以從該技術中受益的行業很多，尤其是隨著近年來潛在應用程序的複雜性不斷成長。
從智慧城市，到醫院和機場的安全控制，再到跟踪零售和購物中心的人員，影像分析領域使流程既更有效，又對人類減少了繁瑣，對公司而言則更便宜。
我們希望您喜歡這篇文章，並且希望您更好地了解影像分析的全部內容，其工作方式以及如何在組織中利用它，從而使流程自動化並獲得有價值的見解，以做出更好的決策。
自 2010 年以來，我們在 Tryolabs 一直在開發機器學習解決方案。與不同行業的公司合作，可以讓我們更好地了解他們的挑戰，以及他們如何使用數據來推動業務成果。如果您有任何疑問或意見，請隨時給我們留言。
按此回今日3S Market新聞首頁
按此回今日3S Market新聞首頁
0 comments:
張貼留言