AN IMAGE-BASED FALL DETECTION SYSTEM IN MONITORING ELDERLY FALL EVENT

基於圖像的跌倒檢測系統，用於監測老年人跌倒事件

跌倒是老年人可能經歷的，最具破壞性的事件之一。隨著人口老齡化的不斷加劇，急需開發跌倒檢測系統。由於感測器網路和物聯網 (IoT) 的快速發展，使用感測器融合的人機交互，已被視為解決跌倒檢測問題的有效方法。

在本文中，我們提供了對使用感測器網路和物聯網，進行老年人跌倒檢測工作的文獻調查。儘管現有的各種研究都專注於使用單個感測器（例如可穿戴感測器和深度攝影機）進行跌倒檢測，但這些系統的性能仍然不令人滿意，因為它們主要受到高誤報的影響。文獻顯示，融合不同感測器的信號，可以提高精度和降低誤報，同時提高此類系統的增強性。我們從不同的角度進行這項調查，包括數據收集、數據傳輸、感測器融合、數據分析、安全和隱私。我們還審查了用於量化，所提出方法的性能的可用基準數據集。該調查目的在為使用感測器網路的老年人跌倒檢測領域，研究人員提供最新進展的總結，並確定進一步努力，將有益安全和隱私的領域。

我們還審查了用於量化所提出方法的性能，可用的基準數據集。該調查目的在為使用感測器網路的老年人跌倒，檢測領域的研究人員提供最新進展的總結，並確定進一步努力將有益的領域。安全和隱私。我們還審查了用於量化所提出方法的性能，可用基準數據集。該調查目的在為使用感測器網路的老年人跌倒檢測領域，研究人員提供最新進展的總結，並確定進一步努力將有益的領域。

一、簡介

2015 年中國 65 歲及以上人口超過 9%，預計在 20 年內（2017-2037）將達到 20%1 . 根據世界衛生組織 (WHO) 的數據，全球每年約有 64.6 萬人發生致命跌倒，其中大部分是 65 歲以上的成年人 ( WHO, 2018 )。這使其成為意外傷害死亡的第二個原因，其次是道路交通傷害。在全球，跌倒是老年人面臨的主要公共衛生問題。毋庸置疑，老年人跌倒造成的傷害對他們的家人、醫療保健系統和整個社會都有很多影響。

如所示圖1中，谷歌趨勢圖 2顯示跌倒檢測引起了學術界和工業界越來越多的關注，尤其是在過去幾年中，可以觀察到跌倒檢測的突然增加。此外，在同一條線上，跌倒可能性預測的主題也非常重要，這與一些專注於預防和保護的應用相結合。

圖1

圖1。隨著時間的推移，跌倒檢測的興趣，從 2004 年 1 月到 2019 年 12 月。數據來自谷歌趨勢，搜索主題為「跌倒檢測」。

這些值用最大興趣標準化，這樣最高興趣的值為 100。

El-Bendary 等(2013)回顧了老年人跌倒檢測，和預測的趨勢和挑戰。檢測技術涉及在跌倒發生後辨識跌倒，並向緊急護理人員發出警報，而預測方法目的在在跌倒事件發生之前或期間，對其進行預測，從而允許立即採取行動，例如激活安全氣囊。

在過去的幾十年裡，這些領域已經投入了大量的精力，來提高跌倒檢測和預測系統的準確性，以及減少誤報。圖2 顯示了從 1945 年到 2020 年跌倒檢測出版物數量排名前 25 位的國家。大多數出版物來自美國，其次是英國、中國和德國等。數據顯示，已開發國家在這一領域的研究投入，比其他國家更多。由於更高的生活水準和更好的醫療資源，已開發國家的人們更有可能擁有更長的預期壽命，這導致這些國家的人口老齡化程度更高（Bloom et al., 2011）。

圖2

圖 2.（A）地圖和（B） 1945 年至 2020 年國家和地區跌倒檢測出版物的直方圖。

在這篇調查論文中，我們提供了跌倒檢測系統的整體概述，目的在讓廣大讀者了解該領域的文獻。除了跌倒檢測建模技術，這篇評論還涵蓋了其他主題，包括與數據傳輸、數據儲存和分析，以及安全和隱私有關的問題，這些問題在此類系統的開發和部署中同樣重要。

論文的其他部分組織如下。在第 2 節中，我們首先介紹秋季的類型，並回顧其他調查論文，以說明最新的研究趨勢和挑戰，然後描述我們的文獻檢索策略。接下來，在第 3 節中，我們將介紹跌倒檢測系統中，通常使用的硬體和軟體組件。第 4 節和第 5 節概述了依賴於單個感測器，或一組感測器的跌倒檢測方法。在第 6 節中，我們解決了安全和隱私問題。第 7 節介紹跌倒檢測的項目和應用。在第 8 節中，我們討論了當前的趨勢和挑戰，然後討論了挑戰、未解決的問題，以及未來方向的其他方面。最後，

2. 跌倒類型和老年人跌倒檢測的過往回顧

2.1. 跌倒的類型

跌倒的影響和後果，可能因各種因素而有很大差異。例如，在走路、站立、睡覺或坐在椅子上時摔倒，有一些共同的特徵，但它們之間也有顯著的差異。

在El-Bendary 等人中(2013)，作者將跌倒的類型分為三個基本類別，即向前、橫向和向後。普特拉等人(2017)分為更廣泛的類別，即向前、向後、左側、右側、盲前和盲後，在Chen 等人的研究中。(2018)跌倒被分為更具體的類別，包括左側跌倒在地板上，左側跌倒並從地板上坐起來，右側跌倒並躺在地板上，側向跌倒和左側從地板上坐起來，向前跌倒和躺在地板上，向後倒下，躺在地板上。

除了跌倒的方向之外，另一個重要方面是跌倒的持續時間，這可能受年齡、健康和身體狀況，以及個人所從事活動，任何後果的影響。老年人在日常生活中由於運動速度慢，跌倒的持續時間可能會更長。例如，在昏厥或與胸痛相關的發作中，老年人可能會在躺在地板上之前嘗試靠牆休息。在其他情況下，例如由於障礙物或危險環境（例如，傾斜或不平坦的人行道或表面）而受傷，老年人可能會突然跌倒。受試者的年齡和性別也在跌倒的運動學中發揮作用。

在調查的大部分跌倒檢測工作中，沒有考慮不同類型跌倒的特徵。在迄今為止的大多數論文中，數據集通常包含由年輕健康的志願者模擬的跌倒，並沒有涵蓋上述所有類型的跌倒。因此，從這些研究中得到的模型，不會導致模型在實際環境中泛化得足夠好。

2.2. 回顧以往的調查論文

有各種評論論文從不同方面，介紹了跌倒檢測的發展。由於智慧感測器和相關分析方法的快速發展，有必要經常重新說明趨勢和發展。我們根據 Google Scholar 和 Web of Science 選擇了 2014 年至 2020 年，引用率最高的綜述論文，並在下面進行了討論。這些精選的評論論文，展示了該領域的趨勢、挑戰和發展。還涵蓋了 2014 年之前的其他重要評論論文，以便為早期工作提供足夠的背景。

喬杜里等人(2014)從背景、目標、數據來源、資格標準和干預方法等多個角度，對不同年齡人群（不包括兒童）的跌倒檢測設備，進行了系統評價。100 多篇論文被選中和審查。選定的論文根據不同的標準分為幾組，例如受試者的年齡、評估方法和檢測系統中使用的設備。他們指出，大多數研究都是基於合成數據。儘管模擬數據可能與真實跌倒具有共同特徵，但基於此類數據訓練的系統，無法達到使用真實數據的系統的可靠性。

在另一項調查中，張等人(2015)專注於基於視覺的跌倒檢測系統，及其相關基準數據集，其他評論中未討論過。基於視覺的跌倒檢測方法分為四類，即單獨的單 RGB 攝影機、紅外線攝影機、深度攝影機和使用鏡頭陣列的基於 3D 的方法。自從微軟 Kinect 等深度攝影機問世以來，RGB-D 攝影機的跌倒檢測，由於價格低廉且易於安裝而得到了廣泛而徹底的研究。使用校準攝影機陣列的系統，也有顯著的應用。由於此類系統依賴於位於不同視點的多個攝影機，因此與遮擋相關的挑戰通常會大幅減少，從而降低誤報率。張等人(2015)還回顧了不同類型的跌倒檢測方法，這些方法依賴於受試者的活動/不活動、形狀（寬高比）和運動。雖然該評論全面概述了基於視覺的系統，但它缺乏對依賴非視覺感測器（如可穿戴和環境感測器）的其他跌倒檢測系統的說明。

除了對深度攝影機的特別興趣之外，Cai 等人。(2017)回顧了 Microsoft Kinect 和類似攝影機獲取的基準數據集。他們審查了 46 個公共 RGB-D 數據集，其中 20 個被高度使用和引用。他們比較並強調了所有數據集在某些應用的適用性方面的特徵。因此，該論文對於正在尋找基準數據集，以評估新方法或新應用的科學家是有益的。

基於Chen 等人提供的評論。(2017a) 中，單個深度攝影機和慣性感測器，似乎分別是基於視覺和非基於視覺的系統中最重要的方法。在他們的評論中，作者得出結論，兩種類型感測器的融合導致系統，比依賴一種類型的感測器的系統更強大。

電子產品的持續快速發展，導致了更小型和更便宜的電子產品。例如，Igual 等人的調查。(2013)指出，嵌入在智慧手機中的低成本攝影機和加速度計，可能為跌倒檢測調查提供最明智的技術選擇。伊瓜爾等人。(2013)確定了該領域研究進展的兩個主要趨勢，即使用視覺和基於智慧手機的感測器提供輸入，以及使用機器學習進行數據分析。此外，他們報告了以下三個主要挑戰：(i) 實際佈署性能，(ii) 可用性，以及 (iii) 接受度。可用性是指老年人發現給定係統的實用性。由於一些感測器的隱私和侵入性問題，老年人對生活在感測器監控的環境中的接受度較低。他們還指出了一些需要考慮的問題，例如智慧手機的局限性（例如，人們可能不會一直隨身攜帶智慧手機）、隱私問題，以及缺乏真實跌倒的基準數據集。

上面提到的調查論文，主要關注可用於跌倒檢測的不同類型的感測器。據我們所知，沒有文獻調查在數據採集、數據分析、數據傳輸和儲存、感測器網路和物聯網 (IoT) 平台以及安全性方面對跌倒檢測系統進行全面審查和隱私，這在此類系統的佈署中非常重要。

2.3. 開創性論文的主要成果

為了說明跌倒檢測發展的時間表，在本節中，我們將重點介紹關鍵和開創性的論文。透過使用 web of science 對論文進行手動過濾，可以找到該領域的引領潮流和高被引論文。透過使用 citespace 分析檢索到的文章，人們可以發現跌倒檢測研究最早出現在 1990 年代，從Lord 和 Colvin (1991)以及Williams 等人的工作開始。(1998)。嵌入徽章的微型加速度計和微型電腦晶片用於檢測跌倒（Lord 和 Colvin，1991 年），而Williams 等人 (1998)應用了壓電震動感測器，和水銀傾斜開關來監測身體的方向以檢測跌倒。起初，大多數研究都是基於加速度計，包括Bourke 等人的工作(2007)。在他們的工作中，他們比較了軀幹和大腿中，哪一個提供了安裝感測器的最佳位置。他們的結果顯示，與大腿相比，人的軀幹是一個更好的位置，並且他們通過位於軀幹中的感測器，以特定閾值（臨界值）實現了 100% 的特異性。這種方法在當時是最先進的，這無疑支持它成為該領域引用率最高的論文。

當時的趨勢是使用單個感測器進行檢測，其中 Bourke 和 Lyons (2008) 的另一篇重要論文，建議透過使用單個陀螺儀來探索手頭的問題，該陀螺儀測量三個變量，即角速度、角加速度和受試者軀幹角度的變化。如果特定實例中，這三個變量的值高於某些憑經驗確定的閾值，則該實例被標記為跌倒。設置了三個閾值來區分跌倒和非跌倒。當被試的角速度大於跌倒閾值，且被試的角加速度大於第二跌倒閾值，且被試軀幹角的變化大於第三跌倒閾值時，檢測到跌倒。

他們報告了一個數據集的準確率是 100%，只有四種跌倒和 480 次由年輕志願者模擬的動作。然而，對於那些分類器，Tsinganos 和 Skodras，2018 年）。後來，李等人(2009) 研究了陀螺儀和加速度計數據的融合，用於分類跌倒和非跌倒。在他們的工作中，他們展示了基於融合的方法如何產生更強大的分類。例如，它可以更準確地將跌倒與某些類似跌倒的活動區分開來，例如快速坐下和跳躍，而使用單個加速度計很難檢測到這些活動。這項工作激發了對感測器融合的進一步研究。這兩種類型的感測器現在可以在所有智慧手機中找到（Zhang et al., 2006 ; Dai et al., 2010 ; Abbate et al., 2012）。

除了上面提到的兩種非視覺感測器之外，基於視覺的感測器（例如監控攝影機）和基於環境的感測器開始成為一種有吸引力的替代方案。魯吉爾等人(2011b) 提出了一種形狀匹配技術，來透過影像序列追踪一個人的輪廓。然後基於形狀分析方法從輪廓量化人體形狀的變形。

最後，使用高斯混合模型，將跌倒與正常活動分類。在監控攝影機之後，深度攝影機也引起了該領域的廣泛關注。最早應用飛行時間（TOF）深度攝影機的研究，是在 2010 年由 Diraco 等人進行的(2010).他們提出了一種基於視覺感測器的新方法，不需要地標、校準模式或用戶干預。然而，ToF 攝影機價格昂貴且圖像解析度低。此後，Kinect 深度攝影機於 2011 年由 Rougier等人首次使用，從深度資訊中提取，人體質心高度和身體速度，這兩個特徵。應用基於簡單閾值的算法來檢測跌倒，總體成功率達到 98.7%。

在微軟推出 Kinect 之後，研究發生了從加速度計到深度攝影機的巨大轉變。加速度計和深度攝影機已成為最受歡迎的單獨和組合感測器（Li et al., 2018）。與單獨使用感測器相比，這兩個感測器的組合實現了顯著的改進。

2.4. 文獻檢索策略

我們使用兩個數據庫，即 Web of Science 和 Google Scholar，來搜索相關文獻。由於最近取得了足夠快的進步，搜索包括過去 6 年（自 2014 年以來）發表的文章。我們還考慮了所有關於跌倒檢測主題的調查論文。此外，我們還介紹了本文中使用的所有相關基準數據集。

對於關鍵字「跌倒檢測」，自 2014 年以來，上述兩個數據庫分別找到了 4,024 和 575,000 篇文章。為了將搜索範圍縮小到更相關的文章，我們編制了一份最常用的關鍵字列表。報告見表1。

表格1

表1。跌倒檢測主題中最常用的關鍵字。

我們使用上面確定的關鍵字，來生成表2 中列出的查詢，以便使搜索更具體地針對我們感興趣的三類感測器。對於檢索到的文章，我們討論他們的貢獻，只保留那些真正與我們的調查論文相關。例如，關注跌倒後康復和跌倒原因等的文章，會被手動過濾掉。這個過程如圖3 所示，最終總共有 87 篇文章，其中 13 篇描述了基準數據集。

表2

表2。Google Scholar 和 Web of Science 中針對三種類型的感測器和感測器融合使用的搜索查詢。

圖 3

圖3。文獻檢索策略的說明。表 2 中基於可穿戴設備的查詢返回 28 篇文章。基於視覺和環境的查詢返回 31 篇文章，感測器融合查詢返回 28 篇文章。

3. 跌倒檢測系統中涉及的硬體和軟體組件

跌倒檢測的大部分研究，共享一個相似的系統架構，可以分為四層，即生理感知層（PSL）、本地通信層（LCL）、資訊處理層（IPL）和用戶應用層（UAL），正如Ray (2014)所建議和圖 4 所示。

圖 4

圖4。通常存在於跌倒檢測系統架構中的主要組件包括圖示的四層序列。數據在生理傳感層採集，通過本地通信層傳輸，然後在信息處理層進行分析，最後在用戶應用層呈現結果。

PSL 是包含各種（智慧）感測器的基礎層，用於從被監控的人那裡，收集生理和環境數據。現在最常用的感測器包括感應加速度的加速度計、檢測角速度的陀螺儀和感應方向的磁力計。影像監控攝影機提供了，一種更傳統的感知人類活動的方式，也經常使用，但安裝在特定位置，通常具有固定的視野。關於 PSL 的更多細節在 4.1 和 5.1 節中討論。

下一層，即 LCL，負責將感測器信號發送到上層，進行進一步處理和分析。這一層可能有無線和有線傳輸方法，連接到本地計算設施或雲計算平台。LCL 通常採用一種（或可能多種）通信協議的形式，包括無線媒體，如蜂窩、Zigbee、藍牙、WiFi，甚至有線連接。我們在 4.2 和 5.2 節中提供了有關 LCL 的更多詳細資訊。

IPL 是該系統的關鍵組件。它包括硬體和軟體組件，例如微控制器，用於分析數據並將數據從 PSL 傳輸到更高層。在軟體組件方面，4.3、5.3 和 8.1 節討論了不同類型的算法，例如閾值、傳統機器學習、深度學習和深度強化學習。

最後，UAL 涉及幫助用戶的應用。例如，如果在 IPL 中檢測到跌倒，則可以首先向用戶發送通知，如果用戶確認跌倒或沒有回答，則會向最近的緊急護理人員發送警報，他們預計會立即採取行動。還有許多其他產品，如 Shimmer 和 AlertOne，它們已作為商業應用部署給用戶。我們還在第 7 節中說明了其他不同類型的應用。

4. 使用單個感測器進行跌倒檢測

4.1. 單個感測器的生理感測層 (PSL)

如上所述，跌倒檢測研究應用單個感測器或多個感測器的融合。收集數據的方法通常分為四大類，即個人可穿戴感測器、個人視覺感測器、個人環境感測器和感測器網路的數據融合。雖然一些文獻將視覺和環境感測器歸為一組，但我們在本調查論文中，將它們視為兩個不同的類別，因為隨著深度攝影機 (RGBD) 的出現，視覺感測器作為一種檢測方法變得更加突出，例如 Kinect。

4.1.1. 個人可穿戴感測器

跌倒可能會導致人體的關鍵生理變化，這提供了檢測跌倒的標準。透過使用加速度計、陀螺儀、血糖儀、壓力感測器、ECG（心電圖）、EEG（腦電圖）或 EOG（肌電圖）測量各種與人體相關的屬性，人們可以檢測到受試者的異常情況。由於行動性、便攜性、低成本和可用性等優點，可穿戴設備被認為，是跌倒檢測的關鍵感測器類型之一，並得到了廣泛的研究。已經進行了大量研究來研究可穿戴設備，這被認為是研究跌倒檢測和預測的一個有前途的方向。

根據我們的搜索標準和過濾策略（表 1、表 2），選擇並描述了 28 項研究，包括 8 篇針對公共數據集的論文，側重於個人可穿戴設備的跌倒檢測，以說明過去跌倒檢測的趨勢和挑戰 6 年。與 2014 年之前的研究相比，基於過去 6 年的文獻可以得出一些結論。從表 3 中，我們注意到應用加速度計的研究佔該領域研究的很大一部分。據我們所知，只有 Xi 等人。(2017)部署了肌電圖來檢測跌倒，20 篇論文中有 19 篇應用了加速度計來檢測跌倒。儘管所使用的設備（例如 Shimmer 節點、智慧手機和智慧手錶）通常包含陀螺儀和磁力計等其他感測器，但這些感測器並未用於檢測跌倒。伯克等人(2007)還發現，加速度計被認為是最受歡迎的跌倒檢測感測器，主要是因為其成本低廉、安裝方便和性能相對較好。

表3

表3。2014 年至 2020 年使用個人可穿戴設備進行跌倒檢測。

儘管智慧手機在研究跌倒方面受到關注，但使用它們的系統的底層感測器仍然是加速度計和陀螺儀（Shi et al., 2016 ; Islam et al., 2017 ; Medrano et al., 2017 ; Chen et al., 2018）。用戶更有可能整天攜帶智慧手機，而不是額外的可穿戴設備，因此智慧手機對於最終的現實世界佈署很有用（Zhang et al., 2006 ; Dai et al., 2010）。

4.1.2. 個人視覺感測器

基於視覺的檢測，是另一種突出的方法。在這個方向上的廣泛努力已經得到證明，其中一些（Akagündüz 等人，2017 年；Ko 等人，2018 年；Shojaei-Hashemi 等人，2018 年）表現出有希望的表現。儘管大多數攝機，不像可穿戴設備那樣便攜，但它們提供了其他優勢，根據場景將它們視為不錯的選擇。大多數靜態 RGB 攝影機都沒有干擾性和有線連接，因此無需擔心電池限制。已經證明了基於視覺的方法的可行性的工作已經被證明，它利用了紅外線攝影機（Mastorakis 和 Makris，2014 年）、RGB 攝影機（Charfi 等人，2012 年）和 RGB-D 深度攝影機（蔡等人，2017 年）。基於視覺的檢測的一項主要挑戰，是由於攝影機可以捕獲的細節級別（例如個人資訊、外觀和生活環境的視覺效果），而可能侵犯隱私。

除了我們在表 4 中報告的資訊之外，我們注意到 RGB、深度和紅外線攝影機是使用的三個主要視覺感測器。此外，值得注意的是 RGB-D 攝影機 (Kinect) 是最受歡迎的基於視覺的感測器之一，因為 22 項研究中有 12 項，在他們的工作中應用了它。其他 10 項研究中有 9 項，使用 RGB 攝影機，包括內置於智慧手機、網路攝影機和單目攝影機，而其餘研究則使用 Kinect 內的紅外線攝影機進行實驗。

表 4

表4。從 2014 年到 2020 年使用基於個人視覺的設備進行跌倒檢測。

在 2004 年之前進行的，基於視覺的跌倒檢測研究中，靜態 RGB 攝影機是使用最廣泛的感測器，儘管基於 RGB 攝影機的檢測系統的準確度因環境條件（例如光照變化）而有很大差異 —— 這通常會導致夜晚。此外，RGB 攝影機本身俱有較高的誤報率，因為一些故意的動作，例如躺在地板上、睡覺或突然坐下，不容易被 RGB 攝影機捕獲的幀區分開來。隨著由 RGB 攝影機、深度感測器和多陣列麥克風組成的 Microsoft Kinect 的推出，它激發了 3D 數據收集和分析的趨勢，導致從 RGB 到 RGB-D 攝影機的轉變。徐等人，2018 年）。

在過去的幾年裡，我們看到人們對使用可穿戴相機，檢測跌倒的興趣越來越大。例如，Ozcan 和 Velipasalar (2016)試圖利用智慧手機上的攝影機。智慧手機被連接到受試者的腰部，他們的內置攝影機用於記錄視覺數據。奧茲坎等人(2017)調查了連接到受試者腰部的網路攝影機（例如 Microsoft LifeCam）如何有助於跌倒檢測。雖然這兩種方法在實際應用中，都還沒有實際佈署，但它們展示了一個新的方向，它結合了可穿戴和視覺感測器的優點。

表 4 報告了針對單個基於視覺的感測器進行的工作。大多數研究仍然使用模擬數據。只有兩項研究使用了真實世界的數據；Boulard 等人的那個。(2014)有實際跌倒數據，而 Stone 和 Skubic (2015)的另一個數據則是混合數據，包括 9 次真實跌倒和 445 次由訓練有素的特技演員模擬跌倒。與 Klenk 等人的工作中的真實數據集相反。(2016)透過可穿戴設備收集，在現實生活場景中，使用單個視覺感測器收集的純真實數據集很少。

4.1.3. 個人環境感測器

環境感測器，提供了另一種非侵入式跌倒檢測方式。主動紅外、RFID、壓力、智慧瓷磚、磁開關、多普勒雷達、超音波和麥克風等感測器，用於檢測因跌落而引起的環境變化，如表5 所示。它為該領域提供了一個創新方向，即被動和普適檢測。超音波感測器網路系統，是跌倒檢測系統中最早的解決方案之一。

霍里等人(2004)認為，可以透過在老年人居住的空間中，放置一系列空間分佈的感測器來檢測跌倒。在王等人(2017a , b)，提出了一種使用環境感測器的新跌倒檢測方法。它依賴於 Wi-Fi，由於其非侵入性和無處不在的特性，它越來越受歡迎。然而，Wang 等人的研究。(2017a , b ) 在多人檢測方面受到限制，因為他們的分類器不夠穩健，無法區分新的主題和環境。

為了解決這個問題，其他研究開發了更複雜的方法。其中包括 Aryokee（Tian 等人，2018 年）和 FallDeFi（Palipana 等人，2018 年) 系統。Aryokee 系統無處不在，無源，並使用射頻感應方法。超過 140 人參與在不同環境中進行 40 種活動以收集數據，並利用卷積神經網路對跌倒進行分類。帕利帕納等人(2018)開發了一種名為 FallDeFi 的跌倒檢測技術，該技術基於 WiFi 信號作為使能感測技術。他們提供了一個應用 WiFi 信道狀態資訊 (CSI) 時頻的系統，並達到了 93% 以上的平均準確率。

表5

表5。2014 年至 2020 年使用單個環境設備的跌倒檢測。

RF 感測技術還廣泛應用於，跌倒檢測之外的其他辨識活動（Zhao 等人，2018 年；Zhang 等人，2019 年），甚至用於細微運動。趙等人(2018)研究了多人的人體姿勢估計。他們的實驗表明，RF-pose 在遮擋下具有更好的性能。這種改進歸因於他們的方法能夠透過牆壁估計對象的姿勢，這是視覺感測器無法做到的。Niu 等人對 RF 感測進行了進一步研究。(2018)應用於手指手勢辨識、人體呼吸和下巴運動。他們的研究有可能用於自主健康監測，和家用電器控制的應用。此外，張等人(2019)在提議的系統 WiDIGR 中，使用了射頻感測方法進行步態辨識。郭等人(2019)聲稱， RF 感測引起了更多關注，這可歸因於用戶無需設備，並且與 RGB 攝影機相比，它可以在低光照條件和遮擋下工作。

4.1.4. 科目

對於大多數研究小組來說，沒有足夠的時間和資金在幾年內，連續收集數據來研究跌倒檢測。由於跌倒檢測和預測中真實數據的稀有性，Li 等人(2013)已經開始聘請特技演員，來模擬不同類型的摔倒。Bourke 等人的研究顯示，還有許多由年輕健康學生模擬的跌倒數據集。(2007)和馬等人(2014) 出於顯而易見的原因，老年受試者不能參與執行跌倒運動，以收集數據。

對於大多數現有的數據集，跌倒是由年輕的志願者，在地面軟墊的保護下進行軟跌倒的模擬。然而，由於對身體速度的控制較少，老年受試者通常具有完全不同的行為。一種潛在的解決方案，可能包括使用物理引擎（例如 OpenSim）創建的模擬數據集。先前的研究（Mastorakis 等人，2007 年，2018 年）顯示，來自 OpenSim 的模擬數據，有助於提高結果模型的性能。另一種解決方案包括在線學習算法，該算法適用於未在訓練數據中表示的主題。例如，鄧等人(2014) 應用了遷移學習簡化內核極限學習機 (RKELM) 方法，並展示了他們如何將訓練有素的分類器（基於年輕志願者收集的數據集）應用於老年人。該算法由離線分類建模，和在線上更新建模兩部分組成，用於適應新的學科。模型經過標記的訓練數據離線訓練後，將未標記的測試樣本送入預訓練的 RKELM 分類器，獲得置信度分數。獲得

高於某個閾值的置信度分數的樣本，用於更新模型。這樣，當從新受試者接收到新樣本時，模型能夠逐漸適應新受試者。難波和山田 (2018a , b) 展示瞭如何將深度強化學習應用於輔助行動機器人，以適應訓練集中不存在的條件。

4.2. 單個感測器的本地通信層 (LCL)

有兩個組件，與此類系統內的通信有關。首先，從不同智慧感測器收集的數據，被發送到本地計算設施或遠端雲計算。然後，在這些計算平台做出最終決定後，將指令和警報發送給指定的護理人員，以獲取即時幫助（El-Bendary 等，2013）。

數據通信的協議，分為無線和有線傳輸兩大類。對於前者，傳輸協議包括 Zigbee、藍牙、Wifi、WiMax 和蜂窩網路。

大多數使用單個可穿戴感測器的研究，都佈署了市售的可穿戴設備。在這些情況下，數據是透過可穿戴產品中，內置的傳輸模組，使用藍牙和蜂窩網路等媒介進行通信的。與使用可穿戴設備的檢測系統相比，大多數基於靜態視覺和環境的研究，透過有線連接連接到智慧 Gateway。這些方法通常用作靜態檢測方法，因此有線連接是更好的選擇。

4.3. 單個感測器的資訊處理層 (IPL)

4.3.1. 使用基於閾值和數據驅動的算法進行檢測

基於閾值和數據驅動的算法（包括機器學習和深度學習）是用於跌倒檢測的兩種主要方法。基於閾值的方法通常用於來自單個感測器的數據，例如加速度計、陀螺儀和肌電圖。他們的決定是透過將相關感測器的測量值，與經驗確定的閾值，進行比較來做出的。數據驅動的方法更適用於傳感器融合，因為它們可以從所有相關感測器的數據中，學習非平凡的非線性關係。

在用於分析使用可穿戴設備收集的數據的算法方面，圖 5 顯示與 1998 年至 2012 年之間，進行的工作相比，基於機器學習的方法發生了重大轉變。從 1998 年至 2012 年期間提交的論文中，基於閾值的方法佔 71%，而只有 4% 應用了基於機器學習的方法（施維克特等人，2013 年）。我們認為這種轉變主要有兩個原因。首先，廉價感測器的快速發展，和物聯網的興起，使得在不同應用中更容易地佈署多個感測器成為可能。

如上所述，多個感測器的非線性融合，可以透過機器學習方法很好地建模。其次，隨著深度學習的突破，基於閾值的方法，變得更加不可取。此外，已經探索了不同類型的機器學習方法，即貝葉斯網路、基於規則的系統、基於最近鄰的技術和神經網路。這些數據驅動的方法 ( Gharghan et al., 2018) 顯示出更好的準確性，並且與基於閾值的方法相比，它們更穩健。值得注意的是，數據驅動的方法比基於閾值的方法，更需要資源。然而，隨著技術的不斷進步，這不是一個主要問題，我們預計將在這個方向上，投入更多的努力。

圖 5

圖5。根據Schwickert 等人的調查，在 1998-2012 年期間使用單個可穿戴感測器在跌倒檢測中使用的不同類型的方法。（2013 年）和 2014-2020 年期間基於我們的調查。「其他」一詞是指既不基於閾值也不基於機器學習的傳統方法，“N/A”一詞代表不可用，是指方法沒有明確定義的研究。

4.3.2. 使用深度學習進行檢測

傳統的機器學習方法，確定從原始訓練數據中提取的手工特徵，與相應的輸出標籤（例如，不跌倒或跌倒，以保持簡單）之間的映射函數。手工特徵的提取需要領域專業知識，因此僅限於領域專家的知識。儘管存在這樣的限制，但文獻顯示，基於支持向量機、隱馬爾可夫模型，和決策樹的傳統機器學習，在使用個人可穿戴非視覺或環境感測器（例如，加速度計）（Wang 等人，2017a，b；Chen 等人，2018 年；Saleh 和 Jeannès，2019 年；Wu 等人，2019 年）。
對於視覺感測器，趨勢是向卷積神經網路 (CNN)（Adhikari 等人，2017 年；Kong 等人，2019 年；Han 等人，2020 年）或 LSTM（Shojaei-Hashemi 等人）的深度學習發展。，2018 年）。深度學習是一個複雜的學習框架，除了映射函數（如上所述並在傳統機器學習中使用）之外，它還學習表徵相關類（例如，跌倒和不跌倒）的特徵（以層次結構的方式）。這種方法的靈感來自哺乳動物大腦的視覺系統 ( LeCun et al., 2015）。在將圖像或影像作為輸入的電腦視覺應用中，深度學習已成為最先進的技術。在這方面，與其他電腦視覺應用類似，依賴視覺數據的跌倒檢測方法，近年來已經從傳統的機器學習轉向深度學習。

4.3.3. 即時和警報

即時性是跌倒檢測系統的一個關鍵特性，尤其是對於商業產品。考慮到某些跌倒可能是致命的或對健康有害，佈署的跌倒檢測系統必須具有高計算效率，最好是（近）即時運行，這一點非常重要。下面，我們評論審查文獻中，提出的方法如何適合這方面。

應用靜態視覺感測器，即時檢測的研究百分比低於可穿戴設備。對於使用可穿戴設備的研究，表 3 說明了我們審查的 20 項研究中有 6 項，可以檢測跌倒並發出警報。然而，很少有研究證明使用單個視覺感測器進行的工作，能夠即時處理數據和發送警報。基於表 4，人們可以注意到，儘管 40.9%（22 個中的 9 個）聲稱他們的系統可以即時使用，但只有一項研究顯示，警報實際上可以即時發送。以下是無法即時使用較高比例的基於視覺的系統的幾個原因。首先，視覺數據要大得多，因此其處理，比來自非基於視覺的可穿戴設備的一維信號更耗時。其次，大部分使用視覺感測器的工作，都是透過離線方式進行的，沒有涉及數據傳輸等模組。

4.3.3.1. 小結

• 對於基於單感測器的跌倒檢測系統，大多數研究使用的數據集，包括年輕健康志願者的模擬跌倒。需要進一步的工作來確定這種模擬跌倒，是否可以用於檢測老年人真正的跌倒。

• 跌倒檢測系統中使用的感測器類型，在過去 6 年中發生了變化。對於單個可穿戴感測器，加速度計仍然是最常佈署的感測器。基於靜態視覺的設備，從 RGB 轉變為 RGB-D 攝影機。

• 數據驅動的機器學習和深度學習方法，越來越受歡迎，尤其是在基於視覺的系統中。然而，就計算資源而言，此類技術可能比基於閾值的對應技術更重。

• 大多數提議的方法，尤其是那些依賴基於視覺的感測器的方法，由於無法即時運行，因此在離線模式下工作。雖然這些方法在檢測方面可能是有效的，但它們的實際用途是有爭議的，因為響應時間非常重要。

5. 感測器網路的感測器融合

5.1. 使用感測器融合的生理感測層 (PSL)

5.1.1. 感測器網路中佈署的感測器

在感測器融合方面，有兩類，通常稱為同構和異構，它們從三種類型的感測器獲取輸入，即可穿戴感測器、視覺感測器、環境感測器，如圖 6 所示。感測器融合涉及使用來自各種設備，多種不同的信號，例如可能包括加速度計、陀螺儀、磁力計和視覺感測器等。這一切都是為了補充所有設備的優勢，以設計和開發更強大的算法，這些算法可用於監測受試者的健康狀況和檢測跌倒（Spasova 等人，2016 年；Ma 等人，2019 年）。

圖 6

圖6。不同類型的單個感測器和感測器網路，包括基於視覺的、可穿戴的和環境感測器，以及感測器融合。

對於基於視覺檢測的方法，已經研究了來自 RGB（Charfi 等人，2012 年）和 RGB-D 深度攝影機機，以及攝影機陣列的信號的融合（Zhang 等人，2014 年）。他們顯示，這種融合提供了更多檢測位置的視角，並透過減少由於遮擋跌倒引起的誤報，來提高穩定性和加強性（Auvinet et al., 2011）。

李等人(2018)結合了來自智慧手機的加速度計數據和 Kinect 深度數據，以及智慧手機相機信號。劉等人(2014) 和 Yazar 等人。(2014)融合來自紅外線感測器和環境感測器的數據，以及分別來自多普勒和振動感測器的數據。其中，加速度計和深度攝影機（Kinect）因其低成本和有效性而最常被研究。

5.1.2. 感測器網路平台

大多數現有的物聯網平台，例如 Microsoft Azure IoT、IBM Watson IoT Platform 和 Google Cloud Platform，尚未用於透過感測器融合，佈署跌倒檢測方法。通常，使用感測器融合進行跌倒檢測的研究，是透過離線方法和決策融合方法進行的。因此，在此類研究中，不需要數據傳輸和儲存模組。從表 6、7中還可以看出，研究人員大部分時間都使用自己的工作站或個人電腦作為平台，因為在離線狀態下，跌倒檢測方面不需要感測器和即時分析的整合。線模式。

表 6

表6。從 2014 年到 2020 年透過融合可穿戴感測器進行跌倒檢測。

表 7

表7。從 2014 年到 2020 年使用融合感測器網路的跌倒檢測。

部分作品，如Kwolek and Kepski (2014)、Kepski and Kwolek (2014)、Kwolek and Kepski (2016)，應用了運行在 Linux 上的低功耗單板電腦開發平台，即 PandaBoard、PandaBoard ES 和 A13-OlinuXino。A13-OlinuXino 是一個基於 ARM 的單板電腦開發平台，運行 Debian Linux 發行版。PandaBoard ES 是 PandaBoard 的更新版本，是一個運行在 Linux 上的單板電腦開發平台。PandaBoard ES 可以運行多種基於 Linux 的操作系統，包括 Android 和 Ubuntu。它包括 1 GB 的 DDR2 SDRAM、雙 USB 2.0 介面，以及有線 10/100 乙太網，以及無線乙太網和藍牙連接。Linux 以即時嵌入式平台而聞名，因為它提供了各種靈活的進程間通信方法，非常適合使用感測器融合進行跌倒檢測。

在 Kwolek 和 Kepski (2014 , 2016) 的研究中，可穿戴設備和 Kinect 分別透過藍牙和電纜連接到 Pandaboard。首先，數據由加速度計和 Kinect 感測器分別收集，然後傳輸並儲存在記憶卡中。數據傳輸過程是異步的，因為加速度計和 Kinect 的採樣率不同。最後，所有數據都被分組在一起，並由檢測到跌倒的分類模型進行處理。作者報告了高準確率，但無法與其他方法進行比較，因為沒有基準數據集。

斯帕索娃等人(2016)應用 A13-OlinuXino 板作為他們的平台。一個標準的網路攝影機透過 USB 連接到它，一個紅外線攝影機，透過 I2C（內部整合電路）連接到開發板。他們的實驗以超過 97% 的靈敏度和特異性，實現了出色的性能。他們聲稱他們的系統，可以透過低成本和開源軟體平台的硬體即時應用。

儘管有上面提到的可用平台，但大多數跌倒檢測研究，在離線模式下使用個人電腦上的單個感測器訓練他們的模型。在研究中授予Kwolek和Kepski（2014），Kepski授予Kwolek和（2014），授予Kwolek和Kepski（2016），和 Spasova等(2016)，在他們的實驗中利用單板電腦平台，來證明他們方法的有效性。可擴展性和效率的關鍵方面沒有得到解決，因此很難推測他們的方法，在實際應用中的適用性。我們認為未來的趨勢是應用跨學科的方法，將數據分析模組，佈署在成熟的雲平台上，在滿足商業應用爆炸式成長的同時，提供穩定和健壯的環境。

5.1.3. 主題和數據集

儘管一些團體致力於獲取真正跌倒的數據，但大多數研究人員使用的數據包含模擬跌倒。我們知道，監測老年人的生活，並等待捕捉真正的跌倒，是非常敏感和耗時的。儘管如此，關於可穿戴設備的感測器融合，已經有一些嘗試嘗試在現實生活中，建構真實數據的數據集。FARSEEING（用於設計智慧和自適應環境延長獨立生活的秋季存儲存庫）就是這樣的數據集（Klenk 等人，2016 年））。它實際上是現實生活中最大的真實跌倒數據集，可應要求在其網站上，向公眾開放研究。2012 年至 2015 年，2000 餘名志願者參與，六家機構合作共收集 300 餘個真實跌落3 .

至於視覺感測器的融合，和其他非穿戴式感測器的結合，在現實生活中獲取真實數據變得相當困難。有一組試圖透過視覺感測器收集真實數據，但在幾年內僅捕獲了9 次老年人的真實跌倒（Demiris et al., 2008）。只有九次跌倒的可用性太有限，無法訓練一個有意義的模型。作為替代方案，Stone 和 Skubic (2015)聘請了訓練有素的特技演員，來模擬不同類型的跌倒，並製作了一個包含 454 次跌倒的基準數據集，其中包括 9 次老年人的真實跌倒。

5.2. 使用感測器融合的本地通信層 (LCL)

使用感測器網路進行跌倒檢測的數據傳輸，可以透過不同的方式完成。特別是藍牙（Pierleoni et al., 2015 ; Yang et al., 2016）、Wi-Fi、ZigBee（Hsieh et al., 2014）、使用智慧手機的蜂窩網路（Chen et al., 2018）和智慧手錶( Kao et al., 2017 )，以及有線連接都已被探索。在使用可穿戴設備的研究中，大多數使用無線方法，例如藍牙，允許受試者不受限制地移動。

目前，在無線感測器方面，藍牙可能已經成為最流行的通信協議，廣泛應用於現有的商用可穿戴產品，如Shimmer。在Yang 等人的工作中(2016)，數據透過內置在名為 Shimmer 2R，商用可穿戴設備中的藍牙模組，即時傳輸到筆電。採樣幀率可以自定義，他們選擇使用 32-Hz 採樣率，而不是默認的 51.2-Hz 採樣率。在高採樣頻率下，可能會發生數據包丟失，更高的採樣率也意味著更高的能耗。藍牙也被用於在非商業，可穿戴設備中傳輸數據。

例如，Pierleoni 等人。(2015)客製了一個無線感測器節點，其中感測器模組、微控制器、藍牙模組、電池、大容量儲存單元和無線接收器整合在尺寸為 70-45-30 毫米的原型設備中。在 Hsieh 等人的工作中使用 Zigbee 傳輸數據(2014)。在表 8 中，我們比較了不同種類的無線通信協議。

表 8

表8。不同類型通信協議的比較。

對於使用基於視覺和基於環境的方法，進行數據傳輸，通常首選有線選項。在Spasova 等人的工作中。(2016)，標準網路攝影機透過 USB，連接到 A13-OlinuXino 板，紅外線攝影機透過 I2C（內部整合電路）連接到開發板。數據和其他消息，透過網路在智慧 Gateway 內交換。

對於使用不同類型感測器的感測器融合，由於數據的多樣性，使用了無線和有線方法。在Kwolek 和 Kepski（2014 年，2016 年）的工作中，可穿戴設備和 Kinect 分別透過藍牙和電纜連接到 Pandaboard。Kinect 透過USB接口連接到 PC，智慧手機透過無線方式連接（Li et al., 2018）。這兩種類型的感測器，智慧手機和 Kinect，首先分別用於監視相同的事件，處理它們信號的底層方法，透過 Internet 將它們的輸出發送到 Netty 伺服器，在那裡使用另一種方法，將兩種方法的結果，融合到對所涉及的個人是否跌倒做出最終決定。

在 Kwolek 和 Kepski（2014 年，2016 年）的研究中，加速度計和 Kinect 攝影機透過藍牙和 USB，連接連接到熊貓板。然後，根據從兩個感測器收集的數據，做出最終決定。

5.3. 使用感測器融合的資訊處理層 (IPL)

5.3.1. 感測器融合方法

說到不同感測器的融合，有幾個標準來對它們進行分組。Yang and Yang (2006)和Tsinganos and Skodras (2018)，將它們分為三類，即直接數據融合、特徵融合和決策融合。我們將感測器融合技術分為四組，如圖 7 所示，我們將其稱為與部分感測器的融合、直接數據融合、特徵融合和決策融合。

圖 7

圖7。四種感測器融合方法包括部分融合、特徵融合、決策融合和數據融合。部分融合意味著佈署一個感測器子集來做出決策，而其他類型的融合技術使用所有傳感器作為輸入。

對於部分融合，雖然佈署了多個感測器，但只使用一個感測器來做出最終決定，例如Ma 等人的工作。(2019)。他們使用 RGB 和熱像儀進行實驗，熱像儀僅用於人臉定位。最終僅根據從常規 RGB 攝影機收集的數據檢測到跌倒。Spasova 等人應用了類似的方法(2016)，其中佈署了一個紅外線攝影機，來確認對象的存在，並使用 RGB 攝影機產生的數據，來檢測跌倒。還有其他作品使用可穿戴設備，在不同階段佈署感測器。例如，在 ( Kepski and Kwolek, 2014 ; Kwolek and Kepski, 2014) 使用三軸加速度計，和 RGB-D 攝影機，建構了跌倒檢測系統。加速度計被佈署，用來檢測對象的運動。如果測量信號超過給定閾值，則激活 Kinect 以捕獲正在進行的事件。

感測器融合的第二種方法，稱為特徵融合。在這種方法中，特徵提取發生在來自不同感測器的信號上。然後將所有特徵合併為長特徵向量，用於訓練分類模型。我們回顧的大多數研究，都將特徵融合應用於基於可穿戴設備的跌倒檢測系統。可穿戴設備的許多商業產品，加速度計、陀螺儀、磁力計等感測器，都內置在一個設備中。來自這些感測器的數據以相同頻率均勻同步，並透過內置無線模組傳輸。讓信號以同步頻率，產生數據簡化了數據的融合。統計特徵，如均值、最大值、標準差、相關性、譜熵、譜、和矢量幅度、楊等，2016；de Quadros 等人，2018 年；Gia 等人，2018 年）。

決策融合是第三種方法，其中使用分類器鏈來做出決策。一個典型的安排是有一個分類模型，從一種類型的感測器獲取輸入，另一個模型從另一個感測器獲取輸入，然後這兩個模型的輸出被用作第三個分類模型的輸入，該模型做出最終決定.李等人(2018)透過嵌入智慧手機和 Kinect 感測器的加速度計探索了這種方法。Ozcan 和 Velipasalar (2016)佈署了一個加速度計和一個 RGB 攝影機來檢測跌倒。在這些研究中，佈署了不同的感測器，例如加速度計、RGB 和 RGB-D 攝影機。根據各個感測器分別做出決策，然後透過組合各個感測器來實現最終決策。

最後一種方法是數據融合。這是通透首先融合來自不同感測器的數據，並從融合數據中提取特徵來實現的。這與特徵融合形成對比，特徵融合來自這些感測器的數據以相同頻率均勻同步。數據融合可以應用於，具有不同採樣頻率和數據特性的不同感測器。對於一些不同類型的感測器，來自各種感測器的數據可以直接同步和組合。由於 Kinect 攝影機和可穿戴感測器之間的採樣率不同，直接進行特徵融合具有挑戰性。為了減輕這個困難，Kinect 攝影機的傳輸和曝光時間，被調整為透過一個特殊的方式，將 RGB-D 數據與可穿戴感測器的數據同步。採集軟體，正如Gasparrini 等人所做的那樣。(2015)。

Ozcan 和 Velipasalar (2016)使用了部分融合和特徵融合。他們將程序分為兩個階段。在第一階段，僅使用加速度計來指示可能的跌倒，然後在加速度計標記出可能的跌倒後 Kinect 攝影機激活。然後提取來自 Kinect 攝影機和加速度計的特徵，以在第二階段對跌倒，或非跌倒活動進行分類。

5.3.2. 機器學習、深度學習和深度強化學習

在基於可穿戴感測器，融合的跌倒檢測技術方面，探索的方法包括基於閾值的、傳統的機器學習和深度學習。後兩者由於其穩健性而最受歡迎。透過研究 Chelli 和Pätzold（2019）應用傳統的學習機k近鄰，QSVM，合奏袋裝樹（EBT）和深度學習。他們的實驗分為兩部分，即活動辨識和跌倒檢測。對於前者，他們的實驗表明，傳統機器學習和深度學習優於其他方法，其準確率分別為 94.1% 和 93.2%。奎拉爾塔等人(2019) 應用了長短期記憶 (LSTM) 方法，其中包括加速度計、陀螺儀和磁力計，在內的可穿戴節點，嵌入到低功耗廣域網中，並結合了邊緣和霧計算。LSTM 算法是一種遞歸神經網路，目的在解決長序列學習任務。他們的系統實現了 95% 的平均召回率，同時提供了在雲平台上運行的跌倒檢測即時解決方案。另一個例子是 Nukala 等人的工作(2014)誰融合了加速度計和陀螺儀的測量值，並將人工神經網路 (ANN) 應用於跌倒檢測建模。

至於基於視覺感測器的融合技術，我們調查中包含的有限研究，應用了傳統機器學習或深度學習 ( Espinosa et al., 2019 ; Ma et al., 2019 ) 方法。Espinosa 等人提出了來自公共數據集的多個視覺感測器的融合(2019)，其中訓練了 2D CNN ，以對日常生活活動中的跌倒進行分類。

另一種方法是強化學習 (RL)，它是機器學習中一個不斷發展的分支，並且在跌倒檢測領域也越來越受歡迎。深度強化學習 (DRL) 結合了深度學習和強化學習的優點，並且已經在跌倒預防 ( Namba and Yamada, 2018a , b ; Yang, 2018 ) 和跌倒檢測 ( Yang, 2018 ) 中顯示出其優勢。難波和山田 (2018a)提出了一種透過輔助機器人為獨立生活的老人，預防跌倒風險的方法。收集了帶有事故位置資訊的圖像和電影。然而，當操作環境發生變化時，大多數傳統的機器學習和深度學習方法，都會受到挑戰。這是由於其數據驅動的性質，使他們能夠學習如何在大多數情況下在他們接受培訓的相同環境中變得健壯。

5.3.3. 數據儲存和分析

典型的數據儲存設備包括 SD 卡、整合設備上的本地儲存或云上的遠端儲存。例如，一些研究使用智慧手機中的攝影機和加速度計，並將數據儲存在智慧手機的本地儲存中（Ozcan 和 Velipasalar，2016；Shi 等，2016；Medrano 等，2017）。其他研究採用離線方法，並將數據儲存在自己的電腦中，可以在以後的階段進行處理。阿拉姆裡等人(2013) 認為感測器雲將成為未來的趨勢，因為雲平台可以比本地平台更開放、更靈活，本地平台的本地儲存和處理能力有限。

5.4. 感測器融合的用戶應用層 (UAL)

由於微型生物感測設備的快速發展，可穿戴傳感器和其他跌倒檢測模組，得到了蓬勃發展。可穿戴模組，例如 Shimmer，嵌入了感測器、通信協議和足夠的計算能力，可作為負擔得起的商業產品提供。例如，一些基於可穿戴設備的應用，已被應用於檢測跌倒和監測健康狀況。可穿戴設備的目標是佩戴和遺忘。以貼在身體表面的電子皮膚（e-skins）、基於衣服或基於附件的設備為例，只要接近就足夠了。

為了實現穿戴和遺忘的目標，人們在可穿戴系統的研究中付出了很多努力，例如 My Heart 項目（Habetha，2006)、可穿戴醫療保健系統 (WEALTHY) 項目（Paradiso 等人，2005 年）、衣服醫療遠端監控（MERMOTH）項目（Luprano，2006 年）以及Pandian 等人的項目。(2008)。一些可穿戴傳感器也是專門為解決跌倒檢測而開發的。澀谷等(2015)使用可穿戴無線步態感測器檢測跌倒。越來越多的研究工作使用現有的商用可穿戴產品，其中包括數據傳輸和檢測到跌倒時發送警報的功能。

5.4.1. 概括

• 由於採樣頻率和數據特性，感測器融合有兩大類。如表6、表 7所示，感測器融合研究分為同類別感測器融合（如可穿戴感測器融合、視覺感測器融合、環境感測器融合）和不同類別感測器的融合。

• 使用感測器網路進行跌倒檢測，研究的對象仍然是年輕健康的志願者，這與單個感測器類似。只有一項研究採用了模擬數據和真實數據的混合數據。

• 與基於視覺的方法相比，更多基於可穿戴設備的方法，嵌入到物聯網平台中，因為數據傳輸和儲存模組內置於現有的商業產品中。

• 對於不同類別感測器組合的研究，加速度計和 Kinect 相機的組合，是最流行的方法。

• 部分融合、數據融合、特徵融合和決策融合是感測器融合的四種主要方法。其中，特徵融合是最流行的方法，其次是決策融合。對於使用非視覺可穿戴感測器的融合，我們回顧的大多數研究都應用了特徵融合，而決策融合是最有吸引力的融合不同類別感測器的研究。

6. 安全和隱私

由於自主監控系統生成的數據，對安全和隱私敏感，因此迫切需要保護用戶的隱私，並防止這些系統受到攻擊。對自主監控系統的網路攻擊，可能會造成身體或精神上的傷害，甚至威脅到被監控對象的生命。

6.1. 安全

在本次調查中，我們從不同層次接觸跌倒檢測系統，包括生理感知層 (PSL)、本地通信層 (LCL)、資訊處理層 (IPL)、網路應用層 (IAL) 和用戶應用層 (UAL) 。每一層都面臨安全問題。例如，在數據傳輸過程中，LCL 中的資訊可能會洩漏，以及雲儲存和處理設施的潛在漏洞。根據文獻，我們在報告表3 - 7，最跌倒檢測領域的研究並沒有解決安全問題。只有少數研究（Edgcomb 和 Vahid，2012 年；Mastorakis 和 Makris，2014 年；Ma 等人，2019 年）) 考慮隱私。由於有線和無線傳輸的明顯特點，尋找一種全面的安全協議，能夠同時涵蓋有線和無線數據傳輸和儲存中，安全問題仍然是一個懸而未決的問題（Islam et al., 2015）。

6.2. 隱私

如上所述，隱私是自主健康監測系統用戶最重要的問題之一。保護隱私的方法取決於所使用的感測器類型。並非所有感測器都同樣受到隱私問題的困擾。例如，在隱私方面，基於視覺的感測器（如 RGB 攝影機）比可穿戴感測器（如加速度計）更容易受到攻擊。在僅使用可穿戴感測器的檢測系統的情況下，隱私問題不像涉及視覺感測器的系統那麼嚴重。

為了解決與 RGB 攝影機相關的隱私問題，一些研究人員建議透過模糊和扭曲外觀作為應用層中的後處理步驟，來緩解它們（Edgcomb 和 Vahid，2012 年）。正如Ma 等人所建議的那樣，另一種方法是在設計階段解決隱私問題。(2019)。他們研究了一個光學級匿名圖像感測系統。部署了一個熱像儀來定位人臉，並使用一個 RGB 攝影機來檢測跌倒。對象臉部的位置用於在空間光調製器上，生成遮罩圖案，以控制進入 RGB 攝影機的光線。透過使用空間光調製器上的掩模圖案，阻擋可見光線來模糊對象的臉部。

紅外線攝影機是另一種可以保護主體隱私的感測器。Mastorakis 和 Makris (2014)研究了內置 Kinect 感測器的紅外線攝影機。它只捕捉對象的熱分佈，並沒有涉及對象的外觀和生活環境的資訊。其他可以保護隱私的基於視覺的感測器，是深度攝影機。它們僅捕獲深度資訊的事實，使它們比 RGB 攝影機更受歡迎。

對於使用感測器網路進行跌倒檢測的研究，當涉及到更多的感測器時，會收集到不同類型的數據。由於涉及更多的數據收集和傳輸，感測器融合的整個跌倒檢測系統變得更加複雜，這使得隱私和安全的保護更加困難。在隱私和自主監控系統的好處之間存在權衡。目的是不斷改進算法，同時將隱私和安全問題降至最低。這是使此類系統為社會所接受的唯一方法。

7. 圍繞跌倒檢測的項目和應用

跌倒檢測方法從個人應急響應系統 (PERS) 演變為智慧自動系統。早期跌倒檢測系統之一，透過 PERS 按鈕發送警報，但當有關人員失去知覺或太虛弱無法移動時，它可能會失敗（Leff，1997）。已經進行了許多嘗試，不僅可以監測跌倒，還可以監測自主健康監測中的其他特定活動。已經開展了許多項目來開發自主健康監測的應用，包括跌倒檢測、預測和預防，一些上述研究被推廣為商業產品。來自可穿戴感測器、視覺感測器和環境感測器的不同感測器，被佈署為跌倒檢測的商業應用。其中，更多的可穿戴感測器被開發為有用的應用。

例如，一家名為Shimmer的公司開發了 7 種針對自主健康監測的可穿戴感測產品。其中一款產品是 Shimmer3 IMU 開發套件。它是一個可穿戴感測器節點，包括感測模組、數據傳輸模組、接收器、Mahmud 和 Sirat (2015)，以及 Djelouat 等人(2017)。iLife 跌倒檢測感測器由 AlertOne 開發4、提供跌倒檢測服務和一鍵報警系統。Smartwatch 是另一個用於跌倒檢測的商業解決方案。已經研究了嵌入在智慧手錶中的加速度計，來檢測跌倒（ Kao 等人，2017 年； Wu 等人，2019 年））。而且，Apple Watch Series 4 ，及以後的版本都配備了跌倒檢測功能，可以幫助消費者連接到緊急服務。

儘管基於 RGB 攝影機的具體商用跌倒檢測產品很少，但相關研究也顯示了該領域的廣闊前景。Microsoft 提供了使用 Kinect 的開源解決方案，可以即時檢測跌倒，並有可能作為商業產品進行佈署。至於環境感測器，Linksys Aware 將三頻網狀 WiFi 系統應用於跌倒檢測，並作為商業運動檢測產品提供高級訂閱服務。CodeBlue 是哈佛大學的一個研究項目，也專注於開發用於醫療應用的無線感測器網路（Lorincz 等，2004）。MIThril 項目（DeVaul 等人，2003 年）是由麻省理工學院媒體實驗室的研究人員，開發的下一代可穿戴研究平台。他們向公眾公開了他們的軟體開源和硬體規範。

Ivy 項目（Pister 等人，2003 年）是加州大學伯克萊工程學院的感測器網路基礎設施。該項目的目的在開發一個感測器網路系統，為獨立生活的老人提供幫助。使用帶有固定感測器和佩戴在身體上的行動感測器的感測器網路，可以檢測到有關老年人的異常情況。一旦檢測到跌倒，系統就會向護理人員發送警報以緊急響應。

密蘇里州哥倫比亞市的退休人員在 TigerPlace 的 13 套公寓中建立了感測器網路，連續收集了 3,339 天的數據（Demiris 等，2008）。在一些由 14 名志願者組成的公寓中，安裝了帶有簡單運動感測器、影像感測器和床感測器的感測器網路，這些感測器可以捕捉睡眠不安、脈搏和呼吸水平。TigerPlace 16 名 67 歲至97 歲老人的活動被連續記錄下來，並記錄了 9 名真正的跌倒事件。基於數據集，Li 等人(2013)開發了一種感測器融合算法。從而實現了低誤報率和高檢測率。

8. 趨勢和公開挑戰

8.1. 趨勢

8.1.1. 感測器融合

似乎有一個普遍的共識，即感測器融合為檢測老年人跌倒，提供了一種更可靠的方法。在不同的情況下，各種感測器的使用可以相互補充。因此，與其只依賴一個感測器，如果條件不適合該感測器，這種感測器可能不可靠，而是依賴於不同類型的感測器，它們可以在各種條件下，一起捕獲可靠的數據。這導致了一個更強大的系統，可以在實現高精度的同時，將誤報降至最低。

8.1.2. 機器學習、深度學習和深度強化學習

傳統的機器學習方法，已廣泛應用於跌倒檢測和活動辨識，在使用可穿戴感測器的研究中，結果優於基於閾值的方法。深度學習是機器學習的一個子集，它涉及受哺乳動物大腦啟發的人工神經網路。深度學習的方法越來越受歡迎，尤其是在視覺感測器和感測器融合方面，並且正在成為跌倒檢測和其他活動辨識的最新技術。深度強化學習是跌倒檢測的另一個有前途的研究方向。強化學習的靈感來自人類對心理神經科學的理解，人類可以在不斷變化的環境中適應和優化決策。深度強化學習結合了深度學習的優點，

8.1.3. 5G 無線網路上的跌倒檢測系統

5G是一個軟體化和虛擬化的無線網路，它包括物理網路和軟體虛擬網路功能。與 4G 網路相比，第五代移動設備引入了高速、低延遲的數據傳輸能力，這可能有助於物聯網系統跌倒檢測的發展。首先，5G 有望成為物聯網重要且通用的通信協議。其次，5G 蜂窩可用於被動感測方法。與針對短距離室內跌倒檢測的其他類型的射頻感應方法（例如，WiFi 或雷達）不同，5G 無線網路可以作為一種無處不在的感應方法，應用於室內和室外場景。Gholampooryazdi 等人已經成功地研究了這種類型的網路。(2017)用於檢測人群大小、存在檢測和步行速度，他們的實驗顯示準確率，分別為 80.9、92.8 和 95%。第三，我們預計 5G 作為網路將成為一個高效、準確的平台，以實現更好的異常檢測性能。由 5G 物聯網和深度學習驅動的智慧網路或系統，不僅可以應用於跌倒檢測系統，還可以應用於其他無孔不入的傳感測和智能慧監控系統，幫助老年人獨立生活，享受高品質生活。

8.1.4. 個性化或模擬數據

El-Bendary 等(2013) 以及 Namba 和 Yamada (2018b)提出，將個人的歷史醫學和行為數據與感測器數據，一起包括在內。這允許豐富數據，從而做出更明智的決策。這種創新視角允許採用更加個性化的方法，因為它使用相關個人的健康狀況，並且有可能成為該領域的一種趨勢。另一個趨勢可能是創建數據集，以評估跌倒檢測系統的方式。馬斯托拉基斯等人。(2007 , 2018)應用了在 Opensim 中模擬的骨骼模型，Opensim 是史丹佛大學開發的開源軟體。

它可以模擬不同種類的預定義骨架模型。他們獲取了 132 個不同類型跌倒的影像，並基於這些模型訓練了自己的算法。他們報告的高結果表明 OpenSim 模擬的跌倒非常逼真，因此對於訓練跌倒檢測模型非常有效。物理引擎，如 Opensim，可以根據不同受試者的身高和年齡，模擬定制數據，並提供檢測跌倒的新方向的可能性。另一個可能解決數據稀缺問題的解決方案，是開發可以適應不屬於原始訓練集的對象的算法（Deng et al., 2014; Namba and Yamada, 2018a , b ) 正如我們在 4.1.4 節中所描述的。

8.1.5. 霧計算

就架構而言，霧計算提供了以分散方式，在所涉及的邊緣設備之間，分配不同級別處理的可能性。與基於雲計算的系統相比，可以執行某些處理而，並可以直接相互通信的智能慧設備對（近），即時處理更具吸引力（Queralta 等，2019）。此類智慧設備的一個示例包括英特爾® 實感™ 深度攝影機，它包括一個 28 奈米 (nm) 處理器，用於計算即時深度圖像。

8.2. 公開挑戰

在過去的二十年中，跌倒檢測的主題已經得到廣泛研究，並且已經提出了許多嘗試。新技術的快速發展，使這個話題在研究界非常活躍。儘管已經取得了很大進展，但仍然存在各種開放性挑戰，我們將在下面討論。

1.真實下跌數據的稀有性：沒有令人信服的公開數據集，可以提供一個黃金標準。許多單個感測器的模擬數據集，是可用的，但在年輕和健康受試者收集的數據上，訓練的模型是否可以應用於現實生活中的老年人，這是有爭議的。據我們所知，只有Liu 等人(2014)使用了一個包含 9 個真實跌倒，和 445 個模擬跌落的數據集。至於有多個感測器的數據集，數據集就更稀缺了。因此，迫切需要創建，來自多個感測器的數據基準數據集。

2.即時檢測：我們在文獻中看到的嘗試，都是基於檢測跌倒的離線方法。雖然這是重要的一步，但現在是時候開始更多地關注可以在現實世界中應用的即時系統了。

3.安全和隱私：我們很少看到與跌倒檢測方法相關的安全和隱私。因此，安全和隱私，是我們認為必須與跌倒檢測方法結合起來解決的另一個主題。

4.感測器融合平台：仍然是一個很有潛力的新手話題。迄今為止的研究已將這個主題降至最低，因為它們主要集中在問題的分析方面。為了使解決方案更貼近市場，需要進行更全面的研究，以開發能夠以高效、有效和安全的方式處理數據管理和傳輸的完整資訊系統。

5.位置限制：一些感測器，例如視覺感測器，由於它們是固定和靜態的，因此能力有限。有必要開發可應用於受控（室內）和非受控（室外）環境的跌倒檢測系統。

6.可擴展性和靈活性：隨著負擔得起的感測器數量的增加，研究跌倒檢測系統的可擴展性變得非常重要，尤其是在考慮非均勻感測器時（Islam et al., 2015）。對不犧牲穩健性或安全性的可擴展跌倒檢測，方法的需求不斷增加。在考慮基於雲的趨勢時，跌倒檢測模組，如數據傳輸、處理、應用和服務，應具有可配置性和可擴展性，以適應商業需求的成長。隨著對硬件和軟件級別資源的需求隨時間而變化，基於雲的系統可以在不同級別，實現健康監測系統的更大可擴展性。基於雲的系統可以在架構上輕鬆添加，或刪除感測器和服務（Alamri 等人，2013 年）。