Driver Distraction and Fatigue Detection
來源：智车科技
1 月 10 日在 2019 智慧產業峰會上，上海交通大學計算機科學與工程系仿腦計算與機器智能研究中心主任呂寶糧教授，針對情緒辨識與疲勞駕駛檢測問題，做了精彩的報告。
近日，中新網報道了一起發生在湖州的交通事故：一輛小轎車以 120KM/H 的速度衝破高速公路護欄，在落差為四米左右的高空中滑行五六十米落地，砸入一片茂密的夾竹桃林。據駕駛員稱，車內倆人是一對夫妻，趁著週末到湖州安吉旅遊，回去路上車輛開了 120KM/H 的定速巡航。由於玩得太累了，開著開著兩個人都打起了瞌睡，方向一偏車便衝出護欄發生了事故。
各種 ADAS 技術讓車輛越來越智慧，人開車時的注意力反而下降，容易產生疲勞。據統計，在 2006-2010 年內，中國交通事故引起的死亡人數，每年超過 7.5 萬。
據美國國家公路交通安全管理局的統計，僅 2015 年，就有近 9 萬次交通事故是由疲勞駕駛引發的。目前針對酒後駕駛、超速、超載等問題，已經有很好的檢驗技術，但是還沒有可靠的疲勞駕駛檢測技術。
疲勞駕駛檢測的困難之處在於疲勞駕駛是一個過程，不像酒後駕駛是一個時間點，而且對於疲勞級別的判斷，沒有客觀的指標。
據美國國家公路交通安全管理局的統計，僅 2015 年，就有近 9 萬次交通事故是由疲勞駕駛引發的。目前針對酒後駕駛、超速、超載等問題，已經有很好的檢驗技術，但是還沒有可靠的疲勞駕駛檢測技術。
疲勞駕駛檢測的困難之處在於疲勞駕駛是一個過程，不像酒後駕駛是一個時間點，而且對於疲勞級別的判斷，沒有客觀的指標。
1 月 10 日在 2019 智慧產業峰會上，上海交通大學計算機科學與工程系仿腦計算與機器智能研究中心主任呂寶糧教授，針對情緒辨識與疲勞駕駛檢測問題，做了精彩的報告。
報告詳細介紹了國內外情感 - 腦 - 電腦交互的研究動態，和呂教授團隊近幾年，在探索情緒辨識的穩定腦電模式、應用遷移學習解決腦電個體差異，和跨場景域適用問題、以及腦電與前額眼電融合的，疲勞駕駛檢測模型等方面的部分研究結果。
他認為：隨著乾電極腦電採集技術、可穿戴設備和 5G 技術的迅速發展，基於腦電的情緒辨識與疲勞駕駛檢測，正在從實驗室走向真實環境，為開發面向實際應用的情緒預警與疲勞駕駛檢測系統提供了新的技術手段。以下為智車科技整理的呂寶糧教授發言。
我今天想從以下這幾個方面進行介紹，首先我介紹一下情緒辨識和疲勞監測研究的背景，接下來介紹兩方面的研究現狀，第三部分主要是介紹，我們最近幾年在這個領域的一些工作，最後做一些小結和展望。
情緒辨識和疲勞監測研究的背景
在 2015 年，德國之翼航空公司發生了一個非常悲慘的空難事件，這個事件是由於副駕駛由於自殺引起的，有了這個事件以後，歐盟對於駕駛員的精神評估非常重視。
第二個事故發生在台灣，台灣飛日本的新幹線每小時 270 公里速度下發生的事故，儘管這個事故沒造成人員傷亡，但是使乘客感到非常的恐懼。
第二個事故發生在台灣，台灣飛日本的新幹線每小時 270 公里速度下發生的事故，儘管這個事故沒造成人員傷亡，但是使乘客感到非常的恐懼。
再看看交通事故，實際上據不完全統計，中國從 06 年–10 年由於交通事故的死亡人數每年超過 7.5 萬，美國 2015 年統計數據 9 萬次交通事故，是由於疲勞駕駛引起的，大家如果開車的話，每個人都會體驗過疲勞駕駛的一些情況。
現在對飲酒駕駛，超員超載有非常好的技術，但是很遺憾全世界對疲勞駕駛沒有一個很好監測，首先什麼是疲勞？如何度量？因此最大的難點，疲勞是一個過程，不是一個時間點，所以我們必須要開發一套監控系統來監測這個疲勞。
我們現在來看中國的法規，實際上由於前幾年高速大巴事故太多了，經常看到大巴死了很多人，所以中國實在沒有辦法，頒布了政策：一是不能連續超過四個小時開車，第二深夜 2 點到 5 點禁止大巴上路，這是對國家資源一個巨大的浪費。我當年在日本留學的時候，比較窮，基本上從京州到東京基本坐夜班的大巴，既便宜又經濟，我們想想現在有 13 萬公里的高速，正常時間不讓大巴上去，浪費時間，而且這個規則也不能很好地控制疲勞駕駛。
我們說另一個方面現在高速鐵路發展的非常快，我們要保證高鐵的安全，一方面線路，各方面車的硬體需要有很好的技術保障，另一個很重要的我們駕駛員，大家可能不知道中國現在高鐵司機人數已經超過一萬人，這麼大的人群我們如何能夠知道他的精神狀態，比如說德國航空公司這樣的事件能不能避免？實際上對我們科技工作者提出一個挑戰。
我們從十年前，在上海交通大學成立一個團隊，當時研究目標，就是希望開發一套可穿戴設備，無限乾電極腦電信號和生理信號，來對疲勞現象進行監控。
我們的目標是什麼？現在在鐵路上調度員，只能看到火車跑到什麼地方，不知道人什麼狀況，我們未來就希望對每一個駕駛員，我們有一個窗口，能適時監控他的精神狀態和疲勞情況，當然不限於高鐵，包括飛行員，包括長途大巴，實際上為了這個目標，我們在實驗室建立了一個模擬駕駛系統，可以模擬各種天氣和場景。
我們的目標是什麼？現在在鐵路上調度員，只能看到火車跑到什麼地方，不知道人什麼狀況，我們未來就希望對每一個駕駛員，我們有一個窗口，能適時監控他的精神狀態和疲勞情況，當然不限於高鐵，包括飛行員，包括長途大巴，實際上為了這個目標，我們在實驗室建立了一個模擬駕駛系統，可以模擬各種天氣和場景。
這是一個桑塔納的舊車，我們武裝了各種感測器，腦電、眼電，方向盤的握力，希望能夠透過多模態建立精準的模型。現在看看情緒辨識這件事情，最近隨著人工智慧的發展，大家覺得越來越重要，比如說在 16 年美國提出來未來人類 20 個大問題，其中第三個問題是我們意識的本質是什麼？第 15 個問題就是我們能不能利用可穿戴設備監測我們的情緒，對於15個問題，大家都熟悉 Prof 教授，她的回答很保守，「在未來十年，可穿戴設備可以為我們的健康，提供個性化的預報。
比如，基於用戶最近的壓力、睡眠、社交情感活動，讓我們的健康和幸福指數在未來一周提高 80%。未來 20 年，可穿戴式設備和從其獲得的分析數據，能顯著降低精神和神經疾病的發病幾率。」
實際上對於情感計算和情緒辨識，隨著人工智慧發展，很多公司都非常重視。但是很遺憾，對於這個方面的研究，一個是投入的人力不夠，另外在神經科學和理論方面也是比較欠缺，我們說情緒在神經科學裡面，由於動物的本性，基本上就是在研究恐懼的心理，就是說我要研究動物是否高興，我們怎麼來知道它是怎麼高興，基本狀態比較單一，儘管心理學情緒是非常悠久的歷程，但是沒有定義。
現在精神疾病包括憂鬱症，基本上停留在客觀和定性的指標，我們現在大多數所謂的情感標識，基本上是依據圖象、文本、聲音，這些信號容易獲取，但是這個模型不準確，我們是粗略的估計人的情緒狀態。
傳統的基於影像圖像的疲勞駕駛檢測
關於疲勞駕駛檢測，大家知道我們可以用影像錄影，在方向盤裡面加一個攝影機。根據 1994 年提出的 PERCLOS，人的眼睛閉眼的狀態，可以判定你是不是疲勞，這個方法的優點是它非常的廉價，但是它最大的問題是它有延遲，判定窗口至少需要 30 秒到一分鐘，很難做預測，就是說用這個眼睛閉合的那麼久來測試，往往兩秒鐘就會發生很嚴重的交通事故，問題是很難預測因為有這個延時時間。
情緒辨識和疲勞駕駛檢測的科學問題和技術挑戰？
所以我們就希望能夠透過生理信號，特別是腦電信號。首先我們要提出對情緒的度量，我們要制定法律，什麼是疲勞，疲勞程度是什麼，醫學研究顯示，腦電科是最好的，現在可做成可穿戴設備，但是用腦電波來做情緒辨識和情緒檢測也有很多科學類和技術類的挑戰，比如這裡列了幾點：
- 多模態信號融合是否對情緒識別和疲勞檢測模型有效？
- 表徵情緒的腦電模式隨時間推移是否穩定？
- 如何解決被試間腦電信號的差異問題？
- 是否能用乾電極腦電採集技術實現疲勞駕駛檢測？
- 如何提升乾電極可穿戴腦電設備的舒適性？
下面針對這些問題提出我們最近幾年的一些研究方案。
多模態的情緒辨識與疲勞駕駛檢測
總起來說，根據我們經驗和其他方面研究，對於這種複雜的疲勞和情緒狀態，多模態肯定是一個非常好的手段，因為你現在很難找到一個單一的信號能夠對這個模型進行辨識。
我們想報告的第一部分，就是我們利用多模態的方式來做情緒辨識，這裡面我們用了兩個模態，一個是腦電信號，一個是眼動信號。大概在四年前提出了這個方案，為什麼採用這兩個模態而不是別的？
因為剛才提到了腦電信號不管是神經科學，還是醫學類，它是最能直接反映人的情緒和狀況，它是表現了我們人類內部的狀況，眼動儀和追蹤儀剛好是表示你的外部的狀態，而且隨著現在的技術發展，眼動儀追蹤已經可以戴上眼鏡了。最近韓國一個公司可以把眼動儀集成到一個非常好穿戴設備。
有了這樣的兩個模態，我們看看能否對情緒辨識起到幫助。剛才說到了實際上這兩個資訊有個互補的特性，腦電信號反映了神經的內部，眼動剛好是外部的潛意識行為，當然也可以追加其他的一些模態的情況。
在研究中，我們就發現，如果你單純用腦電和眼動儀，可以達到 78% 左右的辨識率，如果把這兩個模態融合起來，用一個模糊積分的方法，可以提高將近 10 個百分比，為什麼會提高這麼大的辨識率？
實際上這裡面的原因是這樣的，我們發現對於正面情緒，腦電信號辨識率不高，對於負面情緒和中性情緒，恰好是眼動信號比較薄弱，特別負面情緒誤判成中性情緒，這時候眼動信號要比腦電數據精準，由於他們很好的互補，所以說這兩模態的資訊融合起來，就可以提升模式的準確率。
第二個問題在用腦電做情緒也好，做疲勞檢測也好，研究之前，有一個問題，大家都沒有重視，就是說對於情緒來講，腦電模式會不會隨著時間變化，我們說對於人臉的圖象不會變，我今天高興是這樣，明天後天這個高興的模式都是一樣的，而且中國人是這樣，美國人、日本人也類似，但是對於腦電細胞我們不清楚。
研究發現，這是一個能量分布，我們可以把腦電是一個時間序列型號，可以把它分成五個頻段，對高興正面，它的顳葉興趣能量非常高，但是對負面和中性情緒能量分布就不是很高，有明顯的區別，另外可以從這個腦電圖可以看出，實際上中性情緒和負面情緒比較類似。
能量分布會不會隨著時間變掉，今天是這個模式，明天是不是會其他模式，我們這個研究就回答了這個問題，腦電模式至少對三類情緒，現在我們已經做到五類情緒，這個模式是能控制的，從人體的結構來看，也是符合這個結論的，就是說你的大腦就是這樣的結構，你不會今天受到事情是這樣的反映，明天就會變到另外一個反映，這是一個自然的表現。
我們的結果透過實驗證明，這個腦電模式對情緒辨識是穩定的，這個結果實際上我們投到 MIT 技術層面，馬上報導了我們這個結果，就是說智慧機器人與人類溝通，是如何辨識情緒變化，說中國團隊給出了一個答案。
第二個挑戰用所有的生理信號就會遇到有問題，由於生理信號，特別是腦電信號本身是非平穩信號，它的統計特性會隨著時間的變化而變化，第二人和人生理信號差別也很大，三是以採集信號的時間不一樣。
由於這樣的變化，傳統的訓練數據和測試數據，一定是同分布的，如果是這個條件變掉以後，往往會下降很多，特別對於腦電系統，在這裡我們試圖用遷移學習來解決這個問題，對目標有很多充足的數據，對目標率可能沒有標號，甚至標很小，我們能不能對新的用戶建立好的模型呢？
在這裡，我們試圖用遷移學習來解決這個問題，用了很多遷移學習的方法，其中一個參數直推遷移方法。在研究中顯示，參數直推遷移在這些三四個遷移方法表現最好，它要比傳統的機器學習方法，要提高將近 20% 個辨識率，當然這是我們兩年前的工作，現在更新的模型比這個又有很大的一個提升。至少在這個地方可以得出這樣一個結論，透過遷移學習，可以克服生理信號被試之間的差異問題和長久差異。
接下來我想給大家分享一下，我們用眼電信號和腦電信號，來做疲勞駕駛的檢測。
眼電信號和腦電信號來做疲勞駕駛的檢測
根據傳統的眼電信號，只需要佩戴四個感測器放到眼睛周圍，就可以把眼電信號採集下來，但是我們發現放在這個位置會遮擋你的視線，不利於做穿戴設備，我們就提出了一個新的方案叫前額眼電。
把這個放在前額，放在前額有幾個優點，一是對電的要求非常寬鬆，因為現在單電機，如果放在有頭髮的區域還是比較困難，放在前額比較容易，另外我們沒有遮擋，比如說我們高鐵司機他們本來就要戴工作帽，就可以把這個可以放在帽子裡，很適合做可穿戴設備。
透過比較三種方案，一是前額眼電放在這個地方，它可以同時採集用眼電信號和腦電信號，比較了這個位置，和放在耳朵上面顳葉和放在枕葉，我們過去放在研究放在枕葉非常好，這個地方利用眼動儀，作為疲勞駕駛的一個狀態，理論上講每個人的疲勞，和情緒狀態真正的變化，我們是不知道的，只有透過剛才提到的眼動儀，來對這個數據進行標注。
另外因為腦電信號是時間序列，我們引入了兩個模型，一個是連續條件神經場，另外一個是連續條件，神經場來討論動態的變化，這是我們最後的結果，透過這個結果可，以看放到前額和放在枕葉和顳葉差不多的，考慮到使用，顯然放在前額是非常好，因為可以做很好的穿戴設備。
另外很大的挑戰，就是如何開發舒適的可穿戴設備，和影像相比，生理信號必須用可穿戴設備，高鐵司機飛行員，我們一般的用戶可能比較困難，現在的研究的主要目的，是為了做出標注，滿足像高鐵司機這樣的一些要求。
我們微納電子學劉景全教授，他們開發了用導電的纖維，不是金屬。我們在醫院或者其他傳統辦法要花時間，用時間長了腦電波會乾掉，性能下降，這是我們用 3D 列印做的一個簡單的圖，和實踐比較基本性能是差不多的。
接下來的工作，就是把我們剛才在實驗室的疲勞駕駛檢測工作，把它應用到真實的場景，另外這些眼電設備都是我們自己開發的，當然這個設備現在還是比較粗糙，但是這個信號品質可以達到我們的要求。
這是我們在交通大學民航校區開車的路徑，大概設有三公里多，我們用電動車，這個實驗在各種路況下做了一個對比實驗。一個是是 20 名學生在實驗室裡模擬情況，另外是 10 名學生參加了真實的實驗，在真實的實驗裡有下雨天、有傍晚、最後得到的結果，是在實驗室的模擬駕駛情況。
我們用前額眼點，可以達到 71% 的準確率，如果到了真實駕駛環境，這個性能會比實驗室有所下降，下降到 66%，但是基礎上不降，這個方案是可行的，因為這個地方有很多可以繼續工作的空間，包括我們信號的渠道，包括我們數據量的大小，都可以進行改造，至少從這個研究來講，我們是可以按照這個路線，來做這個實用化。
除了剛才講的算法之外，我們從2年前把情緒識別疲勞駕駛檢測多模態數據作為公開的數據集供研究來使用，這個數據到去年10月份開始大概有三十多個用戶，也歡迎大家對這個領域感興趣的同仁們一起來使用這個數據庫。
這是一個四類的數據，相關的工作室發表的去年的雜誌上，這是疲勞駕駛檢測的多模態數據，腦電和眼動數據。
總結和展望
最後我做了一些簡單的總結和展望，透過我們這個研究，腦電和眼動信號的融合，能大大提升情緒辨識的精度；前額眼電提供了一種實用化的疲勞駕駛檢測方案；遷移學習是解決跨被試數據差異問題的有效方法；隨著可穿戴設備、5G技術和深度學習的發展，未來 3-5 年情緒辨識與疲勞駕駛檢測的研究，有望解決：n 特殊崗位人員的情緒辨識與預警；高鐵司機、飛行員、長途客車司機、危險品運輸司機等人員的疲勞駕駛即時監測；多模態情感腦 - 機交互的抑鬱情緒評估與干預。
我們期待著能夠解決一些實際問題，可以為社會的安定作出一點貢獻，我的報告就到這裡，謝謝大家。
沒有留言:
張貼留言