VIDEO
ADAS Facial Detection - Driver Drowsiness Detection System
來源 ：车元素
在日常生活中，長途行車在所難免。尤其在高速公路上行駛，長時間處於單一駕駛環境，駕駛者容易產生心理與生理機能的失調，出現駕駛技能下降的現象，運輸車隊的司機朋友這種情況則更多。
此外，夜間行車，由於違背了人的正常作息機制，加上黑暗中道路兩旁的風景對人體感官刺激較小，駕駛者也極容易產生疲勞之感。
駕駛疲勞是指駕駛員由於睡眠不足，或長時間持續駕駛，造成的反應能力下降，這種下降表現在駕駛員困倦、打瞌睡、駕駛操作失誤，或完全喪失駕駛能力。
駕駛疲勞反映在生理與心理兩個方面，生理反映包括神經系統的功能、血液和眼睛的變化；心理反映包括反應時延長、注意力分散、動作不協調。
美國印第安那大學對交通事故原因的調查研究發現，85％ 的事故與駕駛員有關，車輛和環境因素只佔 15％。
駕駛員在事故發生前一瞬間的行為和故障，直接導致了事故的發生，這些行為包括知覺的延遲、對環境的決策錯誤、對危險情況的處理不當等。
在所有的駕駛員錯誤中，最常見的是知覺延遲和決策錯誤，這些錯誤會產生注意力不集中、反映遲鈍、操作不當等，產生這些錯誤的根本原因就是駕駛疲勞。
由於司機疲勞駕駛導致警惕性水平的下降，從而造成交通事故的增長，這已成為了社會普遍關注的一個熱點。如果司機疲勞駕駛，那麼他的觀察、辨識和車輛控制能力，都會顯著下降，嚴重威脅自身的安全，和其他人的生命。
隨著交通運輸業的發展，交通事故已成為當前各國所面臨的嚴重問題。 駕駛人疲勞狀態主要監測方法 關於駕駛人疲勞，及注意分散等安全狀態的監測預警技術，由於它在交通事故預防方面的發展前景，而受到各國高度的重視，研究人員根據駕駛人疲勞時，在生理和操作上的特徵，進行了多方面的研究，一些研究成果已形成產品並開始進入市場。
駕駛人疲勞狀態的檢測方法，可大致分為基於駕駛人生理信號、基於駕駛人生理反應特徵、基於駕駛人操作行為，和基於車輛狀態資訊的檢測方法。
1、基於駕駛人生理信號的檢測方法
針對疲勞的研究最早始於生理學。相關研究顯示，駕駛人在疲勞狀態下的生理指標，會偏離正常狀態的指標。因此可以透過駕駛員的生理指標，來判斷駕駛人是否進入疲勞狀態。
目前較為成熟的檢測方法，包括對駕駛人的腦電信號 EEG、心電信號 ECG 等的測量。
研究人員很早就已經發現，EEG 能夠直接反映大腦的活動狀態。研究發現在進入疲勞狀態時，EEG 中的 delta 波和 theta 波的活動，會大幅度成長，而 alpha 波活動會有小幅成長。
另一項研究透過在模擬器，和實車中監測 EEG 信號，試驗結果顯示 EEG 對於監測駕駛人疲勞，是一種有效的方法。研究人員同時發現，EEG 信號特徵有很大的個人差異，如性別和性格等，同時也和人的心理活動相關很大。
ECG 主要被用於駕駛負擔的生理測量中。研究顯示在駕駛人疲勞時，ECG 會明顯的有規律的下降，並且 HRV（心率變化）和駕駛中的疲勞程度的變化，有潛在的關係。
基於駕駛人生理信號的檢測方法，對疲勞判斷的準確性較高，但生理信號需要採用接觸式測量，且對個人依賴程度較大，在實際用於駕駛人疲勞監測時，有很多的局限性，因此主要應用在實驗階段，作為實驗的對照參數。
2、基於駕駛人生理反應特徵的檢測方法
基於駕駛人的生理反應特徵的檢測方法，是指利用駕駛人的眼動特性、頭部運動特性等，推斷駕駛人的疲勞狀態。
駕駛人眼球的運動和眨眼資訊，被認為是反映疲勞的重要特徵，眨眼幅度、眨眼頻率，和平均閉合時間，都可直接用於檢測疲勞。目前基於眼動機理研究駕駛疲勞的演算法有很多種，廣泛採用的算法包括 PERCLOS，即將眼瞼閉合時間，佔一段時間的百分比，作為生理疲勞的測量指標。
利用臉部辨識技術，定位眼睛、鼻尖和嘴角位置，將眼睛、鼻尖和嘴角位置結合起來，再根據對眼球的追蹤，可以獲得駕駛人注意力方向，並判斷駕駛人的注意力是否分散。
利用頭部位置感測器檢測駕駛人點頭動作，透過電容感測器陣列，輸出駕駛人頭部距離每個感測器的位置，可即時跟蹤頭部的位置，根據頭部位置的變化規律，判定駕駛人是否瞌睡， 該研究發現點頭的動作，和瞌睡有非常好的相關性。
基於駕駛人生理反應特徵的檢測方法，一般採用非接觸式測量，對疲勞狀態的辨識精度和實用性上都較好。
3、基於駕駛人操作行為的檢測方法
基於駕駛人操作行為的駕駛人疲勞狀態辨識技術，是指透過駕駛人的操作行為，如方向盤操作等操作，推斷駕駛人疲勞狀態。
利用對監測到的，駕駛人的方向盤操作數據進行處理，研究結果在一定程度上，揭示了駕駛人的方向盤操作，與疲勞之間的關係。研究指出方向盤的操作，是一種有效的駕駛疲勞的判斷手段。
總體來說，目前利用駕駛人操作行為，進行疲勞辨識的深入研究成果較少。駕駛人的操作，除了與疲勞狀態有關外，還受到個人習慣、行駛速度、道路環境、操作技能的影響，車輛的行駛狀態，也與車輛特性、道路等很多環境因素有關，因此如何提高駕駛人狀態的推測精度，是此類間接測量技術的關鍵問題。
4、基於車輛行駛軌跡的檢測方法
利用車輛行駛軌跡變化，和車道線偏離等，車輛行駛資訊，也可推測駕駛人的疲勞狀態。這種方法，和基於駕駛人操作行為的疲勞狀態辨識技術一樣，都以車輛現有的裝置為基礎，不需添加過多的硬體設備，而且不會對駕駛人的正常駕駛造成干擾，因此具有很高的實用價值。
基於視頻技術的疲勞駕駛辨識系統
1999 年 4 月，美國聯邦公路管理局，首先提出了把 PERCLOS 作為預測機動車駕駛員，駕駛疲勞的可行方法。經過多年的發展，目前，PERCLOS 方法已被公認為最有效的、車載的、即時的駕駛疲勞測評方法。PERCLOS 是 Percentage of Eyelid Closure Over the Pupil Time 的縮寫，意為單位時間裡，眼睛閉合時間所佔的百分比。
PERCLOS 的原理，即為統計在一定時間內，眼睛閉合時所佔的時間比例。我們的系統所採用的評判標準為 PERCLOS80，指眼瞼遮住瞳孔的面積，超過 80% 就認為眼睛閉合。
基於影像技術的疲勞駕駛辨識系統之系統方案及工作流程
駕駛員疲勞監測系統透過影像採集設備，獲得駕駛員即時圖像，自動分析駕駛員的頭部姿態、眼睛運動規律，以及臉部特徵等資訊，來確定駕駛員精神狀態，並給出相應的預警提示。研究顯示，相比臉部或頭部運動規律而言，眼睛的活動規律，如眨眼頻率、眨眼快慢、眼睛張開幅度，以及眼睛的注視方向等，能更好地反映出當前時刻，實驗對象的精神狀態好壞。
因此，如果能夠獲得每一幀圖像中的雙眼大小、位置資訊，以及運動變化，就可以將一段時間內，駕駛員的眼部活動規律統計出來，結合疲勞狀態分析指標，就能夠對駕駛員疲勞狀態進行評價。系統流程如圖所示：
圖像預處理
在駕駛環境下透過影像串流，採集的圖像會受到諸多因素的影響，而包含噪聲資訊，如解析度、系統噪聲、突變背景等，給接下來的圖像運算帶來干擾。
因此，我們對源圖像透過直方圖均衡化的手段，進行預先處理，去除噪聲，增強圖像對比度，凸顯圖像細節，提高圖像品質。
人臉檢測
人臉檢測環節，是人眼定位前的重要步驟。系統採用 Adaboost 演算法，利用提供的樣本訓練和檢測方法。首先採集樣本，從已採集的樣本集中，訓練出分類器，該分類器可以很好地區別出人臉和非人臉；在檢測環節，加載待檢圖像幀至分類器中，透過對圖像像素點的掃描，找到圖像中包含的人臉，標定該區域。後續操作會在已標定的人臉區域中進行，縮小計算區域，排除非人臉因素的干擾，極大地提高了系統的運行速率。
眼定位
該環節包括人眼粗略定位和人眼精確定位兩個階段。首先，根據傳統的三庭五眼的先驗知識，粗略定位肯定存在人眼的大致區域，該區域可能同時包含眉毛，發角等干擾，但卻進一步地縮小了計算區域；接著，將人眼粗略區域，經過一定閾值轉換為二值化圖像，再進行垂直方向上的灰度投影，求得直方圖，因為人眼和周圍皮膚的灰度，存在較大差異，所以可從直方圖中的波峰波谷，判斷出人眼上下邊緣的 Y 坐標，繼而可對眼睛進行精確定位。
眼睛狀態判斷
透過最大類間方差法（Otsu）在不同的光線下對人眼精確區域進行不同閾值的二值化，分別獲取最佳的人眼睜閉狀態時的眼部形狀。透過對連續 N 幀的對比可以判斷，黑色像素值面積最小時，可認為駕駛員當前處於閉眼狀態，其他情況下處於睜眼，或者半睜眼狀態。
疲勞分析
系統選取目前公認有效的 PERCOLS 疲勞程度評價指標，即透過閉眼幀，在連續 N 幀內所佔的時間比例，來分析疲勞狀態，睜眼幀記錄為「1」值，閉眼幀記錄為「0」值，這樣，連續 N 幀後便可獲取關於「1」「0」交錯出現的序列，疲勞狀態的分析，即可用「0」值在該序列中所佔的比例來描述，當百分比高於一定的實驗比例後，即可認為司機可能出現疲勞。
透過以上五個步驟的操作處理，系統可由採集設備獲取的影像串流中，分析出當前駕駛員，是否處於疲勞狀態及疲勞程度，給出不同程度的提醒警報，從而達到系統目標。
疲勞程度的綜合判定
駕駛員疲勞的判定，會因錯誤檢查帶來不良影響，透過 PERCLOS、眼睛閉合時間、眼睛眨眼頻率、嘴巴張開程度、頭部運動的計算，進行疲勞程度的綜合判定，可以準確、有效地進行駕駛員疲勞的檢測。
PERCLOS
PERCLOS 是指眼睛閉合時間，佔某一特定時間的百分率。PERCLOS 方法有 P70，P80 和 EM 三種判定標準。研究顯示 P80與疲勞程度間，具有最好的相關性。
嘴巴張開程度
嘴巴的狀態通常有三種，閉合，說話及打哈欠，在疲勞狀態下，人會頻繁地打哈欠。在人臉下半部分進行水平灰度投影，觀察不同單人圖像的水平灰度投影曲線，會發現該區域下半部分的水平灰度，投影曲線有一個波谷，即為嘴唇間位置。對人臉下半部分區域二值化，從嘴唇間向上、下計算連通區域（連通區域可以防止鼻孔，及鬍鬚對計算帶來影響）的像素值，即可得到嘴巴的張開程度。
眼睛高度及嘴巴高度補償
在上眼瞼到下眼瞼的垂直距離及上嘴唇到下嘴唇的垂直距離時，由於駕駛員頭部相對於檢測設備有位置移動，因此為了實現駕駛員眼睛高度和嘴巴高度的準確計算，需要修正眼睛、嘴巴與檢測設備距離相對變化引起的變化。
眼睛閉合時間
眼睛閉合時間，一般用眼睛閉合到睜開所經歷的時間來表示。人處於正常清醒狀態時，眼睛閉合時間是很短的，會迅速睜開眼。而當疲勞時，眼睛閉合時間會明顯變長，因此眼睛閉合時間能直接反映駕駛員的精神狀態。透過計算從眼睛閉合，到睜開的最大幀數，幀數越多，閉合時間就越長，則疲勞程度就越嚴重。
眼睛眨眼頻率
人在疲勞狀態下，眨眼頻率會比清醒狀態下頻率高。本文也將其作為一項參數，作為疲勞判斷的依據。眼睛閉合到睜開為眨眼一次。累加一段時間內眨眼次數，作為疲勞判斷的一項參數。
頭部運動的疲勞參數
駕駛員在疲勞狀態下，會出現頻繁點頭，頭部向前傾。透過水平灰度積分投影，得到眼睛瞳孔、嘴角的水平位置。 假設 d1 為瞳孔水平位置到採集圖片的上邊緣距離，d2 為嘴角的水平位置到採集圖片的下邊緣距離。
在駕駛員疲勞出現點頭情況，則 d1 增大且 d2 減小。駕駛員疲勞時，頭部向前傾，則 d1 增大且 d2 增大。點頭和頭部向前傾，可以作為疲勞判斷的一項重要的依據。
疲勞駕駛監測技術現狀
美國 Attention Technologies 公司推出的 Driver Fatigue Monitor（DD850），是一款基於駕駛人生理反應特徵的，駕駛人疲勞監測預警產品。該產品透過紅外線攝影機，採集駕駛人眼部資訊，採用 PERCLOS 作為疲勞報警指標，可直接安裝在儀錶盤上，報警的敏感度和報警音量均可調節，目前已推廣應用，但只有晚上才有效。
美國 Digital Installations 開發的 S.A.M. 疲勞報警裝置，利用置於方向盤下方的磁性條，檢測方向盤轉角。如果一段時間內，駕駛員沒有對方向盤進行任何修正操作，則系統推斷駕駛員進入疲勞狀態，並觸發報警。
美國 AssistWare Technology 公司的 SafeTRAC 利用前置攝影機對車道線進行辨識，當車輛開始偏離車道時進行報警，該產品也可透過車道保持狀態，結合駕駛人的方向盤操作特性，判斷駕駛人的疲勞狀態。
英國的 ASTiD 裝置綜合考慮駕駛員的睡眠資訊、已完成的駕駛時長和類型，以及駕駛員的方向盤操作等各種因素，判斷駕駛人疲勞狀態。裝置運行前需要駕駛員，輸入自己過去 24 小時的睡眠資訊。當視覺報警到一定程度時，觸發聲音報警，建議駕駛員停車並休息。休息一段時間後，內置鬧鐘會叫醒駕駛員，並重置駕駛時間。
除了上述這些產品之外，還有透過手腕運動，檢測疲勞的疲勞警報手鐲，和可掛在眼睛腿上的，利用加速度運動資訊，檢測頭部運動的疲勞檢測眼鏡等，其它一些疲勞檢測預警產品。
對駕駛人疲勞狀態監測方法，與裝置的研究， 對於預防由疲勞駕駛，引起的交通事故有重要意義， 其應用前景廣闊， 可以預見在未來很長一段時間內，都將是汽車安全技術領域的一個熱點方向。
但是，駕駛人的疲勞狀態受多種因素影響，到目前為止，還沒有發現非常有效的指標或模型，能夠對疲勞等級進行精確的評價。
因此需要進一步深入研究各種指標，與駕駛人疲勞等級之間的關係。另外，現有的駕駛人疲勞狀態監測方法，大都基於某一單項指標，雖然在限定條件下，能夠達到一定的精度，但在實際複雜多變的行車環境下，其準確性和可靠性上，還存在問題，難以達到預期要求。針對這一問題，多源資訊融合方法將成為一個發展方向。
