cookieOptions = {...}; .關於疲勞駕駛辨識技術你瞭解多少? - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2019年10月16日 星期三

ADAS Facial Detection - Driver Drowsiness Detection System



來源:车元素

在日常生活中,長途行車在所難免。尤其在高速公路上行駛,長時間處於單一駕駛環境,駕駛者容易產生心理與生理機能的失調,出現駕駛技能下降的現象,運輸車隊的司機朋友這種情況則更多。

此外,夜間行車,由於違背了人的正常作息機制,加上黑暗中道路兩旁的風景對人體感官刺激較小,駕駛者也極容易產生疲勞之感。

駕駛疲勞是指駕駛員由於睡眠不足,或長時間持續駕駛,造成的反應能力下降,這種下降表現在駕駛員困倦、打瞌睡、駕駛操作失誤,或完全喪失駕駛能力。


疲劳驾驶,车元素


駕駛疲勞反映在生理與心理兩個方面,生理反映包括神經系統的功能、血液和眼睛的變化;心理反映包括反應時延長、注意力分散、動作不協調。

美國印第安那大學對交通事故原因的調查研究發現,85% 的事故與駕駛員有關,車輛和環境因素只佔 15%。

駕駛員在事故發生前一瞬間的行為和故障,直接導致了事故的發生,這些行為包括知覺的延遲、對環境的決策錯誤、對危險情況的處理不當等。

在所有的駕駛員錯誤中,最常見的是知覺延遲和決策錯誤,這些錯誤會產生注意力不集中、反映遲鈍、操作不當等,產生這些錯誤的根本原因就是駕駛疲勞。

由於司機疲勞駕駛導致警惕性水平的下降,從而造成交通事故的增長,這已成為了社會普遍關注的一個熱點。如果司機疲勞駕駛,那麼他的觀察、辨識和車輛控制能力,都會顯著下降,嚴重威脅自身的安全,和其他人的生命。

隨著交通運輸業的發展,交通事故已成為當前各國所面臨的嚴重問題。駕駛人疲勞狀態主要監測方法關於駕駛人疲勞,及注意分散等安全狀態的監測預警技術,由於它在交通事故預防方面的發展前景,而受到各國高度的重視,研究人員根據駕駛人疲勞時,在生理和操作上的特徵,進行了多方面的研究,一些研究成果已形成產品並開始進入市場。

駕駛人疲勞狀態的檢測方法,可大致分為基於駕駛人生理信號、基於駕駛人生理反應特徵、基於駕駛人操作行為,和基於車輛狀態資訊的檢測方法。

1、基於駕駛人生理信號的檢測方法
針對疲勞的研究最早始於生理學。相關研究顯示,駕駛人在疲勞狀態下的生理指標,會偏離正常狀態的指標。因此可以透過駕駛員的生理指標,來判斷駕駛人是否進入疲勞狀態。

目前較為成熟的檢測方法,包括對駕駛人的腦電信號 EEG、心電信號 ECG 等的測量。





研究人員很早就已經發現,EEG 能夠直接反映大腦的活動狀態。研究發現在進入疲勞狀態時,EEG 中的 delta 波和 theta 波的活動,會大幅度成長,而 alpha 波活動會有小幅成長。

另一項研究透過在模擬器,和實車中監測 EEG 信號,試驗結果顯示 EEG 對於監測駕駛人疲勞,是一種有效的方法。研究人員同時發現,EEG 信號特徵有很大的個人差異,如性別和性格等,同時也和人的心理活動相關很大。

ECG 主要被用於駕駛負擔的生理測量中。研究顯示在駕駛人疲勞時,ECG 會明顯的有規律的下降,並且 HRV(心率變化)和駕駛中的疲勞程度的變化,有潛在的關係。

基於駕駛人生理信號的檢測方法,對疲勞判斷的準確性較高,但生理信號需要採用接觸式測量,且對個人依賴程度較大,在實際用於駕駛人疲勞監測時,有很多的局限性,因此主要應用在實驗階段,作為實驗的對照參數。

2、基於駕駛人生理反應特徵的檢測方法
基於駕駛人的生理反應特徵的檢測方法,是指利用駕駛人的眼動特性、頭部運動特性等,推斷駕駛人的疲勞狀態。

駕駛人眼球的運動和眨眼資訊,被認為是反映疲勞的重要特徵,眨眼幅度、眨眼頻率,和平均閉合時間,都可直接用於檢測疲勞。目前基於眼動機理研究駕駛疲勞的演算法有很多種,廣泛採用的算法包括 PERCLOS,即將眼瞼閉合時間,佔一段時間的百分比,作為生理疲勞的測量指標。





利用臉部辨識技術,定位眼睛、鼻尖和嘴角位置,將眼睛、鼻尖和嘴角位置結合起來,再根據對眼球的追蹤,可以獲得駕駛人注意力方向,並判斷駕駛人的注意力是否分散。

利用頭部位置感測器檢測駕駛人點頭動作,透過電容感測器陣列,輸出駕駛人頭部距離每個感測器的位置,可即時跟蹤頭部的位置,根據頭部位置的變化規律,判定駕駛人是否瞌睡, 該研究發現點頭的動作,和瞌睡有非常好的相關性。

基於駕駛人生理反應特徵的檢測方法,一般採用非接觸式測量,對疲勞狀態的辨識精度和實用性上都較好。

3、基於駕駛人操作行為的檢測方法
基於駕駛人操作行為的駕駛人疲勞狀態辨識技術,是指透過駕駛人的操作行為,如方向盤操作等操作,推斷駕駛人疲勞狀態。

利用對監測到的,駕駛人的方向盤操作數據進行處理,研究結果在一定程度上,揭示了駕駛人的方向盤操作,與疲勞之間的關係。研究指出方向盤的操作,是一種有效的駕駛疲勞的判斷手段。





總體來說,目前利用駕駛人操作行為,進行疲勞辨識的深入研究成果較少。駕駛人的操作,除了與疲勞狀態有關外,還受到個人習慣、行駛速度、道路環境、操作技能的影響,車輛的行駛狀態,也與車輛特性、道路等很多環境因素有關,因此如何提高駕駛人狀態的推測精度,是此類間接測量技術的關鍵問題。

4、基於車輛行駛軌跡的檢測方法
利用車輛行駛軌跡變化,和車道線偏離等,車輛行駛資訊,也可推測駕駛人的疲勞狀態。這種方法,和基於駕駛人操作行為的疲勞狀態辨識技術一樣,都以車輛現有的裝置為基礎,不需添加過多的硬體設備,而且不會對駕駛人的正常駕駛造成干擾,因此具有很高的實用價值。

基於視頻技術的疲勞駕駛辨識系統
1999 年 4 月,美國聯邦公路管理局,首先提出了把 PERCLOS 作為預測機動車駕駛員,駕駛疲勞的可行方法。經過多年的發展,目前,PERCLOS 方法已被公認為最有效的、車載的、即時的駕駛疲勞測評方法。PERCLOS 是 Percentage of Eyelid Closure Over the Pupil Time 的縮寫,意為單位時間裡,眼睛閉合時間所佔的百分比。

PERCLOS 的原理,即為統計在一定時間內,眼睛閉合時所佔的時間比例。我們的系統所採用的評判標準為 PERCLOS80,指眼瞼遮住瞳孔的面積,超過 80% 就認為眼睛閉合。

基於影像技術的疲勞駕駛辨識系統之系統方案及工作流程
駕駛員疲勞監測系統透過影像採集設備,獲得駕駛員即時圖像,自動分析駕駛員的頭部姿態、眼睛運動規律,以及臉部特徵等資訊,來確定駕駛員精神狀態,並給出相應的預警提示。研究顯示,相比臉部或頭部運動規律而言,眼睛的活動規律,如眨眼頻率、眨眼快慢、眼睛張開幅度,以及眼睛的注視方向等,能更好地反映出當前時刻,實驗對象的精神狀態好壞。

因此,如果能夠獲得每一幀圖像中的雙眼大小、位置資訊,以及運動變化,就可以將一段時間內,駕駛員的眼部活動規律統計出來,結合疲勞狀態分析指標,就能夠對駕駛員疲勞狀態進行評價。系統流程如圖所示:


圖像預處理
在駕駛環境下透過影像串流,採集的圖像會受到諸多因素的影響,而包含噪聲資訊,如解析度、系統噪聲、突變背景等,給接下來的圖像運算帶來干擾。

因此,我們對源圖像透過直方圖均衡化的手段,進行預先處理,去除噪聲,增強圖像對比度,凸顯圖像細節,提高圖像品質。






人臉檢測
人臉檢測環節,是人眼定位前的重要步驟。系統採用 Adaboost 演算法,利用提供的樣本訓練和檢測方法。首先採集樣本,從已採集的樣本集中,訓練出分類器,該分類器可以很好地區別出人臉和非人臉;在檢測環節,加載待檢圖像幀至分類器中,透過對圖像像素點的掃描,找到圖像中包含的人臉,標定該區域。後續操作會在已標定的人臉區域中進行,縮小計算區域,排除非人臉因素的干擾,極大地提高了系統的運行速率。

眼定位
該環節包括人眼粗略定位和人眼精確定位兩個階段。首先,根據傳統的三庭五眼的先驗知識,粗略定位肯定存在人眼的大致區域,該區域可能同時包含眉毛,發角等干擾,但卻進一步地縮小了計算區域;接著,將人眼粗略區域,經過一定閾值轉換為二值化圖像,再進行垂直方向上的灰度投影,求得直方圖,因為人眼和周圍皮膚的灰度,存在較大差異,所以可從直方圖中的波峰波谷,判斷出人眼上下邊緣的 Y 坐標,繼而可對眼睛進行精確定位。

眼睛狀態判斷
透過最大類間方差法(Otsu)在不同的光線下對人眼精確區域進行不同閾值的二值化,分別獲取最佳的人眼睜閉狀態時的眼部形狀。透過對連續 N 幀的對比可以判斷,黑色像素值面積最小時,可認為駕駛員當前處於閉眼狀態,其他情況下處於睜眼,或者半睜眼狀態。

疲勞分析
系統選取目前公認有效的 PERCOLS 疲勞程度評價指標,即透過閉眼幀,在連續 N 幀內所佔的時間比例,來分析疲勞狀態,睜眼幀記錄為「1」值,閉眼幀記錄為「0」值,這樣,連續 N 幀後便可獲取關於「1」「0」交錯出現的序列,疲勞狀態的分析,即可用「0」值在該序列中所佔的比例來描述,當百分比高於一定的實驗比例後,即可認為司機可能出現疲勞。

透過以上五個步驟的操作處理,系統可由採集設備獲取的影像串流中,分析出當前駕駛員,是否處於疲勞狀態及疲勞程度,給出不同程度的提醒警報,從而達到系統目標。

疲勞程度的綜合判定
駕駛員疲勞的判定,會因錯誤檢查帶來不良影響,透過 PERCLOS、眼睛閉合時間、眼睛眨眼頻率、嘴巴張開程度、頭部運動的計算,進行疲勞程度的綜合判定,可以準確、有效地進行駕駛員疲勞的檢測。

PERCLOS
PERCLOS 是指眼睛閉合時間,佔某一特定時間的百分率。PERCLOS 方法有 P70,P80 和 EM 三種判定標準。研究顯示 P80與疲勞程度間,具有最好的相關性。

嘴巴張開程度
嘴巴的狀態通常有三種,閉合,說話及打哈欠,在疲勞狀態下,人會頻繁地打哈欠。在人臉下半部分進行水平灰度投影,觀察不同單人圖像的水平灰度投影曲線,會發現該區域下半部分的水平灰度,投影曲線有一個波谷,即為嘴唇間位置。對人臉下半部分區域二值化,從嘴唇間向上、下計算連通區域(連通區域可以防止鼻孔,及鬍鬚對計算帶來影響)的像素值,即可得到嘴巴的張開程度。

眼睛高度及嘴巴高度補償
在上眼瞼到下眼瞼的垂直距離及上嘴唇到下嘴唇的垂直距離時,由於駕駛員頭部相對於檢測設備有位置移動,因此為了實現駕駛員眼睛高度和嘴巴高度的準確計算,需要修正眼睛、嘴巴與檢測設備距離相對變化引起的變化。

眼睛閉合時間
眼睛閉合時間,一般用眼睛閉合到睜開所經歷的時間來表示。人處於正常清醒狀態時,眼睛閉合時間是很短的,會迅速睜開眼。而當疲勞時,眼睛閉合時間會明顯變長,因此眼睛閉合時間能直接反映駕駛員的精神狀態。透過計算從眼睛閉合,到睜開的最大幀數,幀數越多,閉合時間就越長,則疲勞程度就越嚴重。

眼睛眨眼頻率
人在疲勞狀態下,眨眼頻率會比清醒狀態下頻率高。本文也將其作為一項參數,作為疲勞判斷的依據。眼睛閉合到睜開為眨眼一次。累加一段時間內眨眼次數,作為疲勞判斷的一項參數。

頭部運動的疲勞參數
駕駛員在疲勞狀態下,會出現頻繁點頭,頭部向前傾。透過水平灰度積分投影,得到眼睛瞳孔、嘴角的水平位置。 假設 d1 為瞳孔水平位置到採集圖片的上邊緣距離,d2 為嘴角的水平位置到採集圖片的下邊緣距離。

在駕駛員疲勞出現點頭情況,則  d1 增大且 d2 減小。駕駛員疲勞時,頭部向前傾,則 d1 增大且 d2 增大。點頭和頭部向前傾,可以作為疲勞判斷的一項重要的依據。

疲勞駕駛監測技術現狀
美國 Attention Technologies 公司推出的 Driver Fatigue Monitor(DD850),是一款基於駕駛人生理反應特徵的,駕駛人疲勞監測預警產品。該產品透過紅外線攝影機,採集駕駛人眼部資訊,採用 PERCLOS 作為疲勞報警指標,可直接安裝在儀錶盤上,報警的敏感度和報警音量均可調節,目前已推廣應用,但只有晚上才有效。

美國 Digital Installations 開發的 S.A.M. 疲勞報警裝置,利用置於方向盤下方的磁性條,檢測方向盤轉角。如果一段時間內,駕駛員沒有對方向盤進行任何修正操作,則系統推斷駕駛員進入疲勞狀態,並觸發報警。

美國 AssistWare Technology 公司的 SafeTRAC  利用前置攝影機對車道線進行辨識,當車輛開始偏離車道時進行報警,該產品也可透過車道保持狀態,結合駕駛人的方向盤操作特性,判斷駕駛人的疲勞狀態。

英國的 ASTiD 裝置綜合考慮駕駛員的睡眠資訊、已完成的駕駛時長和類型,以及駕駛員的方向盤操作等各種因素,判斷駕駛人疲勞狀態。裝置運行前需要駕駛員,輸入自己過去 24 小時的睡眠資訊。當視覺報警到一定程度時,觸發聲音報警,建議駕駛員停車並休息。休息一段時間後,內置鬧鐘會叫醒駕駛員,並重置駕駛時間。

除了上述這些產品之外,還有透過手腕運動,檢測疲勞的疲勞警報手鐲,和可掛在眼睛腿上的,利用加速度運動資訊,檢測頭部運動的疲勞檢測眼鏡等,其它一些疲勞檢測預警產品。

對駕駛人疲勞狀態監測方法,與裝置的研究, 對於預防由疲勞駕駛,引起的交通事故有重要意義, 其應用前景廣闊, 可以預見在未來很長一段時間內,都將是汽車安全技術領域的一個熱點方向。

但是,駕駛人的疲勞狀態受多種因素影響,到目前為止,還沒有發現非常有效的指標或模型,能夠對疲勞等級進行精確的評價。

因此需要進一步深入研究各種指標,與駕駛人疲勞等級之間的關係。另外,現有的駕駛人疲勞狀態監測方法,大都基於某一單項指標,雖然在限定條件下,能夠達到一定的精度,但在實際複雜多變的行車環境下,其準確性和可靠性上,還存在問題,難以達到預期要求。針對這一問題,多源資訊融合方法將成為一個發展方向。


AKD 寰楚專業級全系列監控設備

0 comments: