[發明專利]面向自動駕駛的人機協同感知方法及系統

有效

• 申請號: 202011206771.8
• 申請日: 2020-11-03
• 公開（公告）號: CN112380935B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 池成;徐剛;沈劍豪;鄧遠志;林國勇;周陽;李文杰
• 申請（專利權）人: 深圳技術大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V10/25;G06V10/44;G06V10/77;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 葉琦煒

1.一種面向自動駕駛的人機協同感知方法，其特征在于，包括以下步驟：

S100，通過設置在車內的不同位置的雙目紅外CCD拍攝駕駛員頭部影像，獲取駕駛員面部合成圖像，提取臉部特征，獲取特征角點，并通過所述特征角點的定位建立眼球坐標系；

S200，基于所述眼球坐標系獲取駕駛員三維視線，并通過坐標矩陣變換將所述駕駛員三維視線與環境感知攝像頭成像像素信息置于同一世界坐標下，建立駕駛員三維視線與環境感知攝像頭成像上像素點間的映射關系，獲得駕駛員視覺落點，保存至駕駛員注視點緩存數據庫；

S300，基于所述駕駛員注視點緩存數據庫，對注視目標頻率與注視時長進行眼動分析，獲得眼動狀態并標記，并對駕駛員視覺落點與成像的交點的像素區域進行標記，構建拓維環境感知圖像數據庫；

S400，根據所述拓維環境感知圖像數據庫，對自動駕駛過程中的圖像處理神經網絡的分配權重進行調整，自適應調整圖像像素遍歷精細程度和區域。

2.根據權利要求1所述的面向自動駕駛的人機協同感知方法，其特征在于，所述步驟S100包括：

S110，通過所述雙目紅外CCD拍攝駕駛員頭部影像，獲得同一時間不同角度的駕駛員面部圖像，進行全景合成拼接、灰度處理、二值化處理后，得到所述駕駛員面部合成圖像；

S120，通過人臉膚色模型，對所述駕駛員面部合成圖像進行區分，得出待檢區域，并基于人臉模型匹配所述待檢區域，得到人臉檢測圖像，存入歷史人臉數據庫中；

S130，從所述人臉檢測圖像中提取所述特征角點，識別出兩只眼睛的內外眼角、兩個嘴角及兩個人眼中心點，并根據兩內眼角和兩嘴角建立人臉平面；

S140，基于所述雙目紅外CCD在世界坐標系的位置和方向，求解所述特征角點的三維空間坐標，進行坐標轉換得到所述特征角點的世界坐標，并根據所述特征角點的世界坐標建立所述眼球坐標系。

3.根據權利要求2所述的面向自動駕駛的人機協同感知方法，其特征在于，所述步驟S140還包括：

S141，從所述歷史人臉數據庫中讀取所述人臉檢測圖像，通過視頻流分析駕駛員面部特征變化及視覺注意力變化，對駕駛員精神狀態進行檢測，獲取精神狀態評分；

S142，若所述精神狀態評分小于設定閾值，則繼續通過所述雙目紅外CCD拍攝駕駛員頭部影像獲取所述人臉檢測圖像，重新計算所述精神狀態評分；

S143，否則，求解所述特征角點的三維空間坐標，并建立所述眼球坐標系。

4.根據權利要求1所述的面向自動駕駛的人機協同感知方法，其特征在于，所述步驟S200包括：

S210，對所述駕駛員面部合成圖像進行眼球區域識別，截取眼球區域圖像，將所述眼球區域圖像進行閾值分析，分別獲取瞳孔閾值圖像和普爾欽斑閾值圖像，識別瞳孔和普爾欽斑，并計算出瞳孔中心和普爾欽斑點中心坐標，確立瞳孔-普爾欽斑位置關系映射函數；

S220，根據所述瞳孔-普爾欽斑位置關系映射函數得出所述駕駛員三維視線；

S230，通過坐標矩陣變換將所述駕駛員三維視線與環境感知攝像頭成像像素信息置于同一世界坐標下，建立駕駛員三維視線與環境感知攝像頭成像上像素點間的映射關系；

S240，對所述駕駛員三維視線與環境感知攝像頭成像求交，獲得駕駛員視覺落點，保存至駕駛員注視點緩存數據庫。

5.根據權利要求4所述的面向自動駕駛的人機協同感知方法，其特征在于，所述步驟S220還包括：

S221，通過圖像識別獲取駕駛員頭部特征點相對于相機坐標系的空間位置，建立駕駛員頭部坐標系，對頭部俯仰角、偏轉角、側傾角、三軸平動數據進行記錄，得到頭部運動數據；

S222，基于環境模型進行數據融合，通過所述頭部運動數據補償視線追蹤數據，推算并輸出所述駕駛員三維視線。

6.根據權利要求1所述的面向自動駕駛的人機協同感知方法，其特征在于，所述眼動狀態包括：注視、跳視以及平滑尾隨跟蹤。