[發(fā)明專利]面向自動(dòng)駕駛的人機(jī)協(xié)同感知方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011206771.8
• 申請(qǐng)日: 2020-11-03
• 公開（公告）號(hào): CN112380935B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 池成;徐剛;沈劍豪;鄧遠(yuǎn)志;林國勇;周陽;李文杰
• 申請(qǐng)（專利權(quán)）人: 深圳技術(shù)大學(xué)
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V40/16;G06V10/25;G06V10/44;G06V10/77;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 葉琦煒

本發(fā)明公開了面向自動(dòng)駕駛的人機(jī)協(xié)同感知方法及系統(tǒng)，該方法包括：通過設(shè)置在車內(nèi)的不同位置的雙目紅外CCD拍攝駕駛員頭部影像，提取臉部特征，獲取特征角點(diǎn)；建立駕駛員三維視線與環(huán)境感知攝像頭成像上像素點(diǎn)間的映射關(guān)系，獲得駕駛員視覺落點(diǎn)，并保存至注視點(diǎn)緩存數(shù)據(jù)庫；基于注視點(diǎn)緩存數(shù)據(jù)庫，對(duì)注視目標(biāo)頻率與注視時(shí)長進(jìn)行眼動(dòng)分析，獲得眼動(dòng)狀態(tài)，構(gòu)建拓維環(huán)境感知圖像數(shù)據(jù)庫，對(duì)自動(dòng)駕駛過程中的圖像處理神經(jīng)網(wǎng)絡(luò)的分配權(quán)重進(jìn)行調(diào)整。本發(fā)明通過視覺追蹤和人眼注意力機(jī)制快速定位智能攝像頭中圖像中的感興趣區(qū)域，利用感知融合技術(shù)加速環(huán)境感知系統(tǒng)信息處理速度，能顯著降低感知系統(tǒng)硬件運(yùn)算需求、提升系統(tǒng)實(shí)時(shí)性，具有較好的經(jīng)濟(jì)性。

技術(shù)領(lǐng)域

本發(fā)明涉及智能駕駛的技術(shù)領(lǐng)域，特別涉及一種面向自動(dòng)駕駛的人機(jī)協(xié)同感知方法及系統(tǒng)。

背景技術(shù)

智能輔助駕駛乃至自動(dòng)駕駛技術(shù)是未來汽車發(fā)展的必然趨勢。在該技術(shù)領(lǐng)域，當(dāng)前感知系統(tǒng)成為阻礙自動(dòng)駕駛技術(shù)發(fā)展的瓶頸。

目前，由于單傳感器方案在應(yīng)對(duì)復(fù)雜環(huán)境時(shí)存在的信息單一、不確定性高、可靠性低等先天不足，難以滿足感知系統(tǒng)魯棒性、準(zhǔn)確性、穩(wěn)定性的苛刻要求。相反，多傳感器信息融合方案能夠形成對(duì)不確定性信息的有效互補(bǔ)，已經(jīng)成為當(dāng)下感知主流的解決方案。激光雷達(dá)、毫米波雷達(dá)、攝像頭、超聲波雷達(dá)彼此之間或者多個(gè)同類型的多傳感器組合感知方案就是為了獲取車輛相對(duì)全面的車身環(huán)境信息，但是此類多傳感器組合方案無法避開的弊端就是單位時(shí)間處理數(shù)據(jù)量大、硬件資源需求高，往往難以滿意系統(tǒng)的實(shí)時(shí)性要求、系統(tǒng)不經(jīng)濟(jì)。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明提出一種面向自動(dòng)駕駛的人機(jī)協(xié)同感知方法，能夠有效降低單位時(shí)間處理數(shù)據(jù)量，提升系統(tǒng)處理速度。

本發(fā)明還提出一種具有上述面向自動(dòng)駕駛的人機(jī)協(xié)同感知方法的面向自動(dòng)駕駛的人機(jī)協(xié)同感知系統(tǒng)。

根據(jù)本發(fā)明的第一方面實(shí)施例的面向自動(dòng)駕駛的人機(jī)協(xié)同感知方法，包括以下步驟：S100，通過設(shè)置在車內(nèi)的不同位置的雙目紅外CCD拍攝駕駛員頭部影像，獲取駕駛員面部合成圖像，提取臉部特征，獲取特征角點(diǎn)，并通過所述特征角點(diǎn)的定位建立眼球坐標(biāo)系；S200，基于所述眼球坐標(biāo)系獲取駕駛員三維視線，并通過坐標(biāo)矩陣變換將所述駕駛員三維視線與環(huán)境感知攝像頭成像像素信息置于同一世界坐標(biāo)下，建立駕駛員三維視線與環(huán)境感知攝像頭成像上像素點(diǎn)間的映射關(guān)系，獲得駕駛員視覺落點(diǎn)，保存至駕駛員注視點(diǎn)緩存數(shù)據(jù)庫；S300，基于所述駕駛員注視點(diǎn)緩存數(shù)據(jù)庫，對(duì)注視目標(biāo)頻率與注視時(shí)長進(jìn)行眼動(dòng)分析，獲得眼動(dòng)狀態(tài)并標(biāo)記，并對(duì)駕駛員視覺落點(diǎn)與成像的交點(diǎn)的像素區(qū)域進(jìn)行標(biāo)記，構(gòu)建拓維環(huán)境感知圖像數(shù)據(jù)庫；S400，根據(jù)所述拓維環(huán)境感知圖像數(shù)據(jù)庫，對(duì)自動(dòng)駕駛過程中的圖像處理神經(jīng)網(wǎng)絡(luò)的分配權(quán)重進(jìn)行調(diào)整，自適應(yīng)調(diào)整圖像像素遍歷精細(xì)程度和區(qū)域。

根據(jù)本發(fā)明實(shí)施例的面向自動(dòng)駕駛的人機(jī)協(xié)同感知方法，至少具有如下有益效果：通過視覺追蹤和人眼注意力機(jī)制快速定位智能攝像頭中圖像中的感興趣區(qū)域，利用感知融合技術(shù)加速環(huán)境感知系統(tǒng)信息處理速度，能顯著降低感知系統(tǒng)硬件運(yùn)算需求、提升系統(tǒng)實(shí)時(shí)性，具有較好的經(jīng)濟(jì)性。

根據(jù)本發(fā)明的一些實(shí)施例，所述步驟S100包括：S110，通過所述雙目紅外CCD拍攝駕駛員頭部影像，獲得同一時(shí)間不同角度的駕駛員面部圖像，進(jìn)行全景合成拼接、灰度處理、二值化處理后，得到所述駕駛員面部合成圖像；S120，通過人臉膚色模型，對(duì)所述駕駛員面部合成圖像進(jìn)行區(qū)分，得出待檢區(qū)域，并基于人臉模型匹配所述待檢區(qū)域，得到人臉檢測圖像，存入歷史人臉數(shù)據(jù)庫中；S130，從所述人臉檢測圖像中提取所述特征角點(diǎn)，識(shí)別出兩只眼睛的內(nèi)外眼角、兩個(gè)嘴角及兩個(gè)人眼中心點(diǎn)，并根據(jù)兩內(nèi)眼角和兩嘴角建立人臉平面；S140，基于所述雙目紅外CCD在世界坐標(biāo)系的位置和方向，求解所述特征角點(diǎn)的三維空間坐標(biāo)，進(jìn)行坐標(biāo)轉(zhuǎn)換得到所述特征角點(diǎn)的世界坐標(biāo)，并根據(jù)所述特征角點(diǎn)的世界坐標(biāo)建立所述眼球坐標(biāo)系。