[發(fā)明專利]駕駛員監(jiān)視裝置、駕駛員監(jiān)視方法、學(xué)習(xí)裝置及學(xué)習(xí)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201780085928.6
• 申請(qǐng)日: 2017-05-26
• 公開（公告）號(hào): CN110268456A
• 公開（公告）日: 2019-09-20
• 發(fā)明（設(shè)計(jì)）人: 青位初美;木下航一;相澤知禎;日向匡史;籔內(nèi)智浩;上谷芽衣
• 申請(qǐng)（專利權(quán)）人: 歐姆龍株式會(huì)社
• 主分類號(hào): G08G1/16
• 分類號(hào): G08G1/16
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 田喜慶

1.一種駕駛員監(jiān)視裝置，具備：

圖像獲取部，從配置為拍攝就座于車輛的駕駛座上的駕駛員的拍攝裝置獲取拍攝圖像；

觀測(cè)信息獲取部，獲取包含與所述駕駛員的面部行為相關(guān)的面部行為信息的所述駕駛員的觀測(cè)信息；以及

駕駛員狀態(tài)推定部，通過(guò)向進(jìn)行了用于推定所述駕駛員對(duì)駕駛的集中程度的學(xué)習(xí)的學(xué)習(xí)完畢的學(xué)習(xí)器輸入所述拍攝圖像及所述觀測(cè)信息，而從所述學(xué)習(xí)器獲取與所述駕駛員對(duì)駕駛的集中程度相關(guān)的駕駛集中度信息。

2.根據(jù)權(quán)利要求1所述的駕駛員監(jiān)視裝置，其中，

所述駕駛員狀態(tài)推定部獲取表示所述駕駛員的注視狀態(tài)的注視狀態(tài)信息以及表示所述駕駛員對(duì)駕駛的快速響應(yīng)性的程度的快速響應(yīng)性信息而作為所述駕駛集中度信息。

3.根據(jù)權(quán)利要求2所述的駕駛員監(jiān)視裝置，其中，

所述注視狀態(tài)信息以多個(gè)等級(jí)階段性地表示所述駕駛員的注視狀態(tài)，

所述快速響應(yīng)性信息以多個(gè)等級(jí)階段性地表示所述駕駛員對(duì)駕駛的快速響應(yīng)性的程度。

4.根據(jù)權(quán)利要求3所述的駕駛員監(jiān)視裝置，其中，

所述駕駛員監(jiān)視裝置還具備警告部，所述警告部根據(jù)所述注視狀態(tài)信息所表示的所述駕駛員的注視的等級(jí)以及所述快速響應(yīng)性信息所表示的所述駕駛員的快速響應(yīng)性的等級(jí)，階段性地進(jìn)行督促所述駕駛員采取適于駕駛車輛的狀態(tài)的警告。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的駕駛員監(jiān)視裝置，其中，

所述駕駛員狀態(tài)推定部從分別與所述駕駛員對(duì)駕駛的集中程度相對(duì)應(yīng)地設(shè)定的多個(gè)規(guī)定的行動(dòng)狀態(tài)中獲取表示所述駕駛員正在采取的行動(dòng)狀態(tài)的行動(dòng)狀態(tài)信息而作為所述駕駛集中度信息。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的駕駛員監(jiān)視裝置，其中，

所述觀測(cè)信息獲取部通過(guò)對(duì)獲取的所述拍攝圖像進(jìn)行規(guī)定的圖像分析，獲取與能否檢測(cè)所述駕駛員的面部、面部的位置、面部的朝向、面部的動(dòng)作、視線的方向、面部的器官的位置以及眼睛的睜閉中的至少任意一個(gè)相關(guān)的信息而作為所述面部行為信息。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的駕駛員監(jiān)視裝置，其中，

所述駕駛員監(jiān)視裝置還具備使獲取的所述拍攝圖像的分辨率降低的分辨率轉(zhuǎn)換部，

所述駕駛員狀態(tài)推定部將降低了分辨率的所述拍攝圖像輸入至所述學(xué)習(xí)器。

8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的駕駛員監(jiān)視裝置，其中，

所述學(xué)習(xí)器具備：輸入所述觀測(cè)信息的全連接神經(jīng)網(wǎng)絡(luò)、輸入所述拍攝圖像的卷積神經(jīng)網(wǎng)絡(luò)、以及連接所述全連接神經(jīng)網(wǎng)絡(luò)的輸出和所述卷積神經(jīng)網(wǎng)絡(luò)的輸出的連接層。

9.根據(jù)權(quán)利要求8所述的駕駛員監(jiān)視裝置，其中，

所述學(xué)習(xí)器還具備輸入來(lái)自所述連接層的輸出的遞歸神經(jīng)網(wǎng)絡(luò)。

10.根據(jù)權(quán)利要求9所述的駕駛員監(jiān)視裝置，其中，

所述遞歸神經(jīng)網(wǎng)絡(luò)包括長(zhǎng)短期記憶塊。

11.根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的駕駛員監(jiān)視裝置，其中，

所述駕駛員狀態(tài)推定部還將影響因素信息輸入至所述學(xué)習(xí)器，所述影響因素信息是與對(duì)于所述駕駛員對(duì)駕駛的集中度產(chǎn)生影響的因素相關(guān)的信息。

12.一種駕駛員監(jiān)視方法，由計(jì)算機(jī)執(zhí)行如下步驟：

圖像獲取步驟，從配置為拍攝就座于車輛的駕駛座上的駕駛員的拍攝裝置獲取拍攝圖像；

觀測(cè)信息獲取步驟，獲取包含與所述駕駛員的面部行為相關(guān)的面部行為信息的所述駕駛員的觀測(cè)信息；以及

推定步驟，通過(guò)向進(jìn)行了用于推定所述駕駛員對(duì)駕駛的集中程度的學(xué)習(xí)的學(xué)習(xí)完畢的學(xué)習(xí)器輸入所述拍攝圖像及所述觀測(cè)信息，而從所述學(xué)習(xí)器獲取與所述駕駛員對(duì)駕駛的集中程度相關(guān)的駕駛集中度信息。