[發明專利]駕駛員監視裝置、駕駛員監視方法、學習裝置及學習方法

在審

• 申請號: 201780085928.6
• 申請日: 2017-05-26
• 公開（公告）號: CN110268456A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 青位初美;木下航一;相澤知禎;日向匡史;籔內智浩;上谷芽衣
• 申請（專利權）人: 歐姆龍株式會社
• 主分類號: G08G1/16
• 分類號: G08G1/16
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 田喜慶

1.一種駕駛員監視裝置，具備：

圖像獲取部，從配置為拍攝就座于車輛的駕駛座上的駕駛員的拍攝裝置獲取拍攝圖像；

觀測信息獲取部，獲取包含與所述駕駛員的面部行為相關的面部行為信息的所述駕駛員的觀測信息；以及

駕駛員狀態推定部，通過向進行了用于推定所述駕駛員對駕駛的集中程度的學習的學習完畢的學習器輸入所述拍攝圖像及所述觀測信息，而從所述學習器獲取與所述駕駛員對駕駛的集中程度相關的駕駛集中度信息。

2.根據權利要求1所述的駕駛員監視裝置，其中，

所述駕駛員狀態推定部獲取表示所述駕駛員的注視狀態的注視狀態信息以及表示所述駕駛員對駕駛的快速響應性的程度的快速響應性信息而作為所述駕駛集中度信息。

3.根據權利要求2所述的駕駛員監視裝置，其中，

所述注視狀態信息以多個等級階段性地表示所述駕駛員的注視狀態，

所述快速響應性信息以多個等級階段性地表示所述駕駛員對駕駛的快速響應性的程度。

4.根據權利要求3所述的駕駛員監視裝置，其中，

所述駕駛員監視裝置還具備警告部，所述警告部根據所述注視狀態信息所表示的所述駕駛員的注視的等級以及所述快速響應性信息所表示的所述駕駛員的快速響應性的等級，階段性地進行督促所述駕駛員采取適于駕駛車輛的狀態的警告。

5.根據權利要求1至4中任一項所述的駕駛員監視裝置，其中，

所述駕駛員狀態推定部從分別與所述駕駛員對駕駛的集中程度相對應地設定的多個規定的行動狀態中獲取表示所述駕駛員正在采取的行動狀態的行動狀態信息而作為所述駕駛集中度信息。

6.根據權利要求1至5中任一項所述的駕駛員監視裝置，其中，

所述觀測信息獲取部通過對獲取的所述拍攝圖像進行規定的圖像分析，獲取與能否檢測所述駕駛員的面部、面部的位置、面部的朝向、面部的動作、視線的方向、面部的器官的位置以及眼睛的睜閉中的至少任意一個相關的信息而作為所述面部行為信息。

7.根據權利要求1至6中任一項所述的駕駛員監視裝置，其中，

所述駕駛員監視裝置還具備使獲取的所述拍攝圖像的分辨率降低的分辨率轉換部，

所述駕駛員狀態推定部將降低了分辨率的所述拍攝圖像輸入至所述學習器。

8.根據權利要求1至7中任一項所述的駕駛員監視裝置，其中，

所述學習器具備：輸入所述觀測信息的全連接神經網絡、輸入所述拍攝圖像的卷積神經網絡、以及連接所述全連接神經網絡的輸出和所述卷積神經網絡的輸出的連接層。

9.根據權利要求8所述的駕駛員監視裝置，其中，

所述學習器還具備輸入來自所述連接層的輸出的遞歸神經網絡。

10.根據權利要求9所述的駕駛員監視裝置，其中，

所述遞歸神經網絡包括長短期記憶塊。

11.根據權利要求1至10中任一項所述的駕駛員監視裝置，其中，

所述駕駛員狀態推定部還將影響因素信息輸入至所述學習器，所述影響因素信息是與對于所述駕駛員對駕駛的集中度產生影響的因素相關的信息。

12.一種駕駛員監視方法，由計算機執行如下步驟：

圖像獲取步驟，從配置為拍攝就座于車輛的駕駛座上的駕駛員的拍攝裝置獲取拍攝圖像；

觀測信息獲取步驟，獲取包含與所述駕駛員的面部行為相關的面部行為信息的所述駕駛員的觀測信息；以及

推定步驟，通過向進行了用于推定所述駕駛員對駕駛的集中程度的學習的學習完畢的學習器輸入所述拍攝圖像及所述觀測信息，而從所述學習器獲取與所述駕駛員對駕駛的集中程度相關的駕駛集中度信息。