[發明專利]神經網絡訓練及眼睛睜閉狀態檢測方法、裝置及設備

在審

• 申請號: 201910153463.4
• 申請日: 2019-02-28
• 公開（公告）號: CN111626087A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 王飛;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本公開的實施方式公開了一種神經網絡訓練方法、眼睛睜閉狀態檢測方法、智能駕駛控制方法、裝置、電子設備、計算機可讀存儲介質以及計算機程序，其中的神經網絡訓練方法包括：經待訓練的睜閉眼檢測用神經網絡，對至少兩個睜閉眼檢測訓練任務各自對應的圖像集中的多張眼睛圖像，分別進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；其中，不同圖像集所包含的眼睛圖像至少部分不同；根據所述眼睛圖像的眼睛睜閉標注信息和所述神經網絡輸出的眼睛睜閉狀態檢測結果，分別確定至少兩個睜閉眼檢測訓練任務各自對應的損失，并根據所述至少兩個睜閉眼檢測訓練任務各自對應的損失調整所述神經網絡的網絡參數。

技術領域

本公開涉及計算機視覺技術，尤其是涉及一種神經網絡訓練方法、神經網絡訓練裝置、眼睛睜閉狀態檢測方法、眼睛睜閉狀態檢測裝置、智能駕駛控制方法、智能駕駛控制裝置、電子設備、計算機可讀存儲介質以及計算機程序。

背景技術

眼睛睜閉狀態檢測即檢測眼睛的睜閉情況。眼睛睜閉狀態監測可以用于疲勞監測、活體識別、表情識別等領域。例如，在輔助駕駛技術中，需要針對駕駛員進行眼睛睜閉狀態檢測，基于眼睛睜閉狀態檢測結果，判斷駕駛員是否處于疲勞駕駛狀態，從而實現疲勞駕駛監測。準確的檢測出眼睛睜閉狀態，盡可能的避免誤判，有利于提高車輛行駛的安全性。

發明內容

本公開實施方式提供一種神經網絡訓練、眼睛睜閉狀態檢測以及智能駕駛控制技術方案。

根據本公開實施方式其中一方面，提供一種神經網絡訓練方法，所述方法包括：經待訓練的睜閉眼檢測用神經網絡，對至少兩個睜閉眼檢測訓練任務各自對應的圖像集中的多張眼睛圖像，分別進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；其中，不同圖像集所包含的眼睛圖像至少部分不同；根據所述眼睛圖像的眼睛睜閉標注信息和所述神經網絡輸出的眼睛睜閉狀態檢測結果，分別確定至少兩個睜閉眼檢測訓練任務各自對應的損失，并根據所述至少兩個睜閉眼檢測訓練任務各自對應的損失調整所述神經網絡的網絡參數。

在本公開一實施方式中，所述至少兩個睜閉眼檢測訓練任務包括以下至少兩個任務：眼睛有附著物情形的睜閉眼檢測任務、眼睛無附著物情形的睜閉眼檢測任務、室內環境下的睜閉眼檢測任務、室外環境下的睜閉眼檢測任務、眼睛有附著物且附著物上有光斑情形的睜閉眼檢測任務、眼睛有附著物且附著物上無光斑情形的睜閉眼檢測任務；所述至少兩個睜閉眼檢測訓練任務各自對應的圖像集包括以下相應的至少兩個圖像集：眼睛有附著物的眼睛圖像集、眼睛無附著物的眼睛圖像集、室內環境下采集的眼睛圖像集、室外環境下采集的眼睛圖像集、眼睛有附著物且附著物上有光斑的眼睛圖像集、眼睛有附著物且附著物上無光斑的眼睛圖像集。

在本公開又一實施方式中，所述經待訓練的睜閉眼檢測用神經網絡，對至少兩個睜閉眼檢測訓練任務各自對應的圖像集中的多張眼睛圖像，分別進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果，包括：根據預設的不同睜閉眼檢測訓練任務的圖像數量比例，針對不同睜閉眼檢測訓練任務，分別從不同的所述圖像集中獲取相應數量的眼睛圖像；經待訓練的睜閉眼檢測用神經網絡，對所述相應數量的眼睛圖像，分別進行眼睛睜閉狀態檢測處理，輸出各眼睛圖像各自對應的眼睛睜閉狀態檢測結果。

在本公開再一實施方式中，所述根據所述眼睛圖像的眼睛睜閉標注信息和所述神經網絡輸出的眼睛睜閉狀態檢測結果，分別確定至少兩個睜閉眼檢測訓練任務各自對應的損失，包括：針對任一睜閉眼檢測訓練任務而言，根據神經網絡針對該訓練任務對應的圖像集中的多個眼睛圖像分別輸出的眼睛睜閉狀態檢測結果中的最大概率值與該圖像集中的相應眼睛圖像的標注信息所對應的分界面之間的夾角，確定該訓練任務對應的損失。

在本公開再一實施方式中，所述根據所述至少兩個睜閉眼檢測訓練任務各自對應的損失調整所述神經網絡的網絡參數，包括：根據所述至少兩個睜閉眼檢測訓練任務各自對應的損失，確定所述至少兩個睜閉眼檢測訓練任務的綜合損失；根據所述綜合損失，調整所述神經網絡的網絡參數。