[發明專利]一種注意力水平檢測方法、裝置、計算設備及存儲介質

在審

• 申請號: 202011592015.3
• 申請日: 2020-12-29
• 公開（公告）號: CN112597935A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 樊碩
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 孫黎生

本申請公開了一種注意力水平檢測方法、裝置、計算設備及存儲介質。所述方法包括：采用SSIM算法從監控設備輸出的視頻中提取關鍵幀；采用卷積神經網絡檢測所述關鍵幀中人物的睡意、注視情況及面部表情；根據睡意檢測結果、面部表情檢測結果、以及注視情況檢測結果確定視頻中人物的注意力水平。所述裝置包括：關鍵幀提取模塊、檢測模塊和判斷模塊。所述計算設備包括存儲器、處理器和存儲在所述存儲器內并能由所述處理器運行的計算機程序，其中，所述處理器執行所述計算機程序時實現本申請所述的方法。所述存儲介質優選為非易失性可讀存儲介質，其內存儲有計算機程序，所述計算機程序在由處理器執行時實現本申請所述的方法。

技術領域

本申請涉及視頻圖像中人物的動作表情識別，特別是涉及課堂上人物注意力檢測技術。

背景技術

評估學生注意力水平通常采用的方法是評估教室中學生的肢體語言，包括檢查學生是否在睡覺、在演講過程中學生是否有愉快的表情、以及學生的目光朝向等。由于只檢測了單個方面，所以評估結果往往不夠準確。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種注意力水平檢測方法，包括：

采用SSIM算法從監控設備輸出的視頻中提取關鍵幀；

采用卷積神經網絡檢測所述關鍵幀中人物的睡意、注視情況及面部表情；

根據睡意檢測結果、面部表情檢測結果、以及注視情況檢測結果確定視頻中人物的注意力水平。

可選地，所述的根據睡意檢測結果、面部表情檢測結果、以及注視情況檢測結果確定視頻中人物的注意力水平包括：

根據睡意檢測結果、面部表情檢測結果、以及注視情況檢測結果確定每一幀為專注或不專注；

統計專注和不專注的幀數，并根據專注幀數和不專注幀數計算專注度百分比。

可選地，

睡意檢測結果包括陰性和陽性，當所述睡意檢測結果為陽性時，表明所述關鍵幀中的人物正在睡覺；

注視檢測結果包括陰性和陽性，當所述注視檢測結果為陽性時，表明所述關鍵幀中的人物注意力集中；

面部表情檢測結果包括陰性情緒和陽性情緒。

可選地，所述的SSIM算法所采用的公式為：

SSIM(x,y)＝l(x，y).c(x，y).s(x，y)

其中，l(x,y)表示圖像x和圖像y之間亮度的變化，c(x,y)表示圖像x和圖像y之間對比度的變化，s(x,y)表示圖像x和圖像y之間像素結構的變化，SSIM(x,y)表示圖像x和圖像y之間的相似度指數。

根據本申請的另一個方面，提供了一種注意力水平檢測裝置，包括：

關鍵幀提取模塊，其配置成采用SSIM算法從監控設備輸出的視頻中提取關鍵幀；

檢測模塊，其配置成采用卷積神經網絡檢測所述關鍵幀中人物的睡意、注視情況及面部表情；和

判斷模塊，其配置成根據睡意檢測結果、面部表情檢測結果、以及注視情況檢測結果確定視頻中人物的注意力水平。

可選地，所述的判斷模塊包括：

專注情況判斷子模塊，其配置成根據睡意檢測結果、面部表情檢測結果、以及注視情況檢測結果確定每一幀為專注或不專注；和

計算子模塊，其配置成統計專注和不專注的幀數，并根據專注幀數和不專注幀數計算專注度百分比。

可選地，