[發明專利]一種弱光環境下的人臉表情捕捉方法及裝置

在審

• 申請號: 202210142311.6
• 申請日: 2022-02-16
• 公開（公告）號: CN114519883A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 張峰;趙瑞瑋;馮瑞
• 申請（專利權）人: 復旦大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 程宗德

本發明提供一種弱光環境下的人臉表情捕捉方法及裝置，能夠在復雜環境的視頻流中對不同的尺度的座位實現精確框定，并基于此框定結果檢測提取臉部特征用于識別表情。其特征在于，包括以下步驟：步驟S1，獲取待測影院內的俯視角度的視頻流；步驟S2，基于影院座椅定位模型對視頻流進行檢測，得到待測影院內所有座椅最新位置的標注框；步驟S3，使用表情識別分類模型對所有標注框進行人臉定位和表情識別，從而得到待測影院內的觀眾的人臉表情類別。其中，影院座椅定位模型以ResNet50和FPN結合的網絡作為Backbone，并加入CBAM模塊以構建影院座椅定位初始網絡并對該初始網絡進行訓練得到，表情識別分類模型基于構建并訓練改進VGGNet和改進Focal Loss結合的人臉表情識別算法得到。

技術領域

本發明屬于計算機視覺領域，具體涉及一種弱光環境下的人臉表情捕捉方法及裝置。

背景技術

科學的觀影數據統計方法和智慧化的觀影秩序維護方法是電影工業現代化必不可少的環節。票房數據是電影收益統計的重要標準，是一部電影是否成功的直觀表示，真實的上座率、放映過程中的觀眾狀態如人臉表情、離席次數等數據，是從更多維度評價觀眾觀影體驗的重要依據，為制片方對影片節奏的把控和放映方提供更好的觀影環境提供了重要參考；維護良好的觀影秩序，是電影放映方應盡的責任與義務，智慧化的觀影秩序維護對影片版權保護、各類災情預防等方面具有重要意義。

放映廳座椅定位是影廳數據收集的重要環節，傳統的基于專家系統的影廳座椅定位高度依賴于人工預設，由于座椅數量龐大，手動輸入信息十分耗時，且預設信息難以適應攝像機的機位變化，維護成本高。隨著計算機視覺技術的不斷發展，尤其是深度學習在目標檢測領域的出色表現，已經實現了在智慧醫療及自動駕駛等多領域的廣泛應用，基于深度卷積神經網絡的座椅定位方法具有易于部署、便于遷移及定位精確等多重優勢，然而，目標檢測方法大多數不具有傾斜目標框定能力，且對大小、尺度等屬性高度多樣的放映廳座椅目標表現不佳，需要對目標檢測方法進行改進。

而收集和識別觀影觀眾的表情，可以為影院管理方提高管理效率，讓觀眾獲得更好的觀影體驗提供有效助力；也可以為制片方對影片節奏的把控提供了重要參考。同樣受益于深度學習的發展，計算機圖像處理技術也日益完善，人臉表情識別逐漸成為計算機圖像處理中重要的一部分，在人機交互、安全以及機器人制造等領域具有廣泛且必要的用途。然而，人臉表情識別方法在光線較暗的情況下能夠達到的效果并不好，因此需要對現有方法進行改進。

發明內容

為解決上述問題，提供一種能夠針對多種光照條件下的電影院攝像頭視頻流對不同的尺度、比例的座位目標實現精確的定位和框定，并基于此框定結果對框范圍內檢測和提取臉部特征用于識別表情的方法及裝置，本發明采用了如下技術方案：

本發明提供了一種弱光環境下的人臉表情捕捉方法，用于對影院內的觀眾進行人臉定位并識別人臉表情，其特征在于，包括以下步驟：步驟S1，獲取待測影院內的俯視角度的視頻流；步驟S2，基于影院座椅定位模型對視頻流中每隔設定幀進行檢測，得到待測影院內所有座椅最新位置的標注框；步驟S3，使用表情識別分類模型對所有標注框進行人臉定位和表情識別，從而得到待測影院內的觀眾的人臉表情類別，其中，影院座椅定位模型以ResNet50和FPN結合的網絡作為Backbone，并加入CBAM模塊以構建影院座椅定位初始網絡并對該初始網絡進行訓練得到，表情識別分類模型基于構建并訓練改進VGGNet和改進Focal Loss結合的人臉表情識別算法得到。