[發明專利]一種行為識別處理方法及裝置

有效

• 申請號: 201911311563.1
• 申請日: 2019-12-18
• 公開（公告）號: CN111046819B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 魏乃科;馮復標;潘華東;殷俊
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/25;G06V10/764;G06Q10/0639;G06Q50/20;G10L15/00
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 張秀英

1.一種行為識別處理方法，其特征在于，包括：

獲取針對預定區域范圍采集的音視頻數據，對所述音視頻數據進行處理，得到視頻數據和音頻數據；

對所述視頻數據進行分析，得到第一目標對象和/或第二目標對象的行為類別；

對所述音頻數據進行語音識別，得到所述第一目標對象的語音內容和/或所述第二目標對象的語音信息；

根據所述第一目標對象和/或所述第二目標對象的行為類別、語音信息對所述第一目標對象的行為進行識別；

其中，對所述視頻數據進行分析，得到第一目標對象和/或第二目標對象的行為類別包括：

確定所述視頻數據中所述第一目標對象和/或所述第二目標對象的人體關鍵點；

根據所述人體關鍵點生成PAF圖；

將所述PAF圖結合所述視頻數據中的RGB圖形成4通道圖像；

將所述4通道圖像輸入到預先訓練好的目標神經網絡中，得到所述目標神經網絡輸出的所述第一目標對象和/或所述第二目標對象的行為類別。

2.根據權利要求1所述的方法，其特征在于，對所述音頻數據進行語音識別，得到所述第一目標對象的語音內容和/或所述第二目標對象的語音信息包括：

對所述音頻數據進行語音識別，得到所述第一目標對象的語音內容；

確定所述第一目標對象的語速、音量、語音時長，以及確定所述第一目標對象與一個或多個所述第二目標對象之間的語音互動；

獲取除所述語音互動之外的所述第二目標對象的語音信息。

3.根據權利要求1所述的方法，其特征在于，確定所述視頻數據中所述第一目標對象和/或所述第二目標對象的人體關鍵點包括：

使用目標檢測算法檢測出所述第一目標對象和/或所述第二目標對象的檢測框；

對所述視頻數據中的目標圖像進行特征提取，生成所述第一目標對象和/或所述第二目標對象的人體關鍵點的熱圖；

在所述熱圖中獲取與所述檢測框對應的目標區域，得到包括所述目標區域的目標熱圖；

在所述目標熱圖中確定所述第一目標對象和/或所述第二目標對象的人體關鍵點。

4.根據權利要求1至3中任一項所述的方法，其特征在于，根據所述第一目標對象和/或所述第二目標對象的行為類別、語音信息對所述第一目標對象的行為進行識別包括：

根據所述第一目標對象和/或所述第二目標對象的行為類別、語音信息確定所述第一目標對象的教學質量；或者

根據所述第一目標對象和/或所述第二目標對象的行為類別、語音信息確定所述第一目標對象的教學管理能力。

5.一種行為識別處理裝置，其特征在于，包括：

獲取模塊，用于獲取針對預定區域范圍采集的音視頻數據，對所述音視頻數據進行處理，得到視頻數據和音頻數據；

分析模塊，用于對所述視頻數據進行分析，得到第一目標對象和/或第二目標對象的行為類別；

語音識別模塊，用于對所述音頻數據進行語音識別，得到所述第一目標對象的語音內容和/或所述第二目標對象的語音信息；

識別模塊，用于根據所述第一目標對象和/或所述第二目標對象的行為類別、語音信息對所述第一目標對象的行為進行識別；

其中，分析模塊包括：

第四確定子模塊，用于確定所述視頻數據中所述第一目標對象和/或所述第二目標對象的人體關鍵點；

生成單元，用于根據所述人體關鍵點生成PAF圖；

形成單元，用于將所述PAF圖結合所述視頻數據中的RGB圖形成4通道圖像；

輸入單元，用于將所述4通道圖像輸入到預先訓練好的目標神經網絡中，得到所述目標神經網絡輸出的所述第一目標對象和/或所述第二目標對象的行為類別。

6.一種計算機可讀的存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被處理器執行完成權利要求1至4任一項中所述的方法。

7.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行所述權利要求1至4任一項中所述的方法。