[發明專利]一種基于音視頻分析課堂交互行為的方法

在審

• 申請號: 202210686072.0
• 申請日: 2022-06-16
• 公開（公告）號: CN114998968A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 黃宇婷;王崇文
• 申請（專利權）人: 北京理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V10/764;G06V10/80;G06V10/26;G06V10/762;G06N3/04;G06N3/08;G06V10/774;G10L17/18;G09B5/06
• 代理公司: 北京和聯順知識產權代理有限公司 11621
• 代理人: 肖智斌

1.一種基于音視頻分析課堂交互行為的方法，其特征在于，包括如下步驟：

S1、通過錄音設備采集課程中音頻數據，通過攝像頭采集到講臺上和講臺下兩個視角的視頻數據。

S2、將步驟S1中的音頻數據輸入到說話人分割聚類算法中，得到課堂場景中說話人序列；將步驟S1中的講臺上視頻數據輸入到人臉檢測算法中，得到講臺上人臉個數；將步驟S1中的講臺下視頻數據輸入到人體站立姿態檢測算法中，得到講臺下站立姿態檢測結果。

S3、將步驟S2中的說話人序列進行角色區分，說話時間最長的標記為教師，其余為學生，根據角色變化分析得到言語類課堂交互行為；將步驟S2得到的講臺上人臉個數和講臺下人體站立姿態結果，結合說話人角色序列得到教師與學生位置關系，最終分析得到非言語類課堂交互行為。

2.根據權利要求1所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述說話人分割聚類算法包含三個模塊：數據前處理模塊、LA-TDNN模塊、說話人聚類模塊。

3.根據權利要求2所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述數據前處理模塊用于對語音數據進行特征參數提取、語音活動檢測以及與語音時序分段。

4.根據權利要求2所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述LA-TDNN模塊以TDNN為基礎進行相應的改良。在幀級特征提取部分增加了LSTM層，以彌補TDNN的時間延遲層只關注局部特征的缺點，在時域池化部分將傳統的基于統計池化替換成了基于雙重多頭注意力機制的池化，通過注意力機制為不同幀提供不同的權重，能夠更有效的捕捉說話人特征。

5.根據權利要求2所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述說話人聚類模塊學習LA-TDNN輸出的x-vector，建立PLDA模型，采用適當的無監督聚類方法，利用PLDA模型計算說話人特征之間的相似性，判斷兩者是否屬于統一說話人，從而達到聚類的效果。

6.根據權利要求1所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述S2中人臉檢測算法包含三個模塊：特征提取模塊、特征融合模塊、回歸與分類模塊。

7.根據權利要求6所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述特征提取模塊根據殘差網絡思想構建特征提取網絡，負責從原始圖像中提取有效特征，同時使得模型訓練和收斂速度更快。

8.根據權利要求6所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述特征融合模塊采用雙向特征融合機制充分結合深層和淺層信息，在傳統FPN模塊之后根據PANet的思想增加了一個自底向上的融合過程，PANet使得自底向上的路徑增強，FPN層自頂向下傳達強語義特征，而PANet自底向上傳達強定位特征。

9.根據權利要求6所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述回歸與分類模塊為了解決分類得分和回歸準確率相關性比較低，在框回歸子網絡中增加一個IoU預測分支，將IoU預測值和分類得分共同作為最終的檢測置信度，最終得到得到所包含的目標框位置和類別信息。

10.根據權利要求1所述的一種基于音視頻分析課堂交互行為的方法，其特征在于，所述人體站立姿態檢測算法包含兩個模塊：人體動作特征提取模塊、分類模塊；其中人體動作特征提取模塊，利用OpenPose提取人體站立姿態關鍵點，并將所有關鍵點信息整合起來；分類模塊利用MLPClassifier構建二分類模型，將人體站立姿態關鍵點信息送入分類網絡進行訓練，最終得到人體站立姿態檢測模型。