[發明專利]一種多媒體數據處理方法、裝置和電子設備

有效

• 申請號: 201810549255.1
• 申請日: 2018-05-31
• 公開（公告）號: CN108920513B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 黃佳洋;陳清才;丘宇彬;陳楓;黃文山;朱易文
• 申請（專利權）人: 深圳市圖靈機器人有限公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/65;G06F16/683;G10L15/26;G06Q10/06;G06Q50/20
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種多媒體數據處理方法，其特征在于，包括：

獲取屬于課堂環境中的第一音頻信息和第二音頻信息；所述第一音頻信息和所述第二音頻信息是分別由兩個位于不同位置的收音器采集得到；

在所述第一音頻信息中查找屬于老師類型的音頻段，作為目標第一音頻段；

根據音頻特征將第二音頻信息切分為多個單位第二音頻段；每個單位第二音頻段為包含連續聲音的音頻段或為靜音的音頻段；

將所述每個單位第二音頻段輸入至音頻分類模型中，分別識別與所述每個單位第二音頻段匹配的音頻類型；

將所述第二音頻信息中的所述音頻類型不為老師類型的單位第二音頻段，作為待調整音頻段；

若待調整音頻段的時間信息與所述目標第一音頻段的時間信息不重疊，則確定所述待調整音頻段為目標第二音頻段，若待調整音頻段的時間信息與所述目標第一音頻段的時間信息重疊，則將所述待調整音頻段中不重疊部分對應的音頻段，確定為所述目標第二音頻段；所述目標第二音頻段與所述目標第一音頻段分別對應的時間信息互不重疊；

將所述目標第一音頻段轉換為目標第一文本信息，根據所述目標第一文本信息識別與所述目標第一音頻段對應的第一教學類型信息；

根據所述第一教學類型信息、所述目標第一音頻段對應的時間信息、所述目標第二音頻段對應的時間信息、所述目標第二音頻段對應的音頻類型和音頻特征，統計所述課堂環境中的關鍵環節信息；所述關鍵環節信息包括老師行為分析結果和學生行為分析結果。

2.根據權利要求1所述的方法，其特征在于，所述在所述第一音頻信息中查找屬于老師類型的音頻段，作為目標第一音頻段，包括：

根據音頻特征將所述第一音頻信息切分為多個單位第一音頻段；每個單位第一音頻段為包含連續聲音的音頻段或為靜音的音頻段；

將所述每個單位第一音頻段輸入至音頻分類模型中，分別識別與所述每個單位第一音頻段匹配的音頻類型；

將所述第一音頻信息中的所述音頻類型為所述老師類型的單位第一音頻段，均確定為所述目標第一音頻段。

3.根據權利要求2所述的方法，其特征在于，所述根據所述目標第一文本信息識別與所述目標第一音頻段對應的第一教學類型信息，包括：

將所述目標第一文本信息輸入第一文本分類模型，獲取與所述目標第一音頻段匹配的教學手段信息；

將所述目標第一文本信息輸入第二文本分類模型，獲取與所述目標第一音頻段匹配的教學內容結構；

將所述目標第一音頻段對應的教學手段信息和所述目標第一音頻段對應的教學內容結構確定為與所述目標第一音頻段對應的第一教學類型信息。

4.根據權利要求3所述的方法，其特征在于，還包括：

將音頻類型為單人學生類型或多人學生類型的目標第二音頻段轉換為目標第二文本信息，將與所述目標第二文本信息相鄰的目標第一文本信息和所述目標第二文本信息輸入至所述第一文本分類模型中，獲取與所述目標第二音頻段匹配的教學手段信息；

將與所述目標第二文本信息相鄰的目標第一文本信息和所述目標第二文本信息輸入至所述第二文本分類模型中，獲取與所述目標第二音頻段匹配的教學內容結構；

將所述目標第二音頻段對應的教學手段信息和所述目標第二音頻段對應的教學內容結構確定為與所述目標第二音頻段對應的第二教學類型信息。

5.根據權利要求1所述的方法，其特征在于，還包括：

獲取與所述課堂環境相匹配的索引模型；所述索引模型是通過教案構建的課堂中的知識點模型；

提取所述索引模型中的知識點文本，在所述目標第一文本信息中，確定與所述知識點文本匹配的文本信息的目標時間戳，并在所述第一音頻信息中的目標時間戳的位置添加關鍵字標簽；所述關鍵字標簽中的文本與所述知識點文本相同；

當獲取到查詢關鍵詞時，在所述第一音頻信息中檢索與所述查詢關鍵詞匹配的關鍵字標簽，作為目標關鍵字標簽；

在所述第一音頻信息中，輸出與所述目標關鍵字標簽的時間戳對應的音頻信息，并確定與所述目標關鍵字標簽對應的音頻信息的課程信息。