[發明專利]一種多媒體數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211080872.4
• 申請日: 2022-09-05
• 公開（公告）號: CN115567667A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 耿炳鈺;李秀勇
• 申請（專利權）人: 青島海信移動通信技術股份有限公司
• 主分類號: H04N5/92
• 分類號: H04N5/92;H04N5/265;G06T17/00;G06V20/40;G06V40/16;H04S1/00;H04S7/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 劉醒晗

1.一種多媒體數據處理方法，其特征在于，包括：

獲取視頻圖像數據和音頻數據；

對所述視頻圖像數據進行三維空間重建，獲得所述視頻圖像數據對應的三維空間信息；

識別出所述視頻圖像數據中的目標人臉，并根據所述三維空間信息，確定所述目標人臉在所述三維空間中的位置；

根據所述目標人臉在所述三維空間中的位置以及所述三維空間信息對所述音頻數據中所述目標人臉對應的第一音頻數據進行聲場重建得到重建后的第一音頻數據；

將所述重建后的第一音頻數據加載到所述視頻圖像數據中得到目標視頻數據。

2.如權利要求1所述的方法，其特征在于，所述識別出所述視頻圖像數據中的目標人臉，并根據所述三維空間信息，確定所述目標人臉在所述三維空間中的位置，包括：

對所述視頻圖像數據進行人臉檢測，確定所述視頻圖像數據中的待選取人臉；

若確定所述待選取人臉的數量為一個，則將待選取人臉作為目標人臉，并根據所述三維空間信息確定所述目標人臉在所述三維空間中的位置；或者，

若確定所述待選取人臉的數量為至少兩個，則根據所述三維空間信息分別確定至少兩個所述待選取人臉中每個待選取人臉在所述三維空間的位置，并響應于用戶從至少兩個待選取人臉中選取目標人臉的操作，獲得所述目標人臉在所述三維空間中的位置。

3.如權利要求2所述的方法，其特征在于，所述響應于用戶從至少兩個待選取人臉中選取目標人臉的操作，獲得所述目標人臉在所述三維空間中的位置，包括：

響應于用戶在所述視頻圖像數據對應的圖像中執行選擇操作的目標位置點，確定所述目標位置點在所述三維空間中的位置；

根據所述目標位置點在所述三維空間中的位置，和每個待選取人臉在所述三維空間的位置，確定所述目標位置點在所述三維空間中的位置位于所述至少兩個所述待選取人臉中所述目標人臉在所述三維空間的位置處，并獲得所述目標人臉在所述三維空間中的位置。

4.如權利要求1所述的方法，其特征在于，將所述重建后的第一音頻數據加載到所述視頻圖像數據中得到目標視頻數據之前，所述方法還包括：

對所述視頻圖像數據進行場景識別，確定所述視頻圖像數據對應的場景信息；

根據所述目標人臉在所述三維空間中的位置以及所述三維空間信息對所述音頻數據中所述目標人臉對應的第一音頻數據進行聲場重建得到重建后的第一音頻數據，包括：

獲取所述音頻數據中所述目標人臉對應的第一音頻數據的左聲道數據和右聲道數據；

根據所述目標人臉在所述三維空間中的位置、所述場景信息以及所述三維空間信息對所述左聲道數據和所述右聲道數據分別進行聲場重建，得到重建后的左聲道數據和重建后的右聲道數據；

將所述重建后的左聲道數據和所述重建后的右聲道數據合成得到重建后的第一音頻數據。