[發明專利]一種3D背景替換方法、裝置、存儲介質和終端設備

有效

• 申請號: 202110721434.0
• 申請日: 2021-06-28
• 公開（公告）號: CN113436349B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 常玉軍
• 申請（專利權）人: 展訊通信（天津）有限公司
• 主分類號: G06T19/20
• 分類號: G06T19/20
• 代理公司: 北京匯思誠業知識產權代理有限公司 11444
• 代理人: 汪源

本發明實施例提供了一種3D背景替換方法、裝置、存儲介質和終端設備。該方法包括：獲取設定數量個特征圖像和每個特征圖像對應的慣性測量單元IMU數據；根據設定數量個特征圖像和每個特征圖像對應的IMU數據進行離線校準，生成第一時鐘偏移；獲取多個拍攝圖像和每個拍攝圖像對應的IMU數據；根據多個拍攝圖像和每個拍攝圖像對應的IMU數據進行在線校準，生成第二時鐘偏移；根據第一時鐘偏移和第二時鐘偏移對每個拍攝圖像進行3D背景替換，生成多個背景替換圖像。本發明實施例提供的技術方案中，根據離線校準生成的第一時鐘偏移與在線校準生成的第二時鐘偏移，可充分確保3D背景替換的穩定性。

【技術領域】

本發明涉及圖像技術領域，尤其涉及一種3D背景替換方法、裝置、存儲介質和終端設備。

【背景技術】

3D背景替換分為兩部分，第一部分為構建虛擬的3D世界并根據現實世界中的攝像機姿態來實時控制虛擬3D世界的攝像機，從而渲染得到類似于現實攝像機實時采集到的圖像。第二部分為通過場景分割算法把當前幀分割為背景和前景兩個區域，然后把第一部分得到的圖像當作背景和當前圖像的前景融合在一起形成新的場景圖像。

相關技術中，根據多個拍攝圖像中相鄰的兩個拍攝圖像來計算終端設備的旋轉角度，計算量非常大，使得計算的耗時過長并且計算結果和拍攝圖像所對應的拍攝的場景有很大關系，如果所拍攝的場景缺少特征點則計算得到的姿態和實際姿態就會存在很大的偏差，降低了3D背景替換的穩定性。

另一種相關技術中，使用慣性測量單元(Inertial?Measurement?Unit，簡稱IMU)數據來控制終端設備的姿態，會使得終端設備的IMU系統和攝像機系統存在時鐘不匹配的問題而導致姿態控制不能和圖像同步，會出現時鐘不匹配的問題，降低了3D背景替換的穩定性。

【發明內容】

有鑒于此，本發明實施例提供了一種3D背景替換方法、裝置、存儲介質和終端設備，用以提高3D背景替換的穩定性。

一方面，本發明實施例提供了一種3D背景替換方法，包括：

獲取設定數量個特征圖像和每個所述特征圖像對應的慣性測量單元IMU數據；

根據設定數量個所述特征圖像和每個所述特征圖像對應的IMU數據進行離線校準，生成第一時鐘偏移；

獲取多個拍攝圖像和每個所述拍攝圖像對應的IMU數據；

根據多個拍攝圖像和每個所述拍攝圖像對應的IMU數據進行在線校準，生成第二時鐘偏移；

根據所述第一時鐘偏移和所述第二時鐘偏移對每個所述拍攝圖像進行3D背景替換，生成多個背景替換圖像。

可選地，所述根據設定數量個所述特征圖像和每個所述特征圖像對應的IMU數據進行離線校準，生成第一時鐘偏移，包括：

提取設定數量個所述特征圖像中相鄰的兩個所述特征圖像，生成第一提取圖像；

根據所述第一提取圖像和所述第一提取圖像對應的IMU數據，生成第一旋轉角度集合；

根據所述第一旋轉角度集合和獲取的第二旋轉角度集合，生成所述第一時鐘偏移，所述第二旋轉角度集合包括自身的旋轉角度集合。

可選地，所述根據多個拍攝圖像和每個所述拍攝圖像對應的IMU數據進行在線校準，生成第二時鐘偏移，包括：

提取多個所述拍攝圖像的第一特征點集合；

判斷所述第一特征點集合中元素的數量是否大于設定閾值；

若判斷出所述第一特征點集合中元素的數量大于設定閾值，提取多個所述拍攝圖像中相鄰的兩個所述拍攝圖像，生成第二提取圖像；

根據多個所述第二提取圖像和所述第二提取圖像對應的IMU數據，生成第三旋轉角度集合；