[發(fā)明專利]一種3D背景替換方法、裝置、存儲介質(zhì)和終端設(shè)備

有效

• 申請?zhí)枺?/td>: 202110721434.0
• 申請日: 2021-06-28
• 公開（公告）號: CN113436349B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計）人: 常玉軍
• 申請（專利權(quán)）人: 展訊通信（天津）有限公司
• 主分類號: G06T19/20
• 分類號: G06T19/20
• 代理公司: 北京匯思誠業(yè)知識產(chǎn)權(quán)代理有限公司 11444
• 代理人: 汪源

1.一種3D背景替換方法，其特征在于，包括：

獲取設(shè)定數(shù)量個特征圖像和每個所述特征圖像對應(yīng)的慣性測量單元IMU數(shù)據(jù)；

根據(jù)設(shè)定數(shù)量個所述特征圖像和每個所述特征圖像對應(yīng)的IMU數(shù)據(jù)進行離線校準(zhǔn)，生成第一時鐘偏移；

獲取多個拍攝圖像和每個所述拍攝圖像對應(yīng)的IMU數(shù)據(jù)；

根據(jù)多個拍攝圖像和每個所述拍攝圖像對應(yīng)的IMU數(shù)據(jù)進行在線校準(zhǔn)，生成第二時鐘偏移；

當(dāng)未有連續(xù)的多幀拍攝圖像都具有足夠的特征點時，根據(jù)所述第一時鐘偏移對每個拍攝圖像進行3D背景替換，生成多個背景替換圖像；或者，

當(dāng)有連續(xù)的多幀拍攝圖像都具有足夠的特征點時，根據(jù)所述第二時鐘偏移對每個拍攝圖像進行3D背景替換，生成多個背景替換圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)設(shè)定數(shù)量個所述特征圖像和每個所述特征圖像對應(yīng)的IMU數(shù)據(jù)進行離線校準(zhǔn)，生成第一時鐘偏移，包括：

提取設(shè)定數(shù)量個所述特征圖像中相鄰的兩個所述特征圖像，生成第一提取圖像；

根據(jù)所述第一提取圖像和所述第一提取圖像對應(yīng)的IMU數(shù)據(jù)，生成第一旋轉(zhuǎn)角度集合；

根據(jù)所述第一旋轉(zhuǎn)角度集合和獲取的第二旋轉(zhuǎn)角度集合，生成所述第一時鐘偏移，所述第二旋轉(zhuǎn)角度集合包括自身的旋轉(zhuǎn)角度集合。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)多個拍攝圖像和每個所述拍攝圖像對應(yīng)的IMU數(shù)據(jù)進行在線校準(zhǔn)，生成第二時鐘偏移，包括：

提取多個所述拍攝圖像的第一特征點集合；

判斷所述第一特征點集合中元素的數(shù)量是否大于設(shè)定閾值；

若判斷出所述第一特征點集合中元素的數(shù)量大于設(shè)定閾值，提取多個所述拍攝圖像中相鄰的兩個所述拍攝圖像，生成第二提取圖像；

根據(jù)多個所述第二提取圖像和所述第二提取圖像對應(yīng)的IMU數(shù)據(jù)，生成第三旋轉(zhuǎn)角度集合；

根據(jù)所述第三旋轉(zhuǎn)角度集合和獲取的第四旋轉(zhuǎn)角度集合，生成所述第二時鐘偏移，所述第四旋轉(zhuǎn)角度集合包括自身的旋轉(zhuǎn)角度集合。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一提取圖像和所述第一提取圖像對應(yīng)的IMU數(shù)據(jù)，生成第一旋轉(zhuǎn)角度集合，包括：

通過圖像處理技術(shù)函數(shù)對所述第一提取圖像和所述第一提取圖像對應(yīng)的IMU數(shù)據(jù)進行計算，生成第二特征點集合；

通過光流金字塔函數(shù)對所述第二特征點集合進行計算，生成所述第一旋轉(zhuǎn)角度集合。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一旋轉(zhuǎn)角度集合和獲取的第二旋轉(zhuǎn)角度集合，生成所述第一時鐘偏移，包括：

根據(jù)所述第一旋轉(zhuǎn)角度集合和獲取的所述第一旋轉(zhuǎn)角度集合對應(yīng)的時間戳，生成第一圖像旋轉(zhuǎn)角度曲線；

根據(jù)所述第二旋轉(zhuǎn)角度集合和獲取的所述第二旋轉(zhuǎn)角度集合對應(yīng)的時間戳，生成第一IMU角度曲線；

根據(jù)所述第一圖像旋轉(zhuǎn)角度曲線和所述第一IMU角度曲線，生成多個第一相關(guān)距離；

查詢出多個所述第一相關(guān)距離中最小的第一相關(guān)距離和所述最小的第一相關(guān)距離對應(yīng)的第一時鐘偏移。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)多個所述第二提取圖像和所述第二提取圖像對應(yīng)的IMU數(shù)據(jù)，生成第三旋轉(zhuǎn)角度集合，包括：

通過圖像處理技術(shù)函數(shù)對所述第二提取圖像和所述第二提取圖像對應(yīng)的IMU數(shù)據(jù)進行計算，生成第三特征點集合；

通過光流金字塔函數(shù)對所述第三特征點集合進行計算，生成所述第三旋轉(zhuǎn)角度集合。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第三旋轉(zhuǎn)角度集合和獲取的第四旋轉(zhuǎn)角度集合，生成所述第二時鐘偏移，包括：

根據(jù)所述第三旋轉(zhuǎn)角度集合和獲取的所述第三旋轉(zhuǎn)角度集合對應(yīng)的時間戳，生成第二圖像旋轉(zhuǎn)角度曲線；

根據(jù)所述第四旋轉(zhuǎn)角度集合和獲取的所述第四旋轉(zhuǎn)角度集合對應(yīng)的時間戳，生成第二IMU角度曲線；

根據(jù)所述第二圖像旋轉(zhuǎn)角度曲線和所述第二IMU角度曲線，生成多個第二相關(guān)距離；

查詢出多個所述第二相關(guān)距離中最小的第二相關(guān)距離和所述最小的第二相關(guān)距離對應(yīng)的第二時鐘偏移。