[發明專利]增強現實處理方法及裝置、存儲介質和電子設備

在審

• 申請號: 202010113144.3
• 申請日: 2020-02-24
• 公開（公告）號: CN111311758A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 彭冬煒
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/00;G06K9/00;G06K9/62;G06F3/01;G06N20/00
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種增強現實處理方法，其特征在于，包括：

獲取第一設備的當前幀圖像的特征向量；

利用所述當前幀圖像的特征向量，從預存圖像集合中確定出與所述當前幀圖像相似的目標圖像；

獲取所述目標圖像的位姿，并計算所述當前幀圖像與所述目標圖像之間的相對位姿；

利用所述目標圖像的位姿以及所述當前幀圖像與所述目標圖像之間的相對位姿，計算所述當前幀圖像的位姿，以便在所述第一設備上顯示虛擬對象。

2.根據權利要求1所述的增強現實處理方法，其特征在于，獲取第一設備的當前幀圖像的特征向量包括：

接收由所述第一設備發送的當前幀圖像的特征向量；

其中，所述第一設備對所述當前幀圖像進行特征提取，得到所述當前幀圖像的特征向量。

3.根據權利要求1所述的增強現實處理方法，其特征在于，獲取第一設備的當前幀圖像的特征向量包括：

獲取由所述第一設備發送的當前幀圖像；

對所述當前幀圖像進行特征提取，以獲取所述當前幀圖像的特征向量。

4.根據權利要求3所述的增強現實處理方法，其特征在于，對所述當前幀圖像進行特征提取，以獲取所述當前幀圖像的特征向量，包括：

將所述當前幀圖像輸入訓練后的機器學習模型中，利用所述訓練后的機器學習模型對所述當前幀圖像進行特征提取，所述機器學習模型的輸出為所述當前幀圖像的特征向量。

5.根據權利要求4所述的增強現實處理方法，其特征在于，所述增強現實處理方法還包括：

獲取訓練集，所述訓練集包括多組訓練圖像，每組訓練圖像包括經過位置標注的第一訓練圖像和經過位置標注的第二訓練圖像；

將所述第一訓練圖像輸入至所述機器學習模型，得到第一訓練特征向量；

將所述第二訓練圖像輸入至所述機器學習模型，得到第二訓練特征向量；

基于所述第一訓練圖像的位置標注與所述第二訓練圖像的位置標注是否一致的判斷結果來選擇機器學習模型的損失函數，利用所述第一訓練特征向量和所述第二訓練特征向量計算所述損失函數，調節所述機器學習模型的參數，以得到所述訓練后的機器學習模型。

6.根據權利要求4所述的增強現實處理方法，其特征在于，所述增強現實處理方法還包括：

預先獲取第二設備采集的圖像，利用所述第二設備采集的圖像構建所述預存圖像集合。

7.根據權利要求6所述的增強現實處理方法，其特征在于，利用所述當前幀圖像的特征向量，從預存圖像集合中確定出與所述當前幀圖像相似的目標圖像，包括：

獲取所述預存圖像集合中各預存圖像的特征向量；其中，利用所述訓練后的機器學習模型確定出各所述預存圖像的特征向量；

分別計算所述當前幀圖像的特征向量與各所述預存圖像的特征向量的相似度，根據計算結果從所述預存圖像集合中確定出與所述當前幀圖像相似的目標圖像。

8.根據權利要求7所述的增強現實處理方法，其特征在于，根據計算結果從所述預存圖像集合中確定出與所述當前幀圖像相似的目標圖像包括：

從計算結果中確定出相似度最大值；

如果所述相似度最大值大于第一相似度閾值，則將與所述相似度最大值對應的預存圖像確定為與所述當前幀圖像相似的目標圖像。

9.根據權利要求6所述的增強現實處理方法，其特征在于，預存圖像集合中包括場景圖像集合以及與所述場景圖像集合中場景圖像所處場景對應的預存圖像子集合；其中，利用所述當前幀圖像的特征向量，從預存圖像集合中確定出與所述當前幀圖像相似的目標圖像，包括：

利用所述當前幀圖像的特征向量，從場景圖像集合中確定出與所述當前幀圖像相似的目標場景圖像；

確定所述目標場景圖像所處場景對應的預存圖像子集合；

利用所述當前幀圖像的特征向量，從所述目標場景圖像所處場景對應的預存圖像子集合中，確定出與所述當前幀圖像相似的目標圖像。