[發明專利]基于增強現實的圖像拼接方法、系統、設備及存儲介質

有效

• 申請號: 201810442012.8
• 申請日: 2018-05-10
• 公開（公告）號: CN108648149B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 方敏毓;德米特里·阿普赫京;楊聰;柯巖
• 申請（專利權）人: 上海擴博智能技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/44
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于增強現實的圖像拼接方法，其特征在于，包括如下步驟：

步驟S1：采用第一圖像，根據所述第一圖像的生成與所述第一圖像相對應的成像區域；

步驟S2：預覽待采集的第n圖像，根據成像區域與所述待采集的第n圖像生成重疊提示區域并展示所述重疊提示區域，在第一圖像和第n圖像中提取多個重合的角點或特征點生成圖像拼接轉換矩陣；

步驟S3：當所述重疊提示區域符合第一預設規則時，采集第n圖像，進而根據所述圖像拼接轉換矩陣拼接所述第一圖像和所述第n圖像生成拼接圖像，n為大于1的自然數；

所述步驟S2包括如下步驟：

步驟S201：提取所述第一圖像的多個角點；

步驟S202：在預覽的第n圖像中通過稀疏光流法得到所述角點在所述第n圖像中的位置；

步驟S203：根據多個所述角點在所述第一圖像和所述第n圖像中的位置生成所述第n圖像與另一圖像之間的第n單應性轉換矩陣H_n，進而根據第n單應性轉換矩陣H_n生成所述重疊提示區域；

步驟S204：當所述預覽的視角變化時生成第n+1圖像的預覽，通過稀疏光流法提取所述第n+1圖像和所述第n圖像中重合的角點，根據所述第n+1圖像和所述第n圖像中重合的角點生成第n+1單應性轉換矩陣H_n+1，進而根據第n+1單應性轉換矩陣H_n+1生成所述第n+1圖像和所述第n圖像之間的重疊提示區域；

步驟S205：迭代執行步驟S204，依次生成預覽的第n+m圖像的第n+m單應性轉換矩陣H_n+m和第n+m圖像與第n+m-1圖像之間的重疊提示區域，m為大于等于1的自然數；

步驟S206：根據H_n、H_n+1……H_n+m生成圖像拼接轉換矩陣。

2.根據權利要求1所述的基于增強現實的圖像拼接方法，其特征在于，所述重疊提示區域符合第一預設規則，具體包括如下任一種或任多種規則：

-所述重疊提示區域的面積大于預設面積閾值；

-所述重疊提示區域的最小內角大于預設角度閾值；

-所述重疊提示區域的形狀為四邊形。

3.根據權利要求1所述的基于增強現實的圖像拼接方法，其特征在于，判斷每一單應性轉換矩陣是否符合第二設定規則，所述第二設定規則包括如下規則：

-H₀₀大于等于0；

-H₁₁大于等于0；

-H₀₁的絕對值小于等于0.15；

-H₀₀和H₁₁之中的最小值大于0.85；

-H₀₀和H₁₁之中的最小值小于1.15；

當所述單應性轉換矩陣H不符合第二設定規則時，丟棄所述單應性轉換矩陣H；

所述單應性轉換矩陣H包括第n單應性轉換矩陣H_n，第n+1單應性轉換矩陣H_n+1……第n+m單應性轉換矩陣H_n+m。

4.根據權利要求3所述的基于增強現實的圖像拼接方法，其特征在于，當所述單應性轉換矩陣H符合第二設定規則，判斷所述單應性轉換矩陣H是否符合第三設定規則，具體包括如下步驟：

步驟M1：計算每一單應性轉換矩陣H的行列式；

步驟M2：將在時間順序上相鄰單應性轉換矩陣H的行列式相減并求絕對值M，當所述絕對值M大于0.001時觸發步驟M3，否則，丟棄在時間順序上排列在后的單應性轉換矩陣H；

步驟M3：計算每一所述單應性轉換矩陣H的偏移量offset，

步驟M4：當在時間順序上的后一單應性轉換矩陣H的偏移量offset與后一單應性轉換矩陣H的偏移量offset的差值大于等于1時，則認定后一單應性轉換矩陣H符合第三設定規則，否則，在所述第n+1圖像和所述第n圖像之間提取多個重合的特征點，根據所述特征點生成圖像拼接轉換矩陣。