[發(fā)明專利]虛實疊合方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010013729.8
• 申請日: 2020-01-07
• 公開（公告）號: CN112541973B
• 公開（公告）日: 2023-06-27
• 發(fā)明（設計）人: 洪家偉;傅靖桐;翁明昉
• 申請（專利權）人: 財團法人資訊工業(yè)策進會
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T19/20;G06T17/05
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 胡林嶺

1.一種虛實疊合方法，其特征在于，包括：

利用一影像擷取裝置拍攝一真實場景以建置一點云地圖；

儲存多個關鍵幀于一存儲裝置內；

將該點云地圖投影到各該些關鍵幀以得到多個投影關鍵幀；

對于各該些投影關鍵幀進行三維物件偵測，以找出各該些投影關鍵幀的多個物件的各自外框頂點；

對于各該些投影關鍵幀，根據(jù)該些物件的該些外框頂點，在該點云地圖中找出多個目標外框頂點點云坐標，其中，對于各該些投影關鍵幀，在該點云地圖中，該些目標外框頂點點云坐標個別離該些外框頂點最近；

對于各該些投影關鍵幀，在該點云地圖中，找出對應于該些目標外框頂點點云坐標的多個候選外框頂點點云坐標；

統(tǒng)計該些投影關鍵幀的該些候選外框頂點點云坐標，以找出該些外框頂點在該點云地圖上的多個最終候選外框頂點點云坐標；

根據(jù)該些最終候選外框頂點點云坐標，計算該些物件與該點云地圖的一比例關系以將該點云地圖投影到該真實場景；以及

將所產生的該點云地圖傳送至一穿載式裝置，該穿載式裝置據(jù)以產生一虛擬內容，以將該虛擬內容疊合于該真實場景。

2.如權利要求1所述的虛實疊合方法，其特征在于，于儲存該些關鍵幀于該存儲裝置時，更儲存該些關鍵幀所各自相對應的該影像擷取裝置的一旋轉信息與一位移信息于該存儲裝置。

3.如權利要求1所述的虛實疊合方法，其特征在于，找出各該些投影關鍵幀的該些物件的該些外框頂點的該步驟包括：

透過三維物件偵測來偵測該物件的多個面；

找出該些面當中包括最多個點云的一目標面，將該目標面擷取出來；

對該目標面的多個點云做計算，來得到該目標面的一三維投影平面；以及

將該物件的該些外框頂點投影到該三維投影平面，以找出離各該些外框頂點最近的該些目標外框頂點點云坐標。

4.如權利要求1所述的虛實疊合方法，其特征在于，找出該些候選外框頂點點云坐標的步驟包括：

針對各該些目標外框頂點點云坐標，計算各該些目標外框頂點點云坐標跟該點云地圖的所有點之間的個別距離；以及

將該距離小于一距離門檻值的該些點云留下而成為該些候選外框頂點點云坐標，而將該距離大于該距離門檻值的該些點云排除。

5.如權利要求1所述的虛實疊合方法，其特征在于，找出該些最終候選外框頂點點云坐標的該步驟包括：

找出并統(tǒng)計各該些投影關鍵幀的各自該些候選外框頂點點云坐標，以找出該些最終候選外框頂點點云坐標。

6.如權利要求1所述的虛實疊合方法，其特征在于，對該些最終候選外框頂點點云坐標進行幾何結構計算，來估測另一最終候選外框頂點點云坐標。

7.如權利要求1所述的虛實疊合方法，其特征在于，更包括：根據(jù)該些最終候選外框頂點點云坐標，以調整或修正該點云地圖。