[發(fā)明專利]一種基于深度學習的增強現(xiàn)實系統(tǒng)虛實混合建模方法

在審

• 申請?zhí)枺?/td>: 201811366602.3
• 申請日: 2018-11-16
• 公開（公告）號: CN109544694A
• 公開（公告）日: 2019-03-29
• 發(fā)明（設計）人: 羅志勇;夏文彬;王月;耿琦琦;楊美美;蔡婷;韓冷;鄭煥平
• 申請（專利權(quán)）人: 重慶郵電大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/254
• 代理公司: 重慶萃智邦成專利代理事務所(普通合伙) 50231
• 代理人: 黎志紅

1.一種基于深度學習的增強現(xiàn)實系統(tǒng)虛實混合建模方法，其特征在于，包括以下步驟：

1)、輸入虛擬模型視圖和實際物體圖像，首先基于目標先驗知識對相鄰幀的虛擬模型視圖和實際物體圖片進行了初步篩選，去除掉顯著地虛假目標有差異的區(qū)域；

2)、完成第一步之后的虛擬模型視圖和實際物體圖像經(jīng)過PBAS算法進行檢測，完成對前景目標的分割，得到疑似目標區(qū)域；其中，PBAS算法中融合了SACON算法的背景建模部分和VIBE算法的前景檢測部分；

3)、然后將分割得到的疑似目標區(qū)域送入VGGNet-16模型進行二次判斷，將判斷出的前景圖像坐標輸出；

4)、結(jié)合模型貼圖與初始圖像，得到虛實混合的模型結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于深度學習的增強現(xiàn)實系統(tǒng)虛實混合建模方法，其特征在于，所述步驟1)是基于目標先驗知識對結(jié)果進行了初步篩選，去除掉顯著虛假目標。

3.根據(jù)權(quán)利要求1所述的一種基于深度學習的增強現(xiàn)實系統(tǒng)虛實混合建模方法，其特征在于，所述步驟2)經(jīng)過PBAS算法進行檢測，完成對前景目標的分割，得到疑似目標區(qū)域具體包括：

A1、采用類似SACON算法的背景建模方法，收集前N幀像素作為背景建模，得到背景模型；

A2、在步驟A1背景模型下，當前像素屬于前景還是背景通過比較當前幀I(x_i)與背景模型B(x_i)來決定，通過比較樣本集合中的像素值與當前幀像素值在顏色空間的歐氏距離，若距離小于距離閾值R(x_i)的樣本個數(shù)比當前幀像素值在顏色空間的歐氏距離樣本個數(shù)S_dmin少，則判定當前像素點為前景點，否則為背景點；

A3、背景模型的更新和背景復雜度的計算；

A4、前景分割閾值的自適應調(diào)整及更新策略；

A5、空洞填充與非目標區(qū)域消除步驟。

4.根據(jù)權(quán)利要求3所述的一種基于深度學習的增強現(xiàn)實系統(tǒng)虛實混合建模方法，其特征在于，所述步驟A1具體包括：對于每個像素來說，其背景模型表示為：

B(x_i)＝{B₁(x_i),…,B_k(x_i),…,B_N(x_i)}

其中，x_i代表第i幀圖像的第一個像素，B(x_i)表示第i幀時的背景模型，B_k(x_i)代表背景模型B(x_i)中的一個樣本的像素值，對于彩色圖像來說，B_k(x_i)＝(r_i,g_i,b_i)，對應其在RGB空間的值；針對灰度圖像，則為灰度值。

5.根據(jù)權(quán)利要求4所述的一種基于深度學習的增強現(xiàn)實系統(tǒng)虛實混合建模方法，其特征在于，所述步驟A2的前景檢測結(jié)果為：

F(x_i)為前景圖像像素點x_i的集合，其中若距離小于距離閾值R(x_i)的樣本個數(shù)比當前幀像素值在顏色空間的歐氏距離樣本個數(shù)S_dmin少則為前景點，數(shù)值為1，否則為背景點，數(shù)值為0，dist表示像素點與其在背景模型對應的點在顏色空間上的歐氏距離。