[發明專利]一種基于深度學習的增強現實系統虛實混合建模方法

在審

• 申請號: 201811366602.3
• 申請日: 2018-11-16
• 公開（公告）號: CN109544694A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 羅志勇;夏文彬;王月;耿琦琦;楊美美;蔡婷;韓冷;鄭煥平
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/254
• 代理公司: 重慶萃智邦成專利代理事務所(普通合伙) 50231
• 代理人: 黎志紅

本發明請求保護一種基于深度學習的增強現實系統虛實混合建模方法，針對增強現實系統虛實混合建模問題，該方法首先將相鄰幀的虛擬模型視圖和實際物體圖片有差異的區域全部提取出來，輸入的圖像首先經過PBAS算法進行檢測，完成對前景目標的分割，然后將分割得到的疑似目標區域送入VGGNet?16模型進行二次判斷，將判斷出的前景圖像坐標輸出，結合模型貼圖與初始圖像，得到虛實混合的模型結果。利用本發明提出的虛實混合建模方案，既能夠大幅度降低算法整體的運算量，有效地降低算法對硬件的需求，又能夠充分利用深度卷積神經網絡模型VGGNET?16的高圖像分類準確率保證目標檢測效果，有效提高建模精確度。

技術領域

本發明屬于增強現實技術領域，具體涉及一種基于深度學習的增強現實系統虛實混合建模方法。

背景技術

增強現實(Augmented Reality,AR)技術作為一門新興技術，可將計算機生成的二維或三維虛擬物體與真實場景實時疊加；并利用交互技術實現真實場景與虛擬物體之間的互動，從視聽感覺上給人帶來超越現實的體驗，其通過附加虛擬的數字信息以提升用戶與真實環境的交互體驗。增強現實的大致流程為：首先在真實場景中定位攝像機位姿，然后采用計算機圖形渲染技術將虛擬物體注冊到真實場景中生成虛實融合的應用視圖。但是由于單攝像機透視關系進行虛實合成的圖像不能根據所攝物體深度關系進行識別和優化顯示，所合成的虛實結合模型常常存在真實感差，結合較為粗糙等問題。

針對增強現實系統虛實混合建模問題，由于現存深度識別配準方法不能滿運動目標足較長時間跨度的虛實建模對準，長間隔圖像序列會導致幀間背景的較大變化，幀差法、高斯混合模型等方法對背景變化較大時的適應性不足，VIBE方法也采用了恒定的背景更新閾值，均難以用于強現實系統虛實混合建模。PBAS算法是近年提出的一種有效運動目標檢測方法，其利用了背景建模的方法，背景更新閾值與前景分割閾值都可以隨背景復雜度自適應改變，同時對于光照具有一定的魯棒性。基于深度學習的分類器進行二次判斷，可以有效提高建模精確度。本發明融合以上幾種方案的優點，提出一種基于深度學習的增強現實系統虛實混合建模方法。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種既能夠大幅度降低算法整體的運算量，有效地降低算法對硬件的需求，又能夠充分利用深度卷積神經網絡模型VGGNET-16的高圖像分類準確率保證目標檢測效果，有效提高建模精確度的基于深度學習的增強現實系統虛實混合建模方法。本發明的技術方案如下：

一種基于深度學習的增強現實系統虛實混合建模方法，其包括以下步驟：

1)、輸入虛擬模型視圖和實際物體圖像，首先基于目標先驗知識對相鄰幀的虛擬模型視圖和實際物體圖片進行了初步篩選，去除掉顯著地虛假目標有差異的區域；

2)、完成第一步之后的虛擬模型視圖和實際物體圖像經過PBAS算法進行檢測，完成對前景目標的分割，得到疑似目標區域；其中，PBAS算法中融合了SACON算法的背景建模部分和VIBE算法的前景檢測部分；

3)、然后將分割得到的疑似目標區域送入VGGNet-16模型進行二次判斷，將判斷出的前景圖像坐標輸出；

4)、結合模型貼圖與初始圖像，得到虛實混合的模型結果。

進一步的，所述步驟1)是基于目標先驗知識對結果進行了初步篩選，去除掉顯著虛假目標。

進一步的，所述步驟2)經過PBAS算法進行檢測，完成對前景目標的分割，得到疑似目標區域具體包括：

A1、采用類似SACON算法的背景建模方法，收集前N幀像素作為背景建模，得到背景模型；