[發明專利]一種基于增強現實技術的圖像數據集生成方法

在審

• 申請號: 201910327998.9
• 申請日: 2019-04-23
• 公開（公告）號: CN110084892A
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 熊健;馬強;王一平;張訓飛;楊潔;桂冠
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開一種基于增強現實技術的圖像數據集生成方法，通過增強現實軟件生成目標物體的三維虛擬圖像，再根據背景組合原則選擇不同的真實背景，根據角度選取原則選擇不同的拍攝角度，根據遮擋模擬原則選擇不同的遮擋情況，以獲取目標物體在多場景、多角度和不同遮擋情況下的組合圖像，最后將獲取的圖像生成圖像數據集；本發明通過利用增強現實技術增加數據集圖像背景種類，圖像采集的角度和遮擋情況，解決了現有技術中的圖像數據集在規模上的局限性，大大提高了數據集上下文的復雜度，使得模型在“罕見”圖像上具有更良好的效果，對緩解深度學習中的組合爆炸問題具有重大意義。

技術領域

本發明屬于計算機視覺圖像處理領域，具體是一種基于增強現實技術的圖像數據集生成方法。

背景技術

增強現實(Augmented Reality,AR)技術作為一門新興技術，可將計算機生成的二維或三維虛擬物體與真實場景實時疊加；并利用交互技術實現真實場景與虛擬物體之間的互動，從視聽感覺上給人帶來超越現實的體驗，其通過附加虛擬的數字信息以提升用戶與真實環境的交互體驗；在市場營銷領域，增強現實技術已被成功運用于將虛擬的產品和現實背景相對接，實現產品效果預覽，避免了購買產品風格不合適的情況，極大提高了用戶體驗。增強現實的大致流程為：首先在真實場景中定位攝像機的位姿，然后采用計算機圖形渲染技術將虛擬物體注冊到真實場景中生成虛擬融合的應用視圖。

但是，由于數據集規模的局限，數據集中上下文數量有限，深度學習遭遇了“組合爆炸”的問題。世界是“組合”的，而數據集卻是普遍存在偏見的，難以代表真實世界的復雜性，模型在數據集以外的真實世界的圖像上，尤其是在目標物體與背景組合“罕見”的圖像(真實世界不常見的組合圖像)上可能會出現嚴重失敗。

現有的圖像數據集訓練出來的模型還存在以下問題：

(1)數據集圖像背景往往單一，模型對于上下文的細微變化過于敏感，缺乏對真實世界復雜性的考慮，在罕見圖片上的高錯誤率限制了模型的進一步推廣；

(2)對于目標物品的拍攝角度有限，數據集存在角度方向上的“偏見”，訓練后的模型偏向于某一個固定的視角，在不具備相似拍攝角度的圖片上分類效果差；

(3)缺乏了對于物體被遮擋情況的考慮，在判定模型效果時，被部分物體遮擋的圖像會對判定結果造成影響；

因此，本發明從多場景、多角度和不同被遮擋情況三個方面考慮，提出了一種基于增強現實技術的圖像數據集生成方法，從而緩解了圖像處理領域的“組合爆炸”問題。

發明內容

本發明的目的是針對現有技術存在的問題，提供一種基于增強現實技術的圖像數據集生成方法，解決了現有技術中的圖像數據集在規模上的局限性，大大提高了數據集上下文的復雜度，使得模型在“罕見”圖像上具有更良好的效果。

為實現上述目的，本發明采用的技術方案是：

一種基于增強現實技術的圖像數據集生成方法，包括以下步驟：

S1，將目標物體的三維特征數據導入增強現實軟件，生成目標物體的三維虛擬圖像；

S2，根據背景組合原則選擇不同的真實背景；

S3，根據角度選取原則選擇不同的拍攝角度；

S4，根據遮擋模擬原則選擇不同的遮擋情況；

S5，采集所述目標物體在不同真實背景、不同拍攝角度和不同遮擋情況下的組合圖像，并生成增強后的圖像數據集。

具體地，步驟S2中，所述背景組合原則為：根據所述目標物體與背景在真實世界中的匹配程度，將所述目標物體與背景的組合數據分為三類，分別為常見組合、罕見組合和不可能組合；所述常見組合、罕見組合、不可能組合的數據占比為5：3：2；這樣既能夠保證模型在普通情況上原有的效果，也能夠達到有效緩解組合爆炸問題的目的。