[發明專利]一種基于深度學習的圖像目標摳取方法

有效

• 申請號: 201810649490.6
• 申請日: 2018-06-22
• 公開（公告）號: CN109035267B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 全紅艷;沈卓薈
• 申請（專利權）人: 華東師范大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06N3/04;G06N3/08
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于深度學習的圖像目標摳取方法，在前景摳取策略中，建立了低分辨率與高分辨率結合的深度學習架構，解決了數據集質量不均的問題，并定義了合理的網絡結構與損失函數，以確保深度學習模型的質量和性能。通過自然圖像與合成圖像混合數據集的建立，解決了圖像目標摳取中數據集匱乏的問題。本發明避免了傳統的三分圖輸入的條件限制，實現了對前景目標的自動摳取，能夠獲得較為精細的圖像摳取結果。

技術領域

本發明涉及圖像合成技術領域，具體涉及一種基于深度學習的圖像目標摳取方法，采用自然圖像與合成圖像混合數據集的建立，解決了數據集匱乏的問題。進一步將低分辨率學習得到的特征應用于高分辨率圖像前景目標的學習過程中，構建低分辨率及高分辨率結合的學習機制，可以實現圖像前景目標的摳取。

背景技術

近年來，隨著計算機技術的不斷發展，在電子商務、醫學、娛樂等領域的實際應用中，越來越多地需要通過采集的數字圖像及視頻對現實世界進行理解。傳統的基于顏色采樣的圖像摳取方法對于待求解的未知區域的像素，在給定的前景區域及背景區域中進行采樣，得到與之顏色相近的樣本，進而通過樣本估計該像素的前景與背景成分經典的基于顏色采樣的方法僅在未知區域像素的局部窗口中進行采樣，具有一定的局限性。并且傳統的圖像摳取技術需要圖像遵循局部平滑性等先驗條件，同時還依賴于三分圖先驗信息。近年來，一些基于深度學習的圖像摳取方法進一步發展，如何建立有效的深度學習的網絡模型，有效解決自然圖像的摳圖問題，這都是亟待解決的實際問題。

發明內容

本發明的目的是針對現有技術的不足,并針對圖像摳圖中缺少細節的實際問題，提出一種基于深度學習的圖像目標摳取方法，該方法能夠獲得較為精細的圖像摳取結果，具有更高的實用價值。

實現本發明目的的具體技術方案是：

一種基于深度學習的圖像目標摳取方法，特點是通過自然圖像與合成圖像混合數據集的建立，解決了圖像目標摳取問題中的數據集匱乏問題。進一步通過構建低分辨率及高分辨率結合的卷積神經網絡學習策略,實現圖像前景目標的摳取。

具體包括以下步驟：

步驟1：構建合成圖像集S_C

(a)前景圖像數據集的構建

從pngimg.com網站收集N張png格式的前景圖像，其中20000≤N≤30000，要包含人物、動物、前景物體各種類別；從其中篩選前景圖像Nc張,3810≤Nc≤N，要求所述篩選前景圖像必須是拍攝得到的自然圖像，并保持類別數種；

利用選出的Nc張圖像構建前景圖像數據集S_F：其中是其中的第k+1張圖像；

(b)背景圖像數據集構建

從SUN2012數據集篩選N_B張背景圖像,2182≤N_B≤5000，構建背景圖像集合是其中的背景圖像,要求其不包含前景物體，并且要確保選取的背景圖像類別要涵蓋SUN2012的各個種類；

(c)合成圖像：在[0,N_B-1]之間生成隨機的背景圖像序號R_B，從背景圖像集合S_B中按照R_B取出隨機的背景圖像再在[0,Nc-1]之間生成1個隨機的前景圖像序號R_F，從前景圖像集合S_F中按照R_F取出隨機前景圖像(2)疊加圖像，對于的裁剪或縮放處理：如果的水平或垂直尺度小于N_t，通過圖像縮放功能將圖像在該維度分辨率放大到N_t；否則，如果水平或垂直尺度大于N_t，那么在空域范圍內，隨機裁剪出分辨率為N_t×N_t的背景塊，記為