[發明專利]一種無監督學習物體外觀的算法

有效

• 申請號: 201910049159.5
• 申請日: 2019-01-18
• 公開（公告）號: CN111461150B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 李曉強;戴松民
• 申請（專利權）人: 上海大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/0475;G06N3/088;G06N3/094;G06T7/11;G06T7/194
• 代理公司: 北京中創博騰知識產權代理事務所(普通合伙) 11636
• 代理人: 李梅

本發明公開了一種無監督學習物體外觀的算法，涉及學習物體外觀領域，要解決的是沒有顯式的學會該類物體的具體邊界以及分割掩模的問題。本發明步驟如下：步驟一，準備一張包含充分多目標類別物體的圖片；步驟二，對步驟一的圖片進行數據預處理；步驟三，對步驟二的圖片使用生成對抗網絡訓練學習前景外觀和分割掩模。本發明只用到了一張密集同類物體隨機堆積的圖片,利用了其中包含的豐富的該類別物體的外觀信息，生成四通道圖片進而合成多物體堆疊圖像,通過對抗訓練優化合成圖像的真實程度,從而優化每個圖層學習到的外觀,懲罰每個圖層分割掩模的面積,使得每個圖層只學習單個對象，并且除了能學到生成物體的外觀還能學到物體的分割掩模。

技術領域

本發明涉及學習物體外觀的領域，具體是一種無監督學習物體外觀的算法。

背景技術

無監督地學習物體的外觀需要能對高維數據分布建立生成模型，這種技術直到最近幾年才得到發展。現有方法主要有以下三種:生成對抗網絡GAN通過對抗的方式來訓練判別器網絡和生成器網絡,在只有真實圖片的情況下,生成器可以通過判別器提供的鑒別信息來逐漸優化生成圖片的真實度；變分自編碼器VAE,通過訓練自編碼器并約束隱藏因子的分布實現以可控的隱藏分布和解碼器來映射出真實分布；以及基于流的可逆生成模型Glow,通過可逆函數的雅克比矩陣直接算出映射分布的解析式,從而直接優化映射分布,以逼近真實分布。

但是GAN、VAE和Glow都需要大量樣本來體現數據的真實分布,因此要想無監督地學習特定類別物體的外觀并能生成該類物體的逼真圖片都需要大量包含該類物體的圖片。這些生成模型雖然能夠生成逼真的圖片,但其中的前景和背景是混合在一起輸出的,具體哪些像素屬于前景仍然不知道,因此即使模型見過大量的該類物體,但仍然沒有顯式的學會該類物體的具體邊界,分割掩模。

發明內容

本發明的目的在于提供一種無監督學習物體外觀的算法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種無監督學習物體外觀的算法，具體步驟如下：

步驟一，準備一張包含充分多目標類別物體的圖片；

步驟二，對步驟一的圖片進行數據預處理；

步驟三，對步驟二的圖片生成對抗訓練學習前景外觀和分割。

作為本發明進一步的方案：步驟一中準備一張包含充分多目標類別物體圖片的方式為從互聯網上找一張目標類別物體大量擁擠在一起的圖片,目標類別物體空間分布越隨機,背景面積越小越好；人工將該目標類別物體大量堆放在背景上,盡量讓目標類別物體空間分布隨機并覆蓋住背景。

作為本發明進一步的方案：背景采用純色背景。

作為本發明進一步的方案：步驟二中數據預處理的方式為根據圖中目標類別物體的尺寸選擇一個窗口,從原圖中根據該窗口的大小隨機采樣出足夠數量的圖片方塊并且統一縮放到固定尺寸。

作為本發明進一步的方案：窗口的大小為1.5倍最大目標類別物體的寬度，圖片方塊的數量不少于1萬個。

作為本發明進一步的方案：生成對抗訓練學習前景外觀和分割的方式為：第一，人工觀察所切出來的真實圖片塊中包含的目標類別物體數量,估計出目標類別物體數量上限N,理論上可以足夠大,但出于計算資源和訓練效果的考慮,應選擇盡可能小的N；

第二，從m維度(視對象豐富度而定,越豐富維度應越多)標準正態分布中獨立地隨機采樣N個向量,分別經過同一個四通道圖片生成器進行解碼,得到N個具有獨立外觀的四通道圖片(前三個通道為RGB表示物體顏色外觀,第四個通道A表示物體分割掩模,合成圖片時對應于圖層的不透明度)；將每個這樣的圖片進行在整個圖像范圍內隨機平移后,按次序疊加成一張包含多個隨機堆疊目標類別物體的合成圖片塊；