[發明專利]利用GAN來生成虛擬特征圖的方法及裝置

有效

• 申請號: 202010016992.2
• 申請日: 2020-01-08
• 公開（公告）號: CN111489403B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/0475;G06N3/094
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 鄧毅;黃綸偉

1.一種學習方法，利用包括生成網絡及鑒別網絡的GAN來從至少一個虛擬圖像導出至少一個虛擬特征圖，該至少一個虛擬圖像具備與從至少一個真實圖像導出的至少一個真實特征圖相同或類似的至少一個特性，

該學習方法包括如下步驟：

(a)當獲得作為上述虛擬圖像之一的至少一個輸入圖像時，學習裝置使上述生成網絡對上述輸入圖像應用至少一次卷積運算來生成具備與上述真實特征圖相同或類似的特性的至少一個輸出特征圖；及

(b)當獲得與上述輸出特征圖對應的由上述鑒別網絡生成的至少一個評價分值時，上述學習裝置使第1損失單元參照上述評價分值來生成至少一個第1損失，并將該至少一個第1損失反向傳播，從而學習上述生成網絡的參數，

該學習方法的特征在于，

上述第1損失調整上述生成網絡的參數而欺瞞上述鑒別網絡，從而將虛擬特征圖之一的由上述生成網絡來生成的特征圖通過上述鑒別網絡而判斷為真實特征圖之一，

上述學習裝置使對象檢測網絡參照上述輸出特征圖來分別生成與上述輸入圖像所包含的至少一個對象分別對應的至少一個類別分值，

上述學習裝置使第3損失單元參照上述類別分值及與此對應的GT來生成至少一個第3損失，并將上述第3損失反向傳播，從而學習上述生成網絡及上述對象檢測網絡的參數，

上述第3損失(i)調整上述對象檢測網絡的參數來提高上述對象檢測網絡檢測與上述輸出特征圖對應的上述輸入圖像所包含的對象的準確性，同時(ii)調整上述生成網絡的參數來生成優化特征圖，以協助上述對象檢測網絡使用上述優化特征圖來提高其檢測上述對象的準確性。

2.根據權利要求1所述的學習方法，其特征在于，

上述學習裝置使能夠判斷輸入到自己的特征圖是上述真實特征圖之一還是上述虛擬特征圖之一的上述鑒別網絡生成關于上述輸出特征圖是真實輸出特征圖還是虛假輸出特征圖的至少一個概率，從而生成上述評價分值。

3.根據權利要求2所述的學習方法，其特征在于，

當獲得上述輸出特征圖、利用上述真實圖像的一部分而生成的至少一個學習用真實特征圖及與此對應的GT時，上述鑒別網絡使與此對應的第2損失單元參照(i)關于由上述鑒別網絡生成的上述輸出特征圖和上述學習用真實特征圖的學習用評價分值及(ii)上述GT來生成至少一個第2損失，并將該至少一個第2損失反向傳播來學習上述鑒別網絡的參數，由此能夠判斷關于所輸入的一部分特征圖是真實特征圖還是虛假特征圖的概率。

4.根據權利要求1所述的學習方法，其特征在于，

當獲得由RPN生成的上述輸入圖像上的一個以上的各個ROI時，上述對象檢測網絡使卷積層對與各個上述ROI對應的上述輸出特征圖上的各個區域應用至少一次卷積運算來分別生成針對各個ROI的部分特征圖，并使FC層參照各個上述部分特征圖來生成關于上述輸入圖像所包含的上述對象的至少一個類別中的每個類別的信息，由此生成上述類別分值。

5.根據權利要求4所述的學習方法，其特征在于，

上述RPN參照各個上述ROI及與此對應的各個GT來生成至少一個RPN損失，并將該至少一個RPN損失反向傳播來學習上述RPN的參數，從而提高所輸入的一部分圖像所包含的一部分對象位于由RPN生成的一部分ROI的概率。