[發明專利]對具有非RGB格式的圖像客體進行探測學習的方法和裝置

有效

• 申請號: 202010059550.6
• 申請日: 2020-01-19
• 公開（公告）號: CN111507887B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/044;G06N3/0475;G06N3/094
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種學習方法，所述學習方法用于利用循環生成對抗網絡GAN將標注有正確信息的具有RGB格式的至少一個圖像變換成標注有正確信息的具有非RGB格式的至少一個圖像，所述學習方法的特征在于，包括：

(a)步驟，學習裝置獲得具有RGB格式的至少一個第一圖像，并使第一轉換器，將所述第一圖像變換成具有非RGB格式的至少一個第二圖像，使第一鑒別器，確認所述第二圖像是否為具有初級非RGB格式的圖像或具有二次非RGB格式的圖像，從而生成第1_1結果，且其特征在于所述初級非RGB格式是未經過從所述RGB格式變換的非RGB格式，所述二次非RGB格式是經過從所述RGB格式變換的非RGB格式，并使第二轉換器，將所述第二圖像變換成具有所述RGB格式的至少一個第三圖像；

(b)步驟，所述學習裝置獲得具有所述非RGB格式的至少一個第四圖像，并使所述第二轉換器，將所述第四圖像變換成具有所述RGB格式的至少一個第五圖像，使第二鑒別器，確認所述第五圖像是否為具有初級RGB格式的圖像或具有二次RGB格式的圖像，從而生成第2_1結果，且其特征在于所述初級RGB格式是未經過從所述非RGB格式變換的RGB格式，所述二次RGB格式是經過從所述非RGB格式變換的RGB格式，并使所述第一轉換器，將所述第五圖像變換成具有所述非RGB格式的至少一個第六圖像；及

(c)步驟，所述學習裝置參照所述第一圖像、所述第二圖像、所述第三圖像、所述第四圖像、所述第五圖像、所述第六圖像、所述第1_1結果及所述第2_1結果中至少一部分，計算一個以上的損失，學習所述第一轉換器、所述第二轉換器、所述第一鑒別器及所述第二鑒別器的參數的至少一部分，其中，

所述(c)步驟，包括計算

G^*＝

argmin(log(1-D_G(G(I)))+γ|I-F(G(I))|+log(1-D_F(F(X)))+

β|X-G(F(X))|)+λ×OD，

所述G^*為所述一個以上的損失中包含的轉換器用第一損失，I表示所述第一圖像，G(I)表示所述第二圖像，D_G(G(I))表示所述第1_1結果，F(G(I))表示所述第三圖像，X表示所述第四圖像，F(X)表示所述第五圖像，D_F(F(X))表示所述第2_1結果，G(F(X))表示所述第六圖像，γ及β為用于分別調整各|I-F(G(I))|及|X-G(F(X))|的加權值的常數，OD表示客體探測損失，λ為用于調整所述客體探測損失的加權值的常數，

所述客體探測損失是通過已學習的RGB客體探測器的計算而得到的，所述學習裝置使所述RGB客體探測器，在所述第三圖像中檢測一個以上的客體，對在所述第三圖像中檢測的所述客體的預測位置、大小、種類相關信息的至少一部分和與所述第一圖像對應的至少一個地面真值GT中包括的所述客體的實際位置、大小、種類相關信息的至少一部分進行比較，從而計算所述客體探測損失。

2.根據權利要求1所述的學習方法，其特征在于，

所述(c)步驟，包括計算

所述D^*_G為所述一個以上的損失中包含的所述第一鑒別器FD用損失，NR表示具有所述非RGB格式的任意圖像，D_G(NR)表示從所述第一鑒別器輸出的決定具有所述非RGB格式的所述任意圖像的第1_2結果，G(I)表示所述第二圖像，D_G(G(I))表示所述第(1_1結果。

3.根據權利要求1所述的學習方法，其特征在于，

所述(c)步驟，包括計算

所述D^*_F為所述一個以上的損失中包含的所述第二鑒別器SD用損失，R表示具有所述RGB格式的任意圖像，D_F(R)表示從所述第二鑒別器輸出的決定具有所述RGB格式的所述任意圖像的第2_2結果，F(X)表示所述第五圖像，D_F(F(X))表示所述第2_1結果。

4.根據權利要求1所述的學習方法，其特征在于，

所述第一轉換器及所述第二轉換器分別包括編碼層及解碼層的至少一部分。