[發明專利]對具有非RGB格式的圖像客體進行探測學習的方法和裝置

有效

• 申請號: 202010059550.6
• 申請日: 2020-01-19
• 公開（公告）號: CN111507887B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/044;G06N3/0475;G06N3/094
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明是一種對具有非RGB格式的圖像客體進行探測學習的方法和裝置。本發明涉及一種使用循環GAN而將RGB訓練圖像集變換成非RGB訓練圖像集，以便能夠用于對具有非RGB格式的圖像客體的客體探測學習的學習方法及學習裝置，以及利用其的測試方法及測試裝置。更詳細而言，所述學習方法用于利用循環GAN而將標注有至少一個正確信息的RGB圖像變換成標注有至少一個正確信息的非RGB圖像，其特征在于，學習裝置獲得具有RGB格式的至少一個第一圖像，并使第一轉換器，將所述第一圖像變換成具有非RGB格式的至少一個第二圖像，使第一鑒別器，確認所述第二圖像是否為具有初級非RGB格式的圖像或具有二次非RGB格式的圖像。

技術領域

本發明涉及用于自動駕駛車輛的學習方法及學習裝置，具體而言，涉及一種使用循環GAN(Cycle?Generative?Adversarial?Network，循環生成對抗網絡)而將RGB訓練圖像集變換成Non-RGB訓練圖像集而以便能夠對具有非RGB格式的圖像客體進行探測學習的學習方法及學習裝置，以及利用其的測試方法及測試裝置。

背景技術

深層卷積神經網絡(Deep?Convolutional?Neural?Network：Deep?CNN)是在深度學習領域發生的耀眼的發展的核心。為了解決文字識別問題，CNN早在90年代就已經被使用了，但最近才在機器學習(Machine?Learning)領域廣泛應用。例如，CNN在2012年圖像識別大賽(ImageNet?Large?Scale?Visual?Recognition?Challenge)中戰勝其他競爭者而贏得了冠軍。之后，CNN成為了機器學習領域中非常有用的工具。

最近，CNN在自動駕駛汽車領域極為廣泛地使用。當在自動駕駛汽車領域使用時，CNN執行從附著于汽車的照相機獲得圖像并利用其搜索車道線等的作用。為此，CNN利用訓練圖像執行學習，訓練圖像主要為RGB格式。

但是，根據情況，CNN要求處理具有非RGB格式的測試圖像。不同于單純投入事先準備的具有RGB格式的圖像的學習流程，在測試流程中，具有非RGB格式的圖像可以從行駛中的實際汽車的照相機或傳感器獲得?？墒?，CNN使用具有RGB格式的圖像進行學習，因而無法適宜地處理具有非RGB格式的測試圖像。這是因為學習的CNN的參數以RGB格式為基準。

因此，以往技術為了解決這種問題，實時變換在測試時獲得的圖像的格式，從而使得測試圖像的格式與學習圖像的格式相同。但是，在這種情況下，需在數學上實時變換所有像素的值，因而產生開銷(overhead)，這種開銷在實時性極為重要的自動駕駛領域成為巨大的缺點。雖然如同將YUV格式變更為RGB格式的情形一樣，在其變換式較簡單的情況下，這種開銷也可能會很小，但在變換式非常復雜或者不存在變換式的情況下，這種方法存在無法使用的缺點。

結果，要在測試時解決這種格式問題并不容易，因而利用與測試圖像具有相同格式的新的訓練圖像來重新學習CNN參數更為簡便。

但是，這種解決方案也有問題，為了使CNN發揮既定水平以上的性能，在學習過程中需要數萬張以上的非常多的訓練圖像。除訓練圖像本身之外，CNN需要與其對應的GT(地面真值)，GT需由人直接制作，因而需要數萬張以上的訓練圖像即意味著要求很多錢和時間，這成為巨大的缺點。

發明內容

本發明的目的在于解決上述問題。

本發明的目的在于，使用循環GAN而將具有RGB格式的訓練圖像集變換成具有非RGB格式的訓練圖像集，從而消除另行確保具有非RGB格式的訓練圖像集的困難。

本發明的目的是通過以下技術方案實現的：