[發(fā)明專利]用于圖像的對象檢測的樣本加權(quán)學(xué)習(xí)系統(tǒng)及其方法

在審

• 申請?zhí)枺?/td>: 202010431851.7
• 申請日: 2020-05-20
• 公開（公告）號: CN113723395A
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計）人: 潘瀅煒;王羽;劉金根;姚霆;梅濤
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 羅松梅

本發(fā)明提供了一種用于圖像的對象檢測的樣本加權(quán)學(xué)習(xí)系統(tǒng)及其方法，所述方法包括：第一步驟：針對每個樣本接收輸入的第一特征、第二特征、第三特征和第四特征；第二步驟：對輸入的第一特征、第二特征、第三特征和第四特征進(jìn)行變換；第三步驟：使用變換函數(shù)根據(jù)第一密集特征、第二密集特征、第三密集特征和第四密集特征來生成聯(lián)合樣本特征；第四步驟：根據(jù)生成的樣本特征來為每一個樣本預(yù)測分類損失的樣本權(quán)重和回歸損失的樣本權(quán)重；第五步驟：根據(jù)預(yù)測的分類損失的樣本權(quán)重和回歸損失的樣本權(quán)重來計算損失函數(shù)；第六步驟：根據(jù)計算的損失函數(shù)來調(diào)整樣本特征生成設(shè)備所使用的變換函數(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別是涉及一種用于圖像處理的樣本權(quán)重生成系統(tǒng)及其方法、一種用于圖像的對象檢測的樣本加權(quán)學(xué)習(xí)系統(tǒng)及其方法。

背景技術(shù)

現(xiàn)代的基于圖像區(qū)域的對象檢測是一個多任務(wù)學(xué)習(xí)問題，由對象分類和定位組成。其涉及區(qū)域采樣(滑動窗口或區(qū)域提議)、區(qū)域分類和回歸以及非極大值抑制。利用區(qū)域采樣，其將對象檢測轉(zhuǎn)換為分類任務(wù)，從而對大量區(qū)域進(jìn)行分類和回歸。根據(jù)區(qū)域搜索的方式，這些檢測器可以分類為一階段檢測器和二階段檢測器。

通常，精度最高的對象檢測器基于兩級框架，例如Faster R-CNN (快速R-CNN)，該框架在區(qū)域提議階段會迅速縮小區(qū)域范圍(大部分來自背景)。相反，一階段檢測器，例如SSD和YOLO，實(shí)現(xiàn)了更快的檢測速度，但準(zhǔn)確性較低。這是由于類別不平衡問題(即，前景和背景區(qū)域之間的不平衡)，這對對象檢測來說是經(jīng)典挑戰(zhàn)。

兩級檢測器通過區(qū)域提議機(jī)制處理類別不平衡，然后采用各種有效的采樣策略，例如以固定的前景與背景比進(jìn)行選擇樣本以及困難樣本挖掘。盡管類似的困難樣本挖掘可以應(yīng)用于一階段檢測器，但由于存在大量的簡單負(fù)樣本，因此效率較低。

樣本加權(quán)是一個非常復(fù)雜且動態(tài)的過程。當(dāng)應(yīng)用于多任務(wù)問題的損失函數(shù)時，各個樣本中存在各種不確定性。如果檢測器將其能力用于精確分類，并產(chǎn)生較差的定位結(jié)果，則定位錯誤的檢測將損害平均精度，尤其是在高IoU標(biāo)準(zhǔn)下，反之亦然。

發(fā)明內(nèi)容

根據(jù)本發(fā)明，圖像處理領(lǐng)域中的樣本加權(quán)不僅與數(shù)據(jù)有關(guān)而且與任務(wù)有關(guān)。一方面，與先前的技術(shù)不同，圖像的樣本的重要性應(yīng)由其與真實(shí)標(biāo)注相比的內(nèi)在屬性及其對損失函數(shù)的響應(yīng)來確定。另一方面，圖像的對象檢測是一個多任務(wù)問題。圖像的樣本的加權(quán)應(yīng)在不同任務(wù)之間保持平衡。

根據(jù)本發(fā)明的一方面，提出了一種用于圖像處理的樣本權(quán)重生成系統(tǒng)，所述系統(tǒng)包括：

特征變換設(shè)備，用于將輸入的第一特征、第二特征、第三特征和第四特征分別變換為第一密集特征、第二密集特征、第三密集特征和第四密集特征；

樣本特征生成設(shè)備，用于使用變換函數(shù)根據(jù)第一密集特征、第二密集特征、第三密集特征和第四密集特征來生成聯(lián)合樣本特征；

權(quán)重預(yù)測設(shè)備，用于根據(jù)生成的樣本特征來為樣本預(yù)測分類損失的樣本權(quán)重和回歸損失的樣本權(quán)重。

根據(jù)本發(fā)明的一方面的樣本權(quán)重生成系統(tǒng)，其中：

所述權(quán)重預(yù)測設(shè)備預(yù)測的分類損失的樣本權(quán)重和回歸損失的樣本權(quán)重是分別由第一指數(shù)函數(shù)和第二指數(shù)函數(shù)得出的。

根據(jù)本發(fā)明的一方面，提出了一種用于圖像的對象檢測的樣本加權(quán)學(xué)習(xí)系統(tǒng)，所述系統(tǒng)包括：

輸入設(shè)備，用于針對每個樣本接收輸入的第一特征、第二特征、第三特征和第四特征；

特征變換設(shè)備，用于將輸入的第一特征、第二特征、第三特征和第四特征分別變換為第一密集特征、第二密集特征、第三密集特征和第四密集特征；

樣本特征生成設(shè)備，用于使用變換函數(shù)根據(jù)第一密集特征、第二密集特征、第三密集特征和第四密集特征來生成聯(lián)合樣本特征；