[發(fā)明專利]圖像處理方法和裝置

有效

• 申請?zhí)枺?/td>: 201811126084.8
• 申請日: 2018-09-26
• 公開（公告）號: CN109377508B
• 公開（公告）日: 2020-12-18
• 發(fā)明（設計）人: 胡耀全
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡技術(shù)有限公司
• 主分類號: G06T7/136
• 分類號: G06T7/136;G06K9/62;G06N3/04
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了圖像處理方法和裝置。該方法的一具體實施方式包括：獲取已標注的圖像，得到特征圖像，確定候選框；執(zhí)行以下處理步驟：確定各個候選框與所對應的標注框的重合度，確定重合度大于或等于預設重合度閾值的候選框作為目標候選框；獲取所述目標候選框在所述特征圖像中所對應的特征；將所述特征輸入全連接層，對全連接層的結(jié)果進行分類和邊框回歸，得到目標框；所述方法還包括：響應于確定所述處理步驟的執(zhí)行次數(shù)小于預設次數(shù)閾值，將所述目標框確定為候選框，重新執(zhí)行所述處理步驟，其中，所述預設次數(shù)閾值為至少兩次。本申請實施例能夠通過執(zhí)行多次處理步驟，多次對候選框進行篩選和確定目標框，以得到更加準確的目標框。

技術(shù)領(lǐng)域

本申請實施例涉及計算機技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及圖像處理方法和裝置。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡是多層神經(jīng)網(wǎng)絡，擅長處理圖像，得到了越來越廣泛的應用。通過卷積神經(jīng)網(wǎng)絡能夠生成指示圖像中目標位置的候選框(proposal)，并利用候選框最終得到目標框。

發(fā)明內(nèi)容

本申請實施例提出了圖像處理方法和裝置。

第一方面，本申請實施例提供了一種圖像處理方法，包括：獲取已標注的圖像，將圖像輸入卷積神經(jīng)網(wǎng)絡，得到特征圖像，確定候選框；執(zhí)行以下處理步驟：確定各個候選框與所對應的標注框的重合度，確定重合度大于或等于預設重合度閾值的候選框作為目標候選框；獲取目標候選框在特征圖像中所對應的特征；將特征輸入全連接層，對全連接層的結(jié)果進行分類和邊框回歸，得到目標框；方法還包括：響應于確定處理步驟的執(zhí)行次數(shù)小于預設次數(shù)閾值，將目標框確定為候選框，重新執(zhí)行處理步驟，其中，預設次數(shù)閾值為至少兩次。

在一些實施例中，響應于處理步驟的執(zhí)行次數(shù)小于預設次數(shù)閾值，將目標框確定為候選框，重新執(zhí)行處理步驟，包括：響應于處理步驟的執(zhí)行次數(shù)小于預設次數(shù)閾值，將目標框確定為候選框，采用大于本次處理步驟中的預設重合度閾值的預設重合度閾值，重新執(zhí)行處理步驟。

在一些實施例中，在重新執(zhí)行處理步驟之后，方法還包括：基于預設損失函數(shù)，確定最后一次執(zhí)行的處理步驟所得到的目標框中的至少一個與標注框的損失值；利用損失值進行反向傳播，以調(diào)整卷積神經(jīng)網(wǎng)絡的參數(shù)。

在一些實施例中，方法還包括：響應于確定處理步驟的執(zhí)行次數(shù)大于或等于預設次數(shù)閾值，對目標框進行非極大值抑制，得到處理后的目標框。

在一些實施例中，獲取目標候選框在特征圖像中所對應的特征，包括：確定目標候選框在特征圖像中所對應的區(qū)域，獲取區(qū)域內(nèi)的特征，將區(qū)域內(nèi)的特征轉(zhuǎn)換為定長向量。

第二方面，本申請實施例提供了一種圖像處理裝置，包括：獲取單元，被配置成獲取已標注的圖像，將圖像輸入卷積神經(jīng)網(wǎng)絡，得到特征圖像，確定候選框；處理單元，被配置成執(zhí)行以下處理步驟：確定各個候選框與所對應的標注框的重合度，確定重合度大于或等于預設重合度閾值的候選框作為目標候選框；獲取目標候選框在特征圖像中所對應的特征；將特征輸入全連接層，對全連接層的結(jié)果進行分類和邊框回歸，得到目標框；判斷單元，被配置成響應于確定處理步驟的執(zhí)行次數(shù)小于預設次數(shù)閾值，將目標框確定為候選框，重新執(zhí)行處理步驟，其中，預設次數(shù)閾值為至少兩次。

在一些實施例中，判斷單元進一步被配置成：響應于處理步驟的執(zhí)行次數(shù)小于預設次數(shù)閾值，將目標框確定為候選框，采用大于本次處理步驟中的預設重合度閾值的預設重合度閾值，重新執(zhí)行處理步驟。

在一些實施例中，裝置還包括：損失確定單元，被配置成基于預設損失函數(shù)，確定最后一次執(zhí)行的處理步驟所得到的目標框中的至少一個與標注框的損失值；調(diào)整單元，被配置成利用損失值進行反向傳播，以調(diào)整卷積神經(jīng)網(wǎng)絡的參數(shù)。

在一些實施例中，裝置還包括：目標框獲取單元，被配置成響應于確定處理步驟的執(zhí)行次數(shù)大于或等于預設次數(shù)閾值，對目標框進行非極大值抑制，得到處理后的目標框。