[發(fā)明專利]圖像數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110685250.3
• 申請日: 2021-06-21
• 公開（公告）號: CN113420770A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 崔致豪;王子芃;王正;耿嘉;丁有爽;邵天蘭
• 申請（專利權(quán)）人: 梅卡曼德（北京）機(jī)器人科技有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46
• 代理公司: 北京科石知識產(chǎn)權(quán)代理有限公司 11595
• 代理人: 徐紅崗

本申請公開了一種圖像數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲介質(zhì)。圖像數(shù)據(jù)處理方法包括：接收待處理的圖像數(shù)據(jù)；使用第一數(shù)據(jù)處理過程處理所述待處理的圖像數(shù)據(jù)；使用第二數(shù)據(jù)處理過程處理經(jīng)第一數(shù)據(jù)處理過程處理的圖像數(shù)據(jù)；其中，所述數(shù)據(jù)處理過程包括一個(gè)或多個(gè)處理階段，每個(gè)處理階段包括一個(gè)或多個(gè)處理分支；所述方法還包括殘差處理過程，第一數(shù)據(jù)處理過程中的一個(gè)或多個(gè)處理分支通過殘差處理過程與第二數(shù)據(jù)處理過程中的一個(gè)或多個(gè)處理分支連接；所述第二處理過程中的一個(gè)或多個(gè)處理分支向下一個(gè)處理階段輸出數(shù)據(jù)之前，通過特征過渡操作處理待輸出的數(shù)據(jù)。本發(fā)明能夠保證平穩(wěn)的特征過渡并避免深度網(wǎng)絡(luò)的梯度損失，提高了骨干網(wǎng)絡(luò)推理的準(zhǔn)確率。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，更具體而言，特別涉及圖像數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)

圖像識別技術(shù)已經(jīng)在商業(yè)領(lǐng)域具有廣泛的應(yīng)用。目前常用的圖像識別方法或通過利用滑動(dòng)窗口來選擇和組裝分?jǐn)?shù)圖的輸出來生成分割的實(shí)例段，或者基于檢測器直接預(yù)測沒有建議的邊界框，這些方法在很大程度上依賴于預(yù)定義的錨，并且超參數(shù)調(diào)整(例如錨比、錨步長)對于不同的數(shù)據(jù)集和框尺度至關(guān)重要，還有一些圖像識別方法采用關(guān)鍵點(diǎn)檢測思想獲取對象的四個(gè)極值點(diǎn)并生成掩膜，或者用極坐標(biāo)表示方法重新分割實(shí)例并預(yù)測目標(biāo)的質(zhì)心，然后基于質(zhì)心和密集的輪廓點(diǎn)之間的距離預(yù)測識別框。此外，在獲得識別框之后，傳統(tǒng)的方法還包括消除類別級別冗余檢測框的步驟以避免在同一個(gè)物品上出現(xiàn)多個(gè)識別框。此外，目前主流的圖像識別算法通常會使用深度骨干網(wǎng)絡(luò)進(jìn)行圖像數(shù)據(jù)的處理，常用的骨干網(wǎng)絡(luò)為了準(zhǔn)確率而使用了龐大的參數(shù)，導(dǎo)致模型推理速度低，并且嚴(yán)重限制了模型在低內(nèi)存設(shè)備上的實(shí)現(xiàn)，還有些骨干網(wǎng)絡(luò)專注于提高模型推理速度，但降低了準(zhǔn)確率。

這些傳統(tǒng)的方法，要么參數(shù)調(diào)整復(fù)雜，要么僅適用于生成識別框或生成掩膜，并且傳統(tǒng)的方法中所使用的冗余框檢測技術(shù)在一些特殊工業(yè)場景下使用時(shí)，例如，多個(gè)并列傾斜的物品或者有遮蓋阻擋的物品，會造成嚴(yán)重的漏檢。然而在工業(yè)場景中，例如使用機(jī)器人進(jìn)行物品抓取這樣的場景，漏檢物品是不可容忍的，并且掩膜和識別框都是后續(xù)處理過程中的必要信息。現(xiàn)有的圖像識別技術(shù)運(yùn)用于工業(yè)場景時(shí)仍然需要克服許多的問題。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便克服上述問題或者至少部分地解決上述問題。具體地，首先，本發(fā)明能夠基于物品的關(guān)鍵點(diǎn)信息以及識別框參數(shù)并行地執(zhí)行生成識別框的處理以及生成掩膜的處理，在工業(yè)場景中使用時(shí)，識別準(zhǔn)確，不會生成冗余的識別框，并且同時(shí)生成識別框以及掩膜，實(shí)用性強(qiáng)；其次，本發(fā)明提出的骨干網(wǎng)絡(luò)能夠以兩個(gè)處理過程的多個(gè)階段對輸入的圖像數(shù)據(jù)進(jìn)行多分辨率及多特征維度的處理，并且在第二處理過程中只進(jìn)行升采樣處理，從而保證了輸出特征圖像數(shù)據(jù)的高分辨率，本發(fā)明的骨干網(wǎng)絡(luò)在保持準(zhǔn)確率的同時(shí)，提高了推理速度；再次，本發(fā)明的骨干網(wǎng)絡(luò)除了數(shù)據(jù)處理流程之外，還包括特征過渡處理以及殘差處理，能夠保證高層次特征下的平穩(wěn)的特征過渡并能夠避免深度網(wǎng)絡(luò)的梯度損失，提高了骨干網(wǎng)絡(luò)推理的準(zhǔn)確率；再次，本發(fā)明的掩膜生成過程獲取了多個(gè)高層次維度特征的特征圖像數(shù)據(jù)，從各個(gè)特征維度中通過池化方式提取掩膜特征，從而能保證所生成的圖像掩膜的完整性，不會發(fā)生掩膜殘缺的情況；再次，本發(fā)明基于骨干網(wǎng)絡(luò)提取的物品關(guān)鍵點(diǎn)信息以及識別框參數(shù)對多特征維度的圖像數(shù)據(jù)進(jìn)行池化，從而能夠從完整的圖像中識別屬于所識別物品的掩膜特征從而準(zhǔn)確地提取出所識別物品的掩膜；再次，本發(fā)明基于通用的圖像識別方法，提出了特別適用于識別多個(gè)傾斜并列物品的圖像識別方法，能夠提高多個(gè)物品識別的準(zhǔn)確度，不會發(fā)生漏檢。

本申請權(quán)利要求和說明書所披露的所有方案均具有上述一個(gè)或多個(gè)創(chuàng)新之處，相應(yīng)地，能夠解決上述一個(gè)或多個(gè)技術(shù)問題。具體地，本申請?zhí)峁┮环N圖像數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲介質(zhì)。

本申請的實(shí)施方式的圖像數(shù)據(jù)處理方法，包括：

接收待處理的圖像數(shù)據(jù)；

使用第一數(shù)據(jù)處理過程處理所述待處理的圖像數(shù)據(jù)；

使用第二數(shù)據(jù)處理過程處理經(jīng)第一數(shù)據(jù)處理過程處理的圖像數(shù)據(jù)；