[發明專利]感興趣區域確定方法、圖像內容識別方法及裝置

在審

• 申請號: 202011582717.3
• 申請日: 2020-12-28
• 公開（公告）號: CN112597997A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 朱曉寧;員嬌嬌;吳喆峰
• 申請（專利權）人: 精英數智科技股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 李莎

本申請提供一種感興趣區域確定方法、圖像內容識別方法及裝置，所述方法包括：獲取待識別圖像的特征圖；從特征圖中確定多個候選框，獲得各候選框對應的第一特征信息；針對每個候選框，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合，獲得該候選框的第二特征信息；根據每個候選框的第二特征信息，對各候選框進行邊界調整及二元分類；針對在二元分類中被確定為前景的候選框進行非極大值抑制篩選處理，將篩選出的候選框確定為感興趣區域并獲得各感興趣區域對應的第二特征信息。如此，使每個候選框的特征中融入了其他候選框的特征，進而使得在后續使用候選框中的特征進行感興趣區域確定或進行圖像內容識別時能夠更加準確。

技術領域

本申請涉及圖像處理技術領域，具體而言，涉及一種感興趣區域確定方法、圖像內容識別方法及裝置。

背景技術

圖像內容識別是一種通過機器學習模型識別并標識出圖像上預設內容的技術。在一些圖像內容識別技術中，為了提高圖像內容識別的速度，常通過先區域提議網絡(RegionProposal Network，RPN)先從待識別圖像上確定一些可能存在需要識別的內容的感興趣區域，再通將這些感興趣區域中的圖像特征輸入后續的分類網絡進行識別，以確定這些感興趣區域中的圖像內容所述的類別。區域提議網絡通常是先從待識別圖像的特征圖中確定一些候選框，然后根據候選框中的圖像特征進行感興趣區域的確定及獲取感興趣區域中的圖像特征。

但目前區域提議網絡中，對候選框的特征進行處理過程中，通常只考慮了各個候選框各自的圖像特征，沒有考慮候選框之間圖像特征可能存在的聯系。導致最后各個候選特征框對應的圖像特征豐富度不夠，影響后續的感興趣區域的確定及圖像內容識別的精準程度。

發明內容

為了克服現有技術中的上述不足，本申請的目的之一在于提供一種感興趣區域確定方法，所述方法包括：

獲取待識別圖像的特征圖，所述特征圖由卷積神經網絡對所述待識別圖像進行特征提取獲得；

通過區域提議網絡的卷積層從所述特征圖中確定多個候選框，獲得各所述候選框對應的第一特征信息；

針對每個所述候選框，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合，獲得該候選框的第二特征信息；

根據每個所述候選框的第二特征信息，對各所述候選框進行邊界調整及二元分類；

針對在所述二元分類中被確定為前景的候選框進行非極大值抑制篩選處理；

將篩選出的所述候選框確定為感興趣區域并獲得各所述感興趣區域對應的第二特征信息。

在一種可能的實現方式中，所述針對每個所述候選框，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合的步驟，包括：

針對每個所述候選框，根據其他候選框與該候選框的相對位置關系，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合。

在一種可能的實現方式中，所述針對每個所述候選框，根據其他候選框與該候選框的相對位置關系，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合的步驟，包括：

針對每個所述候選框，將該候選框和其他候選框的位置及第一特征信息輸入Transformer模型的編碼器；

通過所述編碼器對該候選框和其他各個候選框的第一特征信息進行根據位置關系的加權融合，獲得該候選框的第二特征信息。

在一種可能的實現方式中，所述編碼器包括多個依次連接的編碼層，每個所述編碼層包括多頭自注意力層、第一歸一化層、第一殘差融合門限機制、前向傳播網絡、第二歸一化層及第二殘差融合門限機制；所述通過所述編碼器對該候選框和其他各個候選框的第一特征信息進行根據位置關系的加權融合的步驟包括：