[發明專利]感興趣區域確定方法、圖像內容識別方法及裝置

在審

• 申請號: 202011582717.3
• 申請日: 2020-12-28
• 公開（公告）號: CN112597997A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 朱曉寧;員嬌嬌;吳喆峰
• 申請（專利權）人: 精英數智科技股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 李莎

1.一種感興趣區域確定方法，其特征在于，所述方法包括：

獲取待識別圖像的特征圖，所述特征圖由卷積神經網絡對所述待識別圖像進行特征提取獲得；

通過區域提議網絡的卷積層從所述特征圖中確定多個候選框，獲得各所述候選框對應的第一特征信息；

針對每個所述候選框，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合，獲得該候選框的第二特征信息；

根據每個所述候選框的第二特征信息，對各所述候選框進行邊界調整及二元分類；

針對在所述二元分類中被確定為前景的候選框進行非極大值抑制篩選處理，將篩選出的所述候選框確定為感興趣區域并獲得各所述感興趣區域對應的第二特征信息。

2.根據權利要求1所述的方法，其特征在于，所述針對每個所述候選框，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合的步驟，包括：

針對每個所述候選框，根據其他候選框與該候選框的之間第一特征信息的關聯程度，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合。

3.根據權利要求2所述的方法，其特征在于，所述針對每個所述候選框，根據其他候選框與該候選框的之間第一特征信息的關聯程度，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合的步驟，包括：

針對每個所述候選框，將該候選框和其他候選框的第一特征信息輸入Transformer模型的編碼器；

通過所述編碼器對該候選框和其他各個候選框的第一特征信息進行基于第一特征信息關聯程度的加權融合，獲得該候選框的第二特征信息。

4.根據權利要求3所述的方法，其特征在于，所述編碼器包括多個依次連接的編碼層，每個所述編碼層包括多頭自注意力層、第一歸一化層、第一殘差融合門限機制、前向傳播網絡、第二歸一化層及第二殘差融合門限機制；所述通過所述編碼器對該候選框和其他各個候選框的第一特征信息進行基于第一特征信息關聯程度的加權融合，獲得該候選框的第二特征信息的步驟包括：

針對每個所述編碼層，從所述卷積層或者上一編碼層獲得輸入數據；

通過所述多頭自注意力層對所述輸入數據進行加權融合；

將所述多頭自注意力層的輸出結果輸入至所述第一歸一化層進行歸一化處理；

將所述輸入數據和所述第一歸一化層的輸出結果輸入所述第一殘差融合門限機制，通過所述第一殘差融合門限機制進行全局特征和局部特征的殘差融合處理；

將所述第一殘差融合門限機制的輸出結果輸入至全連接的所述前向傳播網絡進行處理；

將所述前向傳播網絡的輸出結果輸入至所述第二歸一化層進行歸一化處理；

將所述第一殘差融合門限機制的輸出結果和所述第二歸一化層的輸出結果輸入至所述第二殘差融合門限機制，通過所述第二殘差融合門限機制進行全局特征和局部特征的殘差融合處理；

輸出所述第二殘差融合門限機制的處理結果。

5.根據權利要求1所述的方法，其特征在于，所述針對每個所述候選框，將該候選框的第一特征信息與其他各個候選框的第一特征信息進行特征融合，獲得該候選框的第二特征信息的步驟，包括：

針對每個所述候選框，根據其他各個候選框與該候選框之間的關聯關系，通過圖卷積操作其他候選框與該候選框的第一特征信息進行融合，獲得該候選框的第二特征信息。

6.一種圖像內容識別方法，其特征在于，所述方法包括：

獲取待識別圖像；

通過預選訓練好的卷積層神經網絡對所述待識別圖像進行特征提取，活動的所述待識別圖像的特征圖；

通過權利要求1-5任意一項所述感興趣區域確定方法，確定感興趣區域及所述感興趣區域對應的第二特征信息；

將所述特征圖、各個所述感興趣區域的位置及各所述感興趣區域對應的第二特征信息輸入感興趣區域池化層進行處理，獲得各所述感興趣區域對應的第三特征信息；

將各個所述感興趣區域的第三特征信息輸入分類模型，獲得各感興趣區域對應的圖像內容類別。