[發明專利]用于圖片匹配定位的神經網絡系統，方法及裝置

有效

• 申請號: 201811046086.6
• 申請日: 2018-09-07
• 公開（公告）號: CN109255382B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 巢林林;徐娟;褚崴
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種計算機執行的、用于圖片匹配定位的神經網絡系統，包括：

第一卷積網絡，包括第一卷積層，以及池化層，所述第一卷積層對第一圖片進行卷積處理，得到與第一圖片對應的第一卷積特征圖；所述池化層對所述第一卷積特征圖進行池化操作，生成維度為第一數目的第一特征向量，其中所述第一圖片為待匹配圖片；

第二卷積網絡，對第二圖片進行卷積處理，得到第二圖片所包含的N個區域分別對應的N個特征向量，所述N個特征向量維度為所述第一數目；所述第二圖片為待搜索圖片；

組合層，將所述第一特征向量分別與所述N個特征向量進行組合操作，得到N個組合向量；

邊框回歸層，至少基于所述N個組合向量，采用邊框回歸算法，在第二圖片中輸出預測邊框的信息，所述預測邊框指示出第二圖片包含第一圖片的圖片內容的部分；

其中，所述邊框回歸層包括第一隱層、第二隱層和輸出層；

所述第一隱層確定所述第一圖片出現在所述N個區域中各個區域的區域概率；

所述第二隱層在至少一個區域中生成備選邊框，并得出各個備選邊框的置信度；

所述輸出層根據各個區域的區域概率和各個備選邊框的置信度，輸出預測邊框的信息，所述預測邊框的信息包括，該預測邊框的坐標，該預測邊框對應的區域概率和置信度。

2.根據權利要求1所述的系統，其中所述第二卷積網絡包括第二卷積層和特征提取層，

所述第二卷積層對所述第二圖片進行卷積處理，得到與第二圖片對應的第二卷積特征圖；

所述特征提取層基于所述第二卷積特征圖，提取所述N個區域分別對應的N個特征向量。

3.根據權利要求2所述的系統，其中所述第二卷積層與所述第一卷積層為共同的卷積層。

4.根據權利要求1所述的系統，其中所述N個區域是按照預定分割規則，分割得到。

5.根據權利要求1所述的系統，其中所述N個區域通過選擇性搜索算法，或通過區域生成網絡而生成。

6.根據權利要求1所述的系統，其中所述組合層進行的組合操作包括，向量點積操作。

7.根據權利要求1所述的系統，其中所述第二隱層在區域概率大于預設閾值的區域中，生成備選邊框。

8.根據權利要求1所述的系統，其中所述輸出層將對應的區域概率和置信度的乘積最大的備選邊框作為所述預測邊框。

9.根據權利要求1所述的系統，其中所述神經網絡系統通過訓練樣本端到端訓練得到，所述訓練樣本包括多個圖片對，每個圖片對包括第一訓練圖片和第二訓練圖片，第二訓練圖片中標注有目標框，該目標框示出第二訓練圖片包含第一訓練圖片的圖片內容的部分。

10.根據權利要求9所述的系統，其中所述端到端訓練包括：

根據所述目標框的位置，在所述第二訓練圖片的N個區域中，確定該目標框所位于的特定區域，并根據該特定區域確定所述目標框的區域標簽；

通過所述第一隱層，預測第一訓練圖片位于所述各個區域的預測區域概率；

通過所述第二隱層，在各個區域中生成備選邊框；

確定各個備選邊框與所述目標框的交并比，作為該備選邊框的置信度；

至少基于所述區域標簽和所述預測區域概率，所述備選邊框的置信度，所述備選邊框以及所述目標框的大小及位置，調整所述第一隱層、第二隱層和輸出層的參數，從而訓練所述神經網絡系統。