[發明專利]用于圖片匹配定位的神經網絡系統，方法及裝置

有效

• 申請號: 201811046086.6
• 申請日: 2018-09-07
• 公開（公告）號: CN109255382B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 巢林林;徐娟;褚崴
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種計算機執行的用于圖片匹配定位的神經網絡系統。該神經網絡系統第一卷積網絡，第二卷積網絡，組合層和邊框回歸層，其中第一卷積網絡對第一圖片進行卷積處理和池化操作，得到與第一圖片對應的維度為第一數目的第一特征向量；第二卷積網絡對第二圖片進行卷積處理，得到第二圖片所包含的N個區域分別對應的N個特征向量，其維度也為第一數目；組合層將所述第一特征向量分別與N個特征向量進行組合操作，得到N個組合向量；邊框回歸層，至少基于所述N個組合向量，采用邊框回歸算法，在第二圖片中輸出預測邊框的信息，所述預測邊框指示出第二圖片包含第一圖片的圖片內容的部分。

技術領域

本說明書一個或多個實施例涉及計算機圖像處理領域，尤其涉及用于圖片的匹配和定位的神經網絡系統、方法和裝置。

背景技術

人工智能和機器學習已經廣泛地應用在計算機圖像處理領域，智能地進行圖像分析、對比、匹配以及目標識別等，其中圖像的匹配和匹配定位是常常面對的問題。簡單來說，圖像匹配是指，判斷兩幅圖像是否相似，或者是否為同一內容；而圖像匹配定位是指，找出一幅圖所示內容在另一幅圖中的位置。

傳統的匹配定位算法一般采用先遍歷搜索各種大小的圖塊，再對這些圖塊逐個對比的方式進行匹配和定位。這樣的方案時間復雜度很高，并且這樣兩步式的方案很難進行統一的整體優化。

因此，希望能有改進的方案，更加快速高效地進行圖像的匹配定位。

發明內容

本說明書一個或多個實施例描述了用于圖片匹配定位的神經網絡系統和方法，從而快速高效并一體化地進行圖片的匹配和定位。

根據第一方面，提供了一種計算機執行的、用于圖片匹配定位的神經網絡系統，包括：

第一卷積網絡，包括第一卷積層，以及池化層，所述第一卷積層對第一圖片進行卷積處理，得到與第一圖片對應的第一卷積特征圖；所述池化層對所述第一卷積特征圖進行池化操作，生成維度為第一數目的第一特征向量，其中所述第一圖片為待匹配圖片；

第二卷積網絡，對第二圖片進行卷積處理，得到第二圖片所包含的N個區域分別對應的N個特征向量，所述N個特征向量維度為所述第一數目；所述第二圖片為待搜索圖片；

組合層，將所述第一特征向量分別與所述N個特征向量進行組合操作，得到N個組合向量；

邊框回歸層，至少基于所述N個組合向量，在第二圖片中輸出預測邊框的信息，所述預測邊框指示出第二圖片包含第一圖片的圖片內容的區域。

在一個實施例中，第二卷積網絡包括第二卷積層和特征提取層，其中第二卷積層對所述第二圖片進行卷積處理，得到與第二圖片對應的第二卷積特征圖；特征提取層基于所述第二卷積特征圖，提取所述N個區域分別對應的N個特征向量。

進一步地，根據一種設計，第二卷積層與第一卷積層為共同的卷積層。

根據一種實施方式，所述N個區域是按照預定分割規則，分割得到。

根據另一種實施方式，所述N個區域通過選擇性搜索算法，或通過區域生成網絡而生成。

根據一種實施方式，組合層進行的組合操作包括，向量點積操作。

根據一種可能的設計，邊框回歸層包括第一隱層、第二隱層和輸出層；

所述第一隱層確定所述第一圖片出現在所述N個區域中各個區域的區域概率；

所述第二隱層在至少一個區域中生成備選邊框，并得出各個備選邊框的置信度；

所述輸出層根據各個區域的區域概率和各個備選邊框的置信度，輸出預測邊框的信息，所述預測邊框的信息包括，該預測邊框的坐標，該預測邊框對應的區域概率和置信度。