[發明專利]經由單應性變換適應的全卷積興趣點檢測和描述

在審

• 申請號: 201880073360.0
• 申請日: 2018-11-14
• 公開（公告）號: CN111344716A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: A·拉比諾維奇;D·德通;T·J·馬利西維茨
• 申請（專利權）人: 奇躍公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T3/40
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 楊曉光;于靜

1.一種訓練用于圖像興趣點檢測和描述的神經網絡的方法，所述方法包括：

生成包括多個參考集的參考數據集，其中，所述多個參考集中的每一者包括：

圖像；以及

與所述圖像相對應的參考興趣點集；以及

對于所述多個參考集中的每個參考集：

通過將單應性變換應用于所述圖像，生成扭曲圖像；

通過將所述單應性變換應用于所述參考興趣點集，生成扭曲參考興趣點集；

通過所述神經網絡接收所述圖像作為輸入，計算一計算興趣點集和計算描述符；

通過所述神經網絡接收所述扭曲圖像作為輸入，計算一計算扭曲興趣點集和計算扭曲描述符；

基于所述計算興趣點集、所述計算描述符、所述計算扭曲興趣點集、所述計算扭曲描述符、所述參考興趣點集、所述扭曲參考興趣點集、和所述單應性變換來計算損失；以及

基于所述損失來修改所述神經網絡。

2.根據權利要求1所述的方法，其中，所述神經網絡包括興趣點檢測器子網絡和描述符子網絡，其中：

所述興趣點檢測器子網絡被配置為接收所述圖像作為輸入，并基于所述圖像計算所述計算興趣點集；以及

所述描述符子網絡被配置為接收所述圖像作為輸入，并基于所述圖像計算所述計算描述符。

3.根據權利要求2所述的方法，其中，基于所述損失來修改所述神經網絡包括：基于所述損失來修改所述興趣點檢測器子網絡和所述描述符子網絡中的一者或兩者。

4.根據權利要求2所述的方法，進一步包括：

在生成所述參考數據集之前，使用包括多個合成圖像和多個合成興趣點集的合成數據集來訓練所述興趣點檢測器子網絡，其中，生成所述參考數據集包括使用所述興趣點檢測器子網絡來生成所述參考數據集。

5.根據權利要求1所述的方法，其中，生成所述參考數據集包括：

對于所述多個參考集中的每個參考集：

從包括多個未標記圖像的未標記數據集中獲得所述圖像；

通過將多個單應性變換應用于所述圖像，生成多個扭曲圖像；

通過所述神經網絡接收所述多個扭曲圖像作為輸入，計算多個計算扭曲興趣點集；

通過將多個逆單應性變換應用于所述多個計算扭曲興趣點集，生成多個計算興趣點集；以及

聚合所述多個計算興趣點集以獲得所述參考興趣點集。

6.根據權利要求1所述的方法，其中，所述多個參考集中的每一者進一步包括與所述圖像相對應的參考描述符，并且其中，生成所述參考數據集包括：

對于所述多個參考集中的每個參考集：

從包括多個未標記圖像的未標記數據集中獲得所述圖像；

通過將多個單應性變換應用于所述圖像，生成多個扭曲圖像；

通過所述神經網絡接收所述多個扭曲圖像作為輸入，計算多個所計算扭曲描述符；

通過將多個逆單應性變換應用于所述多個計算扭曲描述符，生成多個計算描述符；以及

聚合所述多個計算描述符以獲得所述參考描述符。

7.根據權利要求1所述的方法，其中，所述參考興趣點集是二維圖，所述二維圖具有與所述圖像的特定像素具有位于所述特定像素處的興趣點的概率相對應的值。

8.一種使用神經網絡執行圖像興趣點檢測和描述的方法，所述方法包括：

捕獲第一圖像；

捕獲第二圖像；

通過所述神經網絡接收所述第一圖像作為輸入，計算第一計算興趣點集和第一計算描述符；

通過所述神經網絡接收所述第二圖像作為輸入，計算第二計算興趣點集和第二計算描述符；以及

基于所述第一計算興趣點集和所述第二計算興趣點集以及所述第一計算描述符和所述第二計算描述符，確定所述第一圖像和所述第二圖像之間的單應性變換；

其中，所述神經網絡包括：

興趣點檢測器子網絡，其被配置為計算所述第一計算興趣點集和所述第二計算興趣點集；以及

描述符子網絡，其被配置為計算所述第一計算描述符和所述第二計算描述符。