[發明專利]經由單應性變換適應的全卷積興趣點檢測和描述

在審

• 申請號: 201880073360.0
• 申請日: 2018-11-14
• 公開（公告）號: CN111344716A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: A·拉比諾維奇;D·德通;T·J·馬利西維茨
• 申請（專利權）人: 奇躍公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T3/40
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 楊曉光;于靜

用于訓練神經網絡并使用神經網絡執行圖像興趣點檢測和描述的系統、設備和方法。該神經網絡可以包括興趣點檢測器子網絡和描述符子網絡。一種光學設備可以包括用于捕獲第一圖像和第二圖像的至少一個相機。可以基于第一圖像，使用神經網絡計算第一興趣點集和第一描述符，以及可以基于第二圖像，使用神經網絡計算第二興趣點集和第二描述符。可以基于第一興趣點集和第二興趣點集以及第一描述符和第二描述符來確定第一圖像和第二圖像之間的單應性變換。該光學設備可以基于單應性變換調整投射到目鏡上的虛擬圖像光。

相關申請相互參考

本申請主張2017年11月14日提交的序列號為62/586,149的，題為“FullyConvolutional Interest Point Detection And Description Via HomographicAdaptation(經由單應性變換適應的全卷積興趣點檢測和描述)”的美國臨時專利，以及2017年12月20日提交的序列號為62/608,248的“Fully Convolutional Interest PointDetection And Description Via Homographic Adaptation(經由單應性變換適應的全卷積興趣點檢測和描述)”的美國臨時專利申請的優先權益，如本文全面闡述的，這兩個申請的全部公開內容為了所有目在此通過引用并入。

背景技術

興趣點檢測是計算機視覺中的重要概念。諸如姿態估計、即時定位與地圖構建(SLAM)、動態結構、稀疏三維(3D)圖、相機校準和圖像匹配之類的許多幾何計算機視覺任務中的第一步是從圖像中提取興趣點。興趣點是圖像中的二維(2D)位置，根據不同的光照條件和視點這些位置穩定且可重復。數學和計算機視覺的整個子領域(稱為多視圖幾何)包括定理和算法，這些定理和算法建立在能夠可靠地提取點并在圖像間進行匹配的假設上。但是，大多數真實世界計算機視覺系統的輸入不是理想化的點位置，而是原始、未標記圖像。已經開發出若干方法來檢測這種圖像中的興趣點，但僅獲得有限的成功。

盡管在這些領域中取得了進步，但是在本領域仍需要與圖像興趣點檢測相關的改進的方法、系統和設備。

發明內容

本公開一般地涉及興趣點檢測和匹配的計算機視覺任務。更具體地，本公開的實施例提供了用于使用神經網絡進行圖像興趣點檢測和描述的系統、設備和方法。盡管參考增強現實(AR)設備描述了本公開的多個部分，但是本公開也可應用于計算機視覺和圖像顯示系統中的各種應用。

根據本發明的第一方面，提供了一種訓練用于圖像興趣點檢測和描述的神經網絡的方法。所述方法可以包括生成包括多個參考集的參考數據集，其中所述多個參考集中的每一者包括圖像；以及與所述圖像相對應的參考興趣點集。所述方法還可以包括對于所述多個參考集中的每個參考集進行的以下操作：通過將單應性變換應用于所述圖像，生成扭曲圖像；通過將所述單應性變換應用于所述參考興趣點集，生成扭曲參考興趣點集；通過所述神經網絡接收所述圖像作為輸入，計算一計算興趣點集和計算描述符；通過所述神經網絡接收所述扭曲圖像作為輸入，計算一計算扭曲興趣點集和計算扭曲描述符；基于所述計算興趣點集、所述計算描述符、所述計算扭曲興趣點集、所述計算扭曲描述符、所述參考興趣點集、所述扭曲參考興趣點集、和所述單應性變換來計算損失；以及基于所述損失來修改所述神經網絡。

在一些實施例中，所述神經網絡包括興趣點檢測器子網絡描述符子網絡。在一些實施例中，所述興趣點檢測器子網絡被配置為接收所述圖像作為輸入，并基于所述圖像計算所述計算興趣點集。在一些實施例中，所述描述符子網絡被配置為接收所述圖像作為輸入，并基于所述圖像計算所述計算描述符。在一些實施例中，基于所述損失來修改所述神經網絡包括：基于所述損失來修改所述興趣點檢測器子網絡和所述描述符子網絡中的一者或兩者。在一些實施例中，所述方法包括在生成所述參考數據集之前，使用包括多個合成圖像和多個合成興趣點集的合成數據集來訓練所述興趣點檢測器子網絡。在一些實施例中，生成所述參考數據集包括使用所述興趣點檢測器子網絡來生成所述參考數據集。