[發明專利]從圖像生成對象嵌入

有效

• 申請號: 201880069917.3
• 申請日: 2018-11-01
• 公開（公告）號: CN111279363B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: G.F.施羅夫;D.卡列尼琴科;葉可人
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種用于對象嵌入系統的端到端訓練的計算機實現的方法，所述方法包括：

在多個圖像上迭代地訓練所述對象嵌入系統，所述圖像中的每一個描繪特定類型的對象，訓練的每次迭代包括：

將所選圖像作為輸入提供給對象嵌入系統并生成相應的嵌入，其中所述對象嵌入系統包括縮略神經網絡和嵌入神經網絡，其中每個神經網絡包括多個連續層，并且其中使用所述對象嵌入系統生成圖像中描繪的對象的嵌入包括：

生成圖像中描繪的對象的縮略表示作為縮略神經網絡的輸出，其中所述縮略神經網絡根據縮略神經網絡參數的集合的值處理輸入以：

確定定義縮略表示的像素和圖像的像素之間的對應關系的空間變換的參數的值；以及

使用空間變換和圖像生成縮略表示作為輸出；

通過將縮略表示作為輸入提供給嵌入神經網絡來生成嵌入，所述嵌入神經網絡被配置為根據嵌入神經網絡參數的集合的值來處理縮略表示，以生成嵌入作為輸出；

基于損失函數確定梯度，以減小相同對象實例的嵌入之間的距離，并增大不同對象實例的嵌入之間的距離；以及

使用梯度調整縮略神經網絡參數的集合的值和所述嵌入神經網絡參數的集合的值。

2.根據權利要求1所述的計算機實現的方法，其中，所述對象嵌入系統還包括檢測神經網絡，所述檢測神經網絡包括多個連續層，以及使用所述對象嵌入系統生成圖像中描繪的對象的嵌入還包括：

通過將圖像作為輸入提供給檢測神經網絡來生成圖像的編碼表示，其中所述檢測神經網絡被配置為根據檢測神經網絡參數的集合的值來處理圖像，以生成圖像的編碼表示；以及

將圖像的編碼表示作為輸入提供給縮略神經網絡。

3.根據權利要求2所述的計算機實現的方法，其中預訓練所述檢測神經網絡以生成圖像的編碼表示，所述圖像的編碼表示包括識別圖像中特定類型的對象的預測位置的數據。

4.根據權利要求1所述的計算機實現的方法，其中，基于所述特定類型的對象的不是由縮略神經網絡生成的縮略表示來預訓練嵌入神經網絡。

5.根據權利要求1所述的計算機實現的方法，其中，對于每個所選圖像，基于損失函數確定梯度還包括：

確定由縮略神經網絡生成的縮略表示的關鍵點的位置；

確定縮略表示的關鍵點在圖像的參考幀中的位置；以及

減小圖像中描繪的特定類型的對象的關鍵點的位置和圖像的參考幀中縮略表示的關鍵點的位置之間的誤差度量。

6.根據權利要求5所述的計算機實現的方法，其中所述圖像中描繪的特定類型的對象的關鍵點包括圖像中描繪的特定類型的對象周圍的邊界框的頂點，并且其中所述縮略表示的關鍵點包括縮略表示的邊界頂點。

7.根據權利要求5所述的計算機實現的方法，其中：

所述誤差度量是圖像中描繪的特定類型的對象的關鍵點的位置和圖像的參考幀中縮略表示的關鍵點的位置之間的誤差的總和；并且

如果圖像中描繪的特定類型的對象的關鍵點的位置和圖像的參考幀中縮略表示的關鍵點的對應位置之間的距離小于容差半徑，則它們之間的誤差為零。

8.根據權利要求7所述的計算機實現的方法，其中所述容差半徑在訓練迭代中增加，直到其達到最大閾值。

9.根據權利要求1所述的計算機實現的方法，其中所述縮略神經網絡的空間變換包括圖像扭曲空間變換，所述圖像扭曲空間變換根據所述縮略表示的每個像素處的位移矢量來定義縮略表示的像素和圖像的像素之間的對應關系。

10.根據權利要求9所述的計算機實現的方法，其中所述縮略神經網絡的空間變換是仿射空間變換和所述圖像扭曲空間變換的組合。

11.根據權利要求1所述的計算機實現的方法，其中所述特定類型的對象是臉部。