[發明專利]通過著色的視覺跟蹤

在審

• 申請號: 201980014226.8
• 申請日: 2019-06-12
• 公開（公告）號: CN111742345A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 阿比納夫·什里瓦斯塔瓦;阿里禮薩·法蒂;塞爾吉奧·瓜達拉馬科塔多;凱文·帕特里克·墨菲;卡爾·馬丁·馮德日奇克
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/90;G06T11/00;G06N20/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

1.一種方法，包括：

接收：(i)一個或多個參考視頻幀，(ii)所述參考視頻幀中的多個參考像素中的每一個參考像素的相應參考標簽，以及(iii)目標視頻幀；

使用著色機器學習模型處理所述參考視頻幀和所述目標視頻幀，以生成(i)所述目標視頻幀中的多個目標像素和(ii)所述參考視頻幀中的所述參考像素的每一個之間的相應像素相似性度量，

其中，所述著色機器學習模型被訓練以生成像素相似性度量，其中，通過組合(i)所述參考視頻幀中的所述參考像素中的每個參考像素的實際顏色以及(ii)所述像素相似性度量來定義所述目標視頻幀中的每個目標像素的相應估計顏色；以及

確定所述目標視頻幀中的每個目標像素的相應目標標簽，包括：

組合(i)所述參考視頻幀中的所述參考像素的所述參考標簽以及(ii)所述像素相似性度量。

2.根據權利要求1所述的方法，其中，所述參考視頻幀中的所述參考像素包括所述參考視頻幀中的像素的適當子集。

3.根據權利要求1-2中的任一項所述的方法，其中，所述參考視頻幀和所述目標視頻幀在被所述著色機器學習模型處理之前被脫色。

4.根據權利要求1-3中的任一項所述的方法，其中，所述著色機器學習模型包括嵌入神經網絡，并且其中，使用所述著色機器學習模型來處理所述參考視頻幀和所述目標視頻幀以生成(i)所述目標視頻幀中的所述目標像素和(ii)所述參考視頻幀中的所述參考像素的每一個之間的相應像素相似性度量包括：

提供所述參考視頻幀和所述目標視頻幀作為對所述嵌入神經網絡的輸入；

根據嵌入神經網絡參數的當前值來處理所述輸入，以生成(i)所述目標視頻幀中的所述目標像素和(ii)所述參考視頻幀中的所述參考像素中的每一個的相應嵌入；以及

使用所述嵌入生成(i)所述目標視頻幀中的所述目標像素和(ii)所述參考視頻幀中的所述參考像素中的每一個之間的所述相應像素相似性度量。

5.根據權利要求4中的任一項所述的方法，其中，所述嵌入神經網絡包括一個或多個卷積神經網絡層。

6.根據權利要求4-5中的任一項所述的方法，其中，使用所述嵌入生成(i)所述目標視頻幀中的所述目標像素和(ii)所述參考視頻幀中的所述參考像素中的每一個之間的所述相應像素相似性度量包括：

使用目標像素的嵌入和參考像素的嵌入之間的相似性度量來生成所述目標像素和所述參考像素之間的像素相似性度量。

7.根據權利要求1-6中的任一項所述的方法，其中，像素的標簽包括針對多個可能類別中的每一個可能類別指示所述像素對應于所述類別的相應可能性的數據。

8.根據權利要求1-6中的任一項所述的方法，其中，像素的標簽包括針對多個可能的關鍵點中的每一個可能的關鍵點指示所述像素對應于所述關鍵點的相應可能性的數據。

9.根據權利要求4至8中的任一項所述的方法，其中，通過多個操作來訓練所述著色機器學習模型，所述多個操作包括：

獲得多個訓練示例，其中，每個訓練示例包括：(i)一個或多個訓練參考視頻幀，(ii)訓練目標視頻幀，以及(iii)所述訓練參考視頻幀和所述訓練目標視頻幀中的每個像素的實際顏色；

使用所述著色機器學習模型對所述訓練參考視頻幀和所述訓練目標視頻幀進行處理，以生成(i)所述訓練目標視頻幀中的每個像素和(ii)所述訓練參考視頻幀中的每個像素之間的相應相似性度量；

通過組合(i)所述訓練參考視頻幀中的每個像素的實際顏色和(ii)所述相似性度量來確定在所述訓練目標視頻幀中的每個像素的估計顏色；以及

基于(i)所述訓練目標視頻幀中的每個像素的所述實際顏色與(ii)所述訓練目標視頻幀中的每個像素的所述估計顏色之間的差異來調整所述嵌入神經網絡參數的所述當前值。