[發明專利]存儲器引導的視頻對象檢測

在審

• 申請號: 201980094235.2
• 申請日: 2019-02-22
• 公開（公告）號: CN113632094A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 朱夢龍;馬松·劉;馬里·查理斯·懷特;德米特里·卡列尼琴科;李寅驍
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;周亞榮

1.一種用于檢測視頻中的對象的計算機實現的方法，包括：

將視頻輸入到包括第一特征提取器網絡、第二特征提取器網絡和共享存儲器層的交織對象檢測模型中，所述視頻包括多個幀；

用所述第一特征提取器網絡分析所述視頻的初始幀，以確定初始化的特征集；

將所述初始化的特征集存儲在所述共享存儲器層中；以及

針對所述視頻的一個或多個后續幀中的每一個：

選擇所述第一特征提取器網絡或所述第二特征提取器網絡來分析所述后續幀；

由所選擇的特征提取器網絡分析所述后續幀，以確定所述后續幀的一個或多個后續特征；

至少部分地基于所述一個或多個后續特征來確定更新的特征集；以及

至少部分地基于所述更新的特征集來檢測所述后續幀中的對象。

2.根據權利要求1所述的計算機實現的方法，其中，選擇所述第一特征提取器網絡或所述第二特征提取器網絡來分析所述后續幀包括：根據自適應交織策略，至少部分地基于先前存儲在所述共享存儲器層中的一個或多個特征來選擇所述第一特征提取器網絡或所述第二特征提取器網絡。

3.根據權利要求2所述的計算機實現的方法，其中，所述交織對象檢測模型已經被訓練以實現所述自適應交織策略。

4.根據權利要求3所述的計算機實現的方法，其中，所述交織對象檢測模型已經被訓練以至少部分地基于包括速度獎勵分量和準確性分量的獎勵函數來實現所述自適應交織策略。

5.根據權利要求1所述的計算機實現的方法，其中，選擇所述第一特征提取器網絡或所述第二特征提取器網絡來分析所述后續幀包括：根據固定的交織策略來選擇所述第一特征提取器網絡或所述第二特征提取器網絡。

6.根據前述權利要求中的任一項所述的計算機實現的方法，其中，當所述第一特征提取器網絡已經被選擇時，至少部分地基于所述一個或多個后續特征來確定所述更新的特征集包括：使用所述一個或多個后續特征作為所述更新的特征集。

7.根據權利要求6所述的計算機實現的方法，還包括：

將所述更新的特征集存儲在所述共享存儲器層中。

8.根據前述權利要求中的任一項所述的計算機實現的方法，其中，當所述第二特征提取器網絡已經被選擇時，至少部分地基于所述一個或多個后續特征來確定所述更新的特征集包括：將最近的已經存儲在所述共享存儲器層中的特征集與所述一個或多個后續特征進行融合。

9.根據前述權利要求中的任一項所述的計算機實現的方法，其中，所述第一特征提取器網絡和所述第二特征提取器網絡被配置為在同步模式中順序地運行，在所述同步模式中針對每個幀運行單個特征提取器網絡。

10.根據前述權利要求中的任一項所述的計算機實現的方法，其中，所述第一特征提取器網絡和所述第二特征提取器網絡被配置為在異步模式中并發地運行，在所述異步模式中所述第一特征提取器網絡和所述第二特征提取器網絡在并行線程中運行。

11.根據權利要求10所述的計算機實現的方法，其中，所述第一特征提取器網絡被配置為定期地更新存儲在所述共享存儲器層中的所述特征集；

其中所述第二特征提取器網絡被配置為分析每個幀以確定所述一個或多個后續特征；以及

其中所述共享存儲器層被配置為通過將所述一個或多個后續特征與最近被存儲在所述共享存儲器層中的所述特征集進行融合來確定所述更新的特征集。

12.根據前述權利要求中的任一項所述的計算機實現的方法，其中，所述第一特征提取器網絡和所述第二特征提取器網絡包括卷積神經網絡。

13.根據前述權利要求中的任一項所述的計算機實現的方法，其中，所述第一特征提取器網絡包括與所述第二特征提取器網絡相比具有減少的檢測損失的、被配置用于準確性的特征提取器網絡。