[發明專利]存儲器引導的視頻對象檢測

在審

• 申請號: 201980094235.2
• 申請日: 2019-02-22
• 公開（公告）號: CN113632094A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 朱夢龍;馬松·劉;馬里·查理斯·懷特;德米特里·卡列尼琴科;李寅驍
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;周亞榮

提供了用于檢測視頻中的對象的系統和方法。一種方法可以包括將包括多個幀的視頻輸入到包括多個特征提取器網絡和共享存儲器層的交織對象檢測模型中。針對一個或多個幀中的每個幀，操作可以包括選擇多個特征提取器網絡中的一個特征提取器網絡以分析所述一個或多個幀，由所選擇的特征提取器網絡分析所述一個或多個幀以確定所述一個或多個幀的一個或多個特征，至少部分地基于所述一個或多個特征和從存儲在共享存儲器層中的先前幀提取的一個或多個先前提取特征來確定更新的特征集，以及至少部分地基于更新的特征集來檢測所述一個或多個幀中的對象。

技術領域

本公開一般涉及存儲器引導的視頻對象檢測。更具體地，本公開涉及使用交織對象檢測模型的系統和方法，該交織對象檢測模型可以采用多個特征提取器網絡和共享存儲器層來分析視頻的幀以檢測和跟蹤對象。

背景技術

圖像對象檢測的最新進展已經遵循了越來越精細的卷積神經網絡設計的趨勢，以提高準確性或速度。盡管準確性最初是主要考慮并且繼續是關鍵度量，但是隨著深度學習技術已經越來越多地部署在實際應用中，提高這些模型的速度的重要性已經穩步上升。在速度譜的遠端，已經進行了大量工作來允許神經網絡在移動設備上運行，移動設備表示具有極端計算和能量約束的環境。然而，盡管有顯著的進步，還沒有任何單幀檢測模型能夠實現能夠在移動設備上實時運行神經網絡而沒有實質上的準確性損失的最終目標。

發明內容

本公開的實施例的方面和優點將在以下描述中部分地闡述，或者可以從描述中學習，或者可以通過實施例的實踐來學習。

本公開的一個示例方面涉及一種用于檢測視頻中的對象的計算機實現的方法。該計算機實現的方法可以包括將視頻輸入到包括第一特征提取器網絡、第二特征提取器網絡和共享存儲器層的交織對象檢測模型中，所述視頻包括多個幀。該方法還可以包括利用所述第一特征提取器網絡分析所述視頻的初始幀以確定初始化的特征集。該方法還可以包括將所述初始化的特征集存儲在所述共享存儲器層中。針對視頻的一個或多個后續幀中的每一個，該方法還可以包括選擇所述第一特征提取器網絡或所述第二特征提取器網絡來分析所述后續幀，由所選擇的特征提取器網絡分析所述后續幀以確定所述后續幀的一個或多個后續特征，至少部分地基于所述一個或多個后續特征來確定更新的特征集，以及至少部分地基于所述更新的特征集來檢測所述后續幀中的對象。

本公開的另一示例方面涉及一種計算系統，包括一個或多個處理器和一個或多個非暫時性計算機可讀介質，所述一個或多個非暫時性計算機可讀介質共同存儲指令，所述指令在由所述一個或多個處理器執行時使所述計算系統執行操作。所述操作可以包括將視頻輸入到包括多個特征提取器網絡和共享存儲器層的交織對象檢測模型中。所述視頻可以包括多個幀。針對一個或多個幀中的每一個，所述操作可以包括選擇所述多個特征提取器網絡中的一個特征提取器網絡來分析所述一個或多個幀。操作還可以包括由所選擇的特征提取器網絡分析所述一個或多個幀以確定所述一個或多個幀的一個或多個特征。所述操作還可以包括至少部分地基于所述一個或多個特征和從存儲在所述共享存儲器層中的先前幀中提取的一個或多個先前提取特征來確定更新的特征集。所述操作還可以包括至少部分地基于所述更新的特征集來檢測所述一個或多個幀中的對象。

本公開的另一示例方面涉及一種訓練包括第一特征提取器網絡、第二特征提取器網絡和共享存儲器層的交織對象檢測模型的計算機實現的方法。該方法可以包括將包括多個圖像幀的訓練視頻輸入到所述交織對象檢測模型中。針對視頻的一個或多個幀，該方法還可以包括隨機選擇所述第一特征提取器網絡或所述第二特征提取器網絡。該方法還可以包括用所選擇的特征提取器網絡分析所述訓練視頻的一個或多個圖像幀以確定所述多個圖像幀中存在的一個或多個檢測到的對象。該方法還可以包括至少部分地基于地面實況檢測與所述一個或多個檢測到的對象的比較來確定檢測損失函數。該方法還可以包括至少部分地基于所述檢測損失函數來訓練所述交織對象檢測模型。