[發明專利]關鍵點檢測方法、裝置、存儲介質及電子設備

在審

• 申請號: 201710311329.3
• 申請日: 2017-05-05
• 公開（公告）號: CN108229282A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 張展鵬;孫書洋;張偉
• 申請（專利權）人: 商湯集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京天健君律專利代理事務所(普通合伙) 11461
• 代理人: 張雪飛;黃海艷

本發明實施例提供一種關鍵點檢測方法、裝置、存儲介質及電子設備。其中，所述關鍵點檢測方法包括：根據視頻序列包括的第一視頻幀和第二視頻幀獲取視頻光流數據，視頻光流數據用于指示在第二視頻幀和第一視頻幀之間各個像素的位移數據，第二視頻幀包括視頻序列中時序連續且位于第一視頻幀之前的至少一個視頻幀；根據已獲得的第二視頻幀中目標對象的第二關鍵點數據和視頻光流數據，獲取第一視頻幀中目標對象的第一關鍵點數據。采用本發明的實施例，可以有效地利用連續視頻幀的時序信息，對連續視頻幀中關鍵點的準確定位。

技術領域

本發明實施例涉及機器學習技術，尤其涉及一種關鍵點檢測方法、裝置、存儲介質及電子設備。

背景技術

物體(如行人、動物、車輛等)關鍵點檢測是在涉及視頻內容解析和檢索的應用中使用的重要技術，被廣泛地應用在機器人、游戲娛樂、視頻網站的內容分析和推薦等領域。目前，針對物體關鍵點檢測的研究分為基于圖像的關鍵點檢測和基于視頻的關鍵點檢測。

例如，在基于視頻的人體關鍵點檢測中，大多仍依賴基于圖像的人體關鍵檢測來對連續的視頻幀進行處理，易造成關鍵點定位不準確、計算量大、計算耗時等問題。

發明內容

本發明實施例提供一種關鍵點檢測技術方案。

根據本發明實施例的一方面，提供一種關鍵點檢測方法，包括：根據視頻序列包括的第一視頻幀和第二視頻幀獲取視頻光流數據，所述視頻光流數據用于指示在所述第二視頻幀和第一視頻幀之間各個像素的位移數據，所述第二視頻幀包括所述視頻序列中時序連續且位于所述第一視頻幀之前的至少一個視頻幀；根據已獲得的所述第二視頻幀中目標對象的第二關鍵點數據和所述視頻光流數據，獲取所述第一視頻幀中所述目標對象的第一關鍵點數據。

可選地，所述根據視頻序列包括的第一視頻幀和第二視頻幀獲取視頻光流數據，包括：通過用于生成視頻光流數據的深度神經網絡，根據所述第一視頻幀和所述第二視頻幀獲取視頻光流數據。

可選地，所述根據已獲得的所述第二視頻幀中目標對象的第二關鍵點數據和所述視頻光流數據，獲取所述第一視頻幀中目標對象的第一關鍵點數據，包括：根據已獲得的所述第二視頻幀中目標對象的第二關鍵點數據，以所述第二關鍵點為中心選取若干第二像素；根據所述視頻光流數據所指示的所述第二視頻幀和所述第一視頻幀之間的所述第二像素的位移數據，獲取所述若干第二像素在所述第一視頻幀中各自對應的第一像素的數據；根據若干所述第一像素的數據，獲取所述第二視頻幀中所述目標對象的第一關鍵點數據。

可選地，在通過用于生成視頻光流數據的深度神經網絡，根據所述第一視頻幀和所述第二視頻幀獲取視頻光流數據之前，所述方法還包括：使用多個樣本視頻幀序列訓練所述深度神經網絡，所述樣本視頻幀序列中的每個樣本視頻幀含有視頻光流數據的標注信息。

可選地，所述視頻光流數據為光流圖，所述光流圖中的部分像素與所述第一視頻幀中的像素和第二視頻幀中的像素對應，并指示所述第一視頻幀中的像素相對于所述第二視頻幀中的對應像素的位移信息。

可選地，所述深度神經網絡為全卷積神經網絡。

可選地，所述第一關鍵點和第二關鍵點均為人體的關鍵點，或者均為人臉的關鍵點。

根據本發明實施例的第二方面，還提供一種關鍵點檢測裝置，包括：第一獲取模塊，用于根據視頻序列包括的第一視頻幀和第二視頻幀獲取視頻光流數據，所述視頻光流數據用于指示在所述第二視頻幀和第一視頻幀之間各個像素的位移數據，所述第二視頻幀包括所述視頻序列中時序連續且位于所述第一視頻幀之前的至少一個視頻幀；第二獲取模塊，用于根據已獲得的所述第二視頻幀中目標對象的第二關鍵點數據和所述視頻光流數據，獲取所述第一視頻幀中所述目標對象的第一關鍵點數據。

可選地，所述第一獲取模塊包括：第一獲取單元，用于通過用于生成視頻光流數據的深度神經網絡，根據所述第一視頻幀和所述第二視頻幀獲取視頻光流數據。