[發明專利]視頻中手勢的識別方法、裝置、可讀存儲介質及電子設備

有效

• 申請號: 202110887307.8
• 申請日: 2021-08-03
• 公開（公告）號: CN113326829B
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 趙毅;高原;劉霄
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京鼎承知識產權代理有限公司 11551
• 代理人: 王義剛;賴慶梧

1.一種視頻中手勢的識別方法，其特征在于，包括：

獲取視頻數據；

將所述視頻數據輸入第一網絡模型；

根據所述第一網絡模型的輸出確定所述視頻數據中包含手勢區域的多個目標幀；其中，所述第一網絡模型用于從視頻幀中尋找目標區域并檢測目標區域的類別，所述目標區域的類別包括：手勢區域；

對于任一目標幀，判斷所述任一目標幀、所述任一目標幀的前一幀和所述任一目標幀的后一幀的手勢區域識別信息是否滿足預設條件，如果是，根據所述任一目標幀、所述任一目標幀的前一幀和所述任一目標幀的后一幀的手勢區域識別信息確定所述任一目標幀的手勢區域識別結果，否則，將所述任一目標幀的手勢區域識別信息作為所述任一目標幀的手勢區域識別結果；所述預設條件包括：所述任一目標幀的前一幀的手勢區域與所述任一目標幀的后一幀的手勢區域的交并比不大于預設閾值，所述任一目標幀的前一幀的手勢區域與所述任一目標幀的手勢區域的交并比大于預設閾值，以及所述任一目標幀的后一幀的手勢區域與所述任一目標幀的手勢區域的交并比大于預設閾值；

識別各個目標幀的手勢區域對應的手勢類別；

對于任一目標幀，根據所述任一目標幀及其相鄰目標幀的手勢類別識別信息，確定所述任一目標幀的手勢類別識別結果。

2.如權利要求1所述的方法，其特征在于，所述目標區域的類別還包括：人臉區域；

所述識別各個目標幀的手勢區域對應的手勢類別之前，還包括：

過濾各個目標幀的人臉區域。

3.如權利要求1所述的方法，其特征在于，所述第一網絡模型采用anchor-free方法從視頻幀中尋找所述目標區域，以及，采用輕量級卷積神經網絡檢測所述目標區域的類別。

4.如權利要求3所述的方法，其特征在于，所述輕量級卷積神經網絡為ShuffleNetV2網絡，所述ShuffleNetV2網絡的骨干網絡包括三個殘差塊層，其中第一層的殘差塊的個數不大于4，第二層的殘差塊的個數不大于8，第三層的殘差塊的個數不大于4。

5.如權利要求1所述的方法，其特征在于，識別各個目標幀的手勢區域對應的手勢類別，包括：

將各個目標幀的手勢區域輸入第二網絡模型；

根據所述第二網絡模型的輸出確定各個目標幀的手勢區域的對應的手勢類別；

其中，所述第二網絡模型用于根據圖像特征計算預先設置的各個手勢類別分別對應的評分。

6.如權利要求1所述的方法，其特征在于，識別各個目標幀的手勢區域對應的手勢類別之前，還包括：

將各個目標幀的手勢區域作放大處理。

7.如權利要求1所述的方法，其特征在于，根據所述任一目標幀、所述任一目標幀的前一幀和所述任一目標幀的后一幀的手勢區域識別信息確定所述任一目標幀的手勢區域識別結果，包括：

根據所述任一目標幀的前一幀的手勢區域識別信息和所述任一目標幀的后一幀的手勢區域識別信息，確定所述任一目標幀的前一幀的手勢區域的中心點坐標、手勢區域寬度、手勢區域高度，以及所述任一目標幀的后一幀的手勢區域的中心點坐標、手勢區域寬度、手勢區域高度；

分別計算所述任一目標幀的前一幀的手勢區域和所述任一目標幀的后一幀的手勢區域的中心點坐標、手勢區域寬度、手勢區域高度的中間值，作為所述任一目標幀的手勢區域識別結果。

8.如權利要求1所述的方法，其特征在于，根據所述任一目標幀及其相鄰目標幀的手勢類別識別信息，確定所述任一目標幀的手勢類別識別結果，包括：

對于前預設個數的目標幀以后的任一目標幀，獲取所述任一目標幀及其之前的預設個數目標幀的手勢類別識別信息，其中包括預先設置的各個手勢類別分別對應的評分；

按照預設權重分布，將所述任一目標幀及其之前的預設個數目標幀的各個手勢類別分別對應的評分累加，得到修正后的所述任一目標幀的各個手勢類別分別對應的評分；

將所述任一目標幀的評分最高的手勢類別作為所述任一目標幀的手勢類別識別結果。