[發明專利]一種雙階段的時序動作檢測方法、裝置、設備和介質

在審

• 申請號: 202110753604.3
• 申請日: 2021-07-02
• 公開（公告）號: CN113486784A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 王田;李澤賢;呂金虎;劉克新;張寶昌
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京康思博達知識產權代理事務所(普通合伙) 11426
• 代理人: 范國鋒;劉冬梅

1.一種雙階段的時序動作檢測方法，其特征在于，包括以下步驟：

S1、獲取視頻信息特征；

S2、根據視頻信息特征，提取候選邊界，由候選邊界組合獲得候選框；

S3、校正候選框邊界，判斷視頻中動作。

2.根據權利要求1所述的雙階段的時序動作檢測方法，其特征在于，

在步驟S2中，所述提取候選邊界包括以下子步驟：

S21、將視頻信息特征轉化為得分曲線；

S23、獲取得分曲線中潛在開始時刻、潛在結束時刻，組合獲得候選框；

在步驟S21中，通過生成器網絡將視頻信息特征轉化為得分曲線，所述得分曲線為視頻中動作狀態的概率隨著視頻時間變化的曲線。

3.根據權利要求2所述的雙階段的時序動作檢測方法，其特征在于，

所述生成器網絡包括空洞卷積模塊，視頻信息特征輸入空洞卷積模塊后，將處理結果與視頻信息特征一同依次通過第一激活函數、線性層、第二激活函數后輸出，獲得得分曲線，

所述空洞卷積模塊具有空洞卷積，視頻信息特征或數據輸入空洞卷積處理后，處理結果依次通過第三激活函數并歸一化后作為空洞卷積模塊的輸出，優選地，所述第一激活函數和第三激活函數相同。

4.根據權利要求2所述的雙階段的時序動作檢測方法，其特征在于，

在步驟S21和步驟S23之間，還設置有步驟S22、提升得分曲線穩定性；

通過將獲得的每組中多條得分曲線融合為一條，獲得三條融合得分曲線，達到提升穩定性的作用。

5.根據權利要求2所述的雙階段的時序動作檢測方法，其特征在于，

在步驟S23中，通過以下方式獲取候選邊界：

S231、將得分大于閾值的片段時刻以及得分為局部最大值的片段時刻作為潛在開始時刻和潛在結束時刻；

S232、組合潛在開始時刻和潛在結束時刻，二者及二者之間的視頻片段信息特征即為獲得的候選框。

6.根據權利要求2所述的雙階段的時序動作檢測方法，其特征在于，

在步驟S23之后，還具有步驟S24、時序片段池化，將候選框特征由不定長度轉化為固定長度。

7.根據權利要求1所述的雙階段的時序動作檢測方法，其特征在于，

在步驟S3中，通過候選框評估模塊和實例評估模塊對候選框特征進行邊界回歸的校正和動作分類，具體地，

所述候選框評估模塊進行二分類任務，將明顯不是正樣本的視頻信息特征過濾掉；

所述實例評估模塊進行多分類任務，輸出視頻信息特征的特定類別。

8.一種雙階段的時序動作檢測裝置，其特征在于，包括視頻信息特征提取單元、候選邊界提取單元和視頻動作判定單元，

所述視頻信息特征提取單元將視頻裁剪成多個片段，提取視頻信息特征；

所述候選邊界提取單元將視頻信息特征轉化為得分曲線；

所述視頻動作判定單元獲得候選邊界的回歸值，根據回歸值對候選邊界進行校正，并判斷候選框中對應動作。

9.一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-7中任一項所述的方法。

10.一種存儲有計算機指令的計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行根據權利要求1-7中任一項所述的方法。