[發明專利]基于深度解耦的人體實例解析方法、系統

有效

• 申請號: 202010592997.X
• 申請日: 2020-06-25
• 公開（公告）號: CN111738174B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 陳盈盈;朱炳科;王金橋;唐明
• 申請（專利權）人: 中國科學院自動化研究所;中國科學技術信息研究所
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/70;G06V10/762;G06V10/40;G06V10/82;G06V10/75;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于深度解耦的人體實例解析方法，其特征在于，該方法包括以下步驟：

步驟S100，獲取輸入圖像中候選區域的實例檢測框和特征；所述候選區域為人體實例的候選區域；所述人體實例包括人體整體實例、人體部件實例；

步驟S200，基于所述候選區域的特征，獲取候選區域對應實例的實例掩模和實例特征；

步驟S300，基于各候選區域對應的實例檢測框、實例掩模、實例特征，通過層級式聚類算法進行人體整體-人體部件關聯聚類，獲取人體實例解析結果；

通過層級式聚類算法進行人體整體-人體部件關聯聚類，獲取人體實例解析結果，其方法為：

步驟S310，根據各候選區域對應的實例檢測框進行聚類，得到第一聚類結果I_S1；

步驟S320，根據預設的人體結構約束條件，基于人體整體實例和人體部件實例的實例特征相似度，對I_S1進行篩選，得到第二聚類結果I_S2；

步驟S330，將I_S2外的孤立的人體部件實例和所有人體整體實例分為兩組構建二分圖模型并建立全連接，在所述預設的人體結構約束條件下進行二分圖匹配后，結合I_S2構建最終聚類結果I_S3；

步驟S340，根據I_S3得到人體整體-人體部件聚類的實例結果，再將每個人體整體實例中各人體部件實例的實例掩模和類別進行對應，得到人體實例解析結果；

所述第一聚類結果I_S1，其獲取方法包括：

根據人體整體實例、人體部件實例對應各的實例檢測框進行聚類，若人體部件實例的實例檢測框中心點位于人體整體實例的實例檢測框內部，則判定人體部件實例與對應的人體整體實例匹配，匹配公式為

其中，表示第i個人體部件實例的實例檢測框，表示第j個人體整體實例的實例檢測框，I_j，S1表示聚類結果I_S1的一組實例檢測框聚類，S表示第一個聚類階段。

2.根據權利要求1所述的基于深度解耦的人體實例解析方法，其特征在于，步驟S100中“獲取輸入圖像中候選區域的實例檢測框和特征”，其方法包括：

步驟S110，基于卷積神經網絡提取所述輸入圖像的圖像特征，作為第一特征；

步驟S120，基于所述第一特征，獲取所述候選區域的中人體整體實例和人體部件實例的實例檢測框，并提取各實例檢測框的內圖像的特征，作為第二特征。

3.根據權利要求2所述的基于深度解耦的人體實例解析方法，其特征在于，步驟S110中“基于卷積神經網絡提取所述輸入圖像的圖像特征”，其方法包括：

對所述輸入圖像，通過深度卷積神經網絡提取圖像特征，并基于可形變卷積的特征金字塔網絡提取不同尺度的圖像特征。

4.根據權利要求2所述的基于深度解耦的人體實例解析方法，其特征在于，步驟S200中“獲取候選區域對應實例的實例掩模和實例特征”，其方法包括：

步驟S210，基于所述第二特征，提取每個候選區域中的對應人體實例的掩模，作為實例掩模；

步驟S220，基于每個候選區的實例掩模，對相應的第二特征進行加權，獲取候選區域中對應人體實例的特征，作為實例特征。

5.根據權利要求4所述的基于深度解耦的人體實例解析方法，其特征在于，所述預設的人體結構約束條件為預設的每個人體實例對應各類部件的數量。

6.根據權利要求5所述的基于深度解耦的人體實例解析方法，其特征在于，所述第二聚類結果I_S2，其獲取方法為：

基于預設的每個人體實例對應各類部件的數量，對于每一個聚類，依據該聚類中人體部件實例和人體實例的實例特征相似度，去除相似度較低的人體部件實例，得到第二聚類結果I_S2。

7.根據權利要求4所述的基于深度解耦的人體實例解析方法，其特征在于，步驟S340中所述二分圖 匹配采用匈牙利算法。

8.一種基于深度解耦的人體實例解析系統，其特征在于，該系統包括第一模塊、第二模塊、第三模塊；

所述第一模塊，配置為獲取輸入圖像中候選區域的實例檢測框和特征；所述候選區域為人體實例的候選區域；所述人體實例包括人體整體實例、人體部件實例；

所述第二模塊，配置為基于所述候選區域的特征，獲取候選區域對應實例的實例掩模和實例特征；

所述第三模塊，配置為基于各候選區域對應的實例檢測框、實例掩模、實例特征，通過層級式聚類算法進行人體整體-人體部件關聯聚類，獲取人體實例解析結果；

通過層級式聚類算法進行人體整體-人體部件關聯聚類，獲取人體實例解析結果，其方法為：

步驟S310，根據各候選區域對應的實例檢測框進行聚類，得到第一聚類結果I_S1；

步驟S320，根據預設的人體結構約束條件，基于人體整體實例和人體部件實例的實例特征相似度，對I_S1進行篩選，得到第二聚類結果I_S2；

步驟S330，將I_S2外的孤立的人體部件實例和所有人體整體實例分為兩組構建二分圖模型并建立全連接，在所述預設的人體結構約束條件下進行二分圖匹配后，結合I_S2構建最終聚類結果I_S3；

步驟S340，根據I_S3得到人體整體-人體部件聚類的實例結果，再將每個人體整體實例中各人體部件實例的實例掩模和類別進行對應，得到人體實例解析結果；

所述第一聚類結果I_S1，其獲取方法包括：

根據人體整體實例、人體部件實例對應各的實例檢測框進行聚類，若人體部件實例的實例檢測框中心點位于人體整體實例的實例檢測框內部，則判定人體部件實例與對應的人體整體實例匹配，匹配公式為

其中，表示第i個人體部件實例的實例檢測框，表示第j個人體整體實例的實例檢測框，I_j，S1表示聚類結果I_S1的一組實例檢測框聚類，S1表示第一個聚類階段。