[發明專利]人體與人臉聯合檢測方法及裝置

在審

• 申請號: 202211370630.9
• 申請日: 2022-11-03
• 公開（公告）號: CN115731623A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 深圳須彌云圖空間科技有限公司
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06N3/0464;G06N3/08;G06V10/22;G06V10/82;G06V40/10;G06V40/16
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊超

1.一種人體與人臉聯合檢測方法，其特征在于，包括：

獲取第一人體數據、第二人體數據、第一人臉數據和第二人臉數據；

利用所述第一人體數據訓練人體檢測教師模型，利用所述第一人臉數據訓練人臉檢測教師模型；

將所述第二人體數據輸入訓練后的人體檢測教師模型，輸出人體中心點的第一熱圖以及人體中心點到人體檢測框各邊框距離的第二熱圖，將所述第二人臉數據輸入訓練后的人臉檢測教師模型，輸出人臉中心點的第三熱圖以及人臉中心點到人臉檢測框各邊框距離的第四熱圖；

根據所述第一熱圖和所述第三熱圖確定人體與人臉中心點的第五熱圖，根據所述第二熱圖和所述第四熱圖確定人體與人臉中心點到人體與人臉檢測框各邊框距離的第六熱圖；

構建人體與人臉檢測學生模型，基于所述第五熱圖和所述第六熱圖，利用第一損失函數訓練人體與人臉檢測學生模型；

利用訓練后的人體與人臉檢測學生模型進行人體與人臉聯合檢測。

2.根據權利要求1所述的方法，其特征在于，所述人體與人臉檢測學生模型，包括：特征提取網絡、用于預測人體與人臉中心點的第一頭網絡以及用于預測人體與人臉中心點到人體與人臉檢測框各邊框距離的第二頭網絡；

其中，所述第一頭網絡和所述第二頭網絡并列連接在所述特征提取網絡之后。

3.根據權利要求1所述的方法，其特征在于，所述基于所述第五熱圖和所述第六熱圖，利用第一損失函數訓練人體與人臉檢測學生模型，包括：

將所述第二人體數據和所述第二人臉數據輸入所述人體與人臉檢測學生模型，輸出人體與人臉中心點的第七熱圖以及人體與人臉中心點到人體與人臉檢測框各邊框距離的第八熱圖；

在所述人體與人臉檢測學生模型基于所述第二人體數據和所述第二人臉數據輸出所述第七熱圖和所述第八熱圖時，利用所述第一損失函數約束所述人體與人臉檢測學生模型，使得所述第五熱圖和所述第七熱圖之間的差值最小以及所述第六熱圖和所述第八熱圖之間的差值最小。

4.根據權利要求3所述的方法，其特征在于，所述第一損失函數，包括：

N為所述第二人體數據和所述第二人臉數據中的樣本數，i為樣本的序號，當y_i為所述第七熱圖時，則為所述第五熱圖，L_mse為所述第五熱圖和所述第七熱圖之間的差值，當y_i為所述第八熱圖，為所述第六熱圖，L_mse為所述第六熱圖和所述第八熱圖之間的差值。

5.根據權利要求1所述的方法，其特征在于，所述構建人體與人臉檢測學生模型之后，所述方法還包括：

獲取所述第二人體數據和所述第二人臉數據對應的標注結果，其中，所述標注結果，包括：人體與人臉中心點的第九熱圖以及人體與人臉中心點到人體與人臉檢測框各邊框距離的第十熱圖；

將所述第二人體數據和所述第二人臉數據輸入所述人體與人臉檢測學生模型，輸出人體與人臉中心點的第七熱圖以及人體與人臉中心點到人體與人臉檢測框各邊框距離的第八熱圖；

在所述人體與人臉檢測學生模型基于所述第二人體數據和所述第二人臉數據輸出所述第七熱圖和所述第八熱圖時，利用第二損失函數約束所述人體與人臉檢測學生模型，使得所述第九熱圖和所述第七熱圖之間的差值最小以及所述第十熱圖和所述第八熱圖之間的差值最小。

6.根據權利要求5所述的方法，其特征在于，所述第二損失函數，包括：

N為所述第二人體數據和所述第二人臉數據中的樣本數，i為樣本的序號，當y_i為所述第七熱圖時，則為所述第九熱圖，L_gfl為所述第九熱圖和所述第七熱圖之間的差值，當y_i為所述第八熱圖，為所述第十熱圖，L_gfl為所述第十熱圖和所述第八熱圖之間的差值，a和β為超參數。