[發(fā)明專利]一種單階段半監(jiān)督圖像人體目標檢測方法

在審

• 申請?zhí)枺?/td>: 202010114793.5
• 申請日: 2020-02-25
• 公開（公告）號: CN111368660A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設計）人: 陳學賢;吳斯
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產(chǎn)權代理有限公司 44245
• 代理人: 馮炳輝

1.一種單階段半監(jiān)督圖像人體目標檢測方法，其特征在于，包括以下步驟：

S1、對視頻幀數(shù)據(jù)進行劃分，分有真實標簽圖像集合無真實標簽圖像集合和測試數(shù)據(jù)集合

S2、從無真實標簽圖像集合中獲取一張無真實標簽圖像經(jīng)過VGG16網(wǎng)絡和RPN網(wǎng)絡得到預測的位置坐標信息和相應的得分信息，將高置信度的位置坐標信息和得分信息送入到IoU網(wǎng)絡，得到預測交并比信息，選取預測交并比大于或等于預定閾值的人體框預測信息作為該無真實標簽圖像的臨時標簽；

S3、輸入兩張圖像到整個網(wǎng)絡的入口，該整個網(wǎng)絡是由VGG16、RPN和IoU三個網(wǎng)絡組成，記為網(wǎng)絡VGG16+RPN+IoU，其中一張為步驟S2的無真實標簽圖像另一張為從真實標簽圖像集合種獲取的真實標簽圖像用于當前一輪的訓練，用損失函數(shù)進行約束；

S4、重復步驟S2-S3，達到預先設定訓練次數(shù)后完成訓練；

S5、用測試數(shù)據(jù)集合對訓練好的完整網(wǎng)絡VGG16+RPN+IoU進行測試評估，得到人體目標檢測的結果。

2.根據(jù)權利要求1所述的一種單階段半監(jiān)督圖像人體目標檢測方法，其特征在于：在步驟S1中，需要對視頻幀的圖像進行縮放處理，以期達到理想的訓練效果和減少數(shù)據(jù)運算量；根據(jù)需要對視頻幀數(shù)據(jù)進行分類，先把視頻幀數(shù)據(jù)分為訓練數(shù)據(jù)和測試數(shù)據(jù)集合兩類；再將訓練數(shù)據(jù)分為兩類：真實標簽圖像集合和無真實標簽圖像集合的比例為1：19，即訓練數(shù)據(jù)等于一張真實標簽圖像記為即一張無真實標簽圖像記為即

3.根據(jù)權利要求1所述的一種單階段半監(jiān)督圖像人體目標檢測方法，其特征在于：在步驟S2中，對無真實標簽圖像標注臨時標簽，對于整個網(wǎng)絡模型VGG16+RPN+IoU，采取和測試階段相同的模式，對參數(shù)進行固定，不進行更新；通過RPN網(wǎng)絡獲取分類信息和位置坐標信息，再選取高置信度的人體框通過IoU網(wǎng)絡得到最后的IoU得分預測，選取IoU大于或等于預定閾值的人體框預測信息作為無真實標簽圖像的臨時標簽。

4.根據(jù)權利要求1所述的一種單階段半監(jiān)督圖像人體目標檢測方法，其特征在于：在步驟S3中，所述VGG16網(wǎng)絡包含16個卷積層，分有5組；所述RPN網(wǎng)絡包含一個3×3卷積核的卷積層和兩個分別用來預測分類與位置坐標信息的卷積層，所述IoU網(wǎng)絡包括三個全連接層對預測人體框進行擬合，具體的訓練過程如下：

S31、輸入包含真實標簽圖像和無真實標簽圖像的圖片I；

S32、圖片I經(jīng)過第一組64個通道卷積層，得到特征圖F1，經(jīng)過最大化池化層得到特征圖F1'；

S33、將特征圖F1'經(jīng)過第二組128個通道卷積層，得到特征圖F2，經(jīng)過最大化池化層得到特征圖F2'；

S34、將特征圖F2'經(jīng)過第三組256個通道卷積層，得到特征圖F3，經(jīng)過最大化池化層得到特征圖F3'；

S35、將特征圖F3'經(jīng)過第四組512個通道卷積層，得到特征圖F4，經(jīng)過最大化池化層得到特征圖F4'；

S36、將特征圖F4'經(jīng)過第五組512個通道卷積層，得到特征圖F5；

S37、將特征圖F5經(jīng)過RPN網(wǎng)絡得到大小相同的特征圖F5'，然后通過分類和定位卷積層得到相應的輸出C、B；其中，C為對應anchor預測的分類得分，B為對應anchor預測的人體框位置坐標信息；

S38、將步驟S37中得到的分類得分信息和位置坐標信息進行篩選，選取分類得分大于預定閾值的人體框作進一步的甄別；

S39、將步驟S38選取好的人體框在步驟S36中的特征圖F5上挖取對應的特征圖F；

S310、特征圖F轉(zhuǎn)換成向量f輸入到IoU網(wǎng)絡中，最后得到人體框?qū)腎oU預測。