[發明專利]一種弱監督的深度臺標檢測方法

有效

• 申請號: 201710485397.1
• 申請日: 2017-06-23
• 公開（公告）號: CN107330027B
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 操曉春;張月瑩;伍蹈
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F16/74
• 分類號: G06F16/74;G06F16/732;G06K9/62;G06K9/66
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 俞達成

1.一種弱監督的深度臺標檢測方法，其步驟包括：

1)對海量網絡視頻數據文件進行預處理，得到一個僅標記臺標類別的大數據集和一個僅標記臺標位置的小數據集；具體包括：

1-1)將海量網絡視頻數據文件根據MD5碼去重；

1-2)使用關鍵幀提取方法從去重后的網絡視頻中提取若干關鍵幀；

1-3)對每一個網絡視頻關鍵幀進行M宮格分割，僅保留位于角落的M分之一圖片，其中M根據臺標的大小和位置進行取值；

1-4)對所有圖片進行分類，得到帶有臺標的圖片；

1-5)使用傳統方法對上述帶有臺標的圖片進行數據增強；

1-6)將上述數據增強后的帶有臺標的圖片根據臺標類別進行均衡分配，得到一個僅標記臺標類別的大數據集和一個僅標記臺標位置的小數據集；

2)按照弱監督的框架組織臺標定位網絡和臺標分類網絡，并將上述小數據集輸入臺標定位網絡進行訓練，得到能預測臺標區域的臺標定位網絡；

所述臺標定位網絡是基于RPN的臺標定位網絡；且使用K-means聚類方法對anchorboxes的大小和長寬比例進行選擇；其中所述anchor boxes為臺標定位網絡在每個定位中心點生成的初始預測邊框；

將所述小數據集中每張圖片輸入臺標定位網絡訓練若干輪后，選擇最新生成的臺標定位網絡，得到每個預測臺標區域對應的置信度，計算預測臺標區域與臺標位置的IOU，將該IOU與所述預測臺標區域對應的置信度作比較，得到當前狀態下的難例，并在之后的若干輪訓練中，使用bootstrap的難例挖掘方法優先選取難例進入臺標定位網絡進行訓練，重復以上步驟直到臺標定位網絡收斂，得到能預測臺標區域的臺標定位網絡；

3)將上述大數據集輸入已訓練好的臺標定位網絡，得到所述大數據集中每張圖片的若干預測臺標區域，并將所述每張圖片的若干預測臺標區域輸入臺標分類網絡進行訓練，得到能為臺標分類的臺標分類網絡；

4)對待檢測視頻進行與步驟1)相同的部分預處理，并將預處理后得到的圖片輸入步驟2)訓練好的臺標定位網絡中，得到圖片的預測臺標區域；

5)將上述圖片的預測臺標區域輸入步驟3)訓練好的臺標分類網絡中，得到圖片的臺標位置與類別。

2.如權利要求1所述的方法，其特征在于，步驟1-1)中所述MD5碼去重是指：通過比較MD5值判斷網絡視頻數據文件是否重復，對于多個有相同MD5值的網絡視頻只保留一個，其余剔除。

3.如權利要求1所述的方法，其特征在于，步驟1-3)中對每一個網絡視頻關鍵幀進行九宮格分割，僅保留位于四個角落的九分之一圖片。

4.如權利要求1所述的方法，其特征在于，步驟1-4)中使用基于卷積神經網絡的分類器進行分類，若有N類臺標待檢測，則分類器進行N+1分類，其中包含一個背景類；步驟1-5)中所述傳統方法為但不僅僅限于幾何變換、平滑濾波、JPEG壓縮、對比度與亮度調整。

5.如權利要求1所述的方法，其特征在于，步驟4)中所述部分預處理僅包括步驟1)中的1-2)和1-3)。

6.如權利要求1所述的方法，其特征在于，步驟3)中所述臺標分類網絡是基于FastRCNN的臺標分類網絡。

7.如權利要求1所述的方法，其特征在于，步驟3)中將所述大數據集中每張圖片輸入已訓練好的臺標定位網絡，得到每張圖片的若干預測臺標區域，將所述每張圖片的若干預測臺標區域輸入臺標分類網絡進行訓練，得到每個預測臺標區域的置信度，根據每個預測臺標區域的置信度將所述預測臺標區域分為N類前景區域和背景區域，得到能為臺標分類的臺標分類網絡；其中所述前景區域的類別根據對應的圖片上的臺標類別標記。