[發(fā)明專利]一種弱監(jiān)督的深度臺標(biāo)檢測方法

有效

• 申請?zhí)枺?/td>: 201710485397.1
• 申請日: 2017-06-23
• 公開（公告）號: CN107330027B
• 公開（公告）日: 2020-05-22
• 發(fā)明（設(shè)計(jì)）人: 操曉春;張?jiān)卢?/a>;伍蹈
• 申請（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號: G06F16/74
• 分類號: G06F16/74;G06F16/732;G06K9/62;G06K9/66
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理有限公司 11200
• 代理人: 俞達(dá)成

本發(fā)明提供一種弱監(jiān)督的深度臺標(biāo)檢測方法，其步驟為：對海量網(wǎng)絡(luò)視頻數(shù)據(jù)文件進(jìn)行預(yù)處理，得到一個(gè)僅標(biāo)記臺標(biāo)類別的大數(shù)據(jù)集和一個(gè)僅標(biāo)記臺標(biāo)位置的小數(shù)據(jù)集；將上述小數(shù)據(jù)集輸入臺標(biāo)定位網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到能預(yù)測臺標(biāo)區(qū)域的臺標(biāo)定位網(wǎng)絡(luò)；將上述大數(shù)據(jù)集輸入上述已訓(xùn)練好的臺標(biāo)定位網(wǎng)絡(luò)，得到所述大數(shù)據(jù)集中每張圖片的若干預(yù)測臺標(biāo)區(qū)域，并將所述每張圖片的若干預(yù)測臺標(biāo)區(qū)域輸入臺標(biāo)分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到能為臺標(biāo)分類的臺標(biāo)分類網(wǎng)絡(luò)；對待檢測視頻進(jìn)行與上述相同的部分預(yù)處理，并將預(yù)處理后得到的圖片輸入訓(xùn)練好的臺標(biāo)定位網(wǎng)絡(luò)中，得到圖片的預(yù)測臺標(biāo)區(qū)域；將上述圖片的預(yù)測臺標(biāo)區(qū)域輸入訓(xùn)練好的臺標(biāo)分類網(wǎng)絡(luò)中，得到圖片的臺標(biāo)位置及類別。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域，尤其涉及一種弱監(jiān)督的深度臺標(biāo)檢測方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展和多媒體技術(shù)的興起，網(wǎng)絡(luò)視頻承載著越來越多的內(nèi)容，成為大數(shù)據(jù)時(shí)代的一個(gè)主要內(nèi)容載體。不同的視頻來源傾向于呈現(xiàn)不同的視頻內(nèi)容信息，通過檢測視頻臺標(biāo)，能更有效地管理網(wǎng)絡(luò)視頻數(shù)據(jù)，預(yù)先掌握視頻來源和內(nèi)容信息，監(jiān)管包含不良信息的視頻。因此，視頻臺標(biāo)檢測有著較強(qiáng)的實(shí)用意義和研究價(jià)值。

臺標(biāo)數(shù)據(jù)廣泛地存在于網(wǎng)絡(luò)視頻中，臺標(biāo)檢測是對從網(wǎng)絡(luò)視頻中提取出的若干個(gè)關(guān)鍵幀進(jìn)行檢測。臺標(biāo)檢測相較于一般物體檢測具有特殊性，其檢測目標(biāo)出現(xiàn)在較為固定的位置，且在每一幀中占據(jù)著較小的比例。目前大部分用于物體檢測的數(shù)據(jù)集并沒有這樣的特征，臺標(biāo)檢測的數(shù)據(jù)特殊性需要在檢測之前進(jìn)行大量數(shù)據(jù)的收集和預(yù)處理工作。針對這樣具有特殊性的數(shù)據(jù)對象，如何快速、有效、精準(zhǔn)地進(jìn)行檢測是完成臺標(biāo)檢測任務(wù)的重點(diǎn)。

目前實(shí)現(xiàn)臺標(biāo)檢測的方法主要有以下幾種：

(1)基于模板匹配法

模板匹配是一種直觀的方法，它根據(jù)一定的相似度準(zhǔn)則來判斷圖像幀局部區(qū)域與臺標(biāo)模板之間的相似度，從而判斷該區(qū)域是否含有臺標(biāo)。模板與需要匹配的區(qū)域逐個(gè)計(jì)算匹配度，所以模板匹配法帶來了較大運(yùn)算量。

(2)基于特征匹配法

提取圖像特征以衡量相似度是主流方法之一。矩特征又稱為不變矩，具有普通特征不具有的旋轉(zhuǎn)、尺度、平移不變性，故被廣泛應(yīng)用于圖像分析領(lǐng)域。SIFT特征和SURF特征也被廣泛應(yīng)用。然而這種人工提取特征的方式并不能帶來很好的檢測結(jié)果。

(3)基于神經(jīng)網(wǎng)絡(luò)的方法

基于神經(jīng)網(wǎng)絡(luò)的臺標(biāo)識別方法是當(dāng)今的熱門和主流。在檢測任務(wù)中，利用神經(jīng)網(wǎng)絡(luò)提取特征比起手工提取特征有著更好的檢測效果。然而對于大部分經(jīng)典的基于神經(jīng)網(wǎng)絡(luò)的檢測模型，往往都需要大量的標(biāo)注，耗費(fèi)人力和時(shí)間。

綜上所述，以上臺標(biāo)檢測方法均有著各種各樣的弊端。因此，研究弱監(jiān)督的臺標(biāo)檢測方法具有重要的研究價(jià)值和應(yīng)用前景。

發(fā)明內(nèi)容

針對目前臺標(biāo)檢測方法的不足，本發(fā)明提供一種弱監(jiān)督的深度臺標(biāo)檢測方法。該方法能夠有效改變目前臺標(biāo)檢測方法效率低、結(jié)果差的情況，并且大大地節(jié)省了標(biāo)注所需的時(shí)間和人力。

針對上述不足，本發(fā)明所采用的技術(shù)方案為：

一種弱監(jiān)督的深度臺標(biāo)檢測方法，其步驟包括：

1)對海量網(wǎng)絡(luò)視頻數(shù)據(jù)文件進(jìn)行預(yù)處理，得到一個(gè)僅標(biāo)記臺標(biāo)類別的大數(shù)據(jù)集和一個(gè)僅標(biāo)記臺標(biāo)位置(ground truth)的小數(shù)據(jù)集；

2)按照弱監(jiān)督的框架組織臺標(biāo)定位網(wǎng)絡(luò)和臺標(biāo)分類網(wǎng)絡(luò)，并將上述小數(shù)據(jù)集輸入臺標(biāo)定位網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到能預(yù)測臺標(biāo)區(qū)域的臺標(biāo)定位網(wǎng)絡(luò)；

3)將上述大數(shù)據(jù)集輸入上述已訓(xùn)練好的臺標(biāo)定位網(wǎng)絡(luò)，得到所述大數(shù)據(jù)集中每張圖片的若干預(yù)測臺標(biāo)區(qū)域，并將所述每張圖片的若干預(yù)測臺標(biāo)區(qū)域輸入臺標(biāo)分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到能為臺標(biāo)分類的臺標(biāo)分類網(wǎng)絡(luò)；