[發(fā)明專利]一種基于深度學(xué)習(xí)的視頻指紋算法

在審

• 申請?zhí)枺?/td>: 201710119749.1
• 申請日: 2017-03-02
• 公開（公告）號: CN106886768A
• 公開（公告）日: 2017-06-23
• 發(fā)明（設(shè)計）人: 杭欣;郭偉偉
• 申請（專利權(quán)）人: 杭州當(dāng)虹科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度學(xué)習(xí)的視頻指紋算法，尤其涉及一種數(shù)字視頻信號處理技術(shù)領(lǐng)域的視頻指紋算法。

背景技術(shù)

視頻作為現(xiàn)代社會的一種重要媒體傳遞方式在生活中扮演著重要角色，無論是從快速表達(dá)作者意圖還是從更加清晰易懂的讓讀者領(lǐng)會要表達(dá)的內(nèi)容角度上看，視頻都比文字、聲音等媒體傳播方式要顯得更加出色，也更受大眾歡迎，人們可以內(nèi)通過觀看自己關(guān)心的視頻在極短時間內(nèi)獲取想要的信息，這個日常生活帶來了很大便利。

然而，視頻與其他媒體方式的差異性也為視頻的檢索提出了要求。如何才能快速從海量的視頻信息中搜索到自己想要或者是相關(guān)的信息成為亟待解決的問題之一。視頻指紋檢索是一種常見的視頻檢索方式，包括全局視頻指紋提取和局部視頻指紋提取兩種方案。全局提取具備很好的魯棒性和精確度，然而提取速度慢，局部提取的方式速度相對較快但不能很好的因?qū)D像中存在的瑕疵，例如平移、縮放、黑邊等等。

發(fā)明內(nèi)容

針對現(xiàn)有視頻圖像指紋提取技術(shù)中存在的不足，本發(fā)明一種基于深度學(xué)習(xí)的視頻指紋算法，提出通過對圖片進(jìn)行平移、縮放、剪切、加黑邊、加字幕、加logo等變換增強(qiáng)操作后，輸入離線訓(xùn)練模型，在訓(xùn)練模型中采用多次卷積、池化、全連接的方式對圖像進(jìn)行處理，對處理后的數(shù)據(jù)采用哈希損失函數(shù)進(jìn)行判定，多次判定得到結(jié)果收斂后得出模型參數(shù)，進(jìn)而利用GPU讀取并初始化在線視頻圖像特征提取模型，對抽樣后的視頻圖像進(jìn)行在線特征提取，最后將提取到的特征進(jìn)行二值編碼生成128比特的圖像指紋。利用訓(xùn)練模型對增強(qiáng)的圖片進(jìn)行特征提取訓(xùn)練并調(diào)整參數(shù)獲得最佳提取效果，進(jìn)而利用該參數(shù)進(jìn)行視頻指紋高效提取，通過對圖像的增強(qiáng)處理提高指紋特征算法的魯棒性、采用多層卷積和池化的方法提高圖像特征提取的范化能力、利用損失函數(shù)控制并檢驗特征提取的精度等改進(jìn)方法使得本發(fā)明較傳統(tǒng)指紋算法具備更強(qiáng)的圖像識別能力、抗干擾能力、更快的提取速度以及更高的精度，從而有效提高了視頻指紋算法的效率。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案包括以下步驟：

增強(qiáng)圖像步驟，對不同種類的圖像進(jìn)行打標(biāo)簽并進(jìn)行增強(qiáng)處理，將處理后的圖片輸入訓(xùn)練模型。

優(yōu)選的，所述增強(qiáng)處理指對所述圖像進(jìn)行多種變換如：縮放、平移、剪切、加黑邊、加字幕、加logo等等。

離線訓(xùn)練步驟，利用離線訓(xùn)練模型對輸入的增強(qiáng)圖片進(jìn)行離線訓(xùn)練并獲得訓(xùn)練參數(shù)。

優(yōu)選的，所述步驟包括：圖像縮放處理、多次卷積、池化處理、兩次全連接處理以及損失函數(shù)判定。

優(yōu)選的，所述圖像縮放處理指將輸入圖片統(tǒng)一縮放為227*227大小。

優(yōu)選的，所述多次卷積、池化處理包括：兩次卷積加池化處理，進(jìn)一步的兩次卷積處理，再進(jìn)一步的一次卷積加池化處理。

優(yōu)選的，所述損失函數(shù)為哈希函數(shù)，具體如下：

優(yōu)選的，所述損失函數(shù)中，所述b為網(wǎng)絡(luò)的輸出，y=0表示相似，y=1表示不相似，m=256，a=0.01。

優(yōu)選的，所述離線訓(xùn)練步驟結(jié)束離線訓(xùn)練的條件是所述損失函數(shù)計算得出的結(jié)果收斂。

在線模型初始化步驟，采用離線訓(xùn)練得到的訓(xùn)練參數(shù)對在線視頻圖像指紋提取模型初始化。

在線視頻圖像特征提取步驟，在線讀取視頻圖像并利用GPU實時提取圖像特征；

優(yōu)選的，所述步驟包括：將初始化的圖像特征提取模型讀入GPU緩存、對視頻圖像按照特定幀率提取、將提取到的樣本圖像輸入模型進(jìn)行特征提取。

生成圖像指紋步驟，對在線提取的圖像特征進(jìn)行二值編碼，生成圖像指紋。

優(yōu)選的，所述圖像特征為128個浮點數(shù)；所述二值編碼指：將所述浮點數(shù)與特定的數(shù)值進(jìn)行比較，大于該數(shù)值的浮點數(shù)記錄為1，否則記錄為0；所述圖像指紋為128個比特的二值編碼數(shù)據(jù)集。

采用上述技術(shù)方案，本發(fā)明具有以下優(yōu)點：