[發明專利]對視頻創意中插入的廣告進行識別的方法

有效

• 申請號: 201910141743.3
• 申請日: 2019-02-26
• 公開（公告）號: CN109977779B
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 郭宇春;張瑩;陳一帥
• 申請（專利權）人: 北京交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

1.一種對視頻創意中插入的廣告進行識別的方法，其特征在于，包括：

對輸入的視頻進行鏡頭切分，將所述視頻切分成突變鏡頭和漸變鏡頭；

利用CNN網絡對鏡頭進行特征提取，根據提取出來的鏡頭的音頻特征和圖像特征利用LSTM網絡和Attention網絡判斷待分類的所述漸變鏡頭是廣告鏡頭或者非廣告鏡頭；

對廣告鏡頭的文字特征和音頻特征進行識別。

2.根據權利要求1所述的方法，其特征在于，所述的對輸入的視頻進行鏡頭切分，將所述視頻切分成突變鏡頭和漸變鏡頭，包括：

利用M曼哈頓距離和DM曼哈頓差分距離識別突變鏡頭的邊界，將視頻中突變鏡頭切分出來，所述突變鏡頭是指后一個鏡頭的開始連接前一個鏡頭的結尾，中間沒有過渡畫面；

利用顏色的變化趨勢以及P值將漸變鏡頭進行切分，所述P值是指R、G、B三個顏色空間的像素平均值，漸變鏡頭是指在鏡頭切換的時候使用某種效果，從而將整個視頻切分成突變鏡頭和漸變鏡頭，所述突變鏡頭和漸變鏡頭是視頻中的一組無間隔的連續畫面，是視頻的基本組成單位，包含聲音和圖像。

3.根據權利要求1所述的方法，其特征在于，所述的利用CNN網絡對鏡頭進行特征提取，根據提取出來的鏡頭的音頻特征和圖像特征利用LSTM網絡和Attention網絡判斷待分類的所述漸變鏡頭是廣告鏡頭或者非廣告鏡頭，包括：

提取待分類的鏡頭的音頻數據，將該音頻數據轉化為二維圖像，提取待分類的鏡頭中四幀圖像作為鏡頭的圖像數據，利用CNN網絡對所述二維圖像和圖像數據進行特征提取，得到圖像特征向量和音頻特征向量，將所述圖像特征向量和音頻特征向量融合后輸入到LSTM網絡和Attention網絡，所述LSTM網絡捕獲前后幀的關系，所述Attention網絡通過訓練獲得圖像特征向量和音頻特征向量分別對應的權重，根據特征向量和音頻特征向量的權重得到圖像和音頻對鏡頭的分類結果的貢獻比重；利用LSTM網絡和Attention網絡搭建鏡頭分類模型，通過訓練來調節鏡頭分類模型的參數，將訓練過程中的準確率最高的模型保存下來得到鏡頭分類模型；

如果音頻對鏡頭的分類結果的貢獻比重大，則將所述音頻特征向量輸入到訓練好的鏡頭分類模型中，所述鏡頭分類模型輸出所述待分類的鏡頭是廣告鏡頭還是非廣告鏡頭的判斷結果；如果圖像對鏡頭的分類結果的貢獻比重大，則將所述圖像特征向量輸入到訓練好的鏡頭分類模型中，所述鏡頭分類模型輸出所述待分類的鏡頭是廣告鏡頭還是非廣告鏡頭的判斷結果。

4.根據權利要求3所述的方法，其特征在于，所述的將所述圖像特征向量和音頻特征向量融合后輸入到LSTM網絡和Attention網絡，包括：

將所述圖像特征向量和音頻特征向量直接進行拼接后，先輸入到LSTM網絡中，再將LSTM網絡的輸出分值輸入到Attention網絡；

或者，

將所述音頻特征向量作為待分類的鏡頭的一個新特征向量，將所述圖像特征向量和音頻特征向量先輸入到Attention網絡中，后輸入到LSTM網絡。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述的對廣告鏡頭的文字特征和音頻特征進行識別，包括：

將廣告鏡頭的一幀圖像輸入到Faster R-CNN網絡得到feature map特征圖，再將feature map特征圖輸入到RPN網絡，產生一組k個候選邊界框，對每個候選邊界框提取特征得到特征向量，根據該特征向量通過分類器來判斷該候選邊界框的區域是否是文字區域；

在判斷所述區域是文字區域后，將該區域中的文字內容識別出來，使用CTC時序分類算法對所述文字區域的圖像進行文字內容識別，并輸出一系列字符；

提取廣告鏡頭的音頻特征，并將提取得到的鏡頭音頻特征與數據庫中完整廣告的音頻特征進行匹配，將兩者特征的相似性作為匹配得分，匹配得分最高的廣告視為所述廣告鏡頭的音頻特征的識別結果。