[發明專利]一種面向全媒體數據的廣告檢測方法及檢測系統

有效

• 申請號: 202010202165.2
• 申請日: 2020-03-20
• 公開（公告）號: CN111488487B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 閆連山;姚濤
• 申請（專利權）人: 西南交通大學煙臺新一代信息技術研究院
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/732;G06N20/20;G06N3/04;G06N3/08;G06F16/783;G06K9/62
• 代理公司: 煙臺雙聯專利事務所(普通合伙) 37225
• 代理人: 矯智蘭

本發明公開了一種面向全媒體數據的廣告檢測方法及檢測系統：對收集視頻數據進行離線訓練，將視頻數據分為廣告樣本集和非廣告樣本集；分別提取廣告和非廣告樣本集中所有視頻的語音、視頻幀及其CNN特征；通過訓練卷積神經網絡，得到基于視頻幀組的預測模型、基于幀內文字的預測模型、基于廣告語的預測模型；將上述三個模型進行集成，得到最終預測結果；再利用根據離線訓練得到的預測結果對在線播放視頻進行在線檢測，如果預測是廣告則剪輯該鏡頭，并對廣告的曝光信息進行統計，本發明能有效而高效地檢測視頻中的廣告，提升廣告檢測的準確率和效率。

技術領域

本發明涉及廣告檢測技術領域，具體而言是一種面向全媒體數據的廣告檢測方法及檢測系統。

背景技術

隨著計算機技術和信息技術的快速發展，網絡視頻和電視節目等視頻資源在人們的生活中有著不可替代的作用。同時，作為商業信息的傳播媒介，視頻廣告在信息交互中占有重要的作用。對于廣告投放商而言，他們希望廣告播出后能盡快得到廣告的曝光數據信息，例如曝光時間、時長等，并根據這些統計信息來確定廣告投放的收益。但面對海量視頻數據,依靠人工不僅很難實時對廣告內容進行檢測，而且會造成大量人力物力資源損耗。對于普通觀眾而言，他們對視頻中的廣告沒興趣，希望可以自動的快速定位視頻廣告段以直接跳過廣告，只觀看的正常視頻節目。因此，如何利用現代信息技術快速而準確的檢測和過濾廣告視頻成為一個亟待解決的問題。

大部分現存的廣告檢測算法一般只利用一個模態的信息，例如語音、視頻幀內的文字等，忽視了各模態信息的互補的特點，造成檢測的準確率不高。

發明內容

為解決現有技術中的問題，本發明提供一種面向全媒體數據的廣告檢測方法和檢測系統，利用集成學習算法將各個模態的預測結果進行融合，提升了廣告檢測的準確率。

為實現上述目的，本發明是通過以下技術方案實現的：

本發明提供一種面向全媒體數據的廣告檢測方法，其特殊之處在于：通過對收集的視頻數據進行離線訓練，根據離線訓練得到的預測結果對在線播放視頻進行在線檢測，其中離線訓練的過程包括以下步驟：

(1)視頻數據分類：收集視頻數據，并剪輯視頻中出現的廣告，將視頻數據分為廣告樣本集和非廣告樣本集；

(2)數據分割：分別提取廣告樣本集中所有樣本的視頻幀及其語音和非廣告樣本集中所有樣本的視頻幀及其語音，其中和構成視頻幀集；

(3)提取視頻幀集中所有樣本的CNN特征，并利用得到的CNN特征計算任意相鄰兩幀間相似度，與預先設定的閾值q比較，如果相似度小于q則認為發生鏡頭切換，則判定該處為鏡頭切換時間點，并按鏡頭切換位置對應的鏡頭切換時間點，對視頻幀集中所有樣本和語音進行分組形成視頻幀組及其對應語音，分組后的視頻幀組表示為，其中表示分組后的結果，表示分組后的結果；

(4)將中所有視頻幀作為正樣本，將中所有視頻幀作為負樣本，將正樣本、負樣本依次輸入到卷積神經網絡進行網絡參數的訓練，得到基于視頻幀組的預測模型，將中每組視頻幀組中每幀的預測結果求平均值，得到視頻幀組的預測結果；

(5)分別提取中所有視頻幀組的文本, 中所有視頻幀組的文本,并將作為正樣本，將作為負樣本，依次輸入卷積神經網絡，訓練網絡參數，卷積神經網絡可以從、 中的文本學習到相關文字的語義信息，得基于幀內文字的預測模型，所述文字語義信息包括典型的廣告詞、詞間的關聯及語義信息；

(6)利用卷積神經網絡模型將廣告和非廣告樣本集中所有視頻幀組對應的語音轉換為文本、，并利用預訓練模型BERT（Bidirectional Encoder Representationsfrom Transformers）得到轉換文本的特征矩陣、，分別將、作為正、負樣本，輸入卷積神經網絡訓練得到基于廣告語的預測模型；

(7)分別將基于視頻幀組、幀內文字和廣告語的預測模型的預測結果進行集成學習得到視頻數據對應鏡頭是否為廣告的預測結果，也就是視頻幀組的預測結果；