[發(fā)明專利]視頻中的廣告定位方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202111274389.5
• 申請日: 2021-10-29
• 公開（公告）號: CN114004293A
• 公開（公告）日: 2022-02-01
• 發(fā)明（設(shè)計）人: 朱遠(yuǎn)超
• 申請（專利權(quán)）人: 浙江省民營經(jīng)濟(jì)發(fā)展中心（浙江省廣告監(jiān)測中心）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 北京唐頌永信知識產(chǎn)權(quán)代理有限公司 11755
• 代理人: 劉偉

1.一種視頻中的廣告定位方法，其特征在于，包括：

獲取待檢測視頻；

從所述待檢測視頻中分離出音頻數(shù)據(jù)；

對所述音頻處理進(jìn)行壓縮、解壓和采樣以獲得脈沖編碼調(diào)制音頻數(shù)據(jù)；

對所述脈沖編碼調(diào)制音頻數(shù)據(jù)進(jìn)行在時域上的能量統(tǒng)計以標(biāo)記并刪除所述脈沖編碼調(diào)制音頻數(shù)據(jù)中的無效片段；

對刪除無效片段后的所述脈沖編碼調(diào)制音頻數(shù)據(jù)進(jìn)行基于能量統(tǒng)計的過0分析以將所述脈沖編碼調(diào)制音頻數(shù)據(jù)劃分為多個語音片段；

對所述各個語音片段進(jìn)行基于傅里葉變換的頻域變換和特征提取以獲得各個語音片段的特征向量集合；以及

基于所述各個語音片段的特征向量集合確定所述待檢測視頻中哪些語音片段屬于廣告。

2.根據(jù)權(quán)利要求1所述的視頻中的廣告定位方法，其中，從所述待檢測視頻中分離出音頻數(shù)據(jù)，包括：

對所述待檢測視頻進(jìn)行解復(fù)用和解碼計算以提取出所述待檢測視頻中的音頻數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的視頻中的廣告定位方法，其中，對所述脈沖編碼調(diào)制音頻數(shù)據(jù)進(jìn)行在時域上的能量統(tǒng)計以標(biāo)記并刪除所述脈沖編碼調(diào)制音頻數(shù)據(jù)中的無效片段，包括：

計算所述脈沖編碼調(diào)制音頻數(shù)據(jù)在每個預(yù)定時間片段的聲音平均能量強(qiáng)度，所述預(yù)定時間片段為100ms；以及

基于所述聲音平均能量強(qiáng)度與預(yù)設(shè)閾值之間的比較，標(biāo)記所述脈沖編碼調(diào)制音頻數(shù)據(jù)中的無效片段，所述無效片段包括無節(jié)目片段、長時間靜音片段和電臺電視臺休息片段。

4.根據(jù)權(quán)利要求3所述的視頻中的廣告定位方法，其中，基于所述各個語音片段的特征向量集合確定所述待檢測視頻中哪些語音片段屬于廣告，包括：

將所述各個語音片段的特征向量集合與樣本庫中的特征向量集合進(jìn)行比較；以及

響應(yīng)于所述各個語音片段的特征向量集合中與所述樣本庫中的特征向量集合連續(xù)匹配的特征向量的數(shù)量大于預(yù)設(shè)閾值，確定所述待檢測視頻中哪些語音片段屬于廣告。

5.根據(jù)權(quán)利要求3所述的視頻中的廣告定位方法，其中，基于所述各個語音片段的特征向量集合確定所述待檢測視頻中哪些語音片段屬于廣告，包括：

將所述各個語音片段的特征向量集合通過雙向長短期記憶模型和分類器以獲得各個語音片段屬于廣告的概率；以及

基于所述各個語音片段屬于廣告的概率與預(yù)設(shè)閾值之間的比較，確定所述待檢測視頻中哪些語音片段屬于廣告。

6.根據(jù)權(quán)利要求5所述的視頻中的廣告定位方法，其中，將所述特征向量集合通過雙向長短期記憶模型和分類器以獲得各個語音片段屬于廣告的概率，包括：

訓(xùn)練階段，包括：

將所述各個語音片段的特征向量集合通過雙向長短期記憶模型以獲得各個語音片段的編碼特征向量集合；

從所述編碼特征向量集合中獲取節(jié)目起始片段和節(jié)目結(jié)束片段對應(yīng)的編碼特征向量作為參考特征向量；

計算所述參考特征向量與所述編碼特征向量集合中各個編碼特征向量之間的相似度以獲得與每個語音片段中各個語音子片段對應(yīng)的(編碼特征向量，相似度)的鍵值對和與每個語音片段的整體對應(yīng)的相似度向量；

將所述編碼特征向量集合中的每個編碼特征向量輸入分類器，以從所述分類器的最后一層全連接層得到每個所述編碼特征向量對應(yīng)的解碼特征向量；

計算所述解碼特征向量和與其對應(yīng)的所述編碼特征向量之間的第一交叉熵值和所述解碼特征向量和與其對應(yīng)的相似度之間的第二交叉熵值并計算所述第一交叉熵函數(shù)值和所述第二交叉熵值之間的加權(quán)和作為所述特征向量的加權(quán)交叉熵值，以獲得由每個所述編碼特征向量對應(yīng)的加權(quán)交叉熵值組成的交叉熵向量；以及

計算所述相似度向量與所述交叉熵向量之間的距離作為損失函數(shù)值來訓(xùn)練所述分類器和所述雙向長短期記憶模型；

推斷階段，包括：

將所述每個語音片段對應(yīng)的特征向量集合輸入經(jīng)訓(xùn)練階段訓(xùn)練完成的所述雙向長短期記憶模型以獲得基于上下文的編碼特征向量；以及

將所述基于上下文的編碼特征向量輸入經(jīng)訓(xùn)練階段訓(xùn)練完成的所述分類器以獲得所述各個語音片段屬于廣告的概率。