[發明專利]一種多模態信息融合的足球視頻事件檢測與語義標注方法

有效

• 申請號: 201410449960.6
• 申請日: 2014-09-04
• 公開（公告）號: CN104199933B
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 于俊清;王贈凱;何云峰
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 華中科技大學專利中心42201
• 代理人: 曹葆青

1.一種多模態信息融合的足球視頻事件檢測與語義標注方法，其特征在于，包括以下步驟：

(1)從互聯網上爬取足球比賽對應的賽況報道文本，利用預先建立的LSA模型計算賽況報道文本中各語句的潛在語義空間查詢向量；并計算該查詢向量與各種文本事件類型的潛在語義空間向量的余弦相似度，將其歸類為具有最大相似度的事件類別；

所述步驟(1)中利用預先建立的LSA模型計算賽況報道文本中各語句的潛在語義空間查詢向量，具體包括：

步驟(1.1.1)：將互聯網上爬取的賽況報道文本作為訓練語料，對所有的訓練語料進行分詞；

步驟(1.1.2)：去除訓練語料中的無關詞匯，包括停詞、球員和球隊名詞；

步驟(1.1.3)：構建詞條-文檔矩陣X_m×n；其中矩陣X_m×n的行對應詞條，列對應事件文檔，即m表示詞條的數目，n為語料庫中事件類型的數目，X_m×n中每個元素為詞條在其對應事件類型中的tf-idf權重，tf表示詞條在相應事件訓練語料中出現的頻次，idf為詞條的倒排文檔頻率；

步驟(1.1.4)：利用下式對詞條-文檔矩陣X_m×n進行奇異值分解；

$X_{m\×n}=T_{m\×n}\×S_{n\×n}\×D_{n\×n}^T$

式中，T為列正交矩陣，T中的每一列稱為左奇異向量；S為對角矩陣，其對角線上的元素為由大到小降序排列的非負奇異值；D為正交矩陣；

步驟(1.1.5)：選取矩陣S_n×n的前k個最大奇異值，k＜n，并選取前k個最大奇異值分別對應于矩陣T_m×n和矩陣D_n×n中的列向量，通過下式計算詞條-文檔矩陣X_m×n的低階近似矩陣

${\hat{X}}_{m\×n}=T_{m\×k}\×S_{k\×k}\×D_{n\×k}^T$

步驟(1.1.6)：構建訓練語料事件集的潛在語義矩陣E_n×k如下：

E_n×k＝D_n×k×S_k×k

E_n×k的每一行即表示相應類型的事件在潛在語義空間中的坐標；

(2)檢測足球比賽對應視頻中的多種中級語義對象，所述中級語義對象包括球門、球場標志線、中圈以及哨聲；并劃分場地區域；

(3)根據場地區域劃分結果進行攻防轉換分析，確定視頻事件片段的邊界；

(4)根據中圈和哨聲檢測結果確定比賽開始時間，利用貝葉斯網絡實現攻防視頻事件片段的初始語義分類；

(5)在文本描述中的粗粒度時間信息的約束下，根據步驟(1)中得到的文本事件類型和步驟(4)中得到攻防視頻事件片段的初始語義分類同步文本描述和視頻事件片段，實現足球視頻事件的富語義標注。