[發明專利]一種基于遷移學習的短視頻語義標注方法

有效

• 申請號: 202110475530.1
• 申請日: 2021-04-29
• 公開（公告）號: CN113177478B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 郭奕;代曉天;邱珂;黃永茂;江婉;周婷;卿朝進
• 申請（專利權）人: 西華大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V30/262;G06V10/82
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 楊浩林

1.一種基于遷移學習的短視頻語義標注方法，其特征在于，包括以下步驟：

S1、提取短視頻的關鍵幀；

S2、對關鍵幀進行區域檢測，得到語義區域圖像；

S3、以圖像描述模型為基礎，對語義區域圖像進行語義標注；

所述步驟S1具體為：

S1.1、采用圖像處理庫PIL中Image模塊的open函數讀取短視頻的視頻幀；

S1.2、調用histogram函數獲取視頻幀的顏色直方圖；

S1.3、根據MPEG-4編碼標準，提取短視頻的所有I幀；

S1.4、將巴氏距離作為兩張圖片之間的相似度，計算每張I幀的顏色直方圖與下一張相鄰I幀的顏色直方圖之間的相似度；

S1.5、判斷相似度是否小于預先設定的閾值，若是，則當前幀為關鍵幀，否則當前幀不是關鍵幀；

S1.6、遍歷所有I幀，得到若干關鍵幀；

所述步驟S2具體為：

S2.1、構建區域檢測模型；

S2.2、采用Visual Genome數據集訓練區域檢測模型；

S2.3、將關鍵幀輸入訓練后的區域檢測模型，得到語義區域圖像；

所述步驟S2.1中區域檢測模型包括輸入層、第一卷積層、第一最大池化層、第一卷積塊、第二卷積塊、第三卷積塊、第一額外殘差塊、第二額外殘差塊、第三額外殘差塊、第四額外殘差塊、第五額外殘差塊、第六額外殘差塊、第二卷積層、坐標預測卷積塊、類別預測卷積塊以及輸出層；

所述輸入層、第一卷積層、第一最大池化層、第一卷積塊、第二卷積塊以及第三卷積塊依次連接，所述第二卷積塊的輸出端與第一額外殘差塊的輸入端連接，所述第三卷積塊的輸出端與第二額外殘差塊的輸入端連接，所述第二額外殘差塊、第三額外殘差塊、第四額外殘差塊、第五額外殘差塊、第六額外殘差塊以及第二卷積層依次連接，所述第一額外殘差塊、第二額外殘差塊、第三額外殘差塊、第四額外殘差塊、第五額外殘差塊以及第二卷積層的輸出端均與坐標預測卷積塊的輸入端連接，所述第一額外殘差塊、第二額外殘差塊、第三額外殘差塊、第四額外殘差塊、第五額外殘差塊以及第二卷積層的輸出端均與類別預測卷積塊的輸入端連接，所述坐標預測卷積塊以及類別預測卷積塊的輸出端均與輸出層連接；

所述步驟S3具體為：

S3.1、構建圖像描述模型；

S3.2、將語義區域圖像輸入圖像描述模型，得到語義信息；

S3.3、采用pke庫中的YAKE模型提取語義信息中的關鍵短語，并篩選出現頻率最高的N條關鍵短語；

S3.4、將語義信息傳輸至自然語言處理庫NLTK的詞性標記模塊中，篩選語義信息中的名詞單數形式、名詞復數形式、專有名詞以及人稱代詞，并進行去重處理，得到詞組；

S3.5、選取步驟S3.3中N條關鍵短語與步驟S3.4中詞組之間的詞匯交集，得到關鍵詞；

S3.6、將含有關鍵詞的關鍵短語進行組合，得到短視頻的語義標注；

所述步驟S3.1中圖像描述模型包括輸入層、第三卷積層、第二最大池化層、第四卷積塊、第五卷積塊、第六卷積塊、第七卷積塊、自適應池化層、第一線性層、第二線性層、第三線性層、Relu激活層、LSTM結構層以及輸出層；

所述輸入層、第三卷積層、第二最大池化層、第四卷積塊、第五卷積塊、第六卷積塊、第七卷積塊、自適應池化層、第一線性層、第二線性層以及Relu激活層依次連接，所述Relu激活層的輸出與LSTM結構層的輸入連接，所述LSTM結構層的輸出分別與第三線性層的輸入和輸出層連接，所述第三線性層的輸出與第二線性層的輸入連接，所述自適應池化層的輸出與Relu激活層的輸出進行矩陣相乘并將相乘結果輸入至LSTM結構層。