[發明專利]一種視頻標簽生成方法及系統

有效

• 申請號: 202010102731.2
• 申請日: 2020-02-19
• 公開（公告）號: CN111368140B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 孔杰
• 申請（專利權）人: 新華智云科技有限公司
• 主分類號: G06F16/78
• 分類號: G06F16/78;G06F16/75;G06N3/0464;G06N3/08
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 田金霞

1.一種視頻標簽生成方法，其特征在于，包括：

構建視頻標簽庫；

根據視頻標簽庫內標簽訓練多標簽的圖像分類模型；

對待標注的視頻抽取關鍵幀，獲取每一關鍵幀對應時間戳，將關鍵幀送入訓練好的圖像分類模型，得到關鍵幀的標簽向量；

對得到的關鍵幀的標簽向量進行整合，輸出視頻標簽和標簽對應的時間戳每一關鍵幀對應所述標簽向量維度為1*N，抽取M組關鍵幀，將所有關鍵幀標簽向量按行拼接，得到標簽矩陣，i為標簽編號，j為關鍵幀編號，*表示乘號；

對于標簽，若存在關鍵幀，使得，則輸出視頻標簽，此時，對所有關鍵幀，若，則輸出視頻標簽對應的時間戳為。

2.根據權利要求1所述的視頻標簽生成方法，其特征在于，訓練多標簽的圖像分類模型步驟包括：

收集和整理與標簽庫內標簽類別對應的圖像，打上相應的類別標簽；

將卷積神經網絡最后一層設置為N個全連接層，每個全連接層的輸出通道為2，共2N個輸出通道；

訓練時對每一張輸入圖像的真值表示為長度為2N的向量；

計算每個batch的損失函數；

訓練模型迭代至指定迭代次數或損失函數收斂至指定值；

使用訓練好的圖像分類模型進行預測，得到標簽向量。

3.根據權利要求2所述的視頻標簽生成方法，其特征在于，所述真值采用獨熱編碼，標簽為的圖片的真值表示為，其中，k為標簽編號。

4.根據權利要求3所述的視頻標簽生成方法，其特征在于，

計算第個關鍵幀樣本對應于標簽的損失函數：

，式中，、分別表示第個樣本第個通道的真值和輸出值，、分別表示第個樣本第個通道的真值和輸出值；

計算每個batch的損失函數為：，式中，表示batch?size。

5.根據權利要求2或3或4所述的視頻標簽生成方法，其特征在于，使用訓練好的圖像分類模型進行預測，具體步驟如下：

輸入待預測的關鍵幀至訓練好的分類模型，模型輸出2N個輸出值分別為；

對輸出值做sigmoid運算得到待預測的圖像屬于每一個類別標簽的概率分別為，其中；

對進行閾值判斷，得到標簽向量為，其中，其中為標簽閾值。

6.一種視頻標簽生成系統，其特征在于，包括：

輸入端，輸入待打標視頻；

輸出端，輸出視頻標簽和每個視頻標簽對應在視頻中的時間戳；

處理模塊，連接輸入端和輸出端，包括圖像分類模型和時間獲取模塊，圖像分類模型用于對視頻打標，時間獲取模塊用于獲取每個標簽對應時間，

其中，每一關鍵幀對應所述標簽向量維度為1*N，抽取M組關鍵幀，將所有關鍵幀標簽向量按行拼接，得到標簽矩陣，i為標簽編號，j為關鍵幀編號，*表示乘號；

對于標簽，若存在關鍵幀，使得，則輸出視頻標簽，此時，對所有關鍵幀，若，則輸出視頻標簽對應的時間戳為。

7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-5任意一項所述的方法。

8.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1-5任意一項所述的方法。