[發明專利]視頻描述生成方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202110470037.0
• 申請日: 2021-04-28
• 公開（公告）號: CN113095435A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 羅劍;王健宗;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/284;G06F16/783
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 張傳義

1.一種視頻描述生成方法，其特征在于，所述方法包括以下步驟：

獲取待描述視頻，并提取所述待描述視頻的視覺特征、聽覺特征和詞特征；

通過視頻描述生成系統的多模態注意力機制主體模型分別對所述視覺特征和所述聽覺特征進行編碼，得到視覺編碼特征和聽覺編碼特征；

通過所述視頻描述生成系統的輔助模型，對所述視覺編碼特征和所述聽覺編碼特征進行處理，以生成目標輔助特征；

通過所述多模態注意力機制主體模型對所述視覺編碼特征、所述聽覺編碼特征、所述目標輔助特征和所述詞特征進行解碼，得到各個關鍵詞的后驗概率，并根據各個關鍵詞的所述后驗概率從各個關鍵詞中選取解碼詞；

根據所述解碼詞生成所述待描述視頻的視頻描述。

2.根據權利要求1所述的視頻描述生成方法，其特征在于，所述多模態注意力機制主體模型包括視覺特征編碼器和聽覺特征編碼器；

所述通過視頻描述生成系統的多模態注意力機制主體模型分別對所述視覺特征和所述聽覺特征進行編碼，得到視覺編碼特征和聽覺編碼特征，包括：

通過所述視覺特征編碼器對所述視覺特征進行多頭注意力計算得到視覺多頭注意力特征，以及通過所述聽覺特征編碼器對所述聽覺特征進行多頭注意力計算得到聽覺多頭注意力特征；

通過所述視覺特征編碼器對所述視覺多頭注意力特征和所述聽覺多頭注意力特征進行多模態注意力計算，得到融合了聽覺注意力的視覺特征，以及通過所述聽覺特征編碼器對所述聽覺多頭注意力特征和所述視覺多頭注意力特征進行多模態注意力計算，得到融合了視覺注意力的聽覺特征；

通過所述視覺特征編碼器依次對所述融合了聽覺注意力的視覺特征進行第一次層正則化、前饋計算和第二次層正則化，得到所述視覺特征編碼器輸出的視覺編碼特征，以及通過所述聽覺特征編碼器依次對所述融合了視覺注意力的聽覺特征進行第一次層正則化、前饋計算和第二次層正則化，得到所述聽覺特征編碼器輸出的聽覺編碼特征。

3.根據權利要求1所述的視頻描述生成方法，其特征在于，所述輔助模型包括場景分類輔助模型和關鍵詞評估輔助模型；

所述通過所述視頻描述生成系統的輔助模型，對所述視覺編碼特征和所述聽覺編碼特征進行處理，以生成目標輔助特征，包括：

將所述視覺編碼特征輸入至所述場景分類輔助模型進行處理，得到所述場景分類輔助模型輸出的第一輔助特征，以及將所述聽覺編碼特征輸入至所述關鍵詞評估輔助模型進行處理，得到所述關鍵詞評估輔助模輸出的第二輔助特征；

根據所述第一輔助特征和所述第二輔助特征生成目標輔助特征。

4.根據權利要求3所述的視頻描述生成方法，其特征在于，所述將所述視覺編碼特征輸入至所述場景分類輔助模型進行處理，得到所述場景分類輔助模型輸出的第一輔助特征，包括：

將所述視覺編碼特征輸入至所述場景分類輔助模型，對所述視覺編碼特征進行線性變換；

通過線性整流函數對線性變換后的視覺編碼特征進行非線性映射，得到視覺編碼特征映射；

對所述視覺編碼特征映射進行線性變換；

對線性變換后的視覺編碼特征映射進行softmax邏輯回歸計算，得到所述場景分類輔助模型輸出的第一輔助特征。

5.根據權利要求3所述的視頻描述生成方法，其特征在于，所述將所述聽覺編碼特征輸入至所述關鍵詞評估輔助模型進行處理，得到所述關鍵詞評估輔助模輸出的第二輔助特征，包括：

將所述聽覺編碼特征輸入至所述關鍵詞評估輔助模型，對所述聽覺編碼特征進行線性變換；

通過線性整流函數對線性變換后的聽覺編碼特征進行非線性映射，得到聽覺編碼特征映射；

對所述聽覺編碼特征映射進行線性變換；

通過Sigmoid函數對線性變換后的聽覺編碼特征映射進行計算，得到詞典中每個關鍵詞的后驗概率；

對所述每個關鍵詞的后驗概率進行最大池化，得到每個關鍵詞的評分；

對每個關鍵詞的評分進行排序，按照評分從大到小的順序選取預設數量的關鍵詞，以在詞典中查找選取的關鍵詞的索引；

將查找到的索引進行組合，得到所述關鍵詞評估輔助模輸出的第二輔助特征。