[發(fā)明專利]視頻片段描述的生成方法、裝置、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202010026651.3
• 申請日: 2020-01-10
• 公開（公告）號: CN111274443B
• 公開（公告）日: 2023-06-09
• 發(fā)明（設計）人: 龍翔;何棟梁;李甫;趙翔;林天威;孫昊;文石磊;丁二銳
• 申請（專利權）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06V20/40
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權代理有限公司 11412
• 代理人: 田宏賓

本申請公開了視頻片段描述的生成方法、裝置、電子設備及存儲介質，涉及視頻處理技術領域。具體實現(xiàn)方案為：采用視頻描述模型中的視頻片段篩選模塊對從待分析的視頻中獲取到的多個視頻提議片段進行篩選，獲取適合描述的多個視頻片段；本申請通過采用視頻片段篩選模塊可以對從待分析的視頻中獲取到的多個視頻提議片段進行篩選，獲取適合描述的多個視頻片段；然后再采用視頻片段描述模塊對各視頻片段進行描述，這樣，可以避免對所有的視頻提議片段進行描述，可以僅對篩選后的與視頻的相關性較強的、適合描述的視頻片段進行描述，去除不適合描述的視頻片段的描述對視頻描述的干擾，保證最終的視頻片段描述的準確性，提高視頻片段描述的質量。

技術領域

本申請涉及計算機技術領域，尤其涉及視頻處理技術，具體涉及一種視頻片段描述的生成方法、裝置、電子設備及存儲介質。

背景技術

通常情況下，視頻片段描述生成技術有很多重要應用，例如為視頻檢索提供依據(jù)，幫助視覺障礙人士觀看視頻，輔助智能彈幕生成等等。

視頻片段描述生成主要是通過分析、理解視頻內的圖像信息、運動信息、音頻信息，給視頻內的多個片段分別生成視頻內容的文本描述。其中多個片段可為由算法預測出的適合生成描述的片段，也可以是人為指定好的特定片段。現(xiàn)有的視頻片段描述生成一般分為兩個獨立的階段，第一個階段預測適合生成描述的視頻內容片段，第二階段針對每個片段分別生成描述。具體地，在第一個階段中，使用人類標注好的每個視頻對應的適合生成描述的片段，訓練一個視頻片段檢測模型。該視頻片段檢測模型輸入為整個視頻，輸出為多個視頻片段的起點和終點。然后，在第二個階段中，將視頻按照人類標注好的視頻片段進行切分，對每個視頻片段標注視頻的對應描述，訓練一個視頻片段描述生成模型。該視頻片段描述生成模型輸入為單個視頻片段，輸出為單個視頻片段對應的描述。

現(xiàn)有的視頻片段描述生成過程中，對于視頻片段檢測模型檢測到的所有視頻片段，都由視頻片段描述生成模型生成相應的描述。但是視頻片段檢測模型檢測到的所有視頻片段并不一定都是與當前視頻的相關性比較強的、適合描述的片段，造成最終的視頻片段描述不準確。

發(fā)明內容

為了解決上述技術問題，本申請?zhí)峁┮环N視頻片段描述的生成方法、裝置、電子設備及存儲介質，用于提高視頻片段描述的準確性。

一方面，本申請?zhí)峁┮环N視頻片段描述的生成方法，其特征在于，包括：

采用視頻描述模型中的視頻片段篩選模塊對從待分析的視頻中獲取到的多個視頻提議片段進行篩選，獲取適合描述的多個視頻片段；

采用所述視頻描述模型中的視頻片段描述模塊對各視頻片段進行描述。

進一步可選地，如上所述的方法中，所述視頻描述模型中的所述視頻片段篩選模塊和所述視頻片段描述模塊經(jīng)過聯(lián)合訓練得到。

進一步可選地，如上所述的方法中，采用視頻描述模型中的視頻片段篩選模塊對預先獲取到的多個視頻提議片段進行篩選，獲取適合描述的多個視頻片段之前，所述方法還包括：

采用預訓練的所述視頻描述模型中的視頻片段提議模塊從所述待分析的視頻中提取所述多個視頻提議片段；或者

獲取通過人工方式從所述待分析的視頻中提取的所述多個視頻提議片段；

進一步地，若所述視頻描述模型中還包括所述視頻片段提議模塊，所述視頻描述模型中的所述視頻片段提議模塊、所述視頻片段篩選模塊和所述視頻片段描述模塊經(jīng)過聯(lián)合訓練得到。

進一步可選地，如上所述的方法中，采用預訓練的所述視頻描述模型中的視頻片段提議模塊從所述待分析的視頻中提取所述多個視頻提議片段，包括：

提取所述待分析的視頻中的各視頻幀；

采用預訓練的第一子模型、第二子模型和第三子模型中的至少一種，分別提取各所述視頻幀中的視頻幀特征，得到對應的視頻幀特征序列，共得到至少一個視頻幀特征序列；