[發明專利]一種行車視頻多任務處理方法及系統

在審

• 申請號: 202110815860.0
• 申請日: 2021-07-19
• 公開（公告）號: CN113762066A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 徐倩;賈楠;楊鑫
• 申請（專利權）人: 惠州市德賽西威汽車電子股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 練逸夫

本發明涉及視頻處理的技術領域，尤其涉及一種行車視頻多任務處理方法及系統。該方法包括：對視頻數據進行關鍵幀提?。煌ㄟ^編碼模塊對每個關鍵幀進行分解，按照預定格式分解為多個區域塊；根據分割空間?時間自注意力模式，對關鍵幀的各個區域塊與同幀的其他區域塊以及其他關鍵幀的對應分解位置上的區域塊進行比對；將比對數據經過多個解碼模塊進行多視頻任務的處理，完成多任務輸出。本發明的編碼?解碼模式的自注意模塊采用分割空間?時間自注意力的方式，而非聯合空間?時間自注意力，這種計算方式可以大大降低計算量，同時分割空間?時間自注意力的方式還會使網絡參數空間稀疏化，有助于網絡精度的提升，并能夠有效提高視頻任務的處理效率。

技術領域

本發明涉及視頻處理的技術領域，尤其涉及一種行車視頻多任務處理方法及系統。

背景技術

基于視頻的任務，如：視頻描述、視頻自動標簽、視頻自動切分存在已久，視頻描述是針對已切分好的短視頻，用一句或多句邏輯語言對視頻中內容進行描述，比如三個人在操場打籃球；視頻自動標簽是對視頻給出獨立的多個詞匯描述，比如室內、室外、車子、行人、雨天、晴天等；視頻自動切分將一個長視頻根據視頻內容自動切分為多個小視頻，比如美食或手工制作視頻根據步驟可切分為多個獨立的小視頻。

近些年，自動駕駛行業算法幾乎都基于機器學習體系，對訓練場景和測試場景有較高要求，想要從自然場景中獲取自定義的各種復雜場景不僅對采集員要求很高而且也很難找到符合要求的路段來采集視頻，因此通過算法自動構建復合的視頻場景對于算法的開發和測試至關重要，這其中會涉及到視頻自動標簽、自動切分及自動復合等技術。

當前傳統的視頻任務處理存在一些弊端，例如，傳統的只基于圖像信號的視頻任務，使用3D CNN(三維卷積神經網絡)來做，這在視頻幀數明顯增加的情況下，計算量呈指數增長的趨勢，由于硬件環境的限制(比如GPU顯存及計算單元數)，實際上只能做很短小的視頻任務，由于關聯的相鄰視頻幀很少，也會導致精度不高。同時，傳統的視頻任務很多要基于聲音或文字信號同步圖像信號來做，會使用語音識別技術及機器翻譯技術，這在缺乏聲音或文字輸入時，算法失效。傳統的視頻任務還存在延時過高和精度不高的問題，導致無法同時執行多個視頻任務。

發明內容

本發明為解決當前視頻任務精度不高，無法同時執行多項視頻任務或存在延時過高、精度不高等問題的技術問題，提供一種行車視頻多任務處理方法及系統。

為解決上述技術問題，本發明的技術方案如下：

本實施例提供一種行車視頻多任務處理方法，所述方法包括：

對視頻數據進行關鍵幀提??；

通過編碼模塊對每個關鍵幀進行分解，按照預定格式分解為多個區域塊；

根據分割空間-時間自注意力模式，對關鍵幀的各個區域塊與同幀的其他區域塊以及其他關鍵幀的對應分解位置上的區域塊進行比對；

將比對數據經過多個解碼模塊進行多視頻任務的處理，完成多任務輸出。

進一步的，所述視頻任務設置有三個，包括場景描述標簽、自動Tag標簽和自動切分標簽。

進一步的，根據分割空間-時間自注意力模式，對關鍵幀的各個區域塊與同幀的其他區域塊以及其他關鍵幀的對應分解位置上的區域塊進行比對包括：

將視頻數據中的所有關鍵幀分解成一組不重疊的區域塊；

將每個區域塊與相同幀內的其他區域塊以及其他關鍵幀中相同空間位置的區域塊進行比較，得到比對結果。

進一步的，所述預定格式包括將關鍵幀分解不重疊的4*4的區域塊。

進一步的，所述編碼模塊和解碼模塊采用Transformer結構，所述編碼模塊用于來進行隱向量計算，所述解碼模塊用于進行任務輸出。