[發明專利]一種行車視頻多任務處理方法及系統

在審

• 申請號: 202110815860.0
• 申請日: 2021-07-19
• 公開（公告）號: CN113762066A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 徐倩;賈楠;楊鑫
• 申請（專利權）人: 惠州市德賽西威汽車電子股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 練逸夫

1.一種行車視頻多任務處理方法，其特征在于，所述方法包括：

對視頻數據進行關鍵幀提取；

通過編碼模塊對每個關鍵幀進行分解，按照預定格式分解為多個區域塊；

根據分割空間-時間自注意力模式，對關鍵幀的各個區域塊與同幀的其他區域塊以及其他關鍵幀的對應分解位置上的區域塊進行比對；

將比對數據經過多個解碼模塊進行多視頻任務的處理，完成多任務輸出。

2.根據權利要求1所述的行車視頻多任務處理方法，其特征在于，所述視頻任務設置有三個，包括場景描述標簽、自動Tag標簽和自動切分標簽。

3.根據權利要求1所述的行車視頻多任務處理方法，其特征在于，根據分割空間-時間自注意力模式，對關鍵幀的各個區域塊與同幀的其他區域塊以及其他關鍵幀的對應分解位置上的區域塊進行比對包括：

將視頻數據中的所有關鍵幀分解成一組不重疊的區域塊；

將每個區域塊與相同幀內的其他區域塊以及其他關鍵幀中相同空間位置的區域塊進行比較，得到比對結果。

4.根據權利要求3所述的行車視頻多任務處理方法，其特征在于，所述預定格式包括將關鍵幀分解為不重疊的4*4的區域塊。

5.根據權利要求1所述的行車視頻多任務處理方法，其特征在于，所述編碼模塊和解碼模塊采用Transformer結構，所述編碼模塊用于來進行隱向量計算，所述解碼模塊用于進行任務輸出。

6.根據權利要求1所述的行車視頻多任務處理方法，其特征在于，所述對視頻數據進行關鍵幀提取具體包括對視頻中進行關鍵幀提取，所述關鍵幀提取方法包括固定時間抽幀、固定幀數抽幀、幀差法、基于內容變化算法的其中任一種方法。

7.根據權利要求2所述的行車視頻多任務處理方法，其特征在于，所述場景描述標簽為通過輸出一段文字對視頻內容進行描述；所述自動Tag標簽為針對每個關鍵幀自動標簽屬性；所述自動切分標簽為根據動作內容，切分為多個小片段，需要切分的動作內容需預先定義。

8.根據權利要求1所述的行車視頻多任務處理方法，其特征在于，所述區域塊和其他關鍵幀的區域塊之間的對應關系為非整空間域，所對應的區域塊為不同空間位置上的區域塊。

9.根據權利要求1所述的行車視頻多任務處理方法，其特征在于，所述多個解碼模塊接收同一個編碼模塊輸出的比對數據。

10.一種行車視頻多任務處理系統，其特征在于，所述系統包括車載處理器，所述系統利用所述車載處理器，執行權利要求1-9任一項所述的行車視頻多任務處理方法。