[發(fā)明專利]視頻處理方法及視頻處理電路

在審

• 申請?zhí)枺?/td>: 202211115063.2
• 申請日: 2022-09-14
• 公開（公告）號: CN115810159A
• 公開（公告）日: 2023-03-17
• 發(fā)明（設計）人: 陳星宇;巫承威;陳書屏
• 申請（專利權）人: 聯(lián)發(fā)科技股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06V10/82;G06V10/778;G06V10/26;G06V10/24
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 李江

1.一種視頻處理方法，用于檢測對象的位置、像素和框架，該視頻處理方法包括：

利用單個深度學習網(wǎng)絡的預定模型中的主干網(wǎng)絡來接收具有該對象的輸入圖像數(shù)據(jù)并將該輸入圖像數(shù)據(jù)轉(zhuǎn)換為至少一個特征圖；以及

利用該單一深度學習網(wǎng)絡的該預定模型中的至少一個實例頭和一個像素頭來接收該至少一個特征圖并將該至少一個特征圖轉(zhuǎn)換為該對象的對象檢測結(jié)果、實例分割結(jié)果和姿態(tài)估計結(jié)果，分別用于指示該對象的該位置、該像素和該框架。

2.根據(jù)權利要求1所述的視頻處理方法，還包括：

對該輸入圖像數(shù)據(jù)進行圖像處理，以在與該輸入圖像數(shù)據(jù)對應的輸出圖像上，分別用該對象檢測結(jié)果、該實例分割結(jié)果和該姿態(tài)估計結(jié)果來突出顯示該對象，以分別指示該對象的該位置、該像素和該框架。

3.根據(jù)權利要求1所述的視頻處理方法，其特征在于，該輸入圖像數(shù)據(jù)為輸入圖像的圖像數(shù)據(jù)，該輸入圖像為紅綠藍RGB圖像。

4.根據(jù)權利要求1所述的視頻處理方法，其特征在于，該對象為人對象，該對象檢測結(jié)果為人檢測結(jié)果。

5.根據(jù)權利要求1所述的視頻處理方法，其特征在于，該對象的該對象檢測結(jié)果、該對象的該實例分割結(jié)果和該對象的該姿態(tài)估計結(jié)果共享同一個實例。

6.根據(jù)權利要求5所述的視頻處理方法，其特征在于，利用該單一深度學習網(wǎng)絡的該預定模型中的該至少一實例頭和該像素頭來接收該至少一特征圖并將該至少一特征圖轉(zhuǎn)換為該對象的該對象檢測結(jié)果、該實例分割結(jié)果和該姿態(tài)估計結(jié)果還包括：

利用該單個深度學習網(wǎng)絡的該預定模型中的該至少一個實例頭和該像素頭，將該至少一個特征圖轉(zhuǎn)換為該對象的該對象檢測結(jié)果、該實例分割結(jié)果和該對象姿態(tài)估計結(jié)果，以同時得到該對象檢測結(jié)果、該實例分割結(jié)果和該姿態(tài)估計結(jié)果，不需要對該對象檢測結(jié)果、該實例分割結(jié)果和該姿態(tài)估計結(jié)果中的任意兩個處理結(jié)果進行關聯(lián)操作。

7.根據(jù)權利要求6所述的視頻處理方法，其特征在于，該輸入圖像數(shù)據(jù)中的多個像素中的任意一個像素被布置為充當與該單個深度學習網(wǎng)絡的該預定模型中的實例相對應的提議。

8.根據(jù)權利要求1所述的視頻處理方法，其特征在于，該對象代表該輸入圖像數(shù)據(jù)中多個對象中的任一對象，其中該對象檢測結(jié)果、該實例分割結(jié)果和該姿態(tài)估計結(jié)果分別代表該多個對象的多個對象檢測結(jié)果中該任一對象的對象檢測結(jié)果、該多個對象的多個對象檢測結(jié)果中該任一對象的實例分割結(jié)果、該多個對象的多個對象檢測結(jié)果中該任一對象的姿態(tài)估計結(jié)果；通過該單個深度學習網(wǎng)絡的該預定模型將該輸入圖像數(shù)據(jù)轉(zhuǎn)換為該多個對象檢測結(jié)果、該多個實例分割結(jié)果和該多個姿態(tài)估計結(jié)果的時間與該多個對象的對象數(shù)量無關。

9.根據(jù)權利要求1所述的視頻處理方法，其特征在于，該對象表示該輸入圖像數(shù)據(jù)中多個對象中的任意對象，其中該對象檢測結(jié)果、該實例分割結(jié)果和該姿態(tài)估計結(jié)果分別表示該多個對象的多個對象檢測結(jié)果中該任意對象的對象檢測結(jié)果、該多個對象的多個實例分割結(jié)果中的該任意對象的實例分割結(jié)果、該多個對象的多個姿態(tài)估計結(jié)果中的該任意對象的姿態(tài)估計結(jié)果；對于按照該視頻處理方法進行操作的視頻處理電路，通過該單一深度學習網(wǎng)絡的該預定模型將該輸入圖像數(shù)據(jù)轉(zhuǎn)換為該多個對象檢測結(jié)果、該多個實例分割結(jié)果和該多個姿態(tài)估計結(jié)果的功耗與該多個對象的對象數(shù)量無關。

10.根據(jù)權利要求1所述的視頻處理方法，其特征在于，在該單一深度學習網(wǎng)絡的該預定模型中，獲取該對象檢測結(jié)果的第一任務、獲取該實例分割結(jié)果的第二任務和獲取該姿態(tài)估計結(jié)果的第三任務相互獨立。

11.根據(jù)權利要求1所述的視頻處理方法，其特征在于，在該單一深度學習網(wǎng)絡的該預定模型中，不需要裁剪該輸入圖像數(shù)據(jù)的一部分的任務，也不需要裁剪該至少一個特征圖中任意特征圖的一部分的任務。