[發(fā)明專利]視頻處理方法及視頻處理電路

在審

• 申請?zhí)枺?/td>: 202211115063.2
• 申請日: 2022-09-14
• 公開（公告）號: CN115810159A
• 公開（公告）日: 2023-03-17
• 發(fā)明（設計）人: 陳星宇;巫承威;陳書屏
• 申請（專利權）人: 聯發(fā)科技股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06V10/82;G06V10/778;G06V10/26;G06V10/24
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 李江

本發(fā)明提供一種視頻處理方法和相關電路。視頻處理方法用于檢測對象的位置、像素和框架，包括：利用單個深度學習網絡的預定模型中的主干網絡來接收具有對象的輸入圖像數據并將輸入圖像數據轉換為至少一個特征圖；以及利用單一深度學習網絡的預定模型中的至少一個實例頭和一個像素頭來接收至少一個特征圖并將至少一個特征圖轉換為對象的對象檢測結果、實例分割結果和姿態(tài)估計結果，分別用于指示對象的位置、像素和框架。本發(fā)明的視頻處理方法和相關電路可以實現具有可靠檢測控制的電子設備。

【技術領域】

本發(fā)明涉及實時視頻處理，更具體地，涉及一種用于檢測對象的位置、像素和框架的視頻處理方法，以及相關的視頻處理電路。

【背景技術】

實時視頻流已經廣泛應用于各種應用，例如監(jiān)控系統(tǒng)、視頻會議等。在某些情況下，例如，當使用監(jiān)控系統(tǒng)監(jiān)控重要區(qū)域時，可能需要檢測視頻流圖像中的對象。根據相關技術，人工神經網絡技術可能有助于實現對象檢測。但是，可能會出現一些問題。更具體地，當需要檢測圖像中的多個人以及圖像中分別屬于多個人的像素以及人的各自動作時，可以使用多階段模型(multi-stage model)，但是存在一定的局限性。例如，當實例(例如人)的數量增加并達到二十個或更多時，多階段模型的端到端推理時間(end-to-end inferencetime)可能會顯著增加，從而導致整體性能下降。因此，需要一種新穎的方法和相關架構來實現具有可靠檢測控制而不引入任何副作用或不太可能引入副作用的電子設備。

【發(fā)明內容】

有鑒于此，本發(fā)明提供以下技術方案：

本發(fā)明提供一種視頻處理方法，用于檢測對象的位置、像素和框架，包括：利用單個深度學習網絡的預定模型中的主干網絡來接收具有對象的輸入圖像數據并將輸入圖像數據轉換為至少一個特征圖；以及利用單一深度學習網絡的預定模型中的至少一個實例頭和一個像素頭來接收至少一個特征圖并將至少一個特征圖轉換為對象的對象檢測結果、實例分割結果和姿態(tài)估計結果，分別用于指示對象的位置、像素和框架。

本發(fā)明還提供一種視頻處理電路，用于檢測對象的位置、像素和框架，視頻處理電路包括：第一處理電路，被配置為在單個深度學習網絡的預定模型中充當主干網絡以接收具有對象的輸入圖像數據并將輸入圖像數據轉換為至少一個特征圖；以及第二處理電路，偶接到第一處理電路，被配置為充當單個深度學習網絡的預定模型中的至少一個實例頭和像素頭，以接收至少一個特征圖，并轉換至少一個特征圖為對象的對象檢測結果、實例分割結果和姿態(tài)估計結果，分別表示對象的位置、像素和框架。

本發(fā)明的一個優(yōu)點是，通過精心設計的檢測機制，本發(fā)明提供的視頻處理方法和視頻處理電路可以借助預定模型(例如，單階段模型)通過圖像處理(例如，以多對象檢測結果、多實例分割結果和多姿態(tài)估計結果突出多個對象)同時輸出多個對象的位置、像素和框架，以實現出色的整體性能。此外，單個深度學習網絡的預定模型將輸入圖像轉換為多對象檢測結果、多實例分割結果和多姿態(tài)估計結果的時間和功耗與多個對象的對象數量無關。例如，當實例(例如人)的數量增加并達到二十個或更多，甚至達到一百個或更多時，預定模型(例如，單階段模型)的端到端推理時間將不會顯著增加，更具體地說，可以保持幾乎不變。與現有技術相比，本發(fā)明提供的視頻處理方法和視頻處理電路可以在不引入任何副作用或以不太可能引入副作用的方式實現具有可靠檢測控制的電子設備。

【附圖說明】

結合在本說明書中并構成本說明書一部分的附圖示出了本發(fā)明的實施例，并且與說明書一起用于解釋本發(fā)明的原理：

圖1是示出根據本發(fā)明實施例的用于檢測對象的位置、像素和框架的視頻處理方法的人體三位一體(Human Trinity)檢測控制方案的圖。

圖2示出了根據根據本發(fā)明實施例的視頻處理方法的單階段(one-stage)模型控制方案和兩階段(two-stage)模型控制方案。

圖3是根據本發(fā)明實施例的用于檢測對象的位置、像素和框架的視頻處理電路的示意圖。