[發明專利]漸進壓縮域計算機視覺和深度學習系統

有效

• 申請號: 201880088264.3
• 申請日: 2018-05-14
• 公開（公告）號: CN111670580B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 哈米德·R·謝赫;戴維·劉;羅諶持;柳榮俊;邁克爾·波莉
• 申請（專利權）人: 三星電子株式會社
• 主分類號: H04N21/4402
• 分類號: H04N21/4402;H04N21/435;H04N19/42;H04N19/44;H04N19/48;H04N19/184
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 謝玉斌;張園園

用于計算機視覺技術的壓縮域漸進應用的方法和系統。一種用于解碼視頻數據的方法，包括：接收被編碼用于多階段解碼的視頻流。該方法包括通過執行多階段解碼的一個或更多個階段來部分解碼視頻流。該方法包括確定是否可以基于部分解碼的視頻流來識別計算機視覺系統的決策。另外，該方法包括基于對視頻流的解碼生成計算機視覺系統的決策。用于編碼視頻數據的系統包括處理器，該處理器被配置為從相機接收視頻數據，將從相機接收的視頻數據編碼為視頻流，以供計算機視覺系統消費，并且將元數據包括在編碼的視頻流中以指示是否可以從元數據中識別出計算機視覺系統的決策。

技術領域

本公開總體上涉及計算機視覺和深度學習系統。更具體地，本公開涉及計算機視覺技術的壓縮域漸進應用。

背景技術

使用計算機視覺和深度學習(CV/DL)技術處理相機視頻流是人工智能(AI)和機器學習(ML)的新興和迅速發展的領域。應用級別的目標是通過觀察視頻流來自動執行各種任務，例如用戶感知應用、電子商務、社交媒體、視覺感知、監視和安全、導航等。這些應用使用各種基礎的CV技術，例如，對象檢測和識別、對象跟蹤、人類檢測和跟蹤等。DL和卷積神經網絡(CNN)是一組已被證明可以顯著改善傳統CV技術的檢測率的極有價值的技術。

發明內容

技術問題

本公開的實施例提供了漸進壓縮域CV和DL系統。

問題的解決方案

在一個實施例中，提供了一種用于解碼視頻數據的方法。該方法包括接收被編碼用于多階段解碼的視頻流。該方法包括通過執行多階段解碼中的一個或更多個階段來部分解碼視頻流。該方法包括確定是否可以基于部分解碼的視頻流識別出CV系統的決策。另外，該方法包括基于對視頻流的解碼來生成CV系統的決策。

在另一個實施例中，提供了一種用于解碼視頻數據的系統。該系統包括通信接口和可操作地連接到該通信接口的處理器。該通信接口被配置為接收被編碼用于多階段解碼的視頻流。該處理器被配置為通過執行多階段解碼中的一個或更多個階段來部分解碼視頻流，確定是否可以基于部分解碼的視頻流識別出CV系統的決策，并基于對視頻流的解碼生成CV系統的決策。

在另一個實施例中，提供了一種用于編碼視頻數據的系統。該系統包括處理器，該處理器配置為從相機接收視頻數據，將從相機接收到的視頻數據編碼為視頻流，以供CV系統使用，并且將元數據包括在編碼的視頻流中以指示是否可以從元數據中識別出CV系統的決策。該系統還包括可操作地連接到處理器的通信接口。該通信接口被配置為將編碼后的視頻流和元數據發送到CV系統的解碼器。

本發明的有益效果

本公開的實施例提供了一種漸進壓縮域CV和DL系統。

附圖說明

為了更全面地理解本公開及其優點，現在參考結合附圖的以下描述，其中相同的附圖標記表示相同的部分：

圖1示出了可以在其中實現本公開的各種實施例的示例聯網系統；

圖2示出了可以在其中實現本公開的各種實施例的處理系統的示例；

圖3A示出了視頻解碼器系統的框圖的示例；

圖3B示出了根據本公開的各種實施例的用于CV系統的分級/漸進視頻解碼的系統的框圖的示例；

圖4示出了根據本公開的各種實施例的使用運動矢量CNN的漸進壓縮域視頻解碼的示例；

圖5示出了根據本公開的各種實施例的使用變換域CNN的漸進壓縮域視頻解碼的示例；

圖6示出了根據本公開的各種實施例的用于CV系統的具有元數據處理的分級/漸進視頻解碼的系統的框圖的示例；

圖7示出了根據本公開的各種實施例的用于CV系統的視頻編碼和解碼的系統的框圖的示例；