[發明專利]基于感興趣區域的視頻編碼

在審

• 申請號: 202110308271.3
• 申請日: 2021-03-23
• 公開（公告）號: CN113438482A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 裴泰延;李思成;吳冠霖;陳彥光
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04N19/167
• 分類號: H04N19/167;H04N19/42;G06N3/04;G06K9/62
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁;張艷梅

1.一種視頻處理單元，所述視頻處理單元包括：

基于非對象的感興趣區域檢測神經網絡，所述基于非對象的感興趣區域檢測神經網絡被配置成接收視頻幀并生成多個候選基于非對象的感興趣區域塊；

閾值選擇模塊，所述閾值選擇模塊被配置成接收所述多個候選基于非對象的感興趣區域塊并基于預定閾值標識多個選擇的基于非對象的感興趣區域塊；和

感興趣區域圖生成器，所述感興趣區域圖生成器被配置成接收所述多個選擇的基于非對象的感興趣區域塊并生成感興趣區域圖。

2.根據權利要求1所述的視頻處理單元，其中所述基于非對象的感興趣區域檢測神經網絡包括深度神經網絡，所述深度神經網絡包括被配置成確定所述多個候選基于非對象的感興趣區域塊和所述多個候選基于非對象的感興趣塊的對應的感興趣概率的回歸網絡。

3.根據權利要求2所述的視頻處理單元，其中所述閾值選擇模塊被配置成標識具有比所述預定閾值大的對應的感興趣概率的所述多個選擇的感興趣區域塊。

4.根據權利要求1所述的視頻處理單元，其中所述候選基于非對象的感興趣區域塊包括像素值的預定矩陣大小的存儲塊。

5.根據權利要求1所述的視頻處理單元，還包括：

視頻編碼器，所述視頻編碼器被配置成接收所述視頻幀和所述感興趣區域圖并且基于所述感興趣區域圖對所述視頻幀進行差分編碼。

6.根據權利要求5所述的視頻處理單元，其中所述感興趣區域圖包括與所述視頻幀的多個存儲塊相對應的多個比特，其中第一比特值指示對應的存儲塊包括感興趣區域并且第二比特值指示對應的存儲塊包括非感興趣區域。

7.根據權利要求6所述的視頻處理單元，其中：

與所述感興趣區域圖的具有所述第一比特值的比特相對應的存儲塊被以第一比特率編碼；并且

與所述感興趣區域圖的具有所述第二比特值的比特相對應的存儲塊被以第二比特率編碼，其中所述第二比特率小于所述第一比特率。

8.根據權利要求6所述的視頻處理單元，其中：

與所述感興趣區域圖的具有所述第一比特值的比特相對應的存儲塊被以第一質量編碼；并且

與所述感興趣區域圖的具有所述第二比特值的比特相對應的存儲塊被以第二質量編碼，其中所述第二質量小于所述第一質量。

9.一種視頻處理單元，所述視頻處理單元包括：

人工智能加速器，所述人工智能加速器包括：

基于非對象的感興趣區域檢測神經網絡，所述基于非對象的感興趣區域檢測神經網絡被配置成接收視頻幀并生成多個候選基于非對象的感興趣區域塊；

閾值選擇模塊，所述閾值選擇模塊被配置成接收所述多個候選基于非對象的感興趣區域塊并基于預定閾值標識多個選擇的基于非對象的感興趣區域塊；

感興趣區域圖生成器，所述感興趣區域圖生成器被配置成接收所述多個選擇的基于非對象的感興趣區域塊并生成感興趣區域圖；和

基于對象的感興趣區域檢測神經網絡，所述基于對象的感興趣區域檢測神經網絡被配置成接收所述視頻幀并生成多個候選基于對象的感興趣區域塊；以及

中央處理單元，所述中央處理單元包括：

分類和非最大抑制(NMS)模塊，所述分類和NMS模塊被配置成接收所述多個候選基于對象的感興趣區域塊，基于關聯概率針對相應的對象類型來對所述多個候選基于對象的感興趣區域塊進行分類，并且組合多個重疊的基于對象的感興趣區域塊以為相應的對象類型確定一個或多個感興趣區域邊界框。

10.根據權利要求9所述的視頻處理單元，其中所述基于非對象的感興趣區域檢測神經網絡包括深度神經網絡，所述深度神經網絡包括被配置成確定所述多個候選基于非對象的感興趣區域塊和所述多個候選基于非對象的感興趣區域塊的對應的感興趣概率的回歸網絡。