[發明專利]視頻代碼化的感受野一致卷積模型

在審

• 申請號: 201980017854.1
• 申請日: 2019-09-17
• 公開（公告）號: CN111837140A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 克勞迪諾·科埃略;阿基·庫塞拉;山·李;達克·何
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;鄧聰惠

1.一種用于確定在視頻代碼化時對塊進行編碼的模式決策的卷積神經網絡，包括：

特征提取層，所述特征提取層用于提取用于確定所述模式決策的所述塊的特征，其中，通過設置等于內核大小的步幅值來對所述特征提取層中的至少一個處的輸入執行非重疊卷積運算，所述模式決策包括對所述塊的塊分割，所述塊具有N×N大小，并且所述塊的最小分割輸出具有S×S大小；以及

多個分類器，所述多個分類器用于處理所述塊的所述特征，其中：

每個分類器包括分類層，所述分類層中的每個分類層用于接收具有相應特征尺寸的相應特征映射，

每個分類器配置為通過以下操作來針對所述塊中的大小為(αS)×(αS)的子塊推斷分割決策，其中，α是2的冪，且α＝2,……,N/S：

在所述分類層中的一些連續分類層處應用大小為1×1的內核，以減小所述相應特征尺寸；以及

通過所述分類層中的最終層來輸出與N/(αS)×N/(αS)×1輸出映射對應的輸出。

2.根據權利要求1所述的卷積神經網絡，其中，進入所述特征提取層中的初始特征提取層的輸入具有包括所述塊和所述塊的相鄰像素的大小(N+1)×(N+1)×1，并且所述特征提取層的分支中的第一濾波器具有2^k+1的內核大小和等于2^k的步幅值，其中，k為整數。

3.根據權利要求1或2所述的卷積神經網絡，其中，所述特征提取層中的最終層包括從所述特征提取層接收所述塊的第一特征映射的級聯層，其中，所述第一特征映射中的每一個具有S×S的大小。

4.根據權利要求1至3中任一項所述的卷積神經網絡，其中，所述特征提取層包括等于所述塊的可能四叉樹分割決策的數目的分支數目，所述分支中的每一個包括所述特征提取層中的至少一個。

5.根據權利要求4所述的卷積神經網絡，其中，所述特征提取層布置成使得所述分支中的每一個包括不同特征提取層，所述不同特征提取層不指代所述分支中的任何其它分支的所述特征提取層。

6.根據權利要求4或5所述的卷積神經網絡，其中，所述多個分類器包括與所述分支中的相應分支對應的相應分類器，由相應分類器的初始分類層接收的所述特征映射被配置為針對所述塊中的大小為(αS)×(αS)的子塊推斷所述分割決策，所述子塊包括具有相應特征尺寸(N/2^β)×(N/2^β)的N個特征映射的卷積，其中，β為整數，且β＝0，……，(分支數目-1)。

7.根據權利要求1至4中任一項所述的卷積神經網絡，其中，所述特征提取層中的初始特征提取層包括用于使用所述塊的亮度數據作為輸入來執行第一卷積運算的第一內核以及用于使用所述塊的色度數據作為輸入來執行第二卷積運算的第二內核，所述第一內核具有與所述第二內核不同的內核大小，并且其中，對所述塊的所述塊分割包括對所述塊的所述亮度數據的分割。

8.根據權利要求7所述的卷積神經網絡，其中，在所述初始特征提取層之后的第二濾波器提取層輸出具有單個內核大小的相應特征映射。

9.根據權利要求7或8所述的卷積神經網絡，其中，所述特征提取層布置成多個分支，每個分支與所述多個分類器中的相應一個分類器相關聯，并且其中，所述分支中的每一個至少共享所述初始特征提取層。

10.根據權利要求1至9中任一項所述的卷積神經網絡，其中，所述模式決策包括所述塊的預測模式，所述多個分類器包括塊分割分類器，并且所述卷積神經網絡進一步包括多個預測模式分類器，其中：

多個預測模式分類器中的每一個包括至少一個分類層，所述分類層中的每個分類層接收具有相應特征尺寸的相應特征映射，并且每個分類器的初始分類層接收所述特征映射作為下述中的一個：所述特征提取層中的最終特征提取層的輸出、或相應多個預測模式分類器的分類層的輸出。