[發明專利]用于基于切片圖像升級分辨率的裝置和方法

在審

• 申請號: 202110332433.7
• 申請日: 2021-03-29
• 公開（公告）號: CN113538326A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 宋秉哲;崔東玧;樸志胤
• 申請（專利權）人: 硅工廠股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 劉久亮;黃綸偉

1.一種用于基于切片圖像來升級分辨率的裝置，所述裝置包括：

卷積運算單元，所述卷積運算單元被配置為使用卷積神經網絡將低分辨率的輸入切片圖像轉換為高分辨率的輸出切片圖像，

其中，所述卷積神經網絡包括：

級聯塊，所述級聯塊被配置為對從所述低分辨率的輸入切片圖像生成的輸入特征圖執行使用具有預定大小的卷積過濾器的卷積運算和殘差運算以生成輸出特征圖；以及

升級塊，所述升級塊被配置為升級所述輸出特征圖以生成所述高分辨率的輸出切片圖像。

2.根據權利要求1所述的裝置，其中，所述級聯塊包括:

第一殘差塊，所述第一殘差塊被配置為對所述輸入特征圖依次執行使用第一類型卷積過濾器的組卷積運算和使用具有正方形大小的第二類型卷積過濾器的逐點卷積運算并且基于運算的結果執行所述殘差運算以生成第一殘差特征圖，在所述第一類型卷積過濾器中垂直感受野的大小小于水平感受野的大小；以及

第一尺寸縮減層，所述第一尺寸縮減層被配置為將所述輸入特征圖與所述第一殘差特征圖連結，并且將所述連結的結果的尺寸縮減到與所述輸入特征圖相同的尺寸以生成第一尺寸縮減特征圖。

3.根據權利要求2所述的裝置，其中，所述第一類型卷積過濾器是大小為1×5的過濾器，并且

所述第二類型卷積過濾器是大小為1×1的過濾器。

4.根據權利要求2所述的裝置，所述裝置還包括：

第二殘差塊，所述第二殘差塊串聯連接到所述第一尺寸縮減層，對所述第一尺寸縮減特征圖依次執行使用具有正方形大小的第三類型卷積過濾器的組卷積運算和使用所述第二類型卷積過濾器的逐點卷積運算，并且基于運算的結果執行所述殘差運算以生成第二殘差特征圖；以及

第二尺寸縮減層，所述第二尺寸縮減層被配置為將所述輸入特征圖、所述第一殘差特征圖和所述第二殘差特征圖連結，并且將所述連結的結果的尺寸縮減到與所述輸入特征圖相同的尺寸以生成所述輸出特征圖。

5.根據權利要求4所述的裝置，其中，所述第三類型卷積過濾器是大小為3×3的過濾器，并且

當所述第二殘差塊使用所述第三類型卷積過濾器執行所述組卷積運算時，所述第二殘差塊對所述第一尺寸縮減特征圖執行水平填充并且不執行垂直填充。

6.根據權利要求4所述的裝置，其中，所述第一殘差塊和所述第二殘差塊重復地執行所述組卷積運算多次，并且使用激活函數對每次通過執行所述組卷積運算獲得的結果進行非線性化。

7.根據權利要求1所述的裝置，其中，所述卷積神經網絡包括n個級聯塊，并且

所述n個級聯塊串聯連接，使得第(n-1)個級聯塊的輸出特征圖成為第n個級聯塊的輸入特征圖。

8.根據權利要求7所述的裝置，所述裝置還包括：線存儲器，所述線存儲器設置在每個級聯塊的輸入端和輸出端中的至少一個處，并且以線為單位存儲輸入到所述級聯塊的輸入特征圖和從所述級聯塊輸出的輸出特征圖中的至少一者。

9.根據權利要求1所述的裝置，其中，所述升級塊包括：

第一升級塊，所述第一升級塊被配置為對所述輸出特征圖執行使用第一類型卷積過濾器的第一卷積運算和第一置亂操作以將所述輸出特征圖升級以因數p，在所述第一類型卷積過濾器中垂直感受野的大小小于水平感受野的大小；以及

第二升級塊，所述第二升級塊被配置為對所述輸出特征圖執行使用所述第一類型卷積過濾器的第二卷積操作和第二置亂操作以將所述輸出特征圖升級以因數q。

10.根據權利要求9所述的裝置，其中，所述升級塊還包括第三升級塊，所述第三升級塊通過串聯連接多個升級塊來將所述輸出特征圖升級以因數r，并且

其中，所述多個升級塊包括所述第一升級塊和所述第二升級塊的至少一個。