[發明專利]生成深度圖的裝置

在審

• 申請號: 202110248958.2
• 申請日: 2021-03-08
• 公開（公告）號: CN113973209A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 金度延;李時行;李長鉉;趙珉基;金埈模
• 申請（專利權）人: 愛思開海力士有限公司;韓國科學技術院
• 主分類號: H04N19/42
• 分類號: H04N19/42;H04N13/271;H04N9/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 崔龍鉉;太香花

1.一種裝置，包括：

編碼器，通過對圖像進行編碼來生成多個特征數據；

瓶頸電路，根據所述多個特征數據之中的第一瓶頸數據生成增強特征數據；以及

解碼器，通過對所述增強特征數據以及除所述第一瓶頸數據以外的所述多個特征數據進行解碼來生成與所述圖像相對應的深度圖。

2.根據權利要求1所述的裝置，其中所述編碼器包括：

卷積電路，對所述圖像執行卷積運算；

多個單元編碼器電路，所述多個單元編碼器電路串聯聯接，所述多個單元編碼器電路中的第一個聯接到所述卷積電路；

第一殘差電路，聯接到所述單元編碼器電路中的最后一個，

其中所述卷積電路、所述多個單元編碼器電路和所述第一殘差電路分別輸出所述多個特征數據。

3.根據權利要求2所述的裝置，其中所述多個單元編碼器電路中的一個或多個各自包括：

第二殘差電路，接收所述多個特征數據中的第一個；

注意電路，并聯聯接到所述第二殘差電路；以及

第一運算電路，通過對來自所述第二殘差電路和所述注意電路的輸出執行運算來生成所述多個特征數據中的第二個。

4.根據權利要求3所述的裝置，其中所述第一運算電路執行矩陣乘法運算。

5.根據權利要求2所述的裝置，其中所述第一殘差電路輸出所述第一瓶頸數據。

6.根據權利要求1所述的裝置，其中所述解碼器包括：

多個單元解碼器電路，串聯聯接并且接收所述多個特征數據和所述增強特征數據；以及

卷積電路，通過對從所述多個單元解碼器電路中的一個輸出的數據執行卷積運算來生成與所述圖像相對應的深度圖。

7.根據權利要求6所述的裝置，其中所述多個單元解碼器電路包括：第一單元解碼器電路和第二單元解碼器電路，所述第一單元解碼器電路串聯聯接到所述第二單元解碼器電路并且接收所述多個特征數據中的第一個，所述第一單元解碼器電路包括：

反卷積電路，對所述第二單元解碼器電路的輸出執行反卷積運算；以及

第二運算電路，對所述多個特征數據中的第一個以及所述反卷積電路的輸出執行運算。

8.根據權利要求7所述的裝置，其中所述第二運算電路執行并置運算。

9.根據權利要求6所述的裝置，其中所述多個單元解碼器電路包括接收所述多個特征數據中相應的一個的單元解碼器電路，所述單元解碼器電路包括：

反卷積電路，對所述增強特征數據執行反卷積運算；以及

第二運算電路，對所述多個特征數據中被接收到的一個以及所述反卷積電路的輸出執行運算。

10.根據權利要求1所述的裝置，其中所述瓶頸電路包括：

池化電路，對所述第一瓶頸數據執行池化運算；

卷積電路，對所述池化電路的輸出執行卷積運算；以及

反卷積電路，對所述卷積電路的輸出執行反卷積運算以輸出所述增強特征數據。

11.根據權利要求10所述的裝置，其中所述池化電路包括空洞空間金字塔池化電路，即ASPP電路。

12.根據權利要求1所述的裝置，進一步包括：特征提取電路，通過從所述圖像中提取特征來生成第二瓶頸數據，

其中所述瓶頸電路通過使用所述第一瓶頸數據和所述第二瓶頸數據來生成所述增強特征數據。

13.根據權利要求12所述的裝置，其中所述瓶頸電路包括：

池化電路，對所述第一瓶頸數據執行池化運算；

第三運算電路，對所述池化電路的輸出和所述第二瓶頸數據執行運算；

卷積電路，對所述第三運算電路的輸出執行卷積運算；以及

反卷積電路，對所述卷積電路的輸出執行反卷積運算。