[發明專利]用于對圖像執行人工智能編碼和人工智能解碼的設備和方法

在審

• 申請號: 201980061966.7
• 申請日: 2019-10-14
• 公開（公告）號: CN112740687A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 金載丸;李鐘碩;全善暎;崔光杓;崔珉碩;趨可卡納哈·迪娜;樸永五
• 申請（專利權）人: 三星電子株式會社
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/85;H04N19/50;H04N19/184;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 曾世驍;田方

一種人工智能(AI)解碼設備，包括：存儲器，存儲一個或更多個指令；以及處理器，被配置為執行所存儲的一個或更多個指令，以進行以下操作：獲得與被編碼的第一圖像對應的圖像數據，通過對所獲得的圖像數據進行解碼來獲得與第一圖像對應的第二圖像，確定是否執行對所獲得的第二圖像的AI放大，基于確定執行對所獲得的第二圖像的AI放大，通過經由放大深度神經網絡(DNN)執行對所獲得的第二圖像的AI放大來獲得第三圖像，并輸出所獲得的第三圖像，并且基于確定不執行對所獲得的第二圖像的AI放大，輸出所獲得的第二圖像。

技術領域

本公開涉及對圖像進行編碼和解碼。更具體地，本公開涉及用于基于人工智能(AI)對圖像進行編碼和解碼的設備和方法。

背景技術

圖像在經由遵循數據壓縮標準(諸如運動圖像專家組(MPEG)標準)的編解碼器而被編碼之后以比特流的形式被存儲在記錄介質中或者經由通信信道被發送。

隨著能夠再現和存儲高分辨率和高質量圖像的硬件的發展和供應，對能夠有效地對這樣的高分辨率和高質量圖像進行編碼和解碼的編解碼器的需求增加。

發明內容

技術方案

根據實施例，一種人工智能(AI)解碼設備包括：存儲器，存儲一個或更多個指令；以及處理器，被配置為執行所存儲的一個或更多個指令，以進行以下操作：獲得與被編碼的第一圖像對應的圖像數據，通過對所獲得的圖像數據進行解碼來獲得與第一圖像對應的第二圖像，確定是否執行所獲得的第二圖像的AI放大，基于確定執行所獲得的第二圖像的AI放大，通過經由放大深度神經網絡(DNN)執行所獲得的第二圖像的AI放大來獲得第三圖像，并輸出所獲得的第三圖像，并且基于確定不執行所獲得的第二圖像的AI放大，輸出所獲得的第二圖像。

有益效果

提供了用于對圖像執行人工智能(AI)編碼和AI解碼的設備和方法，其中，基于AI對圖像進行編碼和解碼以實現低比特率。

另外的方面將部分地在下面的描述中被闡述，并且部分地將從描述中顯而易見，或者可通過本公開的所提供的實施例的實踐而被獲知。

附圖說明

從結合附圖的以下描述，本公開的實施例的以上和其他方面、特征和優點將更加顯而易見，其中：

圖1a是用于描述根據實施例的人工智能(AI)編碼處理和AI解碼處理的示圖；

圖1b是用于描述根據本公開的實施例的AI編碼處理和一般解碼處理的示圖；

圖1c是用于描述根據本公開的實施例的一般編碼處理和AI解碼處理的示圖；

圖2是根據本公開的實施例的AI解碼設備的配置的框圖；

圖3是示出用于對第二圖像執行AI放大的第二深度神經網絡(DNN)的示圖；

圖4是用于描述由卷積層執行的卷積運算的示圖；

圖5是示出若干條圖像相關信息與若干條DNN設置信息之間的映射關系的表；

圖6是示出包括多個幀的第二圖像的示圖；

圖7是用于描述根據本公開的實施例的用于對第二圖像執行AI放大的第二DNN的結構的示圖；

圖8是用于描述用于對與第一放大目標對應的第二圖像執行AI放大的第二DNN的結構的示圖；

圖9是用于描述用于對與第二放大目標對應的第二圖像執行AI放大的第二DNN的結構的示圖；

圖10是用于描述用于對與第三放大目標對應的第二圖像執行AI放大的第二DNN的結構的示圖；

圖11是用于描述用于對與第四放大目標對應的第二圖像執行AI放大的第二DNN的結構的示圖；