[發(fā)明專利]用于編碼或解碼圖像的方法和裝置

在審

• 申請?zhí)枺?/td>: 201880045127.1
• 申請日: 2018-02-06
• 公開（公告）號(hào): CN110892723A
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計(jì)）人: 李鐘碩;金載丸;樸永五;樸正輝;全善暎;崔光杓
• 申請（專利權(quán)）人: 三星電子株式會(huì)社
• 主分類號(hào): H04N19/50
• 分類號(hào): H04N19/50;H04N19/176;G06N3/04;H04N19/103;H04N19/122;H04N19/184;H04N19/119
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;楊莘

1.一種圖像解碼方法，包括：

接收編碼圖像的比特流；

確定從所述編碼圖像中分割的至少一個(gè)塊；

確定用于預(yù)測所述至少一個(gè)塊中的當(dāng)前塊的鄰近塊；

通過將所述鄰近塊應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)(DNN)學(xué)習(xí)模型來生成所述當(dāng)前塊的預(yù)測數(shù)據(jù)，其中，所述深度神經(jīng)網(wǎng)絡(luò)配置為通過使用至少一個(gè)計(jì)算機(jī)來預(yù)測圖像的塊；

從所述比特流中提取所述當(dāng)前塊的殘留數(shù)據(jù)；以及

通過使用所述預(yù)測數(shù)據(jù)和所述殘留數(shù)據(jù)來重構(gòu)所述當(dāng)前塊。

2.根據(jù)權(quán)利要求1所述的圖像解碼方法，其中，所述DNN學(xué)習(xí)模型是被訓(xùn)練為根據(jù)所述DNN學(xué)習(xí)模型中包括的多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)之間的連接關(guān)系和基于所述多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的權(quán)重的操作來預(yù)測所述當(dāng)前塊的原始數(shù)據(jù)的網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的圖像解碼方法，其中，生成所述預(yù)測數(shù)據(jù)包括：

通過將所述鄰近塊應(yīng)用于第一DNN學(xué)習(xí)模型以執(zhí)行第一預(yù)測來生成所述當(dāng)前塊的第一預(yù)測數(shù)據(jù)；

通過將所述鄰近塊和所述第一預(yù)測數(shù)據(jù)應(yīng)用于第二DNN學(xué)習(xí)模型以執(zhí)行第二預(yù)測來生成所述當(dāng)前塊的第二預(yù)測數(shù)據(jù)；以及

通過使用所述第一預(yù)測數(shù)據(jù)和所述第二預(yù)測數(shù)據(jù)來生成所述預(yù)測數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的圖像解碼方法，其中，所述第一預(yù)測數(shù)據(jù)用于預(yù)測所述當(dāng)前塊的原始數(shù)據(jù)，以及

所述第二預(yù)測數(shù)據(jù)用于預(yù)測通過從所述當(dāng)前塊的原始數(shù)據(jù)中減去所述第一預(yù)測數(shù)據(jù)而獲得的值。

5.根據(jù)權(quán)利要求3所述的圖像解碼方法，其中，所述第一DNN學(xué)習(xí)模型是遞歸神經(jīng)網(wǎng)絡(luò)(RNN)學(xué)習(xí)模型，并且所述第二DNN學(xué)習(xí)模型是卷積神經(jīng)網(wǎng)絡(luò)(CNN)學(xué)習(xí)模型。

6.根據(jù)權(quán)利要求3所述的圖像解碼方法，其中，生成所述第一預(yù)測數(shù)據(jù)包括：根據(jù)每個(gè)時(shí)間步長的預(yù)定方向，將所述鄰近塊的序列輸入到所述RNN學(xué)習(xí)模型。

7.根據(jù)權(quán)利要求5所述的圖像解碼方法，其中，確定所述鄰近塊包括：

從在所述當(dāng)前塊之前重構(gòu)的塊中確定與所述當(dāng)前塊相鄰的相鄰塊；以及

將位于從所述當(dāng)前塊面向所述相鄰塊的每個(gè)方向上的塊確定為所述鄰近塊。

8.根據(jù)權(quán)利要求7所述的圖像解碼方法，其中，所述輸入包括基于所述當(dāng)前塊的左方向上的塊，沿順時(shí)針方向?qū)⑽挥诿總€(gè)方向上的塊輸入到所述RNN學(xué)習(xí)模型。

9.根據(jù)權(quán)利要求8所述的圖像解碼方法，其中，當(dāng)每個(gè)方向上存在多個(gè)塊時(shí)，位于同一方向上的塊的輸入順序是從距所述當(dāng)前塊最遠(yuǎn)的塊到距所述當(dāng)前塊最近的塊的順序。

10.根據(jù)權(quán)利要求6所述的圖像解碼方法，其中，所述輸入包括：以Z掃描順序?qū)⑺鲟徑鼔K輸入到所述RNN學(xué)習(xí)模型。

11.根據(jù)權(quán)利要求5所述的圖像解碼方法，其中，生成所述第二預(yù)測數(shù)據(jù)包括：通過將所述第一預(yù)測數(shù)據(jù)和與所述當(dāng)前塊相鄰的鄰近重構(gòu)數(shù)據(jù)輸入到所述CNN學(xué)習(xí)模型的卷積層來使用多個(gè)濾波器執(zhí)行卷積運(yùn)算。

12.根據(jù)權(quán)利要求1所述的圖像解碼方法，其中，生成所述預(yù)測數(shù)據(jù)包括：

確定所述當(dāng)前塊所參考的至少一個(gè)參考圖片和至少一個(gè)參考?jí)K位置；以及

通過將所述至少一個(gè)參考圖片和所述至少一個(gè)參考?jí)K位置輸入到所述DNN學(xué)習(xí)模型來生成所述預(yù)測數(shù)據(jù)。

13.根據(jù)權(quán)利要求1所述的圖像解碼方法，其中，從所述比特流的視頻參數(shù)集、序列參數(shù)集和圖片參數(shù)集中的至少一個(gè)獲得關(guān)于所述DNN學(xué)習(xí)模型的結(jié)構(gòu)的信息。