[發(fā)明專利]基于注意力模型和漸進(jìn)式網(wǎng)絡(luò)的圖像編碼失真濾波方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011337864.4
• 申請(qǐng)日: 2020-11-25
• 公開（公告）號(hào): CN112511822B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 金智鵬;翁政魁
• 申請(qǐng)（專利權(quán)）人: 嘉興職業(yè)技術(shù)學(xué)院
• 主分類號(hào): H04N19/117
• 分類號(hào): H04N19/117;H04N19/85;H04N19/136;H04N19/86
• 代理公司: 嘉興啟帆專利代理事務(wù)所(普通合伙) 33253
• 代理人: 程開生

1.一種基于注意力模型和漸進(jìn)式網(wǎng)絡(luò)的圖像編碼失真濾波方法，其特征在于，包括以下步驟：

步驟S1：將輸入的壓縮失真圖x依次經(jīng)過若干級(jí)漸進(jìn)式增強(qiáng)網(wǎng)絡(luò)Si，并且每級(jí)網(wǎng)絡(luò)恢復(fù)相對(duì)應(yīng)子帶的編碼失真，壓縮失真圖x在經(jīng)過每個(gè)網(wǎng)絡(luò)時(shí)先通過濾波卷積，以提取相對(duì)應(yīng)層級(jí)的第一圖像特征數(shù)據(jù)，然后將第一圖像特征數(shù)據(jù)通過雙域融合注意力模型計(jì)算，以獲得相對(duì)應(yīng)層級(jí)的第二圖像特征數(shù)據(jù)，并且將第二圖像特征數(shù)據(jù)通過卷積計(jì)算生成編碼失真，以獲得不同幅度的殘差；

步驟S2：將不同幅度的殘差依次輸入到壓縮失真圖x，以獲得各個(gè)層級(jí)的濾波圖像eⁱ，并且將各層級(jí)的殘差和壓縮失真圖x的漸進(jìn)式累加，網(wǎng)絡(luò)最終輸出的增強(qiáng)圖像e的公式為：

e＝x+∑_iresidue_i；

雙域融合注意力模型具體實(shí)施包括以下步驟：

步驟T1：在空域注意力中，特征圖H×W×C首先重塑為第一特征圖；

步驟T2：將重塑后的第一特征圖與自身轉(zhuǎn)置相乘，以獲得空域任意兩個(gè)像素之間的依賴關(guān)系，即第一注意力特征圖；

步驟T3：在通道域注意力中，特征圖H×W×C首先重塑為第二特征圖；

步驟T4：將重塑后的第二特征圖與自身轉(zhuǎn)置相乘，以獲得通道域任意兩個(gè)特征通道之間的依賴關(guān)系，即第二注意力特征圖；

步驟T5：將第一注意力特征圖和第二注意力特征圖按元素進(jìn)行融合，以獲得空域和通道域上體現(xiàn)全局依賴關(guān)系的輸出特征圖；

步驟S1具體實(shí)施為以下步驟：

步驟S1.1：輸入的壓縮失真圖x經(jīng)過網(wǎng)絡(luò)S1濾波卷積，以獲得圖像特征數(shù)據(jù)TF1，并且經(jīng)過雙域融合注意力模型，以獲得圖像特征數(shù)據(jù)TS1CF和殘差R1，并且將殘差R1加上壓縮失真圖x，以獲得中間層濾波圖像e¹；

步驟S1.2：特征數(shù)據(jù)TS1經(jīng)過網(wǎng)絡(luò)S2濾波卷積，以獲得圖像特征數(shù)據(jù)TF2，并且經(jīng)過雙域融合注意力模型，以獲得圖像特征數(shù)據(jù)TS2CF和殘差R2，并且將殘差R2加上中間層濾波圖像e¹，以獲得中間層濾波圖像e²；

步驟S1.3：特征數(shù)據(jù)TF2經(jīng)過網(wǎng)絡(luò)S3濾波卷積，以獲得圖像特征數(shù)據(jù)TF3，并且經(jīng)過雙域融合注意力模型，以獲得圖像特征數(shù)據(jù)TS3CF和殘差R3，并且將殘差R3加上中間層濾波圖像e²，以獲得中間層濾波圖像e³；

步驟S1.4：特征數(shù)據(jù)TF3經(jīng)過網(wǎng)絡(luò)S4濾波卷積，以獲得圖像特征數(shù)據(jù)TF4，并且經(jīng)過雙域融合注意力模型，以獲得圖像特征數(shù)據(jù)TS4CF和殘差R4，并且將殘差R3加上中間層濾波圖像e³，以獲得最終濾波圖像e；

步驟S1.1具體實(shí)施為以下步驟：

步驟S1.1.1：輸入的壓縮失真圖像x經(jīng)過網(wǎng)絡(luò)S1濾波卷積，提取到圖像特征數(shù)據(jù)TF1；

步驟S1.1.2：圖像特征數(shù)據(jù)TF1經(jīng)過雙域融合注意力模型計(jì)算獲得體現(xiàn)空域和通道域上依賴關(guān)系的圖像特征數(shù)據(jù)TS1CF，并且使用卷積計(jì)算生成編碼失真，以獲得殘差R1；

步驟S1.1.3：將壓縮失真圖像x加上殘差R1，以獲得中間層濾波圖像e¹；

步驟S1.2具體實(shí)施為以下步驟：

步驟S1.2.1：圖像特征數(shù)據(jù)TF1經(jīng)過網(wǎng)絡(luò)S2濾波卷積，提取到圖像特征數(shù)據(jù)TF2；

步驟1.2.2：圖像特征數(shù)據(jù)TF2經(jīng)過雙域融合注意力模型計(jì)算獲得體現(xiàn)空域和通道域上依賴關(guān)系的特征數(shù)據(jù)TS2CF，并且使用卷積計(jì)算生成編碼失真，以獲得殘差R2；

步驟1.2.3：中間層濾波圖像e¹加上殘差R2，以獲得得到進(jìn)一步增強(qiáng)的中間層濾波圖像e²；

步驟S1.3具體實(shí)施為以下步驟：

步驟S1.3.1：圖像特征數(shù)據(jù)TF2經(jīng)過網(wǎng)絡(luò)S3濾波卷積，提取到圖像特征數(shù)據(jù)TF3；

步驟1.3.2：圖像特征數(shù)據(jù)TF3經(jīng)過雙域融合注意力模型計(jì)算獲得體現(xiàn)空域和通道域上依賴關(guān)系的特征數(shù)據(jù)TS3CF，并且使用卷積計(jì)算生成編碼失真，以獲得殘差R3；

步驟1.3.3：中間層濾波圖像e²加上殘差R3，以獲得得到進(jìn)一步增強(qiáng)的中間層濾波圖像e³；

步驟S1.4具體實(shí)施為以下步驟：

步驟S1.4.1：圖像特征數(shù)據(jù)TF3經(jīng)過網(wǎng)絡(luò)S4濾波卷積，提取到圖像特征數(shù)據(jù)TF4；

步驟1.4.2：圖像特征數(shù)據(jù)TF4經(jīng)過雙域融合注意力模型計(jì)算獲得體現(xiàn)空域和通道域上依賴關(guān)系的特征數(shù)據(jù)TS4CF，并且使用卷積計(jì)算生成編碼失真，以獲得殘差R4；

步驟1.4.3：中間層濾波圖像e³加上殘差R4，以獲得得到進(jìn)一步增強(qiáng)的最終濾波圖像e。