[發(fā)明專利]基于自審視的多單元反饋網(wǎng)絡(luò)模型、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110236817.9
• 申請日: 2021-03-03
• 公開（公告）號: CN113011582A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計）人: 李陽;孫芳蕾;楊旸;汪軍;溫穎
• 申請（專利權(quán)）人: 上海科技大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 李治東

1.一種基于自審視的多單元反饋網(wǎng)絡(luò)模型，其特征在于，所述模型包括：

整合單元，用于將原始數(shù)據(jù)X經(jīng)過干擾所形成的干擾數(shù)據(jù)X1作為輸入；和/或，將新的所述干擾數(shù)據(jù)X1與最新經(jīng)過糾錯的反饋數(shù)據(jù)X2進行整合所得到的整合數(shù)據(jù)X3作為輸入；

編碼單元，用于將干擾數(shù)據(jù)X1或整合數(shù)據(jù)X3進行編碼以輸出特征Z；

控制器，用于判斷是否滿足預(yù)設(shè)條件，以供在不滿足時將特征Z輸入至自審視單元或在滿足時將特征Z輸入至解碼單元；

自審視單元，用于將輸入的特征Z作為輸入并對其進行修復(fù)處理以形成反饋數(shù)據(jù)X2，以供依據(jù)所述特征Z和輸入的干擾數(shù)據(jù)X1恢復(fù)出被干擾的原始數(shù)據(jù)X；

解碼單元，用于對輸入的特征Z進行解碼并輸出結(jié)果Y，以供根據(jù)編碼單元輸出結(jié)構(gòu)進行下游任務(wù)。

2.根據(jù)權(quán)利要求1所述的模型，其特征在于，所述編碼單元包括：三個殘差網(wǎng)絡(luò)塊，每個殘差網(wǎng)絡(luò)塊由四層組成；

其中，包括：兩層用作學(xué)習(xí)匹配的過濾器的卷積層、一層用于避免過度擬合訓(xùn)練數(shù)據(jù)的隨機失活層、及一層用于增強網(wǎng)絡(luò)的擬合能力的線性整流函數(shù)激活層；

所述編碼單元的第一個殘差網(wǎng)絡(luò)塊和第三個殘差網(wǎng)絡(luò)塊中分別添加有一最大池化層，以對前一層的輸出進行下采樣。

3.根據(jù)權(quán)利要求1所述的模型，其特征在于，所述自審視單元包括：四個卷積層和一上下文注意機制；所述上下文注意機制關(guān)注于學(xué)習(xí)從已知的背景中借用或復(fù)制特征信息以優(yōu)化修復(fù)受干擾的部分。

4.根據(jù)權(quán)利要求1所述的模型，其特征在于，所述解碼單元由一個殘差網(wǎng)絡(luò)塊和一個全連接線性層組成。

5.根據(jù)權(quán)利要求1所述的模型，其特征在于，所述模型的損失函數(shù)為：L＝{l₁，l₂，l₃}，具體包括：

1)l₂為所述自審視單元的損失函數(shù)，其為均方根誤差和最小絕對值誤差的聯(lián)合損失函數(shù)，具體公式為：

其中，x為原始數(shù)據(jù)；為干擾數(shù)據(jù)X1或整合數(shù)據(jù)X3；λ為均衡系數(shù)；

2)l₃為所述自審視單元的損失函數(shù)，其為交叉熵損失函數(shù)：

l₃為解碼單元的損失函數(shù)；

其中，C為視頻幀對應(yīng)類別總數(shù)，n為數(shù)據(jù)集數(shù)據(jù)幀數(shù)量，為第i個視頻幀對應(yīng)的類別，log為對數(shù)函數(shù)，y_i第i個視頻幀輸出的預(yù)測類別；

3)l₁為所述解碼單元的損失函數(shù)，其為l₂和l₃之和：

其中，β為平衡系數(shù)。

6.根據(jù)權(quán)利要求1所述的模型，其特征在于，所述預(yù)設(shè)條件為預(yù)設(shè)指標(biāo)參數(shù)或預(yù)設(shè)反饋次數(shù)。

7.根據(jù)權(quán)利要求1所述的模型，其特征在于，所述整合包括：替換、相加、及相乘中任意一種或多種組合。

8.根據(jù)權(quán)利要求1所述的模型，其特征在于，所述下游任務(wù)包括：視頻傳輸、圖像修復(fù)、語音合成、語音識別、及信道均衡中任意一種。

9.一種計算機設(shè)備，其特征在于，所述設(shè)備包括：存儲器、及處理器；所述存儲器用于存儲計算機指令；所述處理器運行計算機指令實現(xiàn)如權(quán)利要求1至8中任意一項所述模型的功能。

10.一種計算機可讀存儲介質(zhì)，其特征在于，存儲有計算機指令，所述計算機指令被運行時執(zhí)行如權(quán)利要求1至8中任一項所述模型的功能。