[發明專利]基于自審視的多單元反饋網絡模型、設備和存儲介質

在審

• 申請號: 202110236817.9
• 申請日: 2021-03-03
• 公開（公告）號: CN113011582A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 李陽;孫芳蕾;楊旸;汪軍;溫穎
• 申請（專利權）人: 上海科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 李治東

1.一種基于自審視的多單元反饋網絡模型，其特征在于，所述模型包括：

整合單元，用于將原始數據X經過干擾所形成的干擾數據X1作為輸入；和/或，將新的所述干擾數據X1與最新經過糾錯的反饋數據X2進行整合所得到的整合數據X3作為輸入；

編碼單元，用于將干擾數據X1或整合數據X3進行編碼以輸出特征Z；

控制器，用于判斷是否滿足預設條件，以供在不滿足時將特征Z輸入至自審視單元或在滿足時將特征Z輸入至解碼單元；

自審視單元，用于將輸入的特征Z作為輸入并對其進行修復處理以形成反饋數據X2，以供依據所述特征Z和輸入的干擾數據X1恢復出被干擾的原始數據X；

解碼單元，用于對輸入的特征Z進行解碼并輸出結果Y，以供根據編碼單元輸出結構進行下游任務。

2.根據權利要求1所述的模型，其特征在于，所述編碼單元包括：三個殘差網絡塊，每個殘差網絡塊由四層組成；

其中，包括：兩層用作學習匹配的過濾器的卷積層、一層用于避免過度擬合訓練數據的隨機失活層、及一層用于增強網絡的擬合能力的線性整流函數激活層；

所述編碼單元的第一個殘差網絡塊和第三個殘差網絡塊中分別添加有一最大池化層，以對前一層的輸出進行下采樣。

3.根據權利要求1所述的模型，其特征在于，所述自審視單元包括：四個卷積層和一上下文注意機制；所述上下文注意機制關注于學習從已知的背景中借用或復制特征信息以優化修復受干擾的部分。

4.根據權利要求1所述的模型，其特征在于，所述解碼單元由一個殘差網絡塊和一個全連接線性層組成。

5.根據權利要求1所述的模型，其特征在于，所述模型的損失函數為：L＝{l₁，l₂，l₃}，具體包括：

1)l₂為所述自審視單元的損失函數，其為均方根誤差和最小絕對值誤差的聯合損失函數，具體公式為：

其中，x為原始數據；為干擾數據X1或整合數據X3；λ為均衡系數；

2)l₃為所述自審視單元的損失函數，其為交叉熵損失函數：

l₃為解碼單元的損失函數；

其中，C為視頻幀對應類別總數，n為數據集數據幀數量，為第i個視頻幀對應的類別，log為對數函數，y_i第i個視頻幀輸出的預測類別；

3)l₁為所述解碼單元的損失函數，其為l₂和l₃之和：

其中，β為平衡系數。

6.根據權利要求1所述的模型，其特征在于，所述預設條件為預設指標參數或預設反饋次數。

7.根據權利要求1所述的模型，其特征在于，所述整合包括：替換、相加、及相乘中任意一種或多種組合。

8.根據權利要求1所述的模型，其特征在于，所述下游任務包括：視頻傳輸、圖像修復、語音合成、語音識別、及信道均衡中任意一種。

9.一種計算機設備，其特征在于，所述設備包括：存儲器、及處理器；所述存儲器用于存儲計算機指令；所述處理器運行計算機指令實現如權利要求1至8中任意一項所述模型的功能。

10.一種計算機可讀存儲介質，其特征在于，存儲有計算機指令，所述計算機指令被運行時執行如權利要求1至8中任一項所述模型的功能。