[發明專利]一種基于強化學習的圖像處理方法、裝置及存儲介質

有效

• 申請號: 202011035299.6
• 申請日: 2020-09-27
• 公開（公告）號: CN112200737B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 楊幸潮;章佳杰;鄭云飛;于冰
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08;G06F17/16
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 王媛媛

1.一種基于強化學習的圖像處理方法，其特征在于，所述方法包括：

對目標圖像進行特征提取，得到所述目標圖像的特征圖；

將所述特征圖輸入到基于強化學習的策略網絡中，得到所述目標圖像中各像素點的目標處理方式；其中，所述策略網絡是基于強化學習的方法訓練目標網絡模型得到的；在所述目標網絡模型中，對至少一個指定神經網絡層提取的特征圖的各空間位置進行掩碼打分處理；所述目標網絡模型包括：用于下采樣的下采樣網絡、所述策略網絡、用于輸出圖像質量的期望累積反饋信息的價值網絡以及判別器網絡，所述下采樣網絡中包括多個下采樣層；所述策略網絡 和所述價值網絡中分別包括多個升采樣層；所述指定神經網絡層包括所述下采樣層和/或所述升采樣層；

根據所述目標處理方式對所述目標圖像進行處理，生成所述目標圖像的增強圖像；

其中，所述對至少一個指定神經網絡層提取的特征圖的各空間位置進行掩碼打分處理，包括：

對所述特征圖進行特征重排，得到第一重排矩陣和第二重排矩陣；其中，所述第一重排矩陣和所述第二重排矩陣均與所述特征圖的維度不同；

將所述第一重排矩陣和所述第二重排矩陣相乘，得到所述特征圖的關系矩陣；

將所述關系矩陣和所述特征圖相乘，并通過轉置變換得到與所述特征圖尺寸相同的矩陣；

將與所述特征圖尺寸相同的矩陣與所述特征圖相加，得到調整后的特征圖；

其中，所述對所述特征圖進行特征重排，得到第一重排矩陣和第二重排矩陣，包括：

將所述特征圖與預設卷積核進行卷積計算，得到第一特征矩陣；

對所述第一特征矩陣進行特征重排，得到所述第一重排矩陣和所述第二重排矩陣；

所述將所述關系矩陣和所述特征圖相乘，并通過轉置變換得到與所述特征圖尺寸相同的矩陣，包括：

將所述關系矩陣和所述第一特征矩陣相乘，并通過轉置變換得到第二特征矩陣；

將所述第二特征矩陣與所述預設卷積核進行卷積計算，得到與所述特征圖尺寸相同的矩陣。

2.根據權利要求1所述的方法，其特征在于，若對所述特征圖進行特征重排后，得到至少兩個不同的，與所述特征圖尺寸相同的矩陣；

所述將與所述特征圖尺寸相同的矩陣與所述特征圖相加，得到調整后的特征圖，包括：

將所述特征圖分別與各與所述特征圖尺寸相同的矩陣相加，得到各計算結果；

將各計算結果相加，得到調整后的特征圖。

3.根據權利要求1所述的方法，其特征在于，采用所述指定神經網絡層提取特征圖，包括：

對輸入所述指定神經網絡層的特征圖依次進行多次卷積處理，得到卷積特征；

對所述卷積特征進行批歸一化處理，得到歸一化特征；

利用激活函數對所述歸一化特征進行處理，得到激活特征。