[發明專利]一種基于多智能體的立體圖像視覺舒適度增強方法及系統

有效

• 申請號: 202210887485.5
• 申請日: 2022-07-26
• 公開（公告）號: CN115209122B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 陳羽中;沈啟金;牛玉貞
• 申請（專利權）人: 福州大學
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/111
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

1.一種基于多智能體的立體圖像視覺舒適度增強方法，其特征在于，包括以下步驟：

步驟A、對舒適的高質量立體圖像對的左、右視圖分別進行不同類型、不同尺度的變換擾動，合成視覺不舒適的立體圖像對，并將原始高質量立體圖像對作為參考圖像對；

步驟B、構建基于注意力機制的立體圖像特征增強融合網絡，所述立體圖像特征增強融合網絡采用多階段結構設計，在不同階段增強融合左、右視圖不同尺度的特征；

步驟C、構建雙智能體的強化學習架構，分別用于預測左視圖和右視圖四個角的連續的偏移量，通過四個角的偏移量計算得到變換矩陣，并將變換矩陣應用于左、右視圖；

步驟D、利用合成的立體圖像對和參考圖像對雙智能體進行訓練；

步驟E、通過訓練后的雙智能體對待調整的立體圖像對進行變換調整，以提高其視覺舒適度；

所述步驟B具體包括以下步驟：

步驟B1、將左、右視圖分別劃分為不重疊的大小相同的圖像塊，然后每個圖像塊經過線性變換轉換成塊嵌入，最后將塊嵌入加上位置編碼得到帶位置信息的塊嵌入；

步驟B2、構建基于自注意力和交叉注意力的雙目特征增強融合模塊；

步驟B3、構建立體圖像特征增強融合網絡，所述立體圖像特征增強融合網絡由步驟B2得到的雙目特征增強融合模塊串行堆疊而成，模塊與模塊之間進行特征降采樣，并將降采樣后的特征圖沿通道維度堆疊起來，從而實現在不同階段增強融合左、右視圖不同尺度的特征；

所述步驟C具體包括以下步驟：

步驟C1、構建雙智能體架構的動作，雙智能體包括負責調整左視圖的左視圖智能體和負責調整右視圖的右視圖智能體，每一個智能體的輸出為8維數值向量，分別對應視圖的左上、左下、右上、右下四個角沿著x軸和y軸移動的偏移量，偏移量會隨著動作的執行而累加，由四個角點的初始位置和四個角點加上累計偏移量的位置計算出單應性矩陣，并將單應性矩陣作用于初始視圖得到變換后的視圖，最終雙智能體的輸出為左視圖智能體的8維數值向量拼接上右視圖智能體的8維數值向量，一共16維度數值向量；

步驟C2、構建雙智能體架構的網絡模型，每個智能體包含1個動作網絡和1個評價網絡，動作網絡由所述立體圖像特征增強融合網絡和3層全連接層構成，最后一個全連接層輸出8個連續的數值，并經過Tanh激活函數，將輸出歸一化到[-1,1]，再將歸一化后的數值乘以放大因子得到最終的偏移量，放大因子為每次動作允許移動的最大像素值；評價網絡由所述立體圖像特征增強融合網絡和3層全連接層構成，最后一個全連接層輸出維度為1的數值，用于預測智能體做出動作后的獎勵；

步驟C3、構建雙智能體架構的獎勵函數，智能體調整視圖后的得分由調整后的圖像與參考圖像的相似度加上舒適度得分，左視圖智能體的得分score_l和右視圖智能體的得分score_r計算公式如下：

其中，I^l為調整后的左視圖，為左視圖I^l對應的參考圖像，I^r為調整后的右視圖，為右視圖I^r對應的參考圖像，I_dis為調整后的左視圖和右視圖生成的視差圖，SSIM(*)為結構相似性度量指標，VC(*)為立體圖像舒適度得分，智能體的獎勵定義為調整后的得分減去調整前的得分，具體公式如下：

reward＝score_after-score_before，

其中，score_after為智能體調整視圖后的得分，score_before為智能體調整視圖前的得分。