[發明專利]一種基于多智能體的立體圖像視覺舒適度增強方法及系統

有效

• 申請號: 202210887485.5
• 申請日: 2022-07-26
• 公開（公告）號: CN115209122B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 陳羽中;沈啟金;牛玉貞
• 申請（專利權）人: 福州大學
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/111
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

本發明涉及一種基于多智能體的立體圖像視覺舒適度增強方法及系統，該方法包括：對高質量立體圖像對的左、右視圖分別進行變換擾動，合成視覺不舒適的立體圖像對，并將原始高質量立體圖像對作為參考圖像對；構建基于注意力機制的立體圖像特征增強融合網絡，該網絡采用多階段結構設計，在不同階段增強融合左、右視圖不同尺度的特征；構建雙智能體的強化學習架構，分別用于預測左視圖和右視圖四個角的偏移量，進而計算得到變換矩陣，并將變換矩陣應用于左、右視圖；利用合成的立體圖像對和參考圖像對雙智能體進行訓練；通過訓練后的雙智能體對待調整的立體圖像對進行變換調整，以提高其視覺舒適度。該方法及系統能夠顯著增強立體圖像的視覺舒適度。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于多智能體的立體圖像視覺舒適度增強方法及系統。

背景技術

立體圖像的出現將二維圖像的信息呈現方式拓展了一個維度，不僅改變了用戶瀏覽信息的方式，還帶給用戶沉浸式的體驗。然而，不舒適的立體圖像會引起眩暈、惡心等生理反應，影響用戶的觀看體驗，甚至危害用戶的健康。因此，立體圖像的視覺舒適度對立體圖像的應用和推廣至關重要，如何增強立體圖像的視覺舒適度已經成為學界和工業界越來越關注的熱點之一。

垂直視差和水平視差是影響三維立體圖像視覺舒適度的關鍵因素，傳統的立體圖像舒適度增強方法主要分為立體校正和視差調整。立體校正通過使用變換矩陣使左和右視圖的極線滿足幾何約束，從而消除垂直視差。根據是否需要使用相機參數又可將立體校正方法分為需標定的立體校正和無需標定的立體校正。視差調整方法可分為視差平移和視差映射，視差平移通過移動零視差平面以緩解輻輳-調節沖突，然后根據最優零視差平面調整視差范圍。視差映射通過線性或者非線性的方式將視差重新映射到舒適的范圍內，從而增強立體圖像的視覺舒適度。

除了傳統的立體圖像舒適度增強方法外，近幾年出現了利用單智能體強化學習增強立體圖像視覺舒適度的方法，Kim等人利用強化學習方式對左視圖進行水平左右移動，從而調整左和右視圖的視差以增強立體圖像的視覺舒適度和深度感知。Niu等人同時考慮視差調整和立體變換，通過單智能體強化學習的方式選擇預先設置好的平移、旋轉、透視動作，對左視圖進行變換以增強立體圖像的視覺舒適度。Chen等人采用單智能體強化學習的方式選擇預先訓練好的可以預測連續變換的變換模型，對左和右視圖進行變換以提高立體圖像的視覺舒適度。

視差是由左和右視圖共同決定的，即左視圖的變換應考慮到右視圖的變換，反之亦然。然而，已有基于單智能體的方法無法考慮到左和右視圖變換之間的配合，而在由左視圖智能體和右視圖智能體構成的雙智能體體系中，各個智能體內部具有自治性，同時左和右視圖智能體之間又具有協調性，極大地提高問題求解效率。為實現左和右視圖智能體協同合作，首先要解決左和右視圖的特征之間的交互以感知彼此的視圖信息。已有的立體圖像視覺舒適度增強方法主要使用骨干網絡分別提取左和右視圖的特征，再將左和右視圖特征輸入決策網絡進行動作決策，無法探索左和右視圖在低層特征之間的聯系。針對這些問題，迫切需要設計一個有效的立體圖像視覺舒適度增強方法。

發明內容

本發明的目的在于提供一種基于多智能體的立體圖像視覺舒適度增強方法及系統，該方法及系統能夠顯著增強立體圖像的視覺舒適度。

為實現上述目的，本發明采用的技術方案是：一種基于多智能體的立體圖像視覺舒適度增強方法，包括以下步驟：

步驟A、對舒適的高質量立體圖像對的左、右視圖分別進行不同類型、不同尺度的變換擾動，合成視覺不舒適的立體圖像對，并將原始高質量立體圖像對作為參考圖像對；

步驟B、構建基于注意力機制的立體圖像特征增強融合網絡，所述立體圖像特征增強融合網絡采用多階段結構設計，在不同階段增強融合左、右視圖不同尺度的特征；

步驟C、構建雙智能體的強化學習架構，分別用于預測左視圖和右視圖四個角的連續的偏移量，通過四個角的偏移量計算得到變換矩陣，并將變換矩陣應用于左、右視圖；