[發(fā)明專利]一種基于自監(jiān)督學(xué)習(xí)的全景圖像顯著性預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202211344155.8
• 申請日: 2022-10-31
• 公開（公告）號: CN115631121A
• 公開（公告）日: 2023-01-20
• 發(fā)明（設(shè)計）人: 葉茂;鄒子壯
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V10/44;G06V10/74;G06V10/764;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

本發(fā)明公開了一種基于自監(jiān)督學(xué)習(xí)的全景圖像顯著性預(yù)測方法，包括以下步驟：S1、利用無標(biāo)簽ERP圖像集訓(xùn)練編碼器，包括以下子步驟：S11、將ERP圖像投影到球面，得到圖像組C_i和標(biāo)簽P_i；S12、對C_i進行隨機打亂；S13、進行編碼器訓(xùn)練，構(gòu)建全局特征提取網(wǎng)絡(luò)與局部特征提取網(wǎng)絡(luò)，并通過特征融合學(xué)習(xí)這兩者的特征，對全局特征提取網(wǎng)絡(luò)的模型參數(shù)進行更新；S2、進行解碼器訓(xùn)練；S3、將待識別的全景圖像輸入訓(xùn)練好的編碼器中進行特征提取，然后將提取的特征輸入解碼器中，得到最終的顯著性預(yù)測。本發(fā)明利用大量未標(biāo)簽的全景圖像，對顯著性模型中的編碼器進行針對性訓(xùn)練，緩解顯著性標(biāo)簽缺少所帶來模型表現(xiàn)不佳的現(xiàn)象。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種基于自監(jiān)督學(xué)習(xí)的全景圖像顯著性預(yù)測方法。

背景技術(shù)

元宇宙產(chǎn)業(yè)的發(fā)展帶動了全景圖像的制造和消費。相較于傳統(tǒng)的2D圖像，全景圖像可以為用戶提供全視野的景象，帶來沉浸式的體驗。但由于人類的視野范圍有限，導(dǎo)致傳輸過來的全景信息只有一小部分能被實際使用到，造成了碼率上的浪費。而顯著性圖像中的亮斑代表著用戶可能觀看的區(qū)域，使得我們可以根據(jù)顯著性圖像進行碼率分配，到達節(jié)省碼率的目的。在深度學(xué)習(xí)網(wǎng)絡(luò)被應(yīng)用于顯著性預(yù)測之前，研究者將圖片進行分割，根據(jù)手工設(shè)計的特征來模擬人類視覺注意機制。而深度學(xué)習(xí)網(wǎng)絡(luò)通過對標(biāo)簽圖像進行學(xué)習(xí)，選擇出更為適合顯著性預(yù)測的特征，獲得了更為精確且魯棒的結(jié)果。

現(xiàn)階段大多數(shù)的預(yù)測方法都關(guān)注于2D圖像，較長的研究周期使得2D顯著性預(yù)測模型和數(shù)據(jù)集更為完善。但是由于將全景圖像投影到平面后，勢必會帶來的幾何扭曲，導(dǎo)致了直接將2D模型應(yīng)用到全景圖像中的效果并不理想。并且由于發(fā)展的時間較短，全景圖像的顯著性標(biāo)簽極為有限，在不使用2D模型以及數(shù)據(jù)集輔助的情況下，模型很難選擇出適合全景顯著性預(yù)測的特征，來獲得較好的結(jié)果。所以部分方法通過將全景圖像投影成扭曲程度較小的小視野圖像，通過2D模型進行預(yù)測得到結(jié)果后進行多視角融合，得到最終的預(yù)測結(jié)果。這類方法雖然擁有較高的準(zhǔn)確度，但由于預(yù)測面數(shù)較多以及投影需要耗費較多的時間，使得實時預(yù)測變得困難。

公開號為CN14998310A的專利申請公開了一種基于圖像處理的顯著性檢測方法及系統(tǒng)，首先獲取預(yù)處理圖像對應(yīng)的濾波圖像和HSV圖像；基于濾波圖像和HSV圖像的各通道分量圖像，獲取各通道分量圖像的多個超像素塊及各超像素塊的通道等級分布，由超像素塊之間通道等級分布的差異性和超像素塊之間中心點距離得到目標(biāo)特征指標(biāo)；由超像素塊和目標(biāo)特征指標(biāo)建立顯著性指標(biāo)模型，得到第一顯著指標(biāo)值，修正各超像素塊的第一顯著指標(biāo)值得到第二顯著指標(biāo)值；融合各通道分量圖像的第二顯著指標(biāo)值得到超像素塊的目標(biāo)顯著指標(biāo)值。通過計算各通道分量圖像各區(qū)域的顯著指標(biāo)值實現(xiàn)增強處理，完成對預(yù)處理圖像中顯著區(qū)域的檢測提取，提高了檢測精度和效率。該方法設(shè)計了兩個不同的手工特征，來模擬人類注意力機制，由于我們對于該機制的了解有限，導(dǎo)致僅僅通過手工特征來對顯著性區(qū)域進行檢測會在某些場景下有著較為明顯的精度下降，并且全景圖像所擁有的幾何扭曲會導(dǎo)致針對平面設(shè)計的特征失效。

公開號為CN107274419A的專利申請公開了一種基于全局先驗和局部上下文的深度學(xué)習(xí)顯著性檢測方法，首先對彩色圖像和深度圖像進行超像素分割，基于每個超像素的緊湊性、獨特性和背景性等中層特征，獲得每個超像素的全局先驗特征圖，并進一步通過深度學(xué)習(xí)模型，得到全局先驗顯著圖；然后，結(jié)合全局先驗顯著圖和彩色圖像與深度圖像中的局部上下文信息，通過深度學(xué)習(xí)模型，得到初始顯著圖；最后，依據(jù)空間一致性和外觀相似性優(yōu)化初始顯著圖，得到最終顯著圖。應(yīng)用本發(fā)明，解決了傳統(tǒng)顯著性檢測方法無法有效檢測到復(fù)雜背景圖像中的顯著物體，還解決了現(xiàn)有的基于深度學(xué)習(xí)的顯著性檢測方法由于提取出的高層特征存在噪聲而導(dǎo)致誤檢的問題。該方案在傳統(tǒng)方法的基礎(chǔ)上使用卷積神經(jīng)網(wǎng)絡(luò)對顯著性特征進行提取，并且采用了不同的輸入來保證所提取的特征的完整性，雖然有效的提升了預(yù)測的魯棒性，但是其多種模型疊加的結(jié)構(gòu)勢必會導(dǎo)致誤差的積累，從而使得精度下降，并且全景圖像投影圖在不同緯度中像素的長度并不相同，導(dǎo)致針對超像素的設(shè)計失效。