[發明專利]一種流形結構保持的360度全景圖像的高效編輯擴散方法

有效

• 申請號: 202010691142.2
• 申請日: 2020-07-17
• 公開（公告）號: CN111932658B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 張赟
• 申請（專利權）人: 浙江傳媒學院
• 主分類號: G06T11/40
• 分類號: G06T11/40
• 代理公司: 杭州天昊專利代理事務所(特殊普通合伙) 33283
• 代理人: 董世博

本發明公開了一種流形結構保持的360度全景圖像的編輯擴散方法，包括：S1，將平面圖像映射到球面坐標；S2，建立360度全景圖像的球面流形；S3，基于球面流形保持的編輯擴散；S4，基于多分辨率的高效編輯擴散。該方法能夠將用戶的簡單筆畫上的編輯操作快速準確地在球面上進行傳播，實現360度全景圖的交互式高效編輯。

技術領域

本發明屬于圖像編輯和虛擬現實技術領域，具體涉及一種流形結構保持的360度全景圖像的高效編輯擴散方法。

背景技術

編輯擴散最早由An和Pellacini提出，該方法提出了一種簡單直觀的交互手段用于圖像編輯，用戶只需在圖像上添加簡單筆畫表明編輯意圖，算法就可以自動地將編輯擴散到整個圖像，其核心是基于用戶編輯以及像素間的相似性構建能量方程，通過求解線性方程組得到編輯結果。為了提升編輯擴散的計算速度，學者們先后提出了基于K-D樹、四叉樹、RBF等插值方法。為了提升編輯的視覺效果，Ma等人將反走樣方法應用于編輯擴散，能夠改善先前編輯擴散在圖像邊緣顏色的錯誤混合。Chen等人提出了基于流形保持的編輯擴散方法，該方法將每個像素表示成近鄰像素的線性組合，能夠生成高質量的編輯擴散結果，并且從根本上解決了顏色混合問題。

近年來，基于機器學習的方法開始廣泛應用于圖像編輯。Oh等人將編輯擴散問題構造成分類問題并能夠通過SVM高效求解。Chen等人提出了使用稀疏字典學習方法能夠靈活地實現圖像上色并保持圖像內部的顏色特征。Endo等人對用戶的編輯筆畫進行深度神經網絡訓練，并通過訓練的模型來決定編輯擴散的結果。

360度全景圖像能夠展示360度場景的內容，目前廣泛應用于虛擬現實。用戶使用可穿戴設備如Oculus Rift，HTC Vive等，通過拖拽或轉動頭部實現交互式瀏覽。如果直接將以上普通圖像編輯的方法直接應用于全景圖像會引起諸多問題，原因在于360度全景圖通常定義于球面且包含更寬廣視角下的圖像內容，直接應用2D圖像的編輯方法難以保證左右邊界的連續性、球面兩極點附近的正常擴散以及編輯擴散的計算效率。

為了較好地實現360度全景圖像的編輯擴散，需要充分考慮其球面的幾何屬性，重新在球面上定義各像素的流形結構，從而實現編輯筆畫在球面上的正確傳播。

發明內容

本發明要解決的技術問題是提供一種流形結構保持的360度全景圖像的高效編輯擴散方法，該方法在球面上定義流形結構，通過構建全局能量優化實現高效的編輯傳播。

為了解決上述技術問題，本發明采用如下技術方案：

一種流形結構保持的360度全景圖像的高效編輯擴散方法，包括以下步驟：

S1，將平面圖像映射到球面坐標，具體為，以等效矩形的圖像為輸入，提取出其顏色和位置信息，然后將平面上的像素點映射到球面并轉換成對應的經緯度，并進一步轉換為單位球體上的3D坐標；

S2，建立360度全景圖像的球面流形，具體為，對每個像素，用顏色和3D坐標組成的高維特征向量表示其特征，并通過高維向量之間的歐氏距離度量像素間的相似度，然后基于該度量進一步尋找每個像素的K個最近鄰，最后通過求解基于局部線性嵌入約束的優化得到K近鄰的相應權值，從而將任意一個像素表示為K個鄰近像素的線性組合；

S3，基于球面流形保持的編輯擴散，具體為，給定用戶編輯的筆畫和相應的編輯參數，建立能量優化函數實現編輯擴散，其約束為保持用戶筆畫上的編輯和每個像素的流形結構；

S4，基于多分辨率的高效編輯擴散，具體為，對于超高分辨率的全景圖輸入，首先將圖像進行下采樣，并在下采樣的圖像上進行編輯擴散，然后對編輯擴散的結果進行上采樣，并通過導向性濾波進行編輯結果提升，最后結合原輸入圖像渲染出高質量編輯結果。

優選地，步驟2所述的流形結構中，近鄰數量根據像素與近鄰的相似度和球面坐標上該像素的緯度自適應調整，公式如下：