[發明專利]基于房間布局的全景新視角生成方法、裝置、設備和介質

有效

• 申請號: 202110461514.7
• 申請日: 2021-04-27
• 公開（公告）號: CN113140034B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 高盛華;許家樂
• 申請（專利權）人: 上海科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06F30/13;G06F30/27;G06N3/0464;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 李治東

1.一種基于房間布局的全景新視角生成方法，其特征在于，所述方法包括：

獲取一原始全景圖像I_s，使用卷積神經網絡RESnet提取出原視角特征圖F_s和深度圖D_s；并使用卷積神經網絡RESnet估計室內場景的房間布局L_s；

指定該原始全景圖像一新視角，利用深度圖D_s計算新視角與原視角之間的像素對應關系，從而將原視角特征圖F_s轉換為新視角特征圖F_t，以及將原視角下的房間布局L_s轉換為新視角下的房間布局L_t；為了處理多個原視角像素對應同一個新視角像素的情況，采用軟z-緩存來處理沖突：

其中，d_max＝10，是一個預先定義的最大深度值；∈是一個很小的常數，用于保證數值穩定，(u_s,v_s)為原視角圖像中的像素坐標，(u_t,v_t)為新視角圖像的像素坐標；

所述將原視角特征圖F_s轉換為新視角特征圖F_t，包括：

依據原視角像素坐標求出其對應的原視角球面坐標；

從深度圖D_s得到該像素對應的點與相機的距離，以此將原視角球面坐標轉換為空間坐標；

將空間坐標減去相機位移，得到新視角下的空間坐標；

將新視角下的空間坐標轉換為新視角下的球面坐標，并將球面坐標變換為新視角圖像的像素坐標；

基于原視角圖像像素與新視角圖像像素的對應關系，將原視角特征圖F_s中的像素重新排列，以得到新視角特征圖F_t；

將新視角特征圖F_t和新視角下的房間布局L_t在信道維度上進行連接，并輸入到一個卷積神經網絡Unet中生成新視角圖像I_t。

2.根據權利要求1所述的方法，其特征在于，所述將原視角下的房間布局L_s轉換為新視角下的房間布局L_t，包括：

假設相機離地面的高度為h，(φ_s,u,θ_s,u)和(φ_s,l,θ_s,l)分別表示在同一條墻壁交線上的上下兩個墻角的球面坐標，則這一對墻角的深度值(d_u，d_l)可以使用以下公式得到：

得出各墻角的深度值后，基于新視角特征圖的視角轉換過程，以得到房間布局的視角轉換過程。

3.根據權利要求1所述的方法，其特征在于，所述原視角特征圖F_s和深度圖D_s的訓練函數如下：

其中，是圖像重建損失，是感知損失，是風格損失，是對抗損失，是房間布局損失。

4.根據權利要求1所述的方法，其特征在于，所述方法包括：

在將原視角特征圖F_s轉換為新視角特征圖F_t時，使用雙線性插值在(u_t,v_t)周圍相鄰的4個像素上進行插值，每個原視角像素會對4個新視角像素產生影響。

5.根據權利要求4所述的方法，其特征在于，所述方法包括：

在將原視角特征圖F_s轉換為新視角特征圖F_t之前，將原視角特征圖F_s上采樣為原來的至少2倍，以增加其像素密度，使其能對應到更多的新視角像素，從而有效減小新視角特征圖上的空洞區域。