[發明專利]基于房間布局的全景新視角生成方法、裝置、設備和介質

有效

• 申請號: 202110461514.7
• 申請日: 2021-04-27
• 公開（公告）號: CN113140034B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 高盛華;許家樂
• 申請（專利權）人: 上海科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06F30/13;G06F30/27;G06N3/0464;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 李治東

本申請提供的一種基于房間布局的全景新視角生成方法、裝置、設備和介質，通過獲取一原始全景圖像Isubgt;s/subgt;，使用一卷積神經網絡提取出原視角特征圖Fsubgt;s/subgt;和深度圖Dsubgt;s/subgt;；并使用另一卷積神經網絡估計室內場景的房間布局Lsubgt;s/subgt;；指定該原始全景圖像一新視角，利用深度圖Dsubgt;s/subgt;計算新視角與原視角之間的像素對應關系，從而將原視角特征圖Fsubgt;s/subgt;轉換為新視角特征圖Fsubgt;t/subgt;，以及將原視角下的房間布局Lsubgt;s/subgt;轉換為新視角下的房間布局Lsubgt;t/subgt;；將新視角特征圖Fsubgt;t/subgt;和新視角下的房間布局Lsubgt;t/subgt;在信道維度上進行連接，并輸入到一個卷積神經網絡中生成新視角圖像Isubgt;t/subgt;。本申請可以實現全景新視角的生成，能夠較好地保持房間布局結構，具有更好的圖像質量，并且性能優于現有的方法。

技術領域

本發明涉及場景新視角生成技術領域，特別是涉及一種基于房間布局的全景新視角生成方法、裝置、設備和介質。

背景技術

現有的新視角生成方法往往基于深度學習，并且可分為以下幾類：第一類方法思路較為簡單，它將新視角生成直接看作圖像生成問題，訓練神經網絡使用常規的透視圖像作為輸入，直接輸出新視角圖像。而，由于透視圖像視野范圍的有限性，新視角的生成只能限制在一個相對較小的視角變化范圍內，缺少原視角與新視角之間的關系，并在變化幅度很大時性能下降嚴重，這類方法效果較差。第二類方法則更進一步，首先使用神經網絡估計出原視角與新視角之間的像素對應關系，例如外觀流(appearance?flow)等，然后使用該關系對原圖像進行像素重新排列，從而間接完成新視角圖像的生成，但是其僅有二維空間的對應關系，而缺少3D空間的關聯關系。第三類方法則采用“建模——渲染”框架，首先使用輸入圖像顯式地對場景進行建模，然后在新視角下渲染場景模型來生成圖像，場景的建模可以使用光場、點云、深度分層圖像、多平面圖像等來實現。由于具備對場景進行建模的能力，這類方法的效果最好，也是目前研究的主流。

通常對一張室內場景的全景圖像來生成該場景在新視角下的全景圖像，需要將較大的視角變化考慮在內，當視角變化較大時，由于新視角中在原視角下不可見的區域較大，因此很難保證生成圖像的質量。

為此，本申請則基于第三類方法來解決這一問題。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供一種基于房間布局的全景新視角生成方法、裝置、設備和介質，以解決現有全景新視角生成的問題。

為實現上述目的及其他相關目的，本申請提供一種基于房間布局的全景新視角生成方法，所述方法包括：獲取一原始全景圖像I_s，使用一卷積神經網絡提取出原視角特征圖F_s和深度圖D_s；并使用另一卷積神經網絡估計室內場景的房間布局L_s；指定該原始全景圖像一新視角，利用深度圖D_s計算新視角與原視角之間的像素對應關系，從而將原視角特征圖F_s轉換為新視角特征圖F_t，以及將原視角下的房間布局L_s轉換為新視角下的房間布局L_t；將新視角特征圖F_t和新視角下的房間布局L_t在信道維度上進行連接，并輸入到一個卷積神經網絡中生成新視角圖像I_t。