[發(fā)明專利]基于條件生成對(duì)抗網(wǎng)絡(luò)的室內(nèi)場景布局估計(jì)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811049134.7
• 申請(qǐng)日: 2018-09-10
• 公開（公告）號(hào): CN109360232B
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 劉天亮;曹旦旦;戴修斌
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06T7/50
• 分類號(hào): G06T7/50;G06T7/13;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種基于條件生成對(duì)抗網(wǎng)絡(luò)的室內(nèi)場景布局估計(jì)方法，其特征在于，包括以下步驟：

(1)運(yùn)用訓(xùn)練集訓(xùn)練條件生成對(duì)抗網(wǎng)絡(luò)，訓(xùn)練集中樣本的格式為AB模式，即室內(nèi)場景圖像和其對(duì)應(yīng)的邊緣圖并行排列，所述條件生成對(duì)抗網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，室內(nèi)場景圖像作為生成網(wǎng)絡(luò)的輸入，由生成網(wǎng)絡(luò)生成的室內(nèi)場景圖像對(duì)應(yīng)的邊緣圖作為判別網(wǎng)絡(luò)的輸入；所述生成網(wǎng)絡(luò)輸出的邊緣圖與輸入的室內(nèi)場景圖像尺寸相同；

(2)將待測(cè)的室內(nèi)場景圖像輸入訓(xùn)練完成的條件生成對(duì)抗網(wǎng)絡(luò)，得到預(yù)測(cè)布局邊緣圖；

(3)估計(jì)待測(cè)的室內(nèi)場景圖像中的位于垂直方向和水平方向上的三個(gè)消失點(diǎn)，對(duì)于每個(gè)消失點(diǎn)等角度間隔的引出射線生成若干扇形區(qū)域；

(4)對(duì)于每個(gè)消失點(diǎn)，根據(jù)預(yù)測(cè)布局邊緣圖中對(duì)應(yīng)扇形區(qū)域的平均邊緣強(qiáng)度最大準(zhǔn)則和消失點(diǎn)類型選擇一或兩個(gè)扇形區(qū)域作為采樣扇形區(qū)域；

(5)對(duì)預(yù)測(cè)布局邊緣圖加高斯模糊，然后對(duì)采樣扇形區(qū)域進(jìn)行采樣，由在采樣扇形區(qū)域中從三個(gè)消失點(diǎn)引出的射線兩兩相交生成一系列布局候選項(xiàng)；

(6)計(jì)算各布局候選項(xiàng)與預(yù)測(cè)布局邊緣圖的相似度，并選出與預(yù)測(cè)布局邊緣圖最為相似的布局估計(jì)作為最終的布局估計(jì)結(jié)果；

所述條件生成對(duì)抗網(wǎng)絡(luò)中生成網(wǎng)絡(luò)的反卷積部分由兩個(gè)分支組成，第一個(gè)分支包括八層反卷積層，用于生成預(yù)測(cè)布局邊緣圖，第二個(gè)分支包括兩層反卷積層，用于監(jiān)督第一個(gè)分支工作，由第一個(gè)分支的第四層的輸出結(jié)果經(jīng)過兩層反卷積后將輸出結(jié)果大小設(shè)置成與預(yù)測(cè)布局邊緣圖的大小一致，然后兩個(gè)結(jié)果一同輸出；

所述條件生成對(duì)抗網(wǎng)絡(luò)中生成網(wǎng)絡(luò)的損失函數(shù)為：

其中，

其中，G^*表示生成網(wǎng)絡(luò)的損失函數(shù)，表示最大化判別網(wǎng)絡(luò)D中輸入數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布之間的差異，最小化生成網(wǎng)絡(luò)G的輸出數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布之間的差異，x表示輸入的室內(nèi)場景圖像，z表示輸入的隨機(jī)噪聲，x～p_x(x)表示x的數(shù)據(jù)分布，x,y～p_data(x,y)表示x和y的聯(lián)合數(shù)據(jù)分布，z～p_z(z)表示z的數(shù)據(jù)分布，G(x,z)表示生成網(wǎng)絡(luò)的輸出，y表示對(duì)應(yīng)于x的真實(shí)邊緣圖，V_cGAN(G,D)表示對(duì)抗損失函數(shù)，E表示求歸一化期望值，V_L2(G)表示L2損失函數(shù)，λ表示L2損失函數(shù)的權(quán)重，||·||符號(hào)表示取絕對(duì)值運(yùn)算，V_L2(G_d4)表示生成網(wǎng)絡(luò)中監(jiān)督部分的L2損失函數(shù)，η表示該網(wǎng)絡(luò)部分的L2損失的權(quán)重，G_d4表示生成網(wǎng)絡(luò)中反卷積部分第四層的輸出結(jié)果通過兩層反卷積網(wǎng)絡(luò)后的輸出結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于條件生成對(duì)抗網(wǎng)絡(luò)的室內(nèi)場景布局估計(jì)方法，其特征在于，步驟(3)中消失點(diǎn)的估計(jì)包括：

(3.1)檢測(cè)出室內(nèi)場景圖像中滿足一定長度要求的線段，將檢測(cè)出的線段集合記為{l_i}，1≤i≤n，n為線段的數(shù)目，P_k為{l_i}中線段兩兩相交的形成第K個(gè)交點(diǎn)，即為候選消失點(diǎn)，1≤k≤K，K為{l_i}中線段兩兩相交的形成的交點(diǎn)數(shù)目，則第i個(gè)線段l_i對(duì)P_k的得分貢獻(xiàn)為：

其中，α表示l_i與P_k和l_i中點(diǎn)的連線之間的夾角，σ為魯棒性閾值，表示線段的長度；

(3.2)計(jì)算每條線段對(duì)候選消失點(diǎn)P_k的投票得分，得到P_k的貢獻(xiàn)值

(3.3)對(duì)所有K個(gè)候選消失點(diǎn)的投票得分做統(tǒng)計(jì)，其中得分最高的為豎直方向的消失點(diǎn)VP₁，然后基于消失點(diǎn)的正交性準(zhǔn)則：＜VP₁,VP₂＞＝0、＜VP₁,VP₃＞＝0、＜VP₂,VP₃＞＝0，獲得投票得分最高的一組消失點(diǎn)為水平方向的遠(yuǎn)消失點(diǎn)VP₂與水平方向的近消失點(diǎn)VP₃。