[發(fā)明專利]基于房間掃描的平面圖生成

在審

• 申請(qǐng)?zhí)枺?/td>: 202110057602.0
• 申請(qǐng)日: 2021-01-15
• 公開（公告）號(hào): CN113140032A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 湯鋒;A·德漢;康愷;楊洋;廖翊康;趙光玉
• 申請(qǐng)（專利權(quán)）人: 蘋果公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06N3/08;G01C11/02
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 馬明月

本發(fā)明題為“基于房間掃描的平面圖生成”。本文所公開的各種具體實(shí)施包括使用基于傳感器數(shù)據(jù)生成的物理環(huán)境的三維(3D)表示來生成平面圖和測量結(jié)果的設(shè)備、系統(tǒng)和方法。

技術(shù)領(lǐng)域

本公開整體涉及生成物理環(huán)境的二維和三維幾何表示，并且具體地，涉及基于在物理環(huán)境中檢測到的信息生成幾何表示的系統(tǒng)、方法和設(shè)備。

背景技術(shù)

平面圖在設(shè)計(jì)、理解和重塑室內(nèi)空間中起到重要作用。平面圖通常有效地傳達(dá)物理環(huán)境的幾何和語義信息。例如，用戶可查看平面圖以快速識(shí)別房間范圍、墻結(jié)構(gòu)和拐角、門和窗的位置以及對(duì)象布置。

提供基于計(jì)算機(jī)的系統(tǒng)以基于傳感器數(shù)據(jù)自動(dòng)生成平面圖、房間測量或?qū)ο鬁y量存在許多障礙。獲取的關(guān)于物理環(huán)境的傳感器數(shù)據(jù)(例如，圖像和深度數(shù)據(jù))可能是不完整的或不足以提供準(zhǔn)確的平面圖和測量。例如，室內(nèi)環(huán)境通常包含各種對(duì)象，諸如燈、桌子、椅子等，這些對(duì)象可能隱藏了房間的建筑線條，而這些建筑線條可用于檢測房間的邊緣以構(gòu)建準(zhǔn)確的平面圖。又如，圖像和深度數(shù)據(jù)通常缺少語義信息，并且在沒有此類數(shù)據(jù)的情況下生成的平面圖和測量可能缺乏準(zhǔn)確性。

現(xiàn)有技術(shù)不允許使用移動(dòng)設(shè)備自動(dòng)、準(zhǔn)確且有效地生成平面圖和測量，例如，基于用戶在房間內(nèi)走動(dòng)時(shí)捕獲照片或視頻或其他傳感器數(shù)據(jù)。此外，現(xiàn)有技術(shù)可能無法實(shí)時(shí)提供足夠準(zhǔn)確和有效的平面圖和測量(例如，掃描期間立即的平面圖/測量)環(huán)境。

發(fā)明內(nèi)容

本文所公開的各種具體實(shí)施包括使用物理環(huán)境的三維(3D)表示來生成平面圖和測量的設(shè)備、系統(tǒng)和方法。可基于傳感器數(shù)據(jù)諸如圖像和深度傳感器數(shù)據(jù)來生成物理環(huán)境的3D表示。在一些具體實(shí)施中，使用物理環(huán)境的語義標(biāo)記的3D表示來促進(jìn)平面圖和測量的生成。一些具體實(shí)施執(zhí)行物理環(huán)境的3D點(diǎn)云的語義分割和標(biāo)記。本文所公開的技術(shù)可通過使用編碼到二維(2D)側(cè)向域上的語義3D表示(諸如語義標(biāo)記的3D點(diǎn)云)來實(shí)現(xiàn)各種優(yōu)點(diǎn)。在2D側(cè)向域中使用語義3D表示可促進(jìn)有效識(shí)別用于生成平面圖或測量的結(jié)構(gòu)。

能夠以各種格式提供平面圖。在一些具體實(shí)施中，平面圖包括房間的2D俯視圖。平面圖可圖形化地描繪出房間的邊界，例如，通過使用線條或其他圖形特征圖形化地描繪墻、屏障或房間范圍的其他限制。平面圖可圖形化地描繪出墻特征(諸如墻邊緣、門和窗)的位置和幾何形狀。平面圖可圖形化地描繪出房間內(nèi)的對(duì)象，諸如沙發(fā)、桌子、椅子、器具等。平面圖可包括標(biāo)識(shí)房間中的邊界、墻、門、窗和對(duì)象的標(biāo)識(shí)符，例如包括標(biāo)識(shí)此類元素的文本標(biāo)簽或參考數(shù)字。平面圖可包括對(duì)房間中的邊界、墻邊緣、門、窗和對(duì)象的測量的指示，例如包括指定墻的長度、桌子的直徑、窗的寬度等的數(shù)字。

根據(jù)一些具體實(shí)施，基于用戶執(zhí)行房間掃描(例如，移動(dòng)某移動(dòng)設(shè)備以捕獲房間中用戶周圍的圖像和深度數(shù)據(jù))來創(chuàng)建平面圖。一些具體實(shí)施在房間掃描期間提供初步2D平面圖的預(yù)覽。例如，當(dāng)用戶在捕獲傳感器數(shù)據(jù)的房間四處走動(dòng)時(shí)，用戶的設(shè)備可顯示正在生成的初步2D平面圖的預(yù)覽。該預(yù)覽是“實(shí)時(shí)的”，即在用于生成初步2D平面圖的傳感器數(shù)據(jù)流或傳感器數(shù)據(jù)組的持續(xù)捕獲期間提供該預(yù)覽。為了啟用初步2D平面圖的實(shí)時(shí)預(yù)覽，可以(至少初始地)與最終掃描后平面圖不同地生成預(yù)覽。在一個(gè)示例中，在沒有用于生成最終掃描后平面圖的某些后處理技術(shù)(例如，微調(diào)、拐角校正等)的情況下生成預(yù)覽。在其他示例中，實(shí)時(shí)預(yù)覽可使用比用于生成最終掃描后平面圖的計(jì)算密度更低的神經(jīng)網(wǎng)絡(luò)。2D語義數(shù)據(jù)的使用(例如，針對(duì)房間的不同層)還可促進(jìn)使預(yù)覽確定對(duì)于實(shí)時(shí)顯示足夠有效。

在一些具體實(shí)施中，可基于單獨(dú)識(shí)別墻結(jié)構(gòu)(例如，墻邊緣、門和窗)以及檢測對(duì)象(例如，家具、器具等)的邊界框來生成平面圖。可單獨(dú)檢測墻結(jié)構(gòu)和對(duì)象，并且因此使用不同的技術(shù)和結(jié)果進(jìn)行組合以生成表示墻結(jié)構(gòu)和對(duì)象兩者的平面圖。

在一些具體實(shí)施中，平面圖創(chuàng)建過程基于在多個(gè)層中編碼3D語義數(shù)據(jù)的2D表示來識(shí)別墻結(jié)構(gòu)(例如，墻邊緣)。例如，3D語義數(shù)據(jù)可被分割成用于識(shí)別房間的墻邊緣位于何處的多個(gè)水平層。