[發(fā)明專利]一種基于關(guān)鍵點(diǎn)匹配的室內(nèi)場(chǎng)景點(diǎn)云檢索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211275341.0
• 申請(qǐng)日: 2022-10-18
• 公開（公告）號(hào): CN115641460A
• 公開（公告）日: 2023-01-24
• 發(fā)明（設(shè)計(jì)）人: 顏成鋼;王濤;孫垚棋;朱尊杰;高宇涵;陳楚翹;王鴻奎;殷海兵;胡冀;張繼勇;李宗鵬
• 申請(qǐng)（專利權(quán)）人: 杭電（麗水）研究院有限公司
• 主分類號(hào): G06V10/75
• 分類號(hào): G06V10/75;G06V10/774;G06V10/80;G06V10/74;G06V10/44;G06T7/00;G06F16/583;G06V10/82
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于關(guān)鍵點(diǎn)匹配的室內(nèi)場(chǎng)景點(diǎn)云檢索方法，其特征在于，步驟如下：

步驟一：從候選點(diǎn)云中取出一個(gè)點(diǎn)云作為參考點(diǎn)云，將其和被檢索點(diǎn)云即query點(diǎn)云一起作為模型的輸入；

步驟二：點(diǎn)云關(guān)鍵點(diǎn)獲??；

步驟三：點(diǎn)云結(jié)構(gòu)信息融合；

步驟四：關(guān)鍵點(diǎn)匹配；

步驟五：計(jì)算相似度分?jǐn)?shù)；

步驟六：用相似度分?jǐn)?shù)檢索。

2.根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵點(diǎn)匹配的室內(nèi)場(chǎng)景點(diǎn)云檢索方法，其特征在于，步驟二具體方法如下：

采用KPConv的Encoder部分分別對(duì)兩個(gè)點(diǎn)云進(jìn)行體素下采樣；KPConv對(duì)點(diǎn)云下采樣的同時(shí)，會(huì)提取下采樣后的點(diǎn)的周圍的局部結(jié)構(gòu)特征，因此將這些點(diǎn)稱作關(guān)鍵點(diǎn)。

3.根據(jù)權(quán)利要求2所述的一種基于關(guān)鍵點(diǎn)匹配的室內(nèi)場(chǎng)景點(diǎn)云檢索方法，其特征在于，步驟三具體方法如下：

步驟二得到的query點(diǎn)云的關(guān)鍵點(diǎn)僅包含了點(diǎn)云自身的結(jié)構(gòu)信息，因而和參考點(diǎn)云對(duì)應(yīng)的關(guān)鍵點(diǎn)的特征是不相似的；為了使位于query點(diǎn)云和參考點(diǎn)云中相同結(jié)構(gòu)的部分中的兩組關(guān)鍵點(diǎn)的特征相似，需要融合兩組關(guān)鍵點(diǎn)包含的結(jié)構(gòu)信息；使用Transformer進(jìn)行兩個(gè)點(diǎn)云結(jié)構(gòu)信息的融合。

4.根據(jù)權(quán)利要求3所述的一種基于關(guān)鍵點(diǎn)匹配的室內(nèi)場(chǎng)景點(diǎn)云檢索方法，其特征在于，步驟四具體方法如下：

采用Sinkhorn算法來(lái)解決關(guān)鍵點(diǎn)匹配問題；首先使用經(jīng)過步驟三處理后的兩組關(guān)鍵點(diǎn)的特征計(jì)算內(nèi)積來(lái)得到初始的匹配矩陣；給初始的匹配矩陣的最右側(cè)增加了一列，最底側(cè)增加了一行，并用一個(gè)可學(xué)習(xí)的參數(shù)來(lái)填充；這樣，對(duì)于無(wú)法被匹配的關(guān)鍵點(diǎn)，能夠通過Sinkhorn算法將其匹配到最后一行或最后一列；迭代Sinkhorn算法100次，最終輸出一個(gè)分配矩陣，去掉這個(gè)矩陣的最后一行和最后一列，得到最終的分配矩陣。

5.根據(jù)權(quán)利要求4所述的一種基于關(guān)鍵點(diǎn)匹配的室內(nèi)場(chǎng)景點(diǎn)云檢索方法，其特征在于，步驟五具體方法如下：

取出步驟四輸出的分配矩陣每一行的最大值，構(gòu)成一個(gè)向量；將這個(gè)向量中小于0.15的值置為0；最后，對(duì)這個(gè)向量中的所有值進(jìn)行加和，得到最終的兩個(gè)點(diǎn)云的相似度分?jǐn)?shù)。

6.根據(jù)權(quán)利要求5所述的一種基于關(guān)鍵點(diǎn)匹配的室內(nèi)場(chǎng)景點(diǎn)云檢索方法，其特征在于，步驟六具體方法如下：

對(duì)于每一個(gè)候選點(diǎn)云，都用步驟二到步驟五計(jì)算出query點(diǎn)云和它的相似度，得到N個(gè)相似度分?jǐn)?shù)；根據(jù)從大到小對(duì)相似度分?jǐn)?shù)進(jìn)行排序，選出前K個(gè)相似度分?jǐn)?shù)對(duì)應(yīng)的候選點(diǎn)云作為被檢索到的點(diǎn)云。