[發(fā)明專(zhuān)利]視覺(jué)定位方法及相關(guān)模型的訓(xùn)練方法及相關(guān)裝置、設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202011110569.5
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN112328715B
• 公開(kāi)（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 鮑虎軍;章國(guó)鋒;余海林;馮友計(jì)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江商湯科技開(kāi)發(fā)有限公司
• 主分類(lèi)號(hào): G06F16/29
• 分類(lèi)號(hào): G06F16/29;G06K9/62;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

1.一種匹配預(yù)測(cè)模型的訓(xùn)練方法，其特征在于，包括：

利用樣本圖像和地圖數(shù)據(jù)，構(gòu)建樣本匹配數(shù)據(jù)，其中，所述樣本匹配數(shù)據(jù)包括若干組點(diǎn)對(duì)以及每組點(diǎn)對(duì)的實(shí)際匹配值，每組點(diǎn)對(duì)的兩個(gè)點(diǎn)分別來(lái)自所述樣本圖像和所述地圖數(shù)據(jù)，所述若干組點(diǎn)對(duì)包括至少一組所包含的圖像點(diǎn)和地圖點(diǎn)之間匹配的匹配點(diǎn)對(duì)；

利用匹配預(yù)測(cè)模型對(duì)所述若干組點(diǎn)對(duì)進(jìn)行預(yù)測(cè)處理，得到所述點(diǎn)對(duì)的預(yù)測(cè)匹配值；

利用所述實(shí)際匹配值和所述預(yù)測(cè)匹配值，確定所述匹配預(yù)測(cè)模型的損失值；

利用所述損失值，調(diào)整所述匹配預(yù)測(cè)模型的參數(shù)。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述利用樣本圖像和地圖數(shù)據(jù)，構(gòu)建樣本匹配數(shù)據(jù)包括：

從所述樣本圖像中獲取若干圖像點(diǎn)，以及從所述地圖數(shù)據(jù)中獲取若干地圖點(diǎn)，以組成若干組點(diǎn)對(duì)；

對(duì)于每組所述匹配點(diǎn)對(duì)：利用所述樣本圖像的位姿參數(shù)將所述地圖點(diǎn)投影至所述樣本圖像所屬的維度中，得到所述地圖點(diǎn)的投影點(diǎn)；并基于所述圖像點(diǎn)和所述投影點(diǎn)之間的差異，確定所述匹配點(diǎn)對(duì)的實(shí)際匹配值。

3.根據(jù)權(quán)利要求2所述的訓(xùn)練方法，其特征在于，所述若干組點(diǎn)對(duì)包括至少一組所包含的圖像點(diǎn)和地圖點(diǎn)之間不匹配的非匹配點(diǎn)對(duì)，所述利用樣本圖像和地圖數(shù)據(jù)，構(gòu)建樣本匹配數(shù)據(jù)還包括：

將所述非匹配點(diǎn)對(duì)的實(shí)際匹配值設(shè)置為預(yù)設(shè)數(shù)值。

4.根據(jù)權(quán)利要求2或3所述的訓(xùn)練方法，其特征在于，所述從所述樣本圖像中獲取若干圖像點(diǎn)，以及從所述地圖數(shù)據(jù)中獲取若干地圖點(diǎn)，以組成若干組點(diǎn)對(duì)，包括：

將所述樣本圖像中的圖像點(diǎn)劃分為第一圖像點(diǎn)和第二圖像點(diǎn)，其中，所述第一圖像點(diǎn)在所述地圖數(shù)據(jù)中存在與其匹配的所述地圖點(diǎn)，所述第二圖像點(diǎn)在所述地圖數(shù)據(jù)中不存在與其匹配的所述地圖點(diǎn)；

對(duì)于每一所述第一圖像點(diǎn)，從所述地圖數(shù)據(jù)中分配若干第一地圖點(diǎn)，并分別將所述第一圖像點(diǎn)與每一所述第一地圖點(diǎn)作為一第一點(diǎn)對(duì)，其中，所述第一地圖點(diǎn)中包含與所述第一圖像點(diǎn)匹配的所述地圖點(diǎn)；以及，

對(duì)于每一所述第二圖像點(diǎn)，從所述地圖數(shù)據(jù)中分配若干第二地圖點(diǎn)，并分別將所述第二圖像點(diǎn)與每一所述第二地圖點(diǎn)作為一第二點(diǎn)對(duì)；

從所述第一點(diǎn)對(duì)和所述第二點(diǎn)對(duì)中抽取得到若干組點(diǎn)對(duì)。

5.根據(jù)權(quán)利要求2或3所述的訓(xùn)練方法，其特征在于，所述利用所述樣本圖像的位姿參數(shù)將所述地圖點(diǎn)投影至所述樣本圖像所屬的維度中，得到所述地圖點(diǎn)的投影點(diǎn)包括：

基于所述匹配點(diǎn)對(duì)，計(jì)算所述樣本圖像的位姿參數(shù)；

利用所述位姿參數(shù)將所述地圖點(diǎn)投影至所述樣本圖像所屬的維度中，得到所述地圖點(diǎn)的投影點(diǎn)；

和/或，所述基于所述圖像點(diǎn)和所述投影點(diǎn)之間的差異，確定所述匹配點(diǎn)對(duì)的實(shí)際匹配值包括：

利用預(yù)設(shè)概率分布函數(shù)將所述差異轉(zhuǎn)換為概率密度值，作為所述匹配點(diǎn)對(duì)的實(shí)際匹配值。

6.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述樣本匹配數(shù)據(jù)為二分圖，所述二分圖包括若干組點(diǎn)對(duì)和連接每組點(diǎn)對(duì)的連接邊，且所述連接邊標(biāo)注有對(duì)應(yīng)所述點(diǎn)對(duì)的實(shí)際匹配值；所述匹配預(yù)測(cè)模型包括與所述樣本圖像所屬的維度對(duì)應(yīng)的第一點(diǎn)特征提取子模型、與所述地圖數(shù)據(jù)所屬的維度對(duì)應(yīng)的第二點(diǎn)特征提取子模型以及邊特征提取子模型；

所述利用匹配預(yù)測(cè)模型對(duì)所述若干組點(diǎn)對(duì)進(jìn)行預(yù)測(cè)處理，得到所述點(diǎn)對(duì)的預(yù)測(cè)匹配值包括：

分別利用所述第一點(diǎn)特征提取子模型和所述第二點(diǎn)特征提取子模型對(duì)所述二分圖進(jìn)行特征提取，得到第一特征和第二特征；

利用所述邊特征提取子模型對(duì)所述第一特征和所述第二特征進(jìn)行特征提取，得到第三特征；

利用所述第三特征，得到所述連接邊對(duì)應(yīng)的點(diǎn)對(duì)的預(yù)測(cè)匹配值。

7.根據(jù)權(quán)利要求6所述的訓(xùn)練方法，其特征在于，所述第一點(diǎn)特征提取子模型和所述第二點(diǎn)特征提取子模型的結(jié)構(gòu)為以下任一種：包括至少一個(gè)殘差塊，包括至少一個(gè)殘差塊和至少一個(gè)空間變換網(wǎng)絡(luò)；

和/或，所述邊特征提取子模型包括至少一個(gè)殘差塊。