[發(fā)明專利]一種基于輔助信息的盲人導(dǎo)航方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110383885.8
• 申請(qǐng)日: 2021-04-09
• 公開（公告）號(hào): CN113091747B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 史業(yè)民;俞益洲;李一鳴;喬昕
• 申請(qǐng)（專利權(quán)）人: 北京深睿博聯(lián)科技有限責(zé)任公司;杭州深睿博聯(lián)科技有限公司
• 主分類號(hào): G01C21/20
• 分類號(hào): G01C21/20
• 代理公司: 北京天方智力知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11719
• 代理人: 路遠(yuǎn)

1.一種基于輔助信息的盲人導(dǎo)航方法，其特征在于，包括以下步驟：

獲取360度范圍內(nèi)N個(gè)不同方向的視頻圖像i_t，t＝1,2,…,N；

利用第一卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻圖像進(jìn)行特征提取，并將提取的特征輸入到第一LSTM進(jìn)行融合，得到圖像融合特征o_t＝LSTM(Conv(i_t))，Conv表示卷積運(yùn)算；

利用第二卷積神經(jīng)網(wǎng)絡(luò)對(duì)o_t進(jìn)行分類，得到L個(gè)可能預(yù)測(cè)方向，每個(gè)可能預(yù)測(cè)方向與一個(gè)c_l的方向相同，l＝1,2,…,L，c_l為分別位于L個(gè)相鄰扇區(qū)內(nèi)使其扇區(qū)內(nèi)softmax(Conv(o_t))最大且最大值大于設(shè)定閾值的o_t，softmax為激勵(lì)函數(shù)；

對(duì)包含輔助導(dǎo)航信息的文本進(jìn)行特征提取、融合，得到文本融合特征，利用交叉注意力機(jī)制對(duì)文本融合特征和圖像融合特征進(jìn)行交叉融合，得到跨模態(tài)融合特征向量f；

將f與{c₁,c₂,…,c_L}關(guān)聯(lián)，選出與輔助導(dǎo)航信息最相符的c_l，1≤l≤L，第l個(gè)可能預(yù)測(cè)方向就是最終的導(dǎo)航預(yù)測(cè)方向。

2.根據(jù)權(quán)利要求1所述的基于輔助信息的盲人導(dǎo)航方法，其特征在于，按以下方法得到跨模態(tài)融合特征向量f：

將包含輔助導(dǎo)航信息的文本輸入到Bert或Word2Vec模型中，得到文本嵌入特征E(w_i)，E表示嵌入模型，w_i為第i個(gè)單詞或漢字，i＝1,2,…,M，M為文本中單詞或漢字的數(shù)量；

將E(w_i)輸入雙向LSTM，得到上下文相關(guān)的文本融合特征表示f_i^T＝BiLSTM(E(w_i))，BiLSTM表示進(jìn)行雙向LSTM運(yùn)算；

利用第一注意力模塊進(jìn)行文本跨模態(tài)融合，通過(guò)圖像特征篩選重要的文本特征

式中，Att表示注意力運(yùn)算，當(dāng)輸入長(zhǎng)度為n的特征序列{f₁,f₂,…,f_n}和特征向量q時(shí)，其輸出為：

α_i＝softmax(f_iW_attq)

式中，W_att為訓(xùn)練參數(shù)；

按以下方法得到：

利用第二注意力模塊進(jìn)行圖像跨模態(tài)融合，通過(guò)文本特征篩選重要的圖像特征f_t^V：

將f_t^V輸入到第二LSTM得到

將和融合后得到：

3.根據(jù)權(quán)利要求2所述的基于輔助信息的盲人導(dǎo)航方法，其特征在于，確定最終導(dǎo)航預(yù)測(cè)方向的方法具體包括：

將f和{c₁,c₂,…,c_L}輸入第三注意力模塊，得到注意力分布為：

α'_i＝softmax(c_iW_attf)，i＝1,2,…,L

如果c_i＝c_l時(shí)α_i'取最大值，則第l個(gè)可能預(yù)測(cè)方向?yàn)樽罱K的導(dǎo)航預(yù)測(cè)方向。

4.根據(jù)權(quán)利要求1所述的基于輔助信息的盲人導(dǎo)航方法，其特征在于，通過(guò)語(yǔ)音模塊獲取包含輔助導(dǎo)航信息的文本。

5.根據(jù)權(quán)利要求1所述的基于輔助信息的盲人導(dǎo)航方法，其特征在于，N＝36，L＝6。