[發(fā)明專利]視覺語音導(dǎo)航方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110851455.4
• 申請日: 2021-07-27
• 公開（公告）號: CN113670310A
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計）人: 李偉;左星星;楊睿剛
• 申請（專利權(quán)）人: 際絡(luò)科技（上海）有限公司
• 主分類號: G01C21/20
• 分類號: G01C21/20;G10L15/26;G10L15/18;G10L15/16
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王宇楊

1.一種視覺語音導(dǎo)航方法，其特征在于，包括：

接收語義導(dǎo)航指令，所述語義導(dǎo)航指令包括行進方向、至少一個目標路徑節(jié)點和目的地；

按照所述行進方向控制智能體行進并在行進過程中采集圖像；

從所述圖像中識別路徑對象特征并獲取所述路徑對象特征所預(yù)匹配的文本標簽；

若所述文本標簽與所述目標路徑節(jié)點的標識信息匹配，則確定基于所述目標路徑節(jié)點的行進轉(zhuǎn)向方向；

當所述智能體抵達所述目標路徑節(jié)點時，則根據(jù)所述行進轉(zhuǎn)向方向控制所述智能體轉(zhuǎn)向，直到抵達所述目的地。

2.根據(jù)權(quán)利要求1所述的視覺語音導(dǎo)航方法，其特征在于，從所述圖像中識別路徑對象特征并獲取所述路徑對象特征所預(yù)匹配的文本標簽，包括：

使用圖像識別模型從所述圖像中識別路徑對象特征并獲取所述路徑對象特征所預(yù)匹配的文本標簽，所述圖像識別模型為利用帶有所述文本標簽的圖像樣本數(shù)據(jù)訓練得到的。

3.根據(jù)權(quán)利要求2所述的視覺語音導(dǎo)航方法，其特征在于，所述圖像識別模型采用Faster RCNN網(wǎng)絡(luò)，則從所述圖像中識別路徑對象特征，包括：

利用卷積層從所述圖像中提取特征圖；

利用區(qū)域生成網(wǎng)絡(luò)對所述特征圖提取候選框；

利用特征映射的方法將所述候選框的位置映射到所述特征圖相應(yīng)位置，并提取所述路徑對象特征。

4.根據(jù)權(quán)利要求1所述的視覺語音導(dǎo)航方法，其特征在于，確定基于所述目標路徑節(jié)點的行進轉(zhuǎn)向方向，包括：

從所述語義導(dǎo)航指令中識別到基于所述目標路徑節(jié)點的所述行進轉(zhuǎn)向方向。

5.根據(jù)權(quán)利要求1所述的視覺語音導(dǎo)航方法，其特征在于，確定基于所述目標路徑節(jié)點的行進轉(zhuǎn)向方向，包括：

從所述圖像中識別基于所述目標路徑節(jié)點向所述目的地的行進轉(zhuǎn)向標記，根據(jù)所述行進轉(zhuǎn)向標記確定所述行進轉(zhuǎn)向方向。

6.根據(jù)權(quán)利要求1所述的視覺語音導(dǎo)航方法，其特征在于，所述語義導(dǎo)航指令包括輸入文本信息或語音信息。

7.根據(jù)權(quán)利要求1所述的視覺語音導(dǎo)航方法，其特征在于，在接收到所述語義導(dǎo)航指令時，還包括：

使用語義識別模型對所述語義導(dǎo)航指令進行語義識別以得到文本信息，所述文本信息包括所述行進方向、至少一個目標路徑節(jié)點和目的地；

所述語義識別模型是采用樣本數(shù)據(jù)訓練得到的。

8.一種視覺語音導(dǎo)航裝置，其特征在于，包括：

接收模塊，接收語義導(dǎo)航指令，所述語義導(dǎo)航指令包括行進方向、至少一個目標路徑節(jié)點和目的地；

采集模塊，按照所述行進方向控制智能體行進并在行進過程中采集圖像；

識別模塊，從所述圖像中識別路徑對象特征并獲取所述路徑對象特征所預(yù)匹配的文本標簽；

確定模塊，若所述文本標簽與所述目標路徑節(jié)點的標識信息匹配，則確定基于所述目標路徑節(jié)點的行進轉(zhuǎn)向方向；

轉(zhuǎn)向模塊，當所述智能體抵達所述目標路徑節(jié)點時，則用于根據(jù)所述行進轉(zhuǎn)向方向控制所述智能體轉(zhuǎn)向，直到抵達所述目的地。

9.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至7任一項所述視覺語音導(dǎo)航方法的步驟。

10.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述視覺語音導(dǎo)航方法的步驟。