[發明專利]室內導航方法、室內導航裝置、設備及存儲介質

在審

• 申請號: 202110668381.0
• 申請日: 2021-06-16
• 公開（公告）號: CN113984052A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 孟二利;王淥汀
• 申請（專利權）人: 北京小米移動軟件有限公司;北京小米松果電子有限公司
• 主分類號: G01C21/20
• 分類號: G01C21/20
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李志新;劉亞平

本公開是關于一種室內導航方法、室內導航裝置、設備及存儲介質。室內導航方法，應用于導航設備，所述方法包括：接收用于導航的指令，并采集環境圖像；提取所述指令中包括的指令房間特征和指令物體特征，并基于所述環境圖像，確定視覺房間特征、視覺物體特征以及視角特征；將所述指令物體特征以及所述視覺物體特征，與表征室內物體關聯關系的第一知識圖譜融合，得到物體特征，并根據所述視覺房間特征以及所述指令房間特征，確定房間特征；基于所述視角特征、所述房間特征以及所述物體特征，確定導航決策。通過本公開實施例，在確定導航行動決策中，增強視覺模態和語言模態之間的理解能力，并引入房間和物體的實體知識推理，使導航中的行動決策更加合理。

技術領域

本公開涉及導航技術領域，尤其涉及室內導航方法、室內導航裝置、設備及存儲介質。

背景技術

導航作為機器人領域的核心問題之一，在飛行器控制、自動駕駛、家庭服務機器人等場景有著強烈的應用需求。視覺導航是具象人工智能的主要研究問題之一，模型需要在虛擬環境中找到特定物體，并導航到物體附近。

目前，語言指令視覺導航(Vision-Language Navigation,VLN)成為具應用前景的研究領域。在視覺導航的基礎上，語言指令視覺導航模型理解用戶指令，根據第一視角觀察到的環境信息進行導航。

發明內容

為克服相關技術中存在的問題，本公開提供室內導航方法、室內導航裝置、設備及存儲介質。

根據本公開實施例的一方面，提供一種室內導航方法，應用于導航設備，所述室內導航方法包括：接收用于導航的指令，并采集環境圖像；提取所述指令中包括的指令房間特征和指令物體特征，并基于所述環境圖像，確定視覺房間特征、視覺物體特征以及視角特征；將所述指令物體特征以及所述視覺物體特征，與表征室內物體關聯關系的第一知識圖譜融合，得到物體特征，并根據所述視覺房間特征以及所述指令房間特征，確定房間特征；基于所述視角特征、所述房間特征以及所述物體特征，確定導航決策。

在一些實施例中，將所述指令物體特征以及所述視覺物體特征，與表征室內物體關聯關系的第一知識圖譜融合，得到物體特征，包括：基于所述視覺物體特征，提取所述環境圖像中包括的物體實體；基于所述物體實體以及所述表征室內物體關聯關系的第一知識圖譜，構造第二知識圖譜，所述第二知識圖譜用于表征所述物體實體，與所述第一知識圖譜中與所述物體實體具有關聯關系的第一物體實體之間的關聯關系；對所述第一知識圖譜和所述第二知識圖譜分別進行多步圖卷積推理，得到第一知識圖譜推理信息以及第二知識圖譜推理信息；融合所述第一知識圖譜推理信息和所述第二知識圖譜推理信息，并利用融合后的知識圖譜推理信息更新所述第一知識圖譜；基于所述第二知識圖譜對所述指令物體特征執行第一特征融合強化操作，得到增強的指令物體特征；對更新后的第一知識圖譜以及所述增強的指令物體特征，執行第二特征融合強化操作，得到所述物體特征。

在一些實施例中，根據所述視覺房間特征以及所述指令房間特征，確定房間特征，包括：根據所述視覺房間特征，確定各可選視角內包括的視覺房間類別，并根據所述指令房間特征，確定各可選視角內包括的指令房間類別；基于所述視覺房間類別、所述指令房間類別，以及預設房間關聯性矩陣，確定各可選視角房間置信度；基于所述各可選視角房間置信度，確定房間特征。

在一些實施例中，基于所述視角特征、所述房間特征以及所述物體特征，確定導航決策，包括：基于所述視角特征，確定所述環境圖像的總視角特征；拼接所述總視角特征、所述物體特征、所述指令房間特征以及所述指令物體特征，得到場景記憶令牌，并基于所述場景記憶令牌，得到當前導航進度信息，并拼接所述房間特征以及所述視角特征，得到可選視角特征；對所述可選視角特征，以及所述當前導航進度信息，執行第三特征融合強化操作，得到下一導航進度的導航決策。

在一些實施例中，基于所述視角特征，確定所述環境圖像的總視角特征，包括：確定上一導航進度信息；對所述視角特征，以及所述上一導航進度信息執行第四特征融合強化操作，得到所述環境圖像的總視角特征。