[發明專利]電子設備狀態跟蹤方法、裝置、電子設備及控制系統

在審

• 申請號: 202110429852.2
• 申請日: 2018-02-05
• 公開（公告）號: CN113139456A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 鮑虎軍;章國鋒;王楠;陳丹鵬
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;H04N7/18
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種電子設備狀態跟蹤方法，其特征在于，包括：

在同時定位與地圖構建SLAM系統針對電子設備所在的環境所生成的地圖的關鍵幀集合中，確定拍攝參數與當前幀的拍攝參數的差異滿足容差范圍的多個關鍵幀的圖像；所述當前幀的圖像和所述關鍵幀的圖像均為縮略圖；或者所述當前幀的圖像和所述關鍵幀的圖像均為原圖；或者所述當前幀的圖像包括原圖和縮略圖，且所述關鍵幀的圖像包括原圖和縮略圖；

根據所述當前幀的圖像上的像素點與所述關鍵幀的圖像上的像素點的相似程度，進行相似度匹配，基于得到的相似度匹配結果，從多個關鍵幀中確定目標關鍵幀；

根據所述目標關鍵幀和所述當前幀確定電子設備的鏡頭位置和鏡頭朝向；

基于所確定的所述鏡頭位置和所述鏡頭朝向進行所述電子設備的視覺狀態跟蹤。

2.根據權利要求1所述的方法，其特征在于，所述當前幀的圖像和所述關鍵幀的圖像均為縮略圖；所述根據所述當前幀的圖像上的像素點與上述關鍵幀的圖像上的像素點的相似程度，進行相似度匹配，包括：

在所述地圖的關鍵幀集合中確定縮略圖拍攝參數與所述當前幀的拍攝參數的差異滿足容差范圍的多個關鍵幀；

根據所述當前幀的縮略圖上的像素點與所述關鍵幀的縮略圖上的像素點的相似程度，進行相似度匹配。

3.根據權利要求1所述的方法，其特征在于，所述當前幀的圖像和所述關鍵幀的圖像均為原圖；所述根據所述當前幀的圖像上的像素點與上述關鍵幀的圖像上的像素點的相似程度，進行相似度匹配，包括：

在所述地圖的關鍵幀集合中確定原圖拍攝參數與所述當前幀的拍攝參數的差異滿足容差范圍的多個關鍵幀；

根據所述當前幀的原圖上的像素點與所述關鍵幀的原圖上的像素點的相似程度，進行相似度匹配。

4.根據權利要求1所述的方法，其特征在于，所述當前幀的圖像包括原圖和縮略圖，且所述關鍵幀的圖像包括原圖和縮略圖；所述根據所述當前幀的圖像上的像素點與上述關鍵幀的圖像上的像素點的相似程度，進行相似度匹配，包括：

在所述地圖的關鍵幀集合中確定縮略圖拍攝參數與所述當前幀的拍攝參數的差異滿足容差范圍的多個關鍵幀；

確定所述多個關鍵幀的原圖；

根據所述當前幀的原圖上的像素點與所述關鍵幀的原圖上的像素點的相似程度，進行相似度匹配。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述根據所述目標關鍵幀和所述當前幀確定電子設備的鏡頭位置和鏡頭朝向，包括：

根據所述目標關鍵幀對應的鏡頭位置以及鏡頭朝向，確定所述當前幀對應的初始鏡頭位置以及初始鏡頭朝向；

根據所述當前幀對應的初始鏡頭位置以及初始鏡頭朝向，將所述目標關鍵幀的縮略圖投影到所述當前幀的縮略圖上；

若投影之后所述目標關鍵幀的縮略圖的像素點與所述當前幀的縮略圖的像素點的匹配度達到預設值，則將投影時的鏡頭位置和鏡頭朝向作為所述當前幀對應的鏡頭位置以及鏡頭朝向。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述根據所述目標關鍵幀和所述當前幀確定電子設備的鏡頭位置和鏡頭朝向，包括：

根據所述目標關鍵幀對應的鏡頭位置以及鏡頭朝向，確定所述當前幀對應的初始鏡頭位置以及初始鏡頭朝向；

根據所述當前幀的原圖以及所述目標關鍵幀的原圖，對所述當前幀以及所述目標關鍵幀進行像素點匹配，獲取匹配的像素點集合；

根據所述初始鏡頭位置、所述初始鏡頭朝向以及所述匹配的像素點集合，將所述目標關鍵幀投影到所述當前幀上；

根據投影結果確定所述電子設備的鏡頭位置和鏡頭朝向。