[發(fā)明專利]虛擬現(xiàn)實環(huán)境危險感知方法及裝置

有效

• 申請?zhí)枺?/td>: 201810412419.6
• 申請日: 2018-05-03
• 公開（公告）號: CN108597036B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 凌霄;謝啟宇;楊辰;馬俊青;黃耀清
• 申請（專利權(quán)）人: 三星電子（中國）研發(fā)中心;三星電子株式會社
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/20;G06K9/62
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 衣淑鳳;宋志強

1.一種虛擬現(xiàn)實VR環(huán)境危險感知方法，其特征在于，該方法包括：

對于VR攝像機實時采集的每一幀圖像，提取該圖像中的特征點；

對于VR攝像機采集的第二幀及以后幀的每一幀圖像，將當(dāng)前幀圖像與前一幀圖像中的特征點進行匹配，根據(jù)每對匹配點在兩幀圖像中的位置，計算出VR攝像機采集當(dāng)前幀圖像時相對采集前一幀圖像時的運動矢量；根據(jù)計算出的運動矢量，計算出當(dāng)前幀圖像與前一幀圖像上匹配成功的每一特征點的世界坐標(biāo)，其中，若當(dāng)前幀圖像為第二幀圖像，則根據(jù)計算出的運動矢量同時計算出VR攝像機的初始世界坐標(biāo)；

根據(jù)當(dāng)前幀圖像中已經(jīng)計算出世界坐標(biāo)的所有特征點，檢測當(dāng)前幀圖像中是否存在關(guān)注物，若是，根據(jù)VR攝像機的初始世界坐標(biāo)和VR攝像機采集每一幀圖像時相對采集前一幀圖像時的運動矢量，計算VR攝像機的當(dāng)前世界坐標(biāo)，根據(jù)當(dāng)前幀中的關(guān)注物的世界坐標(biāo)與VR攝像機的當(dāng)前世界坐標(biāo)，計算關(guān)注物與當(dāng)前VR攝像機之間的距離，若該距離小于預(yù)設(shè)閾值，則向用戶發(fā)出危險提醒。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計算出當(dāng)前幀圖像與前一幀圖像上匹配成功的每一特征點的世界坐標(biāo)之后進一步包括：

將計算得到的特征點的世界坐標(biāo)放入到局部地圖描述庫中，同時，在局部地圖描述庫中記錄每一特征點對應(yīng)的幀標(biāo)識；

且，所述將當(dāng)前幀圖像與前一幀圖像中的特征點進行匹配之后、根據(jù)每對匹配點在兩幀圖像中的位置計算出VR攝像機采集當(dāng)前幀圖像時相對采集前一幀圖像時的運動矢量之前進一步包括：

判斷當(dāng)前幀是否滿足如下關(guān)鍵幀判定條件之一：

一、關(guān)鍵幀集合中的關(guān)鍵幀總數(shù)第一閾值；

二、當(dāng)前幀與前一幀圖像匹配成功的特征點的數(shù)目/當(dāng)前幀提取的特征點的總數(shù)第二閾值；

若滿足，則確定當(dāng)前幀為關(guān)鍵幀，將當(dāng)前幀的幀標(biāo)識放入關(guān)鍵幀集合中，然后執(zhí)行所述根據(jù)每對匹配點在兩幀圖像中的位置計算出VR攝像機采集當(dāng)前幀圖像時相對采集前一幀圖像時的運動矢量的動作；否則，確定當(dāng)前幀為非關(guān)鍵幀，丟棄當(dāng)前幀，直接轉(zhuǎn)至下一幀。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，當(dāng)確定當(dāng)前幀為關(guān)鍵幀時，所述計算出當(dāng)前幀圖像與前一幀圖像上匹配成功的每一特征點的世界坐標(biāo)之后進一步包括：

將計算出世界坐標(biāo)的當(dāng)前幀的所有特征點與關(guān)鍵幀集合中的每一關(guān)鍵幀的計算出世界坐標(biāo)的所有特征點分別進行匹配，若匹配率超過預(yù)設(shè)第三閾值，則認(rèn)為當(dāng)前幀冗余，則不將當(dāng)前幀加入關(guān)鍵幀集合，也不以計算出世界坐標(biāo)的當(dāng)前幀的特征點更新局部地圖描述庫，轉(zhuǎn)至下一幀，其中，若兩個特征點的世界坐標(biāo)相同，則兩個特征點匹配。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述計算出當(dāng)前幀圖像與前一幀圖像上匹配成功的每一特征點的世界坐標(biāo)之后進一步包括：

將計算出世界坐標(biāo)的當(dāng)前幀的所有特征點構(gòu)成一個詞袋BOW向量，將當(dāng)前幀的BOW向量分別與關(guān)鍵幀集合中的每一關(guān)鍵幀的BOW向量進行匹配，若與一關(guān)鍵幀匹配成功，則認(rèn)為對當(dāng)前幀的重定位成功，即認(rèn)為VR攝像機采集當(dāng)前幀時所處的位置與采集匹配成功的關(guān)鍵幀時所處的位置相同，則丟棄原本在當(dāng)前幀中提取出的特征點，在局部地圖描述庫中查找到匹配成功的關(guān)鍵幀對應(yīng)的所有特征點的世界坐標(biāo)，在查找到的每個特征點的世界坐標(biāo)的幀標(biāo)識列表中添加當(dāng)前幀的幀標(biāo)識，且不將當(dāng)前幀放入關(guān)鍵幀集合。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述關(guān)鍵幀判定條件進一步包括：

當(dāng)前幀的最近一次重定位過程耗時時長大于預(yù)設(shè)第五閾值。