[發明專利]基于深度學習的物體位姿估計方法及電子設備

在審

• 申請號: 201910698047.2
• 申請日: 2019-07-31
• 公開（公告）號: CN110503686A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 楊慧光;薛繼光;李茁;唐創奇;李宇光;令狐雄展;楊柳;閆滿軍;趙健
• 申請（專利權）人: 三星(中國)半導體有限公司;三星電子株式會社
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 11286 北京銘碩知識產權代理有限公司
• 代理人: 董鋼;曾世驍<國際申請>=<國際公布>=

1.一種基于深度學習的物體位姿估計方法，包括：

分別從與事件流對應的圖像幀序列和與圖像幀序列對應的位姿序列，提取特征向量序列和位姿向量序列；

基于特征向量序列和位姿向量序列，訓練用于位姿估計的神經網絡模型；

利用訓練的神經網絡模型進行物體位姿估計。

2.根據權利要求1所述的物體位姿估計方法，其中，提取特征向量序列的步驟包括：

通過奇異值分解將圖像幀序列中的每個圖像幀的圖像矩陣分解為第一正交矩陣、第二正交矩陣和對角矩陣；

基于針對每個圖像幀的第一正交矩陣的至少一部分列向量、第二正交矩陣的至少一部分列向量、以及所述對角矩陣的至少一部分奇異值，產生針對所述每個圖像幀的特征向量，以形成包括產生的各個特征向量的特征向量序列。

3.根據權利要求2所述的物體位姿估計方法，其中，所述對角矩陣的奇異值按照從大到小的順序的前N個奇異值為所述對角矩陣的所述至少一部分奇異值，第一正交矩陣的所述至少一部分列向量為與所述N個奇異值對應的N個列向量，第二正交矩陣的所述至少一部分列向量為與所述N個奇異值對應的N個列向量，其中，N為自然數。

4.根據權利要求1所述的物體位姿估計方法，其中，所述神經網絡模型包括：序列輸入層，用于分別基于特征向量序列和位姿向量序列來產生用于訓練的輸入矩陣和用于訓練的輸出矩陣。

5.根據權利要求4所述的物體位姿估計方法，其中，

所述輸入矩陣為通過將特征向量序列中各個特征向量按照事件流的時間順序組合而成的矩陣，

所述輸出矩陣為通過將位姿向量序列中各個位姿向量按照事件流的時間順序組合而成的矩陣。

6.根據權利要求4所述的物體位姿估計方法，其中，所述神經網絡模型用于進行六自由度估計，并且還包括以下層中的至少一種：

第一長短期記憶層、第二長短期記憶層、第一全連接層、Dropout層、第二全連接層、以及回歸層，

其中，所述回歸層用于基于與待估計物體對應的特征向量，獲得估計的位姿向量。

7.根據權利要求6所述的物體位姿估計方法，其中，第一長短期記憶層包括256個單元，第二長短期記憶層包括512個單元，第一全連接層包括512個單元，第二全連接層7個單元且所述7個單元對應于三維坐標和四元數。

8.根據權利要求1所述的物體位姿估計方法，還包括：

通過動態視覺傳感器相機獲取針對設置有具有特定閃爍頻率的發光二極管的物體的事件流；

基于獲取的事件流合成圖像幀，以產生圖像幀序列。

9.一種電子設備，包括：

向量提取單元，被配置為分別從與事件流對應的圖像幀序列和與圖像幀序列對應的位姿序列，提取特征向量序列和位姿向量序列；

訓練單元，被配置為基于特征向量序列和位姿向量序列，訓練用于位姿估計的神經網絡模型；

估計單元，被配置為利用訓練的神經網絡模型進行物體位姿估計。

10.一種電子設備，包括：

動態視覺傳感器相機，被配置為獲取針對設置有具有特定閃爍頻率的發光二極管的物體的事件流；

處理器，被配置為：

基于獲取的事件流合成圖像幀，以產生圖像幀序列；

分別從與事件流對應的圖像幀序列和與圖像幀序列對應的位姿序列，提取特征向量序列和位姿向量序列；

基于特征向量序列和位姿向量序列，訓練用于位姿估計的神經網絡模型；

利用訓練的神經網絡模型進行物體位姿估計。

11.一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的系統，其中，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1-8中任意一項權利要求所述的物體位姿估計方法。

12.一種存儲指令的計算機可讀存儲介質，其中，當所述指令被至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1-8中任意一項權利要求所述的物體位姿估計方法。