[發明專利]一種多設備位姿共享方法及裝置

在審

• 申請號: 202011475281.8
• 申請日: 2020-12-14
• 公開（公告）號: CN112511644A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 周宏偉;陳利敏;喬秀全;黃亞坤
• 申請（專利權）人: 首都信息發展股份有限公司;北京國家速滑館經營有限責任公司;北京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04N5/268;G06N3/04;G06T7/10
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 陳新生

本發明實施例提供一種多設備位姿共享方法及裝置，該方法包括：根據每個終端設備的設備信息確定視頻幀分配方案；根據所述視頻幀分配方案對各個所述終端設備進行視頻幀的分配，得到每個終端設備所對應的分配后視頻幀，以供每個終端設備對各自的分配后視頻幀進行位姿估計，確定位姿估計信息，并將所述位姿估計信息廣播到所有終端設備。通過將任務繁重的位姿計算任務從遠端云側遷移卸載到終端設備側，減少視頻幀頻繁傳輸引起的開銷，同時減輕了遠端云服務器的計算負載。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種多設備位姿共享方法及裝置。

背景技術

移動設備功能的不斷增強和普及已引起了多種多樣的多設備應用程序，包括設備位姿共享，多屏顯示，多玩家互動等，有效地將應用程序擴展到多個設備上，以便在視頻流應用程序中進行實時共享和交互(例如，目標檢測，位姿估計和語義分割等)。目前，已有工作探索了利用云端(包括邊緣云)豐富的計算資源實現視頻流任務的多設備交互。這些方法將實時視頻流從終端設備傳輸到云端完成密集的任務計算，同時消耗了大量的網絡帶寬和計算資源。因此，通過多設備協作在終端設備側完成視頻流處理和共享已成為一個潛在的方向。但是，由于對延遲和密集計算的嚴格要求，用于多設備交互應用程序的視頻流分析和共享的當前實現仍處于起步階段，許多問題需要解決。因此，如何通過分析實時視覺里程計(Visual Odometry；VO)的流數據來實現多設備姿態共享和交互，是實現各種各樣多設備應用的前提。

視覺里程計是機器人定位和自動駕駛領域的一項基本技術，它通過連續跟蹤相機的自我運動產生圖像間相對姿態，并在給定初始狀態下，將相對姿態整合為絕對姿態。視覺里程計按照所使用的相機數量可以分為單目視覺里程計和雙目視覺里程計，因為單目視覺里程計只需要一臺相機即可獲得位姿，具有便攜、輕巧、便宜等特點而得到廣泛研究和應用。傳統的視覺里程計技術分為特征點法和直接法。特征點法通過匹配相鄰幀間的特征向量來估計相機位姿，它包括特征檢測、特征匹配、運動估計、尺度估計以及后端優化等模塊。特征點法在大部分情況下都能取得較好的效果，但在無紋理區域時會面臨特征點缺失，進而匹配失敗的問題，而且特征點的提取和計算非常耗時。直接法通過最小化光度誤差來估計相機運動和像素的空間位置，其能夠在無紋理的場景中，例如走廊或者光滑的墻面上取得較好的效果，但只適用于運動幅度較小、圖片整體亮度變化不大的情形。深度學習(DeepLearning，簡稱DL)能夠從圖像中提取高級特征，從而為解決視覺里程計問題提供了替代方案。基于深度學習的單目視覺里程計算法不依賴于傳統視覺里程計任何模塊，并且可以以端到端的方式得到相機位姿，無需調整系統參數。

現有的基于深度學習的視覺里程計模型(如DeepVO)主要利用卷積神經網絡和循環神經網絡的組合直接從原始圖像序列中學習位姿變換，與傳統方法相比，它在生成精確圖像間位姿估計結果的同時，無需與真實軌跡對齊以獲得絕對尺度估計。然而這種將Flownet網絡得到的特征輸入到長短期記憶LSTM作為單目視覺里程計學習的序列到序列編碼器，參數量多，模型大，計算復雜度高，難以應用于對實時性有較高要求的場景。

因此，如何更好的實現位姿計算，并實現位姿共享已經成為業界亟待解決的問題。

發明內容

本發明實施例提供一種多設備位姿共享方法及裝置，用以解決上述背景技術中提出的技術問題，或至少部分解決上述背景技術中提出的技術問題。

第一方面，本發明實施例提供一種多設備位姿共享方法，包括：

根據每個終端設備的設備信息確定視頻幀分配方案；

根據所述視頻幀分配方案對各個所述終端設備進行視頻幀的分配，得到每個終端設備所對應的分配后視頻幀，以供每個終端設備對各自的分配后視頻幀進行位姿估計，確定位姿估計信息，并將所述位姿估計信息廣播到所有終端設備。

更具體的，所述根據每個所述終端設備的設備信息確定視頻幀分配方案的步驟，具體包括；