[發(fā)明專利]一種多設備位姿共享方法及裝置

在審

• 申請?zhí)枺?/td>: 202011475281.8
• 申請日: 2020-12-14
• 公開（公告）號: CN112511644A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 周宏偉;陳利敏;喬秀全;黃亞坤
• 申請（專利權(quán)）人: 首都信息發(fā)展股份有限公司;北京國家速滑館經(jīng)營有限責任公司;北京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04N5/268;G06N3/04;G06T7/10
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 陳新生

1.一種多設備位姿共享方法，其特征在于，包括：

根據(jù)每個終端設備的設備信息確定視頻幀分配方案；

根據(jù)所述視頻幀分配方案對各個所述終端設備進行視頻幀的分配，得到每個終端設備所對應的分配后視頻幀，以供每個終端設備對各自的分配后視頻幀進行位姿估計，確定位姿估計信息，并將所述位姿估計信息廣播到所有終端設備。

2.根據(jù)權(quán)利要求1所述多設備位姿共享方法，其特征在于，所述根據(jù)每個所述終端設備的設備信息確定視頻幀分配方案的步驟，具體包括；

根據(jù)每個終端設備的設備信息和各個終端設備采集的視頻幀構(gòu)建多個網(wǎng)絡最大流模型；

對每個網(wǎng)絡最大流模型進行求解，得到最優(yōu)的最大流匹配路徑，以根據(jù)每個所述最優(yōu)的最大流匹配路徑確定視頻幀分配方案；

其中，所述網(wǎng)絡最大流模型是在預設加權(quán)二分圖的基礎上分別增加虛源節(jié)點和虛目節(jié)點構(gòu)建得到的；

其中，所述預設加權(quán)二分圖是終端設備采集的視頻幀計算任務分發(fā)到其它終端設備上建模為加權(quán)的二分圖模型。

3.根據(jù)權(quán)利要求2所述多設備位姿共享方法，其特征在于，所述對每個網(wǎng)絡最大流模型進行求解，得到最優(yōu)的最大流匹配路徑的步驟，具體包括：

在Ford-Fulkerson算法對每個網(wǎng)絡最大流模型進行求解的計算量小于實時遞歸神經(jīng)網(wǎng)絡模型對每個網(wǎng)絡最大流模型進行求解的計算量時，通過Ford-Fulkerson算法對每個網(wǎng)絡最大流模型進行求解，得到多個最優(yōu)的最大流匹配路徑。

4.一種多設備位姿共享方法，其特征在于，包括：

終端設備獲取云端服務器發(fā)送的視頻分配方案，根據(jù)視頻幀分配方案將所述終端設備采集的視頻幀中待協(xié)作處理的待協(xié)作視頻幀發(fā)送到目標終端；

其中，所述視頻分配方案是根據(jù)每個所述終端設備的計算能力、可用計算資源和網(wǎng)絡帶寬計算得到的；

所述目標終端通過預設位姿估計模型對所述目標終端的本地視頻幀和所述待協(xié)作視頻幀進行位姿估計，得到本地位姿估計信息和待協(xié)作位姿估計信息，并將所述本地位姿估計信息和待協(xié)作位姿估計信息廣播至所有終端設備；

其中，所述預設位姿估計模型是根據(jù)帶真實姿態(tài)信息標簽的多張連續(xù)樣本視頻幀訓練得到的。

5.根據(jù)權(quán)利要求4所述多設備位姿共享方法，其特征在于，在所述目標終端通過預設位姿估計模型對所述目標終端的本地視頻幀和所述待協(xié)作視頻幀進行位姿估計的步驟之前，所述方法還包括：

構(gòu)建位姿估計模塊；

獲取帶真實姿態(tài)信息的初始樣本視頻幀，將所述初始樣本視頻幀進行預處理，得到多張連續(xù)的樣本視頻幀；

將連續(xù)時刻的兩張樣本視頻幀作為一組訓練樣本，以真實姿態(tài)信息為標簽，將帶真實姿態(tài)信息標簽的訓練樣本輸入基于深度可分離卷積和時間移位模塊的神經(jīng)網(wǎng)絡中，得到樣本的預估向量；

利用樣本的預估向量和所述真實姿態(tài)信息標簽構(gòu)建的損失函數(shù)進行訓練，當滿足預設訓練條件時，訓練結(jié)束，得到預設位姿估計模型。

6.根據(jù)權(quán)利要求5所述多設備位姿共享方法，其特征在于，所述構(gòu)建位姿估計模塊的步驟，具體包括：

采用深度可分離卷積構(gòu)建位姿估計模塊的骨干網(wǎng)絡；

將時間位移模塊插入到骨干網(wǎng)絡的殘差分支中，完成位姿估計模塊的構(gòu)建。

7.根據(jù)權(quán)利要求5所述多設備位姿共享方法，其特征在于，所述將所述初始樣本視頻幀進行預處理，得到多張連續(xù)的樣本視頻幀的步驟，具體包括：

將初始樣本視頻幀按照預設尺寸進行裁剪，得到裁剪后的樣本視頻幀；

將裁剪后的樣本視頻幀除以預設RGB方差，得到樣本視頻幀；

通過滑動窗口方式獲取多張連續(xù)的樣本視頻幀；

其中，所述預設RGB方差是指初始樣本視頻幀集合的平均RGB值；

其中，所述預設尺寸具體為：圖片寬度分辨率為512，圖片高度分辨率為256，顏色通道數(shù)為3。