[發明專利]一種跨視角信息融合人體姿態估計與空間定位方法

在審

• 申請號: 202111083798.7
• 申請日: 2021-09-14
• 公開（公告）號: CN113780205A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 楊鵬;劉明;尤天順;董立泉;褚旭紅;趙躍進;孔令琴;惠梅
• 申請（專利權）人: 北京理工大學;北京理工大學長三角研究院（嘉興）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/73;G06T7/80;G06N3/04;H04N5/232
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種跨視角信息融合人體姿態估計與空間定位方法，將機器視覺圖像采集系統與高精度伺服平臺相結合，將固定的圖像采集鏡頭替換為電控伺服變焦鏡頭，通過兩套及以上云臺變焦伺服運動平臺實現大型運動場內對同一運動員的多目同步圖像采集，擴寬了人體姿態估計技術和運動分析的應用領域。本發明使用雙視角信息融合方法解決單視角采集圖像方式不可避免的出現因目標肢體遮擋而導致的人體關鍵點位置信息丟失的問題。通過構建欠完備自編碼器的方式對多粒度跨層級聯網絡的輸出進行多視角信息融合，從而實現了不同視角下人體關鍵點位置信息的相互修正和補全。

技術領域

本發明屬于計算機視覺與計算機控制領域，具體涉及視覺伺服跟蹤技術、高精度伺服控制、人體姿態估計和跨視角信息融合等技術領域，是一種跨視角信息融合與空間定位方法。

背景技術

公開號為CN113283373A的專利申請，公開了一種用于增強深度相機檢測肢體運動參數的方法，該方法使用非接觸式的深度相機進行數據采集，不會對被試者產生干擾，但是由于單個深度相機視場角的限制，無法避免被試者自身肢體遮擋的影響。其次，該方法采用FC全連接層直接回歸的方式，存在精度較低的問題。

公開號為CN113205595A的專利申請，公開了一種3D人體姿態估計模型的構建方法及其應用，該方法對二維骨架的時序信息進行處理，利用了不同尺度的空間特征和時序信息，但無法解決因遮擋而造成的單幀圖像信息丟失的問題。

使用可變焦式多目隨動系統進行圖像采集可以有效解決傳統機器視覺系統采集視場角與分辨率之間的矛盾，擴大圖像采集范圍，降低被測人員自身肢體遮擋的影響。

發明內容

針對現有技術的缺陷，本發明提供一種跨視角信息融合人體姿態估計與空間定位方法，用以解決現有技術應用范圍小、檢測精度低和可移植性差等問題。

為了實現上述目的，第一方面，本發明提供一種多視角信息融合姿態估計方法，包括以下步驟：

S1、相機位姿標定；在使用范圍內選定包括但不限于4個標志點，使用全站儀測定標志點的空間位置，使用PNP標定方法解算相機位姿參數。

S2、構建多粒度跨層級聯網絡，充分利用多粒度特征融合技術和層次上下文學習思想，該網絡主要分為特征編碼階段、多級特征融合階段和特征解碼階段；

通過仿射變換將輸入圖像尺寸統一為512×512，根據COCO數據集的均值和方差對圖像像素值進行歸一化處理；

特征提取主干網絡主要由三個CSP跨層連接組成，CSP跨層連接將輸入和經過多個特征提取模塊后的輸出進行通道拼接，通道拼接采用的是卷積核尺寸為1，步長為1的卷積進行通道信息融合；

多粒度特征融合模塊主要分為兩個主干分支，每個主干分支由1×1卷積層構成跨層跳躍連接，將不同分支的輸出進行相加得到最后的模塊輸出；

檢測前端的主要作用是對特征編碼網絡的特征圖進行相應的解碼操作，分別得到人體位置分布熱力圖、邊界框尺寸、偏置回歸數值、關鍵點位置分布熱力圖、關鍵點偏置數值和關鍵點離散值；

S3、分離編碼式多目視角信息融合；

分離編碼式網絡的輸入為同一時刻但不同視角下拍攝得到的圖像，分別表示為I₀和I₁。兩張圖像分別經過結構相同且共享權值的特征提取模塊，特征提取模塊編碼得到圖像的深層隱含特征，隱含特征經過特征轉移通道與其他視角的隱含特征通過欠完備自編碼器進行信息融合。

第二方面，本發明提供一種可變焦式多目隨動圖像采集方法，包括：

數量包括但不限于兩套的超高清伺服電機系統，該系統分別控制二維指向機構在水平和豎直兩個方向上轉動；

超高清伺服電機系統放置于目標運動場地側邊，使用網線實現與處理終端的數據傳輸；