[發明專利]一種基于多Kinect的遠程醫療場景的動態可視化控制方法

在審

• 申請號: 202110398983.9
• 申請日: 2021-04-13
• 公開（公告）號: CN113516694A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 徐振豪;何良華
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/50;G06T7/80;G06T3/60;G06T5/00;G16H30/40
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 宣慧蘭

本發明涉及一種基于多Kinect的遠程醫療場景的動態可視化控制方法，包括以下步驟：S1、獲取單個Kinect設備采集的目標醫療場景的彩色圖和深度圖進行配準生成點云數據；S2、獲取多個Kinect設備通過棋盤格標定法采集的目標醫療場景的帶有棋盤格的初始彩色圖像；S3、檢測初始彩色圖像中的棋盤格角點，進行篩選完成二次標定，計算得到Kinect設備之間的初始旋轉平移矩陣；S4、根據初始旋轉平移矩陣對點云數據進行粗配準，通過SAC?IA+ICP算法進行精配準，經迭代得到最優旋轉平移矩陣，通過最優旋轉平移矩陣將點云數據進行融合，實現目標醫療場景的動態可視化場景重建。與現有技術相比，本發明具有實現多視圖融合和動態可視化，提高遠程醫療場景的全面性和實時性等優點。

技術領域

本發明涉及三維場景重建技術領域，尤其是涉及一種基于多Kinect的遠程醫療場景的動態可視化控制方法。

背景技術

目前，基于深度傳感器獲取RGB-D數據生成三維場景數據往往是針對靜態的，即便是動態的場景重建，例如DynamicFusion，也是用單個深度相機針對非剛性物體的三維實時重建，無法完全復原出待重建場景的全部三維信息，也不能有效應對拓撲結構改變的問題。而在手術室內，目前較為傳統的手術直播方式是“視頻手術”，通過二維大屏幕直播手術全過程，僅為家屬和醫院醫護人員提供的是二維場景信息，單角度的二維畫面無法讓家屬和醫護人員更全方位、多角度地觀看手術全過程。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于多Kinect的遠程醫療場景的動態可視化控制方法，實現多視圖融合和動態可視化，提高遠程醫療場景的全面性和實時性。

本發明的目的可以通過以下技術方案來實現：

一種基于多Kinect的遠程醫療場景的動態可視化控制方法，具體包括以下步驟：

S1、獲取單個Kinect設備采集的目標醫療場景的彩色圖和深度圖并進行配準生成點云數據；

S2、獲取多個Kinect設備通過棋盤格標定法采集的目標醫療場景的帶有棋盤格的初始彩色圖像；

S3、檢測所述初始彩色圖像中的棋盤格角點，根據預設的誤差閾值進行篩選完成二次標定，計算得到Kinect設備之間的初始旋轉平移矩陣；

S4、根據所述初始旋轉平移矩陣對Kinect設備的點云數據并進行粗配準，通過SAC-IA+ICP算法對完成粗配準的點云數據進行精配準，經迭代更新得到最優旋轉平移矩陣，通過最優旋轉平移矩陣將粗配準的點云數據進行融合，實現目標醫療場景的動態可視化場景重建。

所述深度圖具體為經過雙邊濾波器進行平滑的深度圖。

所述Kinect設備的數量具體為兩個。

所述兩個Kinect設備之間的夾角的取值范圍為40°～80°。

進一步地，所述兩個Kinect設備之間的夾角優選為60°。

所述初始旋轉平移矩陣的公式具體如下所示：

其中，R₁為旋轉參數矩陣，T₁為平移參數矩陣，r_ij為旋轉參數矩陣元素，i的取值范圍為1～3的整數，j的取值范圍為1～3的整數，t_x、t_y和t_z為平移參數矩陣元素。

所述步驟S4中精配準的過程具體包括以下步驟：

S401、對完成粗配準的點云數據進行下采樣，得到多個采樣點；

S402、計算完成下采樣的點云數據的特征量；