[發明專利]一種基于雙目視覺與機器人的乳腺超聲掃描方法及系統

在審

• 申請號: 202110382402.2
• 申請日: 2021-04-09
• 公開（公告）號: CN113057678A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 張永德;張新然;趙梓汐
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: A61B8/08
• 分類號: A61B8/08;A61B8/00;A61B90/00;B25J9/16
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，包括：

獲取圖像信息；

對獲取的乳腺圖像信息進行三維點云重構，并對乳腺點云數據進行優化；

提取所述的超聲掃描路徑，并優化所得掃描路徑；

根據所得超聲掃描路徑，機器人完成乳腺超聲掃描。

2.根據權利要求1所述的基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，所述獲取圖像信息之前，包括：

對所述的雙目視覺系統進行棋盤格標定，得到相機的內、外參數與畸變系數，并校正雙目相機的畸變系數，獲取標定數據。

3.根據權利要求1所述的基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，所述對獲取的乳腺圖像信息進行三維點云重構，并對乳腺點云數據進行優化，包括：

所述的三維點云數據的重構，需要使用遵循以下步驟完成：使用Census變換法完成匹配代價計算、使用基于SGM的路徑聚合算法完成代價聚合、使用WTA算法進行視差計算、使用像素點坐標信息完成三維點云數據重構；

所述的三維點云數據的優化，主要包含以下兩方面：使用Kd-tree空間索引算法進行點云去噪，然后利用均勻采樣算法完成點云下采樣。

4.根據權利要求1所述的基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，所述提取所述的超聲掃描路徑之前，包括：

超聲掃描路徑的提取應當滿足以下五個要求：

超聲掃描路徑的水平面投影應是封閉環；

超聲掃描路徑不可在乳腺內部；

超聲掃描路徑的路徑點云應不多于五十個；

超聲掃描路徑應處于乳腺水平高度的中部；

超聲掃描路徑信息建立于雙目視覺設備坐標系之下。

5.根據權利要求1所述的基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，所述提取所述的超聲掃描路徑，包括：

所述超聲掃描路徑的提取，應當按照以下步驟完成：

計算乳腺三維點云模型中各點云的坐標信息；

計算坐標信息中的Z軸中值數；

提取出Z軸中值數所在坐標信息；

生成所述坐標信息的點云法向量信息；

根據乳腺輪廓及精度需求，確定不多于五十個的點云數量，以此生成超聲掃描路徑。

6.根據權利要求5所述的基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，所述超聲掃描路徑，包括：

所述超聲掃描路徑，主要包含兩個方面的信息：超聲掃描路徑上路徑點的三維空間坐標信息和法向量信息，其中，三維空間坐標信息用于確定超聲掃描時超聲探頭的位置，而法向量信息則用于確定超聲掃描時超聲探頭的朝向。

7.根據權利要求1所述的基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，所述優化所得掃描路徑，包括：

基于所述掃描路徑中的三維空間坐標信息，使用NURBS曲線算法完成超聲掃描路徑的插補優化，通過控制插補點數量平滑超聲掃描路徑。

8.根據權利要求1所述的基于雙目視覺與機器人的乳腺超聲掃描方法，其特征在于，所述機器人完成乳腺超聲掃描，包括：

根據所述的超聲掃描路徑信息，機器人完成乳腺超聲掃描的步驟如下：

將超聲掃描路徑信息，從雙目視覺設備坐標系轉移到機器人基坐標系下；

結合所述超聲掃描路徑信息與機器人逆運動學理論，求解機器人各關節的運動信息；

基于所述機器人各關節的運動信息，更新上位機中的運動控制指令；

上位機發送運動控制指令給控制器，由控制器驅動機器人完成超聲掃描動作。

9.一種基于雙目視覺與機器人的乳腺超聲掃描系統，其特征在于，包括：

上位機，用于對乳腺三維點云模型重建及點云數據處理，提取出超聲掃描路徑，然后對超聲掃描路徑進行NURBS曲線優化，規劃機器人的運動路徑，并結合所得信息及控制程序，發送運動控制指令給控制器；

控制器，用于控制機器人按照所得掃描路徑完成乳腺超聲檢查操作；

機器人，用于操縱安裝在機器人末端的超聲探頭；

超聲掃描系統，所述系統由超聲探頭和超聲成像儀組成，超聲探頭用于發射和接收反射回來的超聲波信號，超聲成像儀用于將探頭接收到的超聲波信號轉換成圖像信息；

雙目相機，用于獲取患者乳腺圖像信息；

超聲檢查病床，用于超聲檢查過程中支撐患者身體。