[發明專利]基于單目光學攝影的三維目標自動定位定姿方法及其應用

在審

• 申請號: 202210131591.0
• 申請日: 2022-02-14
• 公開（公告）號: CN114519742A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 楊志;劉文海
• 申請（專利權）人: 首都醫科大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/20;G06T7/00;G06N3/04;G06N3/08
• 代理公司: 天津睿勤專利代理事務所(普通合伙) 12225
• 代理人: 孟福成

本發明提供了基于單目光學攝影的三維目標自動定位定姿方法，包括以下步驟：構建目標物體的可視化的三維模型；在世界坐標系中預設三維模型和相機的位置，并以此建立世界坐標系與物體坐標系、相機坐標系的坐標系變換關系；隨機改變虛擬場景中的相機或者三維模型的空間位置，并記錄相應的影像和空間位置變換信息；對機器學習模型進行訓練，獲得位姿預測模型；目標物體的實物單目照片輸入位姿預測模型，位姿預測模型輸出對應的目標物體或相機相對于預設位置的坐標變換值。本發明可以對傳統的單目視覺成像設備所拍攝到的目標物體進行精準的空間位置和姿態的評估，無需增加額外的標記物或相機，或實地的對目標物體進行任何校準和處理。

技術領域

本發明屬于視覺光學導航技術領域，特別涉及一種基于單目光學攝影的三維目標自動定位定姿方法及其應用。

背景技術

目前，導航系統的應用已遍布我們生活各個領域。例如，工業領域我們利用導航系統來對機器手臂進行定位和控制；在醫療領域，導航系統可以為醫生提供當前環境中目標器械相對病人病灶組織的精準定位。

市場中應用最廣的導航系統主要包括三類，多目視覺光學導航、電磁導航和慣性測量單元。在上述三種導航系統中，光學導航的在醫療及工業領域應用最為廣泛，最主要的原因是由于其極高的定位精度，其次由于在復雜的應用環境中我們不可避免的會有鐵磁性物體在周圍，這使得電磁導航的應用得到限制；另外由于慣性測量單元只能反饋相對位置和姿態，這也大大限制其在專業領域的應用。然而目前光學導航系統的部署極其復雜，需要大量的校準等步驟才能滿足高精度的需要，同時我們還需額外引入感光元件作為標記物來定位目標物體，額外的定位標記物也需要進行復雜的校準，標記物的固定也需要謹慎的考慮。這些是目前在工業或醫療領域中光學導航系統的主要限制。特別是在醫療手術過程中，如若我們需要對病人的肢體進行標記，由于皮膚的彈性和表面毛發或油脂等限制，我們通常不可避免的需要對病人以有創傷的方式進行標記物的固定，例如固定于骨表面等。此外設備的造價高昂，通常情況我們需要兩臺相機來對目標空間進行識別，但在特定應用下，我們甚至需要多于兩臺相機的情況，這使得起成本大大提高，同時多臺相機舍得系統運算復雜度也隨之增高。

發明內容

本發明針對現有技術中存在的技術問題，提供一種基于單目光學攝影的三維目標自動定位定姿方法及其應用，部署前提是需要獲得目標物體的三維模型進行可視化的顯示及采樣，然后利用人工智能領域機器學習技術，包括但不限于深度學習方法，來對目標物體三維模型的采樣進行學習和訓練，訓練好的模型可以對傳統的單目視覺成像設備所拍攝到的目標物體進行精準的空間位置和姿態的評估，無需增加額外的標記物或實地的對目標物體進行任何校準和處理。應用領域可以廣泛涉及到工業、醫療、農業或者航天業等。

本發明采用的技術方案是：一種基于單目光學攝影的三維目標自動定位定姿方法，包括以下步驟：

S1：構建目標物體的可視化的三維模型；三維模型的顏色與形狀與目標物體保持一致。

在工業領域中，對設備零件進行導航時，設備零件的CAD三維設計模型比較容易獲得；在航天領域，通常通過參考天體模型數據庫獲得三維模型；在醫療領域，三維模型可以從計算機斷層圖像、磁共振圖像等體圖像數據中對目標組織或器官進行分割，再對分割結果進行三維體圖像繪制來獲取。

S2：建立世界坐標系w、物體坐標系o和相機坐標系c，在世界坐標系w中預設三維模型和相機的位置，并以此建立世界坐標系w與物體坐標系o、相機坐標系c的坐標系變換關系，所述坐標系變換關系采用4X4齊次矩陣來描述，所述相機的數量為一個。

三維模型在可視化場景中有著其獨有的坐標系，記為物體坐標系o。相機為傳統單目視覺成像系統，以相機作為原點的坐標系記為相機坐標系c。相機的視角決定了單目攝影所得到的物體形態特征，同時相機的空間位置與遠近決定了目標物體在單目攝影圖像中的大小和位置。