[發明專利]一種從序列圖像中獲取3D結構的方法

有效

• 申請號: 201810442574.2
• 申請日: 2018-05-10
• 公開（公告）號: CN108596152B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 李偉夫;羅志成;石畏;彭江濤;李落清
• 申請（專利權）人: 湖北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/11
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立;李蕾

1.一種從序列圖像中獲取3D結構的方法，其特征在于，包括：

步驟1，根據深度學習方法獲得序列圖像中目標結構的2D分割結果；

步驟2，根據所述2D分割結果獲得所述目標結構在z方向的3D連接關系；

步驟3，根據所述3D連接關系優化所述目標結構的2D分割結果，獲得優化的2D分割結果；

步驟4，對所述3D連接關系和所述優化的2D分割結果進行交替優化，直至收斂，獲得收斂的2D分割結果和收斂的3D連接關系；

步驟5，根據所述收斂的2D分割結果和所述收斂的3D連接關系獲取3D可視化結果；

所述步驟1具體包括：

步驟1.1，利用預訓練模型Resnet50作為所述目標結構的特征提取網絡，獲得提取特征；

步驟1.2，利用PSPnet網絡對所述提取特征進行融合，獲得全局場景特征；

步驟1.3，利用inception網絡對所述全局場景特征進行上采樣，獲得與所述序列圖像中原圖尺寸相同的特征圖；

步驟1.4，利用Softmax分類器對所述特征圖的像素點進行分類，獲得所述2D分割結果；

所述步驟2具體包括：

步驟2.1，在Matlab中根據regionprops函數獲得所述序列圖像中每幅圖像中所述目標結構的所述2D分割結果的boundingbox；

步驟2.2，利用所述boundingbox構造所述序列圖像中相鄰圖像層的連接矩陣；

步驟2.3，利用所述2D分割結果校驗所述連接矩陣，并獲取二值連接矩陣；

步驟2.4，根據所述二值連接矩陣對所述序列圖像的每一個分割賦予標簽；

步驟2.5，根據每一個所述分割的所述標簽獲得所述分割在z方向的所述3D連接關系。

2.根據權利要求1所述的從序列圖像中獲取3D結構的方法，其特征在于，所述步驟2.2的具體實現為：

令所述序列圖像中包括L幅圖像，其中第i幅圖像中所述目標結構的所述2D分割結果的boundingbox表示為大小為n_i×4的矩陣其中n_i代表第i幅圖像中分割的個數，i＝1，2，…，L；

利用第i幅圖像的和第i+1幅圖像的根據第一公式確定所述連接矩陣，

所述第一公式為：

其中，表示所述連接矩陣，表示中第p行所表示的矩形和中第q行所表示的矩形的交并比。

3.根據權利要求2所述的從序列圖像中獲取3D結構的方法，其特征在于，所述步驟2.3的具體實現為：

令所述二值連接矩陣表示為中包括與更新后的中的元素一一對應的元素當大于或等于閾值T時，令對應的取值為1，當小于閾值T時，令對應的取值為0。

4.根據權利要求3所述的從序列圖像中獲取3D結構的方法，其特征在于，所述步驟2.4的具體實現為：

當中第p行全為0值時，賦予第i幅圖像中第p個分割的標簽為終止點；

當中第p行只有一個非0值，且非0值對應列也只有一個非0值時，賦予第i幅圖像中第p個分割的標簽為一對一點；

當中第p行有多個非0值時，賦予第i幅圖像中第p個分割的標簽為分裂點一，并賦予第i+1幅圖像中與多個非0值對應的多個分割的標簽為分裂點二；

當中第q列全為0值時，賦予第i+1幅圖像中第q個分割的標簽為起始點；

當中第q列有多個非0值時，賦予第i+1幅圖像中第q個分割的標簽為合并點二，并賦予第i幅圖像中與多個非0值對應的多個分割的標簽為合并點一。