[發明專利]一種基于口腔CBCT重建點云的超分辨成像方法

有效

• 申請號: 202011173279.5
• 申請日: 2020-10-28
• 公開（公告）號: CN112184556B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 于澤寬;張慧賢;李美佳;劉杰;張潔;王俊杰;金冠男
• 申請（專利權）人: 萬申（北京）科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00;G06T7/30;G06T5/00;G06T7/10;G06N3/04;G06N3/08
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 王巖

1.一種基于口腔錐形束計算機斷層掃描CBCT重建點云的超分辨成像方法，其特征在于，所述超分辨成像方法包括以下步驟：

一、基于CBCT數據構建低分辨率LR點云數據：

1)獲取點云數據：

采用激光掃描儀提取牙冠三維模型，并將牙冠三維模型轉換為高分辨率的激光掃描三維牙體模型點云數據；采用錐形束計算機斷層掃描儀獲取錐形束計算機斷層掃描CBCT數據，根據區域增長法從CBCT數據中提取出牙齒完整模型，并將牙齒完整模型轉換為CBCT重建三維牙體模型點云數據，并與激光掃描三維牙體模型點云數據配準，得到三維牙體模型點云數據；

2)利用統計離群消除濾波器對三維牙體模型點云數據進行去噪處理，得到去噪后的三維牙體模型點云數據；

3)對去噪后的三維牙體模型點云數據進行下采樣，在降低原始的點云數據量的同時，達到保留牙體特征的目的，最終得到含有牙體局部精細細節和粗略全局形狀結構的LR點云數據；

其中，分別對去噪后的三維牙體模型點云數據進行下采樣，包括以下步驟：

(1)點云數據的搜索空間劃分

確定三維牙體模型點云數據在空間中的大小，得到X、Y和Z坐標軸的最小值和最大值分別為Min_x、Max_x、Min_y、Max_y、Min_z和Max_z，構建牙齒點云的最大空間范圍：[Min_x,Max_x]×[Min_y,Max_y]×[Min_z,Max_z]，對牙齒點云最大范圍進行空間分割，得到牙齒點云的最大包圍盒L：

其中，β為調整牙齒最大包圍盒的大小因子，取值為0.5～0.8，k為選取鄰域點的個數，n_s為選取鄰域點的總個數；

(2)點云數據的法向量估計

將位于最大包圍盒L內的每個三維牙體模型點云數據的數據點的法向量作為該數據點的擬合切平面的法向量，計算每個數據點的擬合切平面，完成對每個三維牙體模型點云數據的數據點局部區域的平面擬合；

(3)點云數據的曲率估計

a)利用拋物面擬合算法分別對最大包圍盒L內的完整模型表面點云數據進行曲率估計，完整模型表面點云數據的曲面主曲率與拋物面的主曲率相同，拋物面方程為：

Z＝bx²+cxy+dy²

其中，b、c和d分別為拋物面方程中的系數；x和y分別為x軸和y軸坐標；

b)使拋物面方程的頂點x_l為局部坐標系的原點，建立自身與其k個鄰域點坐標系，使x_l的法向量與Z軸合并，旋轉變換為k個鄰域點的局部坐標系，形成線性方程組：

AX＝Z

其中，A為拋物面內鄰域點的x軸和y軸的坐標矩陣，X為拋物面方程中的系數向量，Z為拋物面內鄰域點的z軸坐標向量，X＝[b c d]^T，Z＝[z₁…z_k]^T，x₁～x_k為第一至第k個鄰域點在局部坐標系內的x軸坐標值，y₁～y_k為第一至第k個鄰域點在局部坐標系內的y軸坐標值，z₁～z_k為第一至第k個鄰域點在局部坐標系內的z軸坐標值；

c)利用奇異值分解方法求解公式AX＝Z得到系數b，c，d，從而得到拋物面方程；

(4)利用b，c和d系數計算三維牙體模型點云數據的平均曲率H：

H＝b+d

將計算三維牙體模型點云數據的平均曲率與設定的閾值進行對比，這一步驟中根據牙齒的幾何形狀及其凹凸性，將點云數據中牙冠和牙根分為：峰、谷和脊，其中峰對應牙體牙冠表面的牙尖特征，平均曲率H0，即局部區域為凸狀；谷對應牙體牙冠面上的溝，平均曲率H0，即局部區域為凹狀；脊對應牙體上各種脊線，根據鄰點曲率確定凹凸狀；過濾點云數據中峰的平均曲率低于峰閾值范圍的點云數據；過濾點云數據中谷的平均曲率大于谷閾值范圍的點云數據；

二、構建殘差圖卷積深度學習網絡AR-GCN，利用已有的訓練集和測試集完成AR-GCN的訓練：

1)搭建AR-GCN：

AR-GCN包括殘差圖卷積生成器G和圖判別器D，殘差圖卷積生成器G包括特征網絡、殘差圖卷積塊和上池化塊；圖判別器D包括特征網絡、池化塊和殘差圖卷積塊；

采用殘差圖卷積生成器G對點云數據進行上采樣生成高分辨率HR點云數據；

通過圖判別器D計算得到適應性圖對抗損失函數L_G，區分HR點云數據的真偽，包括以下步驟：

i.將殘差圖卷積生成器G生成的HR點云數據輸入至圖判別器D的特征網絡，提取其點云數據特征f_D-in；

ii.通過池化塊對輸入點云數據進行下采樣：

對于給定的輸入的HR點云數據其大小為4n×3，n為下一步采樣的點數，其坐標記為x_D-in，采用最遠點采樣法生成大小為n×3的輸出點云數據x_D-out，并得到與輸出點云數據x_D-out相對應的特征f_D-out，對于f_D-out中每個數據點p的特征值由以下公式求得：

其中，N[x_D-in](p)表示輸出點云數據x_D-out中數據點p的k個鄰域點，q為p的鄰點；

iii.通過殘差圖卷積塊得到特征矩陣：

通過池化塊得到的x_D-out和f_D-out，經殘差圖卷積處理后輸出x_D-out'和特征f_D-out'，其中x_D-out'與x_D-out相同，重復上述池化和殘差圖卷積操作3～5次，最終得到降維后的特征矩陣

iv.將步驟一、2)中得到去噪后的三維牙體模型點云數據作為真實數據y_pcd輸入到圖判別器D中，重復步驟i～iii，得到降維后的特征矩陣D(y_pcd)；

v.由D(y_pcd)計算得到適應性圖對抗損失函數L_G，并計算得到倒角距離變式損失函數L_cd：

其中L_cd衡量y_pcd和之間的距離，忽略了由點簇定義的高階屬性；L_G是最小二乘法生成式對抗網絡，能夠從數據中自動學習，具有簡單、有效的特性；

vi.由適應性圖對抗損失函數L_G判斷高分辨率點云的真偽：如果L_G＜0.5，判別預測的高分辨率點云為真；如果L_G＞0.5，判別預測的高分辨率點云為假；

2)構建損失函數并通過損失函數優化AR-GCN：

將倒角距離變式損失函數L_cd和適應性圖對抗損失函數L_G結合起來作為聯合損失函數Loss，通過聯合損失函數優化殘差圖卷積生成器G和圖判別器D，優化圖判別器D區分HR點云數據真偽的能力；

3)采用已有的訓練集和測試集訓練并評估AR-GCN網絡：

從臨床掃描得到的牙列CBCT數據中選取大部分作為訓練集，小部分作為測試集，按照步驟一的方法將CBCT數據全部轉為化三維牙體模型點云數據，并構建LR點云數據，得到預處理后的訓練集和測試集；然后將預處理后的訓練集用于訓練AR-GCN網絡，網絡訓練完成后，由預處理后的測試集評估AR-GCN網絡的泛化能力；

三、將步驟一中獲得的LR點云數據輸入到訓練好的AR-GCN中，得到HR點云數據，從而實現口腔三維點云的超分辨成像。