[發明專利]基于深度學習網絡的二階段牙體點云補全方法及系統

在審

• 申請號: 202110287374.6
• 申請日: 2021-03-17
• 公開（公告）號: CN112967219A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 于澤寬;張慧賢;郭向華;耿道穎;韓方凱;劉杰;王俊杰
• 申請（專利權）人: 復旦大學附屬華山醫院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/33;G06T7/00;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種基于深度學習網絡的二階段牙體點云補全方法及系統，涉及醫學圖像處理技術領域，該方法包含：第一部分為基于CBCT數據與口掃數據構建初始點云數據，主要利用第三方軟件Mimics對患者的CBCT數據進行三維重建，將生成的CBCT重建三維牙模型點云數據再與激光掃描點云數據配準，得到三維牙體模型點云數據作為金標準；第二部分為訓練深度學習網絡MSN，并將第一部分中構建的激光掃描點云數據輸入到已經訓練好的深度學習網絡MSN中，MSN補全網絡會對輸入點云進行兩階段處理。在第一階段，MSN網絡先預測一個完整但粗粒度的點云；在第二階段，通過采樣算法與殘差連接將粗粒度預測點云與輸入點云融合，得到均勻分布的細粒度預測點云，實現牙體點云的補全。

技術領域

本發明涉及醫學圖像處理技術領域，具體地，涉及一種基于深度學習網絡的二階段牙體點云補全方法及系統。

背景技術

牙科成像可以使牙醫更準確得發現、干預病灶區域，發現潛在問題，從而積極主動地進行牙科保健與修復。目前用于診斷的牙科成像技術主要有三種類型：傳統計算機斷層掃描CT、錐形束計算機斷層掃描(Cone Beam Computred Tomography,CBCT)和口內掃描儀。但由于遮擋物和傳感器分辨率的原因，口掃設備獲取的掃描數據通常是不完整的。

對于這種受限的原始數據，我們需要對其進行完善來補償原始數據的結構損失，提高數據質量，以便于后續臨床應用。在PointNet和PointNet++使用深度學習網絡實現了點云分割和點云分類之后，點云深度學習逐漸成為熱門研究領域。與此同時，點云作為一種重要的三維數據，其在醫學領域的應用也越來越廣泛。但是，從激光雷達等設備中獲取的點云往往有所缺失，這給點云的后續處理帶來了一定的困難。點云補全(Point CloudCompletion)技術應運而生，它從缺失點云出發估計完整點云，從而獲得更高質量的點云，達到修補的目的。

公開號為CN111383355A的中國發明專利，公開了一種三維點云補全方法、裝置和計算機可讀存儲介質，該方法包括：獲取目標房間對應的三維點云，其中，三維點云包括頂面點云、地面點云和擺放物品點云；基于頂面點云，生成頂面點云投射圖像，以及基于地面點云和擺放物品點云，生成地面點云投射圖像；從頂面點云投射圖像和地面點云投射圖像中，確定至少一個待補全點云區域；對于至少一個待補全點云區域中的每個待補全點云區域，基于該待補全點云區域的位置，利用該待補全點云區域周圍的點云，對該待補全點云區域進行補全。本公開實施例可以提高對三維點云中的空洞補全的準確性，以及增加房屋模型的完整性和美觀程度。

傳統的點云補全方法基于一定物體基礎結構的先驗信息(如對稱性信息或語義類信息等)，通過一定的先驗信息對缺失點云進行修補。這類方法只能處理一些點云缺失率很低、結構特征十分明顯的缺失點云。隨著用于點云分析和生成的深度學習方法的進步，現今已經提出一些更加合理的3D點云補全工作，如LGAN-AE、PCN和3D-Capsule等。這些基于深度學習方法的點云補全工作以有缺失點云為輸入，以完整點云為輸出，可有效防止因離散化而導致的大量內存占用和偽影問題。但是，由于點云的無序性和不規則性，我們無法直接在點云上應用傳統卷積，在不規則點云上進行深度學習仍面臨許多挑戰。比如，深度學習網絡過于關注物體的整體特征而忽略了缺失區域的幾何信息；網絡會生成偏向于某類物體共性特征的點云，而失去某個物體的個體特征。

日益完善的點云采集設備可以快速從物體表面掃描獲得大量點云數據,但是由于目前分析和生成點云的能力有限，大規模的點云數據使設備存儲和計算處理效率低下，導致重建出的模型表面失真,整體效果模糊，同時也出現了重建后的點云分布不均勻、有孔洞等一系列問題。因此在實際應用中，實現高效的點云補全從而提高點云質量在口腔醫學領域中具有很重要的臨床意義與研究價值。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于深度學習網絡的二階段牙體點云補全方法及系統。

根據本發明提供的一種基于深度學習網絡的二階段牙體點云補全方法及系統，所述方案如下：