[發明專利]一種基于遷移學習的超聲或CT醫學影像三維重建方法

有效

• 申請號: 202011621411.4
• 申請日: 2020-12-30
• 公開（公告）號: CN112767532B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 全紅艷;錢笑笑
• 申請（專利權）人: 華東師范大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N20/00
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于遷移學習的超聲或CT醫學影像三維重建方法，本發明的特點是采用無監督學習機制，根據超聲或CT影像采集的特點，利用視覺方法，通過遷移學習，實現超聲影像的三維重建功能。利用本發明能夠有效地實現超聲或CT影像的三維重建，在人工智能的輔助診斷中，充分發揮輔助診斷的作用，3D可視化的重建結果，能夠提高輔助診斷的效率。

技術領域

本發明屬于計算機技術領域，涉及醫療輔助診斷中超聲或CT影像三維重建，是一種借助于自然圖像的成像規律、利用人工智能的遷移學習策略、建立編碼解碼的網絡結構，對超聲或CT影像三維重建的方法。

背景技術

近年來，人工智能技術快速發展，醫療輔助診斷的關鍵技術的研究，意義重大。目前，超聲或CT影像的三維重建技術研究中，由于攝象機的參數恢復存在一定的難度，導致目前超聲或CT影像的三維重建技術的研究存在一定難點，特別是復雜模型的重建會給三維重建帶來時間復雜度高的嚴重問題，不利于臨床醫療輔助診斷的應用。如何建立有效的深度學習的網絡編碼模型，有效解決超聲或CT影像的三維重建的快速問題，這是亟待解決的實際問題。

發明內容

本發明為一種基于遷移學習的超聲或CT醫學影像三維重建方法，提出一種基于深度學習的超聲或CT影像三維重建方法，該方法采樣簡單的編碼解碼結構，能夠獲得較為精細的目標三維結構，具有較高的實用價值。

實現本發明目的的具體技術方案是：

一種基于遷移學習的超聲或CT醫學影像三維重建方法，該方法輸入一個超聲或者CT影像序列，其影像分辨率為M×N，100≤M≤1500，100≤N≤1500，三維重建的過程具體包括以下步驟：

步驟1：構建數據集

(a)構建自然圖像數據集D

選取一個自然圖像網站，要求具有圖像序列及對應的攝像機內部參數，從該網站下載a個圖像序列及序列對應的內部參數,1≤a≤20,對于每個圖像序列，每相鄰3幀圖像記為圖像b、圖像c和圖像d，將圖像b和圖像d按照顏色通道進行拼接，得到圖像τ，由圖像c與圖像τ構成一個數據元素，圖像c為自然目標圖像，圖像c的采樣視點作為目標視點，圖像b、圖像c和圖像d的內部參數均為e_t(t＝1，2，3，4)，其中e₁為水平焦距，e₂為垂直焦距，e₃及e₄是主點坐標的兩個分量；如果同一圖像序列中最后剩余圖像不足3幀，則舍棄；利用所有序列構建數據集D，數據集D有f個元素，而且3000≤f≤20000；

(b)構建超聲影像數據集E

采樣g個超聲影像序列，其中1≤g≤20，對于每個序列，每相鄰3幀影像記為影像i、影像j和影像k，將影像i和影像k按照顏色通道進行拼接得到影像π，由影像j與影像π構成一個數據元素，影像j為超聲目標影像,影像j的采樣視點作為目標視點，如果同一影像序列中最后剩余影像不足3幀，則舍棄，利用所有序列構建數據集E，數據集E有F個元素，而且1000≤F≤20000；

(c)構建CT影像數據集G

采樣h個CT影像序列，其中1≤h≤20，對于每個序列，每相鄰3幀記為影像l、影像m和影像n，將影像l和影像n按照顏色通道進行拼接得到影像σ，由影像m與影像σ構成一個數據元素，影像m為CT目標影像,影像m的采樣視點作為目標視點，如果同一影像序列中最后剩余影像不足3幀，則舍棄，利用所有序列構建數據集G，數據集G有ξ個元素，而且1000≤ξ≤20000；

步驟2：構建神經網絡

神經網絡處理的圖像或影像的分辨率均為p×o，p為寬度，o為高度，以像素為單位，100≤o≤2000，100≤p≤2000；

(1)網絡A的結構