[發明專利]一種基于多模態的甲狀腺結節自動識別模型構建方法

在審

• 申請號: 202110223659.3
• 申請日: 2021-03-01
• 公開（公告）號: CN112949712A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 杜強;王曉勇;王偉;劉貽豪;佟文娟;郭雨晨;聶方興;唐超
• 申請（專利權）人: 北京小白世紀網絡科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/68;G06N3/04;G06N3/08;G06T7/00
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 李斌

本發明公開了一種基于多模態的甲狀腺結節自動識別模型構建方法、裝置、電子設備及存儲介質，通過本發明提出一種數據對齊方式，對齊三種甲狀腺超聲圖像灰階、彩超、彈性不同模態下圖像區域；本發明提出使用ResNet提取三種模態特征，針對彈性圖像多張不兼容預訓練模型，提取替換輸入層以適配；本發明提出使用修改后的bottleneck(瓶頸)結構融合三種模態信息，降低參數量；本發明提出使用投票的方式集成三種不同數據增強及訓練方式的模型，提升模型效果；本發明通過將待識別圖像輸入到所構建的模型中，得到甲狀腺結節識別結果，提升甲狀腺良惡性自動識別效果，進行甲狀腺癌的自動篩查工作，提升檢出率，降低誤檢率。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于多模態的甲狀腺結節自動識別模型構建方法、裝置、電子設備及存儲介質。

背景技術

甲狀腺結節是成人人群中最常見的結節性病變之一，據美國國家癌癥研究所估計，全球將發生64300例新的甲狀腺癌病例，與甲狀腺癌相關的死亡人數將約為51980，在過去30年中，甲狀腺癌的發病率增加了2.4倍，這種速度是所有類型的癌癥中發生的最大增速之一。盡管甲狀腺癌的發病率很高，但是在超過50％的成年人中，大多數甲狀腺結節是良性的，只有7％的人是惡性的，但甲狀腺結節中有15％-30％被診斷為不確定或可疑。甲狀腺結節的非手術診斷是穿刺活檢，這是確定甲狀腺結節的正確治療方法的關鍵診斷測試。但是，許多醫生對甲狀腺結節的各種回聲模式感到困惑。細針穿刺術中約有10％-20％的甲狀腺活檢無法診斷。在這種結節通常采用手術穿刺活檢檢測，即使其中有70％以上的結節在組織學檢查中是良性的，切除活檢也是最好的分化方法。細針穿刺活檢和切除活檢對于大規模篩查來說都是勞動密集型的，不必要的活檢將使患者更加焦慮并增加醫療保健成本。作為提供甲狀腺結節特征圖像的實時非侵入性診斷技術，超聲技術已成為診斷和隨訪甲狀腺結節的一種廣泛使用的成像方法。超聲圖像容易受到回聲擾動和斑點噪聲的影響，不同類型的甲狀腺結節在超聲檢查中往往具有各種內部回聲。此外，許多良性和惡性結節的內部特征相似，因此只有經驗豐富的醫生才能對這些甲狀腺結節的分化做出準確的視覺解釋，易導致主觀解釋和觀察者之間的差異。為了放射科醫生依賴性并提高診斷準確性，最近已經開發了基于計算機輔助診斷的方法來檢測和分類甲狀腺結節。傳統的計算機輔助診斷設計通常包括三個主要步驟：預處理，特征提取和選擇以及分類。這三個步驟需要分別解決，然后集成在一起，以進行整體計算機輔助的診斷性能調整。通常，預處理包括降噪、對比度增強、邊緣增強、分割等，這些預處理步驟不僅繁瑣，而且對后續處理有很大影響。診斷圖像的特征可以分為形態特征和紋理特征。分類器可以是支持向量機，k近鄰，AdaBoost，高斯混合模型，概率神經網絡，決策樹等，特征的有效提取是好的分類器基礎，需要分類器在特征選擇和特征集成的后續步驟中提供幫助，但特征提取依賴專家知識工作量大，嚴重阻礙自動檢測效果。隨著深度學習的復興，在計算機視覺中則以卷積神經網絡為代表，統治了計算機視覺分類、檢測、分割各個任務中，因此用卷積神經網絡自動提取特征便自然而然用于甲狀腺超聲影像，效果有了大幅提升。

但從目前的研究現狀來看，目前深度學習多模態技術在不斷發展，每一種模態可看作一種數據形式，如圖像、聲音、文字等等，目前在甲狀腺超聲影像的應用大多局限于灰階這單一模態，而彩超、彈性等模態的應用較少，這些模態數據在超聲影像數據缺少的時候更顯得重要。

發明內容

本發明的目的在于提供基于多模態的甲狀腺自動識別模型構建方法、裝置、電子設備及存儲介質，從灰階、彩超及彈性圖像中學習更多語義信息，采用多模態融合手段融合這些語義信息，提升甲狀腺良惡性自動識別效果，進行甲狀腺癌的自動篩查工作，提升檢出率，降低誤檢率，避免接下來使用活檢穿刺等代價昂貴的工作，輔助醫生完成對甲狀腺癌的篩查。

第一方面，本發明實施例提供了一種基于多模態的甲狀腺結節自動識別模型構建方法，所述模型構建方法包括以下步驟：

對多組圖像數據進行預處理得到目標數據，其中，所述多組圖像數據中的每例數據均包括多張灰階圖像、彩超圖像及彈性圖像三種模態圖像；