[發明專利]面向生物醫學文獻的跨模態圖像模式識別方法

有效

• 申請號: 201810575135.9
• 申請日: 2018-06-05
• 公開（公告）號: CN108960073B
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 林鴻飛;于玉海;趙哲煥
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 劉斌

一種面向生物醫學文獻的跨模態圖像模式識別方法，屬于圖像識別和自然語言處理領域，用以解決醫學文獻中跨模態圖像識別問題，技術要點包括：利用預先訓練的跨模態復合圖像探測模型對圖像和文本進行處理，判斷待識別圖像是否為復合圖像；利用預先訓練的跨模態復合圖像多標簽分類模型對圖像和文本進行處理，以輸出復合圖像子圖的生物醫學模式類別；利用預先訓練的跨模態簡單圖像模式分類模型對圖像和文本進行處理，以輸出簡單圖像的生物醫學模式類別，效果是：有效地完成生物醫學文獻中圖像模式識別任務，充分利用通用領域和生物醫學領域資源改善識別的性能，降低人力和時間成本。

技術領域

本發明涉及圖像識別和自然語言處理領域，尤其涉及一種面向生物醫學文獻的跨模態圖像模式識別方法。

背景技術

隨著互聯網的發展，數字化生物醫學文獻的數量與日俱增，全球用戶可以通過檢索文獻，掌握自己領域內的最新動態，做出新的發明或發現。數字醫療影像和醫學數據重繪的示意圖，作為生物醫學文獻的重要組成部分，對醫學研究和教育，具有不可或缺的作用。

利用大量現存醫學術語資源，如MeSH、IRMA和RadLex等，為醫學概念分類，然后結合醫學領域本體知識和圖像低級視覺特征，將概念影射到不同的生物醫學圖像類別，進而提出一種精煉的層次化的生物醫學圖像分類法，能夠清楚將生物醫學文獻中不同外觀和語義的圖像，劃分為不同的生物醫學模式。

要建立針對生物醫學領域的圖像模式識別算法，首先應該了解該領域的特點。第一，在生物醫學文獻中，有40％以上的圖像屬于復合圖像，為了有效利用豐富的生物醫學圖像資源，如果首先探測復合圖像，再針對復合圖像和簡單圖像分別進行模式識別，將會對生物醫學文獻的圖像模式識別性能產生積極作用。第二，為生物醫學文獻的圖像往往會配備規范的說明文本，對圖像進行解釋說明，在說明文本中，也蘊含著豐富的生物醫學模式信息，如果結合圖像內容和文本信息，將有助于提高生物醫學文獻的圖像模式識別性能。第三，生物醫學領域的數據標注成本和數據特點，影響了訓練數據的規模和質量，限制了深度卷積神經網絡優勢作用的發揮，而通用領域已有大規模(百萬級)的已標注數據，生物醫學領域也存在小規模的已標注數據，如果綜合利用通用領域和生物醫學領域的已標注數據，將會對生物醫學文獻的圖像模式識別性能帶來巨大的提升。

生物醫學文獻的圖像模式識別算法是一系列對生物醫學文獻的圖像進行生物醫學模式分類算法的總稱，它的主要特點是應用機器學習技術解決圖像和文本分類問題。在文獻檢索系統中，利用生物醫學圖像模式產生元數據，提供有效歸檔文獻中圖像的手段，可以輔助科研工作者或教育者更快理解醫學主題，更準確地獲取感興趣的文獻。

然而，傳統的生物醫學文獻的圖像模式識別技術，根據專家的經驗，人工擬合特征，訓練分類器，識別圖像的生物醫學模式。這種特征工程的方法，對詞典和規則依賴性強，而生物醫學圖像模式差異性有的顯著、有的細微，面對多樣性樣本泛化性能差，很難取得較好的分類性能。

發明內容

本發明的目的是提供一種能更準確識別圖像的生物醫學模式，提供更有效的歸檔文獻中圖像的手段，更好地滿足用戶檢索信息需求的生物醫學文獻圖像模式識別方法。

本發明解決現有技術問題所采用的技術方案：一種面向生物醫學文獻的圖像模式識別方法，包括以下離線訓練訓練階段和在線識別階段，其中，離線訓練階段包括以下步驟：

R1、訓練跨模態復合圖像探測模型：

搭建基于圖像內容的復合圖像探測模型。視覺深度卷積神經網絡包含四個具有不同數量卷積核的卷積層，用于捕獲圖像多種多樣的局部特征，統一采用小尺寸卷積核。第二、四個卷積層后面各有一池化層，依次從卷積輸出小范圍內選擇最大值。將池化后的多維數據一維化后，連接兩個全連接層。