[發明專利]多模態特征選擇與圖像數據分類方法、裝置及計算機設備

在審

• 申請號: 201911051486.0
• 申請日: 2019-10-31
• 公開（公告）號: CN112749718A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 祖辰;羅尚勇
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;袁禮君

本發明公開一種多模態特征選擇與圖像數據分類方法、裝置及計算機設備。該多模態特征選擇方法包括：分別獲取對應多個模態的多張圖像的數據集；分別對所述多張圖像進行特征提取，分別確定與所述多個模態相對應的多個第一特征集；以及基于預設的多模態特征選擇模型，對所述多個第一特征集中的特征進行篩選，確定第二特征集；其中，所述多模態特征選擇模型包括：距離子模型，用于使對應多個模態的、類別相同的圖像數據在相應的第一特征集構建的特征空間中的映射點投影于所述第二特征集構建的特征空間后的距離最小。根據本發明提供的多模態特征選擇方法，能夠有效地誘導多模態特征選擇模型選擇出具有高判別性的特征。

技術領域

本發明涉及計算機技術領域，尤其涉及一種多模態特征選擇與圖像數據分類方法、裝置、計算機設備及計算機可讀存儲介質。

背景技術

以醫學成像領域為例，多模態圖像指就同一臨床診斷，同時從MRI(MagneticResonance Imaging，核磁共振成像)和PET(Position Emission Tomography，正電子發射成像)等不同渠道獲得的圖像。隨著圖像數據的增多，通過手工勾畫的方式分析多模態圖像使醫生的工作負擔不斷加重，因此目前迫切需要計算機輔助技術對多模態圖像進行分析處理。

在多模態圖像分析中，由于從原始醫學圖像中提取的特征通常具有較高維數，而臨床中僅有少量樣本包含完整的多模態數據，應用時很有可能產生維數災難。而深度學習需要使用大量樣本對模型進行訓練，如果在高維特征下樣本數較少，將會導致嚴重的過擬合問題。因此，如何通過特征學習選擇保留部分具有高判別性的特征，以有效地改善機器學習算法泛化能力，是目前多模態圖像分析領域面臨的重要課題。

需要說明的是，在所述背景技術部分公開的上述信息僅用于加強對本發明的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

有鑒于此，本發明提供一種多模態特征選擇與圖像數據分類方法、裝置、計算機設備及計算機可讀存儲介質。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明的一方面，提供一種多模態特征選擇方法，包括：分別獲取對應多個模態的多張圖像的數據集，每張圖像的數據集包含對應圖像多個位置點的多個圖像數據；分別對所述多張圖像進行特征提取，分別確定與所述多個模態相對應的多個第一特征集；以及基于預設的多模態特征選擇模型，對所述多個第一特征集中的特征進行篩選，確定第二特征集；其中，所述多模態特征選擇模型包括：距離子模型，用于使對應多個模態的、類別相同的圖像數據在相應的第一特征集構建的特征空間中的映射點投影于所述第二特征集構建的特征空間后的距離最小。

根據本發明的一實施方式，所述距離子模型包含標號對齊的正則化函數。

根據本發明的一實施方式，所述標號對齊的正則化函數如下式：

其中，μ為正則化參數，p、q表示模態，w^p、w^q分別表示p、q模態對應的權重向量，W＝[w¹，w²，…，w^M]為M個模態對應的權重矩陣，和分別表示p、q模態的圖像數據在相應的第一特征集構建的特征空間中的映射點，i、j表示圖像數據在對應圖像中的N個位置點的編號，

其中，y_i、y_j分別為和所對應的圖像數據的類別標號。

根據本發明的一實施方式，所述多模態特征選擇模型的目標函數基于加速近似梯度算法實現求解。

根據本發明的一實施方式，分別對所述多張圖像進行特征提取包括：根據預定義模板，分別對每個模態的圖像進行特征提取。