[發明專利]多模態特征選擇與圖像數據分類方法、裝置及計算機設備

在審

• 申請號: 201911051486.0
• 申請日: 2019-10-31
• 公開（公告）號: CN112749718A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 祖辰;羅尚勇
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;袁禮君

1.一種多模態特征選擇方法，其特征在于，包括：

分別獲取對應多個模態的多張圖像的數據集，每張圖像的數據集包含對應圖像多個位置點的多個圖像數據；

分別對所述多張圖像進行特征提取，分別確定與所述多個模態相對應的多個第一特征集；以及

基于預設的多模態特征選擇模型，對所述多個第一特征集中的特征進行篩選，確定第二特征集；

其中，所述多模態特征選擇模型包括：距離子模型，用于使對應多個模態的、類別相同的圖像數據在相應的第一特征集構建的特征空間中的映射點投影于所述第二特征集構建的特征空間后的距離最小。

2.根據權利要求1所述的方法，其特征在于，所述距離子模型包含標號對齊的正則化函數。

3.根據權利要求2所述的方法，其特征在于，所述標號對齊的正則化函數如下式：

其中，μ為正則化參數，p、q表示模態，w^p、w^q分別表示p、q模態對應的權重向量，W＝[w¹，w²，…，w^M]為M個模態對應的權重矩陣，和分別表示p、q模態的圖像數據在相應的第一特征集構建的特征空間中的映射點，i、j表示圖像數據在對應圖像中的N個位置點的編號，

其中，y_i、y_j分別為和所對應的圖像數據的類別標號。

4.根據權利要求3所述的方法，其特征在于，所述多模態特征選擇模型的目標函數基于加速近似梯度算法實現求解。

5.根據權利要求1所述的方法，其特征在于，分別對所述多張圖像進行特征提取包括：根據預定義模板，分別對每個模態的圖像進行特征提取。

6.一種圖像數據分類方法，其特征在于，包括：

獲取待分類圖像數據；以及

在根據權利要求1-5任一項所述方法確定的第二特征集構建的特征空間中，通過預先訓練的分類器模型，對所述待分類圖像數據進行分類。

7.根據權利要求6所述的方法，其特征在于，所述分類器模型為支持向量機模型。

8.根據權利要求7所述的方法，其特征在于，所述支持向量機模型根據各模態圖像中兩兩圖像數據對應的核矩陣的線性組合進行預先訓練，所述兩兩圖像數據在各模態圖像中的位置相同。

9.一種多模態特征選擇裝置，其特征在于，包括：

數據獲取模塊，用于分別獲取對應多個模態的多張圖像的數據集，每張圖像的數據集包含對應圖像多個位置點的多個圖像數據；

特征提取模塊，用于分別對所述多張圖像進行特征提取，分別確定與所述多個模態相對應的多個第一特征集；以及

特征選擇模塊，用于基于預設的多模態特征選擇模型，對所述多個第一特征集中的特征進行篩選，確定第二特征集；

其中，所述多模態特征選擇模型包括：距離子模型，用于使對應多個模態的、類別相同的圖像數據在相應的第一特征集構建的特征空間中的映射點投影于所述第二特征集構建的特征空間后的距離最小。

10.一種圖像數據分類裝置，其特征在于，包括：

數據獲取模塊，用于獲取待分類圖像數據；以及

數據分類模塊，用于在根據權利要求9所述裝置確定的第二特征集構建的特征空間中，通過預先訓練的分類器模型，對所述待分類圖像數據進行分類。

11.一種計算機設備，包括：存儲器、處理器及存儲在所述存儲器中并可在所述處理器中運行的可執行指令，其特征在于，所述處理器執行所述可執行指令時實現如權利要求1-8任一項所述的方法。

12.一種計算機可讀存儲介質，其上存儲有計算機可執行指令，其特征在于，所述可執行指令被處理器執行時實現如權利要求1-8任一項所述的方法。