[發明專利]一種基于加權列抽樣XGBoost的圖像目標分類方法

有效

• 申請號: 201710580163.5
• 申請日: 2017-07-17
• 公開（公告）號: CN107392241B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 高欣;范少華;李新鵬;張浩;戚岳;曹良晶;賈慶軒;彭岳星;刁新平
• 申請（專利權）人: 北京郵電大學;國網冀北電力有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于加權列抽樣XGBoost的圖像目標分類方法，其特征在于，所述方法步驟包括：

(1)利用在大型數據集ILSVRC預訓練過的并且在PASCAL VOC 2012數據集上進行過微調的卷積神經網絡提取目標圖像的特征；

(2)連接多層學習到的特征以獲得更多決定其圖像類別的內容信息；

(3)利用基于加權列抽樣的XGBoost方法對圖像特征分類，根據屬性重要度，在構建決策樹之前對屬性進行次抽樣，將抽取到的具有更多信息的屬性用于當前決策樹的構建，重復迭代直到收斂，得到性能最佳的圖像分類模型，具體為：根據屬性對于目標類別的區分能力計算每個屬性的重要度；屬性重要度正比于屬性在列抽樣時此屬性被抽到的概率大小，在構建每棵決策樹之前，對圖像特征進行基于屬性重要度的不等概不放回抽樣，將抽取到的具有更多信息的屬性用于當前決策樹的構建，重復迭代直到收斂，即可得到性能最佳的圖像分類模型；

利用所述基于屬性重要度的加權列抽樣的XGBoost方法步驟如下：

1)基于屬性對于目標的區分程度計算其每列特征的屬性重要度；

屬性重要度f(k)由下式確定：

其中，表示屬性k的所有樣本的類內方差，由下式確定：

其中，表示第i類樣本第k維的平均值；D_i為屬于類別i的樣本；N_i為類別i的樣本個數；x為樣本數據；x^(k)為樣本數據第k維的值；為類別i在第k維的類內方差；m為可能的類別數量；

其中，表示屬性k的類間差異，由下式確定：

其中，μ^(k)是所有樣本第k維的平均值，N是所有類別樣本的總數；D是所有的樣本集；

2)基于屬性重要度計算不等概不放回抽樣的輔助變量，即屬性被抽到的概率大小；

屬性抽樣概率Z_k由下式確定：

其中，K為樣本空間的屬性總數；

3)抽樣參數初始化：設定按樹抽樣比例為p₁，按層抽樣比例為p₂；

4)抽取用于生成一棵決策樹的樣本：生成一個1到屬性個數總數K之間的隨機整數k，生成一個1到的隨機數z；如果P_k＞z并且參數為p的伯努利隨機變量此時為1則抽取第k個屬性，將其放入F中，否則重復此步驟；

其中，F為生成單棵決策樹被抽到的屬性樣本空間，{P_k}為屬性被抽取后,在樣本空間中移除該屬性，調整后屬性的入樣概率；調整后的屬性的入樣概率P_k由下式確定：

P_k＝Z_k/(1-sum(F中所有屬性的入樣概率Z))

重復以上抽取步驟直到設定的按樹抽樣比例p₁；

5)在生成決策樹的每一層以F為樣本空間利用步驟4)所述方法，抽取比例為p₂的屬性，用于此層決策樹的構建；

6)在構建每棵決策樹時，重復步驟4)，5)的抽樣過程，直到算法使總體目標函數收斂，此時得到最優的目標圖像分類XGBoost模型。

2.根據權利要求1所述的方法，其特征在于，利用在大型數據集ILSVRC預訓練過的并且在PASCAL VOC 2012數據集上進行過微調的卷積神經網絡提取目標圖像的特征，包括：修改CaffeNet的輸入層，調整輸入圖像的大小為227×227；利用Sigmoid Cross Entropy Loss損失函數替換CaffeNet最后一層Softmax函數；利用PASCAL VOC 2012訓練驗證集微調CaffeNet模型，得到的卷積神經網絡模型即為能有效提取圖像特征的模型；

用于評價模型性能好壞的Sigmoid Cross Entropy Loss損失函數的表達式為：

其中，l是邏輯交叉熵損失的大小；n為第n個樣本，其取值范圍為1到N,N是所有類別樣本的總數；j為樣本可能屬于的類別，m為樣本可能類別的總數；為第n個樣本在第j類的正確標簽；為邏輯回歸函數的輸出，即第n個樣本屬于第j類的概率，用于判斷圖像中是否存在某個物體。

3.根據權利要求1所述的方法，其特征在于，連接多層學習到的特征以獲得更多決定其圖像類別的內容信息，具體說明如下：將需要提取特征的圖像作為卷積神經網絡的輸入，經過五層卷積層，即CONV1-CONV5，和三層全連接層，即FC6-FC8計算，每層的激勵輸出為圖像的特征表示；深度卷積神經網絡的低層輸出更具一般性的特征，其高層輸出更有針對性的特征，提取FC6和FC7層特征激勵作為圖像特征表示；連接這兩層的輸出特征以獲得具有更多圖像特征信息的特征。