[發明專利]基于多特征提取的寬度學習系統

有效

• 申請號: 202010181905.9
• 申請日: 2020-03-16
• 公開（公告）號: CN111401443B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 劉然;劉亞瓊;劉宴齊;田逢春;錢君輝;鄭楊婷;趙洋;陳希;崔珊珊;王斐斐;陳丹
• 申請（專利權）人: 重慶大學;重慶市中藥研究院
• 主分類號: G06V10/778
• 分類號: G06V10/778;G06V10/50;G06V10/56;G06V10/762
• 代理公司: 重慶信航知識產權代理有限公司 50218
• 代理人: 吳彬

本發明基于多特征提取的寬度學習系統，包括四個子寬度學習系統，每個子寬度學習系統包括特征節點、增強節點和子節點；每個子寬度學習系統先對圖像數據集提取一種圖像特征，各子寬度學習系統將對圖像數據集提取的圖像特征合并得到各自的特征節點，再分別通過增強映射函數對各自的特征節點進行增強，形成對應的增強節點；各子寬度學習系統在形成增強節點之后，再將其特征節點與對應的增強節點合并，然后再連接到其子節點中，然后對各子寬度學習系統的子節點的輸出進行歸一化后再連接到最終輸出層。本發明在復雜數據集分類問題上兼有模型訓練時間少和分類準確性高的優點。

技術領域

本發明涉及圖像分類技術領域，特別涉及一種基于多特征提取的寬度學習系統。

背景技術

圖像分類是圖像處理的熱點問題，旨在對大量圖像進行自動分類。該技術被廣泛地用于行人檢測、視頻分析以及圖像質量評估等應用中。

近年來，基于深度學習的圖像分類方法得到了廣泛的關注與研究。典型的深度學習模型有深度信念網絡(Deep?Belief?Networks,DBN)、深度波爾茲曼機(Deep?BoltzmannMachines,DBM)以及卷積神經網絡(Convolutional?Neural?Networks,CNN)。由于能夠學到更高級別的語義特征，CNN被廣泛地用于圖像處理，尤其是圖像分類。CNN由卷積層、池化層和全連接層組成，采用共享權重的方法，能夠有效地減少參數個數。隨后在CNN的基礎上衍生出了性能更好的圖像分類模型，如AlexNet、GoogleNet、ResNet和GPipe。ResNet和GPipe等深度卷積神經網絡在MNIST、SVHN、CIFAR-10、CIFAR-100、ImageNet等數據集上取得了非常好的效果。但由于網絡中的隱藏層眾多，需要訓練的權重以及偏置等參數多達百萬以上，并且深度學習模型的訓練方式是基于梯度下降算法和反向傳播算法，因此模型訓練的速度慢，時間長。

為了解決這個問題，Chen等人提出了寬度學習系統(Broad?Learning?System,BLS)，并證明了該模型具有通用逼近性(universal?approximation?property)。BLS能有效地運用于分類和回歸任務。BLS是在隨機向量函數鏈接神經網絡(Random?VectorFunctional?Link?Neural?Network,RVFLNN)的基礎上提出的，有著扁平的網絡架構，只有一層隱層。該網絡中的權重以及偏置隨機賦值，且在訓練中不更新。該網絡使用嶺回歸來尋找最優權重。因此網絡能夠快速地進行圖像分類。BLS雖然在MNIST、NORB數據集上實現較好的分類結果，但由于其無法充分學習到輸入數據的特征，故而在SVHN、CIFAR-10等復雜數據集上表現不好。因此，如何讓BLS在復雜數據集上對圖像進行準確分類是一個具有挑戰性的工作。

為了提高BLS的分類性能，Liu等人在原始BLS中引入了K-means特征表示方法，提出了K-means-BLS模型。該方法提取K-means特征，使用特征代替原始圖像輸入，將其輸入到BLS中，用來提高BLS在CIFAR-10的分類效果。考慮到圖像數據具有局部不變性，Jin等人提出了GBLS模型，將流形學習引入到模型的目標函數中，約束輸出權重，從而進一步提高模型的分類能力。Yang引入了圖像卷積操作和池化操作，提出了CNNBLS模型。Zhou等人在BLS的增強節點上增加一層隱層，用以充分學習輸入數據的特征，解決小樣本上的分類問題。盡管這些改進的方法提高了BLS的分類性能，但它們在復雜數據集上的，例如CIFAR-10，分類效果仍然不是很好。

從上面的討論中，我們可以看到深度學習網絡能夠實現在復雜數據集上的準確分類，但存在訓練時間長，反復調參的問題。而BLS及各種改進模型由于其淺層的結構，沒有充分地學習圖像數據的特征，因此雖然模型的訓練時間少，但對復雜數據集進行分類時，模型的分類性能并不是很好。因此我們的目標是在訓練時間少的同時提高BLS在復雜數據集上的分類性能。

發明內容