[發明專利]基于增量半監督核極限學習機的在線手寫體數字識別方法

有效

• 申請號: 202010693621.8
• 申請日: 2020-07-17
• 公開（公告）號: CN112861594B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 楊麗霞;張瑞;魏立力;劉國軍
• 申請（專利權）人: 寧夏大學
• 主分類號: G06V30/32
• 分類號: G06V30/32;G06V30/244;G06V10/82;G06N3/0895;G06N3/09;G06N3/0499
• 代理公司: 銀川瑞海陳知識產權代理事務所(普通合伙) 64104
• 代理人: 贠天娥

一種基于增量半監督核極限學習機的在線手寫體數字識別方法，包括以下步驟：給定標記樣本和未標記樣本，通過拉普拉斯正則項提取標記樣本和未標記樣本信息；建立核極限學習機模型，監督極限學習機找出一個映射函數和極限學習機的一個特征映射，確定極限學習機的訓練目標，學得一個權值矩陣，使得映射函數和特征映射之間的差值最小，將權值向量轉化為一個正則優化，然后建立核極限學習機模型；建立增量半監督極限學習機，并給出迭代解析解；標記和未標記樣本中包含的信息被累積在迭代解析解中，半監督極限學習機給出一個判別決策函數，識別新得到的測試樣本。本發明能在僅有少量標記樣本時得到精確、穩健的手寫體數字識別。

技術領域：

本發明涉及手寫體數字識別技術領域，特別涉及一種基于增量半監督核極限學習機的在線手寫體數字識別方法。

背景技術：

手寫體數字識別(Handwritten?Digits?Recognition,HDR)是圖像處理和模式識別領域解決計算機視覺問題的一個重要研究方向，目前已有包括多層感知器(MultilayerPerception,MLP)、支撐向量機(Support?Vector?Machine,SVM)、卷積網絡(ConvolutionalNeural?Networks,CNN)在內的很多有監督機器學習方法被用于手寫體數字識別,并得到了很高的識別率.但這些有監督方法需要大量的標記樣本,這個要求在銀行支票分析、郵政郵件排序等手寫體識別實際應用問題中通常是不可滿足的。為了克服這個問題,有一些用于手寫體數字識別,如基于圖的方法，這些半監督方法在提取標記樣本信息的同時,也從大量的未標記樣本中提取信息,從而提高了手寫體數字的識別率；

但是這些批量學習(batch?learning)方法要在得到全部訓練樣本時才能訓練分類器,而且在得到新樣本時,要儲存和再訓練所有的訓練樣本,加重了識別所需的存儲和計算負擔,對于當前實際應用中大量出現的數據流識別問題很不方便,因此有一些增量/在線學習(incremental/online?learning)方法被提出,如增量支撐向量機(IncrementalSupport?Vector?Machine,I-SVM)[6]、在線稀疏線性判別模型等，這些有監督增量方法雖然能大大降低計算和存儲代價,但是不能利用大量未標記樣本中所包含的有用信息。

發明內容：

有鑒于此，有必要提供一種基于增量半監督核極限學習機的在線手寫體數字識別方法。

一種基于增量半監督核極限學習機的在線手寫體數字識別方法，包括以下步驟：

步驟一，給定標記樣本和未標記樣本，通過拉普拉斯正則項提取標記樣本和未標記樣本信息；

步驟二，建立核極限學習機模型，監督極限學習機找出一個映射函數和極限學習機的一個特征映射，確定極限學習機的訓練目標，學得一個權值矩陣，使得映射函數和特征映射之間的差值最小，將權值向量轉化為一個正則優化，然后建立核極限學習機模型；

步驟三，建立增量半監督極限學習機，并給出迭代解析解；

步驟四，標記和未標記樣本中包含的信息被累積在迭代解析解中，半監督極限學習機在任意時刻給出一個判別決策函數，通過判別決策函數，識別新得到的測試樣本。

優選的，核極限學習機模型建立的具體方法為：

給定l個標記樣本，和u個未標記樣本其中是第i個樣本的輸入，d是樣本的維數，是x_i(i＝1,…,l)的對應目標，c是樣本的類別數；如果x_i屬于第j類,則否則，監督學習的目標是找出一個映射函數f:使得f(x_i)≈y_i(i＝1,2,…,l)；極限學習機通過L個激活函數的線性組合通過公式一來表示；