[發明專利]基于增量半監督核極限學習機的在線手寫體數字識別方法

有效

• 申請號: 202010693621.8
• 申請日: 2020-07-17
• 公開（公告）號: CN112861594B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 楊麗霞;張瑞;魏立力;劉國軍
• 申請（專利權）人: 寧夏大學
• 主分類號: G06V30/32
• 分類號: G06V30/32;G06V30/244;G06V10/82;G06N3/0895;G06N3/09;G06N3/0499
• 代理公司: 銀川瑞海陳知識產權代理事務所(普通合伙) 64104
• 代理人: 贠天娥

1.一種基于增量半監督核極限學習機的在線手寫體數字識別方法，其特征在于：基于增量半監督核極限學習機的在線手寫體數字識別方法包括以下步驟：

步驟一，給定標記樣本和未標記樣本，通過拉普拉斯正則項提取標記樣本和未標記樣本信息；

步驟二，建立核極限學習機模型，監督極限學習機找出一個映射函數和極限學習機的一個特征映射，確定極限學習機的訓練目標，學得一個權值矩陣，使得映射函數和特征映射之間的差值最小，將權值向量轉化為一個正則優化，然后建立核極限學習機模型；

步驟三，建立增量半監督極限學習機，并給出迭代解析解；

步驟四，標記和未標記樣本中包含的信息被累積在迭代解析解中，半監督極限學習機在任意時刻給出一個判別決策函數，通過判別決策函數，識別新得到的測試樣本；

核極限學習機模型建立的具體方法為：

給定l個標記樣本，和u個未標記樣本(N＝l+u)，其中是第i個樣本的輸入，d是樣本的維數，是x_i(i＝1,…,l)的對應目標，c是樣本的類別數；如果x_i屬于第j類,則否則，監督學習的目標是找出一個映射函數使得f(x_i)≈y_i(i＝1,2,…,l)；極限學習機通過L個激活函數的線性組合通過公式一來表示；

公式一表示監督學習的目標找出的映射函數關系；其中是隱層與輸出層之間的連接權值矩陣，h(x)＝[h₁(x),h₂(x),...,h_L(x)]是極限學習機的特征映射；

極限學習機的訓練目標是學得一個權值矩陣W使得f(x_i)與y_i(i＝1,2,…,l)之間的差值最小；

將優化權值矩陣W轉化為一個L₂正則優化；

其中C是均衡訓練誤差和模型復雜度的正則化參數，是度量期望輸出與實際輸出之間誤差的松弛向量；公式二的解析解為

其中表示隱層與輸出層之間聯系的權值矩陣,和分別是隱層的輸出矩陣和目標矩陣；如果不再使用顯式特征映射,而是如SVM核方法一樣,用核函數k(x,y)＝h(x)·h(y)表示這種映射關系,函數k是任何滿足核定義的核函數,被稱為極限學習機核；核矩陣顯式的表示為ELM模型重寫為

公式四為核極限學習機模型；

增量半監督核極限學習機模型的建立方法為：

其中是訓練目標矩陣,它的前l行為其余元素為0,λ是均衡參數，H是全部訓練樣本所對應的隱層輸出矩陣，L＝D-S是全部訓練樣本所對應的圖拉普拉斯矩陣,仿射矩陣S的第ij個元素

NB(x_i)是x_i的近鄰集，D是主對角元素為的對角矩陣；公式五中輸出權值的閉型最優解為：

因此給定測試樣本的輸出函數為

得到一個半監督核極限學習機；

假設在時間t，已經被學習的數據記為其中是所有訓練樣本的輸入,是已標記樣本的輸出；在時間t+1，新獲取的數據塊為其中是新增訓練樣本的輸入，是數據塊中已標記樣本的輸出；

為了簡化運算，在公式六和公式七中將A_t記為

t+1時間的圖拉普拉斯矩陣被表述為

其中L_t和L_IC分別為X_t和X_IC對應的圖拉普拉斯矩陣；S_t,IC是由X_t到X_IC的仿射矩陣，S_IC,t是由X_IC到X_t的仿射矩陣,D_t,IC和D_IC,t分別是主對角元素為矩陣，S_t,IC及S_IC,t的行元素之和的對角矩陣；另外，t+1時間的核矩陣被表述為

其中Ω_t和Ω_IC分別為X_t和X_IC對應的核矩陣，K_t,IC＝k(X_t,X_IC)；

根據時間t與t+1之間的關系,A_t+1被表示為

其中C_t＝D_t,ICK_t,IC-S_t,ICΩ_IC,F_t＝D_IC,tΩ_IC-S_t,ICK_t,IC；令U_t＝(I_N+λL_t)K_t,IC,為了降低計算代價,用分塊矩陣求逆公式求矩陣A_t+1的逆

其中因此,給定一個核函數k(x,y)和極少數已標記樣本和少量未標記樣本，得出增量半督導核極限學習機的算法：

初始化處理:給定N₀個初始訓練樣本其中包含個已標記樣本,其輸出為并選定一個核函數k(x,y),參數C和λ；

對于初始訓練樣本分別計算圖拉普拉斯矩陣L₀和核矩陣Ω₀＝k(X₀,X₀)；

初始化參數

設置t＝0；

在線增量學習處理；

重復以下步驟:

給定第t+1個接收的數據塊

對最新的數據塊計算圖拉普拉斯矩陣L_IC及核矩陣Ω_IC＝k(X_IC,X_IC)，K_t,IC＝k(X_t,X_IC)；

計算參數

計算U_t＝(I_N+λL_t)K_t,IC,

計算

設置t＝t+1,返回初始化處理步驟；

在線預測處理:假設所有訓練樣本的數目為τ,用學習所得的參數估計給定測試樣本X_test的輸出即為手寫體數字識別的結果。