[發明專利]一種基于正則化的半監督弱標簽分類方法

在審

• 申請號: 202010700950.0
• 申請日: 2020-07-20
• 公開（公告）號: CN112085049A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 丁家滿;劉楠;周蜀杰;李潤鑫;賈連印
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 昆明明潤知識產權代理事務所(普通合伙) 53215
• 代理人: 王鵬飛

1.一種基于正則化的半監督弱標簽分類方法，其特征在于：首先根據標簽相關性對弱標簽實例的缺失標簽進行初步預估，度量預估后弱標簽實例的經驗損失；然后利用所有訓練實例構造鄰域圖，從實例相似性和標簽相關性角度構建基于平滑性假設的正則化項；接下來利用預估后的弱標簽實例結合無標簽實例訓練半監督弱標簽分類模型；最后進行模型求解，對無標簽實例的標簽進行預測。

2.根據權利要求1所述的基于正則化的半監督弱標簽分類方法，其特征在于具體步驟為：

Step1：輸入訓練數據集U，測試數據集T；

Step2：讀取訓練數據集U中實例的特征和標簽信息，生成實例特征矩陣X和初始標簽矩陣Y；

其中，X＝[x₁,x₂,...,x_n]∈R^d×n為實例特征矩陣，x_i∈R^d為第i個實例的特征向量，n為實例數，d為特征類別數，Y＝[y₁,y₂,...,y_n]∈R^c×n為初始標簽矩陣，y_i∈R^c為第i個實例的標簽向量，c為標簽類別數；

設n＝l+μ，前l個實例為帶有部分標簽信息的弱標簽實例，后μ個實例為標簽信息完全未知的無標簽實例；

Step3：定義分類模型的一般形式為：f(x)＝W^Tx+b，其中，W＝[w₁,w₂,...,w_c]∈R^d×c是預測矩陣，b∈R^c是標簽偏差，f(x)∈R^c是實例x的預測標簽向量；

Step4：根據標簽相關性對弱標簽實例的缺失標簽進行初步預估，度量預估后弱標簽實例的經驗損失，具體為

Step4.1：基于余弦相似度，計算標簽相關矩陣

其中，L(c₁,c₂)是標簽c₁，c₂的相關度，是Y的第c₁行，是Y的第c₂行；

利用標簽相關矩陣對前l個弱標簽實例x_i的缺失標簽進行初步預估：其中，y_i表示實例i的標簽向量，T表示轉置，L(·,c)表示標簽相關矩陣L的第c列；

當y_ic＝0時，為保證將歸一化為

Step4.2：最小化前l個弱標簽實例的經驗損失，定義損失函數Ω₁(f)為：

式(1)中，tr()是矩陣的跡運算，是初步預估后的實例標簽矩陣，F＝[f(x₁),f(x₂),...f(x_n)]＝W^TX+be^T是預測標簽矩陣，e∈Rⁿ是所有元素為1的向量，V∈R^n×n是對角矩陣，前l個對角元素為1，后μ個對角元素為0；

Step5：利用所有訓練實例構造鄰域圖，從實例相似性和標簽相關性角度構建基于平滑性假設的正則化項，具體為：

Step5.1：基于n個實例樣本構造加權鄰域圖G，G中每一個頂點對應一個實例x_i，x_i和x_p之間的邊表示x_i是x_p的k近鄰或x_p是x_i的k近鄰；

計算實例相似矩陣N_i是實例i的k近鄰實例集，σ是實例特征矩陣X中任意兩點間歐氏距離的平均值，使用kd-tree有效搜索每個實例的k近鄰；

Step5.2：正則化項Ω₂(f)定義為：

Ω₂(f)＝tr(W^TXM_SX^TW) (2)

式(2)中，M_S＝Λ-S為S對應近鄰圖上的規范化Laplacian矩陣，Λ是對角矩陣，

Step5.3：正則化項Ω₃(f)定義為：

Ω₃(f)＝＝tr(X^TWM_LW^TX) (3)

式(3)中，M_L＝Λ′-L為L對應近鄰圖上的規范化Laplacian矩陣，Λ′是對角矩陣，

Step6：根據Step3.2、Step4.2和Step4.3可得Φ(f)為：

Φ(f)＝Ω₁(f)+αΩ₂(f)+βΩ₃(f) (4)

通過Φ(f)最小化，求解出W和b，f(x)＝W^Tx+b為實例x的預測標簽向量；

Step7：對Step6中建立的模型求解，其結果為：

其中，

Step8：根據Step7中模型求解結果，對測試數據集T中無標簽實例的標簽進行預測，輸入實例x，得到預測標簽向量f(x)。