[發明專利]一種基于互信息的實時特征提取方法

在審

• 申請號: 201810351645.8
• 申請日: 2018-04-19
• 公開（公告）號: CN108537288A
• 公開（公告）日: 2018-09-14
• 發明（設計）人: 王妍;李俊;吳陽;李玉諾
• 申請（專利權）人: 遼寧大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 沈陽杰克知識產權代理有限公司 21207
• 代理人: 鄭賢明

1.一種基于互信息的實時特征提取方法，包括如下步驟：

1)、判斷當前窗口是否為第一個窗口；若為第一個窗口，則采用步驟2)中的方法，基于互信息的特征提取策略；如果不是第一個窗口，則采用步驟3)中的方法，采取基于滑動窗口的增量數據提取策略；

2)、當前窗口是一個窗口時，對其內的數據進行處理，具體為：

2.1)假設特征空間R^m×n上的樣本數據集X,每一條數據X_i由n維特征向量組成，(x_i1,x_i2,…x_in)；

首先根據數據樣本統計特征的概率分布，根據式(1)計算每個特征的信息熵H(x_j)：

其中：p(x_i)是特征的值域內中的每個值出現的概率；

然后根據式(2)計算每個特征間的互信息，組成互信息矩陣

其中：P(x,y)是兩個特征的聯合分布概率，P(x)和P(y)分別是特征X和特征Y值域內的每個值出現的概率；

在中，對角線元素表示每個特征的自信息，即特征的信息熵，非對角線元素表示兩個特征的之間的互信息；

2.2)無論是信息熵還是互信息皆為實數，當兩個變量不相關時，互信息為0，否者為正數，因此Σ_Ιxy為非負實數矩陣，并且由公式(3)

I(X；Y)＝I(Y；X) (3)

可以判定是非負實對稱矩陣，其特征值為實數，特征值對應的特征向量兩兩正交，并且矩陣可分解為如下形式：

其中：Λ為的特征值(μ₁,μ₂,…μ_n)組成的對角陣，特征值從大到小排列；

B是各個特征值對應的特征向量(β₁,β₂,…β_n)組成的矩陣，通過貢獻率來判斷主成分的維數；

主成分的貢獻率σ_k為單一主成分占總體主成分信息量的比重：

其中：μ_k表示第k大的特征值；

累計貢獻率δ_k為前k個主成分的貢獻率之和：

選擇貢獻率之和在85％-95％的前k個特征值對應的特征向量(β₁,β₂,…β_l)作為主成分決策矩陣B_l

原始矩陣降維后為：

Z＝B_lX (7)

提取出的主成分z_k＝β_k'X(k＝1,2，···，l)，β_k'是第k個主成分；

并計算出互信息矩陣的單位化矩陣H_i：

H_i＝B_iΛ_i^-1/2 (8)

其中B_i∈R^n×k是主成分決策矩陣，Λ∈R^m×k是選取的前k個特征值組成的矩陣；

3)、當前窗口不是第一個窗口時，對其內的數據進行處理，其實現步驟如下：

3.1)、首先計算本窗口內的互信息矩陣Σ_i+1，然后將其投影到H_i張成的空間中.

在式(9)中，H_i是前一個窗口的互信息矩陣的單位化矩陣，

3.2)、對求特征值和特征向量，并按降序排列，并根據式(5)和式(6)取得累計貢獻率在85％-95％的前k個特征值；μ_i和對應的特征向量β_i，根據這k個特征值和特征向量求得當前窗口內的互信息矩陣的特征值矩陣：

其中：m是窗口大小，I為單位矩陣，μ_i是的特征值矩陣

特征向量：

V＝H_iβ_i (11)

其中：H_i是前一個窗口的互信息矩陣的單位化矩陣，β_i是的特征向量

并組成主成分決策陣，將數據映射到主成分決策陣上即實現了降維，后續的窗口重復此過程。