[發(fā)明專利]一種基于微調(diào)條件概率的分類數(shù)據(jù)轉(zhuǎn)換方法

有效

• 申請?zhí)枺?/td>: 201910770010.6
• 申請日: 2019-08-20
• 公開（公告）號: CN110502552B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 熊慶宇;李秋德;吉?jiǎng)俜?/a>;高旻;余洋;王凱歌;吉皇
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/215;G06N20/00
• 代理公司: 重慶西南華渝專利代理有限公司 50270
• 代理人: 郭桂林

1.一種基于微調(diào)條件概率的分類數(shù)據(jù)轉(zhuǎn)換方法，其特征在于，包括：

S1、分類數(shù)據(jù)的數(shù)據(jù)采集；

S2、數(shù)據(jù)預(yù)處理，清洗分類數(shù)據(jù)中的缺失數(shù)據(jù)，噪音數(shù)據(jù)，以及無效數(shù)據(jù)；

S3、條件概率計(jì)算，將清洗以后的分類數(shù)據(jù)轉(zhuǎn)換為數(shù)值向量；

S4、微調(diào)條件概率，對步驟S3中轉(zhuǎn)換后的數(shù)值向量進(jìn)行數(shù)值微調(diào)；

S5、分類數(shù)據(jù)的數(shù)值嵌入，對步驟S4中進(jìn)行數(shù)值微調(diào)以后的數(shù)值向量，采用原始的分類數(shù)據(jù)嵌入或映射為數(shù)值數(shù)據(jù)；

其中步驟S2和S3具體包括：

X是一個(gè)包含N個(gè)樣本的分類數(shù)據(jù)集，每個(gè)樣本由一個(gè)m維的向量[a₁(x),…,a_m(x)]表示，其中a_i(x)是樣本x的第i屬性的分類值，此外，X的類標(biāo)簽為條件概率計(jì)算首先提取每個(gè)分類屬性A_i和類標(biāo)簽C中的數(shù)據(jù)，然后計(jì)算屬性A_i內(nèi)每個(gè)分類值a_i(x)的條件概率，并生成如下的l維數(shù)值向量：

a_i(x)→[P(c₁|a_i(x)),…,P(c_j|a_i(x)),…,P(c_l|a_i(x))] (1)

其中式(1)中的條件概率項(xiàng)P(c_j|a_i(x))是由拉普拉斯平滑(Laplace Smoothing)的貝葉斯估計(jì)(Bayesian Estimation)進(jìn)行計(jì)算，即為：

其中式(2)中的I(x,y)是一個(gè)指標(biāo)函數(shù)，即當(dāng)x＝y(tǒng)時(shí)I(x,y)＝1，否則I(x,y)＝0；λ≥0是一個(gè)拉普拉斯平滑因子；

其中步驟S3還包括：

估計(jì)有效范圍，利用有效范圍算法(Valid Ranges Algorithm)的計(jì)算屬性A_i內(nèi)每個(gè)分類值a_i(x)的有效范圍[P_min(c_j|a_i)，P_max(c_j|a_i)]，其中0≤P_min(c_j|a_i)≤P_max(c_j|a_i)≤1；

其中步驟S4包括：

S01、如果條件概率項(xiàng)P(c_j|a_i(x))用于正確分類的樣本數(shù)大于錯(cuò)誤分類的樣本數(shù)時(shí)，即Neg_ratio(a_i,c_j)＞pos_ratio(a_i,c_j)時(shí)，微調(diào)這個(gè)概率項(xiàng)P(c_j|a_i(x))，否則退出微調(diào)過程；

S02、計(jì)算分類值a_i(x)的平均有效范圍與條件概率的差的絕對值，其中

S03、把條件概率用進(jìn)行更新，即

S04、歸一化更新的條件概率即

其中步驟S4還包括：

微調(diào)后驗(yàn)證，使用機(jī)器學(xué)習(xí)分類器驗(yàn)證微調(diào)后的條件概率的性能是否得到提高，即驗(yàn)證微調(diào)算法是否能更加真實(shí)的擬合原始數(shù)據(jù)的分布；

其中步驟S5包括，

條件判斷，判斷微調(diào)后驗(yàn)證中條件概率的性能是否提高，如果得到提高，說明本次微調(diào)是有效的，轉(zhuǎn)到微調(diào)條件概率，繼續(xù)微調(diào)；否則終止微調(diào)過程，退出程序。

2.如權(quán)利要求1所述的一種基于微調(diào)條件概率的分類數(shù)據(jù)轉(zhuǎn)換方法，其特征在于，微調(diào)次數(shù)限制在預(yù)設(shè)的1000次以內(nèi)。