[發(fā)明專利]一種基于多指標融合的數(shù)據(jù)集可分性度量方法

在審

• 申請?zhí)枺?/td>: 202110129482.0
• 申請日: 2021-01-29
• 公開（公告）號: CN112801190A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設計）人: 張寅升;裴冠雄;張國明;曹園園;葉永
• 申請（專利權(quán)）人: 浙江工商大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京沃知思真知識產(chǎn)權(quán)代理有限公司 11942
• 代理人: 高小艷

本發(fā)明公開了一種基于多指標融合的數(shù)據(jù)集可分性度量方法，涉及判別分析技術領域，包括以下步驟：預先基于采集的領域數(shù)據(jù)樣本進行總體分布估計；進行從估計的統(tǒng)計模型中抽樣，獲取不同類間距d的模擬數(shù)據(jù)集{X,y}；針對每一組數(shù)據(jù)集，計算特征變量X與類標簽y的多個原子指標并作為訓練數(shù)據(jù)搭建回歸模型；當采集到相同領域中的一組新數(shù)據(jù)集時，使用訓練得到的回歸模型進行可分性分析，其回歸模型的輸出值作為可分性度量。本發(fā)明實現(xiàn)設計了量化和綜合的數(shù)據(jù)可分性度量指標，將貝葉斯錯誤率BER、分類準確率ACC、信息增益IG來自不同領域的異質(zhì)指標融合為一個指標，消除了不同原子指標之間的不一致性，并降低了單個原子指標帶來的偏差。

技術領域

本發(fā)明涉及判別分析技術領域，具體來說，涉及一種基于多指標融合的數(shù)據(jù)集可分性度量方法。

背景技術

分類是機器學習中的常見任務。獲取到數(shù)據(jù)集后，開展分類研究的普遍做法是“試錯法”，即研究人員不斷嘗試主流的分類模型(如支持向量機或神經(jīng)網(wǎng)絡)。依次訓練并評估各個分類模型，直到找到理想的分類器獲或所有分類器全部失敗。這里隱藏著一個基本問題：數(shù)據(jù)集是否可分離，數(shù)據(jù)集在當前的分類任務中是否具備統(tǒng)計上的顯著差異。

目前尚缺乏普遍被接受的數(shù)據(jù)集“可分性”度量，本發(fā)明將設計一種融合多種指標的數(shù)據(jù)集可分性度量。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

針對相關技術中的問題，本發(fā)明提出一種基于多指標融合的數(shù)據(jù)集可分性度量方法，通過設計了量化和綜合的數(shù)據(jù)可分性度量指標，將貝葉斯錯誤率BER、分類準確率ACC、信息增益IG來自不同領域的異質(zhì)指標融合為一個指標，消除了不同原子指標之間的不一致性，并降低了單個原子指標帶來的偏差，以克服現(xiàn)有相關技術所存在的上述技術問題。

本發(fā)明的技術方案是這樣實現(xiàn)的：

一種基于多指標融合的數(shù)據(jù)集可分性度量方法，包括以下步驟：

預先基于采集的領域數(shù)據(jù)樣本進行總體分布估計，其中包括獲取統(tǒng)計模型；

從估計的統(tǒng)計模型中抽樣，獲取不同類間距d的模擬數(shù)據(jù)集{X,y}；

針對每一組數(shù)據(jù)集，計算特征變量X與類標簽y的多個原子指標并作為訓練數(shù)據(jù)搭建回歸模型，原子指標包括貝葉斯錯誤率BER、分類準確率ACC和信息增益IG；

當采集到相同領域中的一組新數(shù)據(jù)集時，使用訓練得到的回歸模型進行可分性分析，其回歸模型的輸出值作為可分性度量。

進一步的，所述采集的領域數(shù)據(jù)樣本，其數(shù)據(jù)集符合高斯多元分布。

進一步的，還包括以下步驟：基于d的取值，判斷數(shù)據(jù)集的可分性或類間差別。

進一步的，所述基于d的取值，包括：

若d0.2，認為無可分性；

若0.2≤d0.5，認為有弱可分性；

若0.5≤d≤0.8，認為可分性中等；

若d0.8，認為數(shù)據(jù)集有顯著統(tǒng)計差別，可分性高。

本發(fā)明的有益效果：

本發(fā)明基于多指標融合的數(shù)據(jù)集可分性度量方法，通過預先基于采集的領域數(shù)據(jù)樣本進行總體分布估計從估計的統(tǒng)計模型中抽樣，獲取不同類間距d的模擬數(shù)據(jù)集{X,y}；進行對每一組數(shù)據(jù)集，計算特征變量X與類標簽y的多個原子指標并作為訓練數(shù)據(jù)搭建回歸模型，當采集到相同領域中的一組新數(shù)據(jù)集時，使用訓練得到的回歸模型進行可分性分析，其回歸模型的輸出值作為可分性度量，實現(xiàn)設計了量化和綜合的數(shù)據(jù)可分性度量指標，將貝葉斯錯誤率BER、分類準確率ACC、信息增益IG來自不同領域的異質(zhì)指標融合為一個指標，消除了不同原子指標之間的不一致性，并降低了單個原子指標帶來的偏差。