[發(fā)明專利]密度聚類分箱方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110532625.2
• 申請(qǐng)日: 2021-05-17
• 公開（公告）號(hào): CN113378889A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 杜亞威;宋文甫
• 申請(qǐng)（專利權(quán)）人: 深圳薩摩耶?dāng)?shù)字科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06Q10/06
• 代理公司: 上海大邦律師事務(wù)所 31252
• 代理人: 王松

1.一種密度聚類分箱方法，其特征在于，所述密度聚類分箱方法包括：

步驟A、對(duì)風(fēng)控?cái)?shù)據(jù)集進(jìn)行預(yù)處理；

步驟B、為數(shù)據(jù)集中數(shù)據(jù)的每個(gè)屬性劃分密度聚類，獲取各個(gè)屬性的密度聚類簇的中心程度；

步驟C、通過迭代損失函數(shù)進(jìn)行密度聚類分箱，獲取第一次分箱結(jié)果；

步驟D、若密度聚類分箱的區(qū)間符合設(shè)定要求，則減小屬性距離，并再次進(jìn)行密度聚類分箱，直至密度聚類分箱的區(qū)間符合設(shè)定要求。

2.根據(jù)權(quán)利要求1所述的密度聚類分箱方法，其特征在于：

所述步驟A中，對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理包括：

剔除數(shù)據(jù)集中不適合分箱的列，包括高缺失率的列及單一值過高的列；

對(duì)數(shù)據(jù)集中的缺失值進(jìn)行處理；填充缺失值，或?qū)⑵湓O(shè)為設(shè)定最小值；

將數(shù)據(jù)集中的標(biāo)簽轉(zhuǎn)換為數(shù)值類型；

將數(shù)據(jù)集中的數(shù)據(jù)按照設(shè)定順序進(jìn)行排序。

3.根據(jù)權(quán)利要求1所述的密度聚類分箱方法，其特征在于：

所述步驟B進(jìn)一步包括：根據(jù)樣本總數(shù)確定密度聚類簇的最小判定數(shù)，根據(jù)所述最小判定數(shù)為每個(gè)屬性劃分密度聚類簇，根據(jù)各個(gè)屬性的密度聚類簇的四分位數(shù)確定各個(gè)屬性的密度聚類簇的中心程度。

4.根據(jù)權(quán)利要求1所述的密度聚類分箱方法，其特征在于：

所述步驟B進(jìn)一步包括：

初始化區(qū)間；確定分箱主體區(qū)間，將異常值剔除；通過四分位數(shù)的思想，確定單變量的上邊緣和下邊緣；在分箱主體區(qū)間之外的都當(dāng)作異常點(diǎn)或異常區(qū)間進(jìn)行標(biāo)注，不將其加入迭代計(jì)算；

初始化參數(shù)EPS和min_samble；若已有則繼承參數(shù)(對(duì)同一數(shù)據(jù)集)；否則，設(shè)EPS＝(上邊緣-下邊緣)/100，min_samble＝行數(shù)/1000。

5.根據(jù)權(quán)利要求1所述的密度聚類分箱方法，其特征在于：

所述步驟D具體包括，在劃分密度聚類的過程中，將重復(fù)值超過設(shè)定數(shù)量或數(shù)據(jù)的特殊值之差小于設(shè)定值的數(shù)據(jù)劃分為一個(gè)密度聚類簇；對(duì)于重復(fù)值超過設(shè)定數(shù)量的數(shù)據(jù)，在[Q1,Q3]區(qū)間只有單個(gè)簇或業(yè)務(wù)邏輯中簇的數(shù)量低于設(shè)定值時(shí)，屬性距離降低設(shè)定值后再次進(jìn)行密度聚類分箱，直至密度聚類分箱的區(qū)間符合設(shè)定要求；其中，Q1、Q3表示四分位數(shù)的兩個(gè)點(diǎn)，Q1為上四分位點(diǎn)，Q3為下四分位點(diǎn)。

6.根據(jù)權(quán)利要求1所述的密度聚類分箱方法，其特征在于：

所述步驟C、步驟D中的密度聚類分箱過程包括：

按從大到小的順序?qū)?shù)據(jù)集進(jìn)行排序，Q0作為上邊緣點(diǎn)，Q1作為上四分位點(diǎn)，Q2作為中位數(shù)點(diǎn)，Q3作為下四分位點(diǎn)，Q4作為下邊緣點(diǎn)；

密度聚類分箱算法的損失函數(shù)為：

異常點(diǎn)和重復(fù)點(diǎn)不納入損失函數(shù)；σ為權(quán)重函數(shù)，值域[0,1]，分配算式1和算式2的權(quán)重；n為分箱數(shù)，k為每個(gè)分箱的腳標(biāo)；ε為固定值，避免為0；

算式1：表示各分箱區(qū)間簇的中心程度，每個(gè)簇的中心占分箱區(qū)間的比例，比例越小越好；

算式2：為每個(gè)簇中位數(shù)點(diǎn)和中點(diǎn)的絕對(duì)距離，用來表示中心聚點(diǎn)與區(qū)間中點(diǎn)的偏離程度，比例越小越好；

向密度聚類分箱算法的損失函數(shù)中加入正則化參數(shù)，優(yōu)化損失函數(shù)。

7.根據(jù)權(quán)利要求1所述的密度聚類分箱方法，其特征在于：

所述密度聚類分箱方法進(jìn)一步包括：按照第一次分箱結(jié)果，若分箱區(qū)間內(nèi)上四分位點(diǎn)等于下四分位點(diǎn)，或者上四分位點(diǎn)小于某個(gè)極小值，則認(rèn)為這是一個(gè)特殊點(diǎn)，將這個(gè)特殊點(diǎn)單獨(dú)分為一個(gè)區(qū)間，該區(qū)間不再納入計(jì)算。

8.根據(jù)權(quán)利要求1所述的密度聚類分箱方法，其特征在于：

所述步驟D中，根據(jù)損失函數(shù)進(jìn)行迭代，直至損失值loss最小；

算式1：表示各分箱區(qū)間簇的中心程度，每個(gè)簇的中心占分箱區(qū)間的比例，比例越小越好；

算式2：為每個(gè)簇中位數(shù)點(diǎn)和中點(diǎn)的絕對(duì)距離，用來表示中心聚點(diǎn)與區(qū)間中點(diǎn)的偏離程度，比例越小越好；

迭代即調(diào)整參數(shù)EPS和min_samble，以及區(qū)間劃分參數(shù)，其中分箱區(qū)間的Q0表示區(qū)間的最大值，Q4表示區(qū)間的最小值。