[發(fā)明專(zhuān)利]一種基于最優(yōu)混合估值的大壩安全監(jiān)測(cè)數(shù)據(jù)補(bǔ)全方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110242719.6
• 申請(qǐng)日: 2021-03-05
• 公開(kāi)（公告）號(hào): CN113139570A
• 公開(kāi)（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 朱思敏;呂鑫;遲福東;彭欣欣;余意;廖貴能;陳豪;王順波;吳光耀
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河海大學(xué);華能瀾滄江水電股份有限公司;華能集團(tuán)技術(shù)創(chuàng)新中心有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 張賞

本發(fā)明公開(kāi)了一種基于最優(yōu)混合估值的大壩安全監(jiān)測(cè)數(shù)據(jù)補(bǔ)全方法，包括，將大壩安全監(jiān)測(cè)數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，其中，訓(xùn)練集為完整子數(shù)據(jù)集，測(cè)試集為缺失子數(shù)據(jù)集；基于訓(xùn)練集采用XgBoost算法構(gòu)建最優(yōu)預(yù)測(cè)模型；采用最優(yōu)預(yù)測(cè)模型對(duì)測(cè)試集中各數(shù)據(jù)所屬類(lèi)的概率分布進(jìn)行預(yù)測(cè)，生成測(cè)試集樣本概率向量；基于測(cè)試集樣本概率向量進(jìn)行聚類(lèi)；對(duì)于連續(xù)型數(shù)據(jù)存在缺失，則用所屬類(lèi)中對(duì)應(yīng)特征屬性的均值來(lái)補(bǔ)全數(shù)據(jù)；對(duì)于離散型數(shù)據(jù)缺失，則將該條數(shù)據(jù)所屬類(lèi)的極大似然估計(jì)作為補(bǔ)全數(shù)據(jù)。本發(fā)明方法解決了混合數(shù)據(jù)集中各類(lèi)數(shù)據(jù)缺失的問(wèn)題，可對(duì)大壩安全監(jiān)測(cè)數(shù)據(jù)集的特征進(jìn)行有效評(píng)估，具有更強(qiáng)的泛化能力和更精確的補(bǔ)全效果。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于最優(yōu)混合估值的大壩安全監(jiān)測(cè)數(shù)據(jù)補(bǔ)全方法，屬于數(shù)據(jù)補(bǔ)全技術(shù)領(lǐng)域。

背景技術(shù)

隨著數(shù)據(jù)采集和存儲(chǔ)能力的高速發(fā)展，為了提高挖掘可靠信息的效率，對(duì)缺失數(shù)據(jù)補(bǔ)全的技術(shù)越來(lái)越受關(guān)注。Gao等人提出基于最小二乘法支持向量機(jī)的歸并算法，并采用粒子群算法搜索參數(shù)的最優(yōu)值，通過(guò)節(jié)點(diǎn)的以往數(shù)據(jù)和鄰居節(jié)點(diǎn)數(shù)據(jù)共同對(duì)數(shù)據(jù)進(jìn)行估計(jì)，解決了核電站輻射監(jiān)控?cái)?shù)據(jù)的缺失問(wèn)題，然而這個(gè)算法的局限是只有在缺失數(shù)據(jù)與有效數(shù)據(jù)之間存在高度相關(guān)時(shí)，才具有較好的預(yù)測(cè)精度。Bertini等人利用完全二部屬性決策圖來(lái)估計(jì)缺失值，該模型可以在考慮所有描述數(shù)據(jù)的屬性的情況下，找到丟失屬性值的適當(dāng)間隔。實(shí)際中該方法需要數(shù)據(jù)的屬性標(biāo)簽盡量完整，不適用于在噪聲較多的數(shù)據(jù)集。He等人基于深度學(xué)習(xí)的框架重建缺失的數(shù)據(jù)，以利于時(shí)間序列的分析。但是，這類(lèi)所提方法并不能夠處理混合分類(lèi)連續(xù)缺失等問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是克服現(xiàn)有技術(shù)的缺陷，提供一種基于最優(yōu)混合估值的大壩安全監(jiān)測(cè)數(shù)據(jù)補(bǔ)全方法，

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案如下：

本發(fā)明提供一種基于最優(yōu)混合估值的大壩安全監(jiān)測(cè)數(shù)據(jù)補(bǔ)全方法，包括：

將大壩安全監(jiān)測(cè)數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集；所述大壩安全監(jiān)測(cè)數(shù)據(jù)集中每條數(shù)據(jù)由多個(gè)特征屬性和一個(gè)類(lèi)標(biāo)簽構(gòu)成；

基于訓(xùn)練集構(gòu)建最優(yōu)預(yù)測(cè)模型，預(yù)測(cè)樣本所屬各個(gè)類(lèi)的概率分布；

采用最優(yōu)預(yù)測(cè)模型對(duì)測(cè)試集中各數(shù)據(jù)所屬類(lèi)的概率分布進(jìn)行預(yù)測(cè)，生成測(cè)試集樣本概率向量；

基于測(cè)試集樣本概率向量進(jìn)行聚類(lèi)；

基于聚類(lèi)結(jié)果和缺失數(shù)據(jù)類(lèi)型對(duì)測(cè)試集中缺失數(shù)據(jù)進(jìn)行補(bǔ)全。

進(jìn)一步的，所述將大壩安全監(jiān)測(cè)數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，包括：

將大壩安全監(jiān)測(cè)數(shù)據(jù)集分為完整子數(shù)據(jù)集和非完整子數(shù)據(jù)集，將完整子數(shù)據(jù)集作為訓(xùn)練集，非完整子數(shù)據(jù)集作為測(cè)試集；

所述非完整子數(shù)據(jù)集是指，如果一條數(shù)據(jù)的某些特征屬性或類(lèi)標(biāo)簽缺失，則該條數(shù)據(jù)被分為非完整子數(shù)據(jù)集。

進(jìn)一步的，所述基于訓(xùn)練集構(gòu)建最優(yōu)預(yù)測(cè)模型，預(yù)測(cè)樣本所屬各個(gè)類(lèi)的概率分布，包括，

建立XgBoost預(yù)測(cè)模型：

采用訓(xùn)練集對(duì)所述XgBoost預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到最優(yōu)XgBoost預(yù)測(cè)模型。

進(jìn)一步的，在訓(xùn)練過(guò)程中，采用貪心調(diào)參法，對(duì)XgBoost預(yù)測(cè)模型參數(shù)先粗調(diào)后再精調(diào)；通過(guò)粗調(diào)得出參數(shù)最優(yōu)取值范圍，精調(diào)采用縮小步長(zhǎng)的方法，在最優(yōu)取值范圍內(nèi)找到最優(yōu)的參數(shù)值，從而得出最優(yōu)XgBoost預(yù)測(cè)模型。

進(jìn)一步的，所述采用最優(yōu)預(yù)測(cè)模型對(duì)測(cè)試集中各數(shù)據(jù)所屬類(lèi)的概率分布進(jìn)行預(yù)測(cè)，生成測(cè)試集樣本概率向量，包括，

將測(cè)試集放入最優(yōu)XgBoost預(yù)測(cè)模型中，得出測(cè)試集中每個(gè)樣本所屬各個(gè)類(lèi)的概率分布；

將測(cè)試集中各個(gè)樣本所屬類(lèi)的概率值轉(zhuǎn)化為測(cè)試集樣本概率向量。