[發(fā)明專(zhuān)利]一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710385780.X
• 申請(qǐng)日: 2017-05-26
• 公開(kāi)（公告）號(hào): CN107273445A
• 公開(kāi)（公告）日: 2017-10-20
• 發(fā)明（設(shè)計(jì)）人: 林劼;鐘德建;李年華;馬駿;周正斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06K9/62
• 代理公司: 成都金英專(zhuān)利代理事務(wù)所(普通合伙)51218
• 代理人: 袁英

1.一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置，其特征在于，該裝置包括以下模塊：

模型訓(xùn)練模塊，根據(jù)事先采集得到的訓(xùn)練數(shù)據(jù)與目標(biāo)數(shù)據(jù)建立以訓(xùn)練數(shù)據(jù)各個(gè)屬性為輸入變量參數(shù)，缺失數(shù)據(jù)的預(yù)估為輸出的混合多重插值模型；

缺失數(shù)據(jù)插補(bǔ)模塊，將訓(xùn)練模塊中得到的特征向量輸入到缺失數(shù)據(jù)填充模型中，得到缺失數(shù)據(jù)預(yù)估值，將缺失數(shù)據(jù)預(yù)估值填補(bǔ)到原始數(shù)據(jù)，得到完整數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置,其特征在于，還包括數(shù)據(jù)預(yù)處理模塊，所述數(shù)據(jù)預(yù)處理模塊用于分析數(shù)據(jù)缺失模式以及對(duì)數(shù)據(jù)進(jìn)行歸一化處理。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)預(yù)處理模塊，其特征在于，所述的預(yù)處理模塊通過(guò)加載原始數(shù)據(jù)，同時(shí)對(duì)原始數(shù)據(jù)進(jìn)行分類(lèi)，得到完整數(shù)據(jù)集和不完整數(shù)據(jù)集；再通過(guò)對(duì)完整數(shù)據(jù)集采樣得到訓(xùn)練數(shù)據(jù)集，并對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行歸一化處理；最后對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行模擬缺失，缺失數(shù)據(jù)形成目標(biāo)數(shù)據(jù)集合，得到用于訓(xùn)練模型的輸入和輸出數(shù)據(jù)集合。

4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置,其特征在于，所述的模型訓(xùn)練模塊包括以下子模塊：數(shù)據(jù)特征向量提取模塊和目標(biāo)訓(xùn)練模塊，其中所述的目標(biāo)訓(xùn)練模塊包括以下子模塊：?jiǎn)我蝗笔Ｊ接?xùn)練模型和任意缺失模型；所述的數(shù)據(jù)特征向量提取模塊，用于提取數(shù)據(jù)的特征向量；所述的目標(biāo)訓(xùn)練模塊，用于利用提取的數(shù)據(jù)特征向量訓(xùn)練得到缺失數(shù)據(jù)填充模型。

5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置，其特征在于，所述的模型訓(xùn)練模塊是根據(jù)采集訓(xùn)練數(shù)據(jù)和目標(biāo)數(shù)據(jù)建立以各屬性為輸入的變量參數(shù)，缺失數(shù)據(jù)的預(yù)估為輸出的混合多重插值模型。

6.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置,其特征在于，所述的模型訓(xùn)練模塊，根據(jù)預(yù)處理獲得的輸入數(shù)據(jù)，利用深度信念網(wǎng)絡(luò)提取出原數(shù)據(jù)特征，并在深度信念網(wǎng)絡(luò)訓(xùn)練中加入干擾因子，提升網(wǎng)絡(luò)魯棒性；然后將預(yù)處理獲得的輸入數(shù)據(jù)和利用深度信念網(wǎng)絡(luò)獲得的原數(shù)據(jù)特征構(gòu)成訓(xùn)練數(shù)據(jù)集合，系統(tǒng)根據(jù)缺失數(shù)據(jù)分為單一缺失和任意缺失模型數(shù)據(jù)集，采用不同的模型訓(xùn)練策略；若數(shù)據(jù)集為單一缺失模型數(shù)據(jù)集，將加入隨機(jī)擾動(dòng)因子的原數(shù)據(jù)特征作為輸入，進(jìn)行多元回歸模型訓(xùn)練，得到針對(duì)單一缺失模型的特征回歸插值模型，并將訓(xùn)練得到的權(quán)重和偏置儲(chǔ)存起來(lái)；若數(shù)據(jù)集為任意缺失模型數(shù)據(jù)集，將加入干燥因子的原數(shù)據(jù)特征作為特征字典，通過(guò)K-Means將特征字典劃分為K個(gè)聚類(lèi)，并存儲(chǔ)聚類(lèi)的K個(gè)聚類(lèi)中心用于實(shí)際插補(bǔ)使用，從而得到針對(duì)任意缺失模型的特征驅(qū)動(dòng)插值模型。

7.一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的方法，其特征在于，該方法包括以下步驟：

S1：數(shù)據(jù)預(yù)處理，加載分析原始數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行歸一化處理；

S2：提取數(shù)據(jù)集特征；

S3：數(shù)據(jù)插補(bǔ)，通過(guò)反復(fù)插補(bǔ)過(guò)程得到數(shù)據(jù)插補(bǔ)值。

8.根據(jù)權(quán)利要求7所述的一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置和方法，其特征在于，所述的插補(bǔ)過(guò)程中的數(shù)據(jù)預(yù)處理包括以下子步驟：

S11：加載不完整數(shù)據(jù)集；

S12：將不完整數(shù)據(jù)集分為單一缺失模型數(shù)據(jù)集和任意缺失模型數(shù)據(jù)集；

S13：分別對(duì)單一缺失模型數(shù)據(jù)集和任意缺失模式數(shù)集進(jìn)行歸一化處理，得到用于插補(bǔ)的輸入數(shù)據(jù)集。

9.根據(jù)權(quán)利要求7所述的一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置和方法，其特征在于，所述的提取數(shù)據(jù)集特征，將訓(xùn)練數(shù)據(jù)集分為單一缺失模型數(shù)據(jù)集和任意缺失模型數(shù)據(jù)集，將數(shù)據(jù)帶入已經(jīng)訓(xùn)練好的具有穩(wěn)定的單元變量干燥因子、擾動(dòng)因子、權(quán)重和偏置的穩(wěn)定深度信念網(wǎng)絡(luò)中，提取數(shù)據(jù)特征，為數(shù)據(jù)集插補(bǔ)做準(zhǔn)備。

10.根據(jù)權(quán)利要求7所述的一種大數(shù)據(jù)分析中缺失數(shù)據(jù)混合多重插值的裝置和方法，其特征在于，所述的數(shù)據(jù)插補(bǔ)包括以下子步驟：

S31：若數(shù)據(jù)集為單一缺失模型數(shù)據(jù)集，將特征值代入特征回歸插值模型，得到插補(bǔ)值；

S32：若數(shù)據(jù)集為任意缺失模型數(shù)據(jù)集，采用特征驅(qū)動(dòng)的方式進(jìn)行插補(bǔ)，根據(jù)特征值計(jì)算與K個(gè)聚類(lèi)中心距離，距離最近的聚類(lèi)集，并計(jì)算特征值和該聚類(lèi)集中每條特征的聚類(lèi)，選取最近的K條特征，通過(guò)K條特征原始數(shù)據(jù)與對(duì)于權(quán)重想成得到任意缺失模式下的插補(bǔ)數(shù)據(jù)；

S33：將插補(bǔ)過(guò)程重復(fù)多次并求平均，最終得到大數(shù)據(jù)中缺失數(shù)據(jù)的混合多重插值的數(shù)據(jù)插補(bǔ)。