[發(fā)明專利]基于真實(shí)數(shù)據(jù)增強(qiáng)的多元時(shí)序數(shù)據(jù)填充方法

在審

• 申請?zhí)枺?/td>: 202011402595.5
• 申請日: 2020-12-02
• 公開（公告）號: CN112465150A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 袁曉潔;歐陽嘉偉;周寶航;張瑩;蔡祥睿
• 申請（專利權(quán)）人: 南開大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 天津創(chuàng)智睿誠知識產(chǎn)權(quán)代理有限公司 12251
• 代理人: 王海濱

1.一種基于真實(shí)數(shù)據(jù)增強(qiáng)的多元時(shí)序數(shù)據(jù)缺失值填充方法，其特征在于：包括以下步驟：

步驟1、對含有缺失值的多元時(shí)序數(shù)據(jù)做預(yù)處理操作，進(jìn)行數(shù)據(jù)劃分與正則化，進(jìn)而生成真實(shí)數(shù)據(jù)矩陣與時(shí)間間隔矩陣；

步驟2、構(gòu)造門循環(huán)填充單元對多元時(shí)序數(shù)據(jù)建模，同時(shí)引入時(shí)間衰減機(jī)制處理時(shí)間間隔不規(guī)則的問題；

步驟3、基于第2步的門循環(huán)填充單元實(shí)現(xiàn)編碼器，通過編碼器壓縮真實(shí)數(shù)據(jù)為低維數(shù)據(jù)表征向量；

步驟4、基于第2步的門循環(huán)填充單元實(shí)現(xiàn)生成器，用于從第3步生成的數(shù)據(jù)表征向量中生成完整數(shù)據(jù)，并且在數(shù)據(jù)生成過程中通過真實(shí)數(shù)據(jù)增強(qiáng)提升生成數(shù)據(jù)的質(zhì)量；

步驟4.1、生成器的初始的輸入方程為：

其中為參數(shù)，之后每一步傳遞的信息包括兩部分：

其中g(shù)enerator_i為基于門循環(huán)填充單元實(shí)現(xiàn)的生成器，初始輸入為數(shù)據(jù)表征向量z，之后每一步輸入的數(shù)據(jù)向量由生成器上一步生成的數(shù)據(jù)向量代替，由上一步隱單元生成；

步驟4.2、擴(kuò)展生成器輸入，使生成器能夠同時(shí)接收生成數(shù)據(jù)與對應(yīng)的真實(shí)數(shù)據(jù)通過串聯(lián)處理聯(lián)合這兩部分?jǐn)?shù)據(jù)并且擴(kuò)展參數(shù)的維度：

W^2n×n＝k^2n×n·W^n×n

b^2n×1＝k^2n×n·b^n×1

其中W，b為生成器中的參數(shù)，k為擴(kuò)展因子用于擴(kuò)展參數(shù)的維度與輸入一致；從而在生成器內(nèi)部得到生成數(shù)據(jù)與對應(yīng)的真實(shí)數(shù)據(jù)相應(yīng)的數(shù)據(jù)切片處理為：

真實(shí)數(shù)據(jù)傳入生成器后，通過非門與生成數(shù)據(jù)結(jié)合；

步驟4.3、通過掩碼矩陣實(shí)現(xiàn)權(quán)重門機(jī)制；

在生成器中引入門機(jī)制用于決定兩部分?jǐn)?shù)據(jù)的權(quán)重以生成更加合理真實(shí)的數(shù)據(jù)，基于標(biāo)明數(shù)據(jù)是否缺失的掩碼矩陣構(gòu)建一個(gè)權(quán)重門機(jī)制，用于結(jié)合真實(shí)數(shù)據(jù)與生成數(shù)據(jù)，相應(yīng)掩碼矩陣每個(gè)元素的定義為：

基于每個(gè)時(shí)刻掩碼矩陣的向量可以推導(dǎo)得到權(quán)重門機(jī)制，通過Sigmoid激活函數(shù)映射的取值范圍為[0,1]的權(quán)重門機(jī)制：

其中W_λ，b_λ為權(quán)重門機(jī)制中的參數(shù)，由此得到的權(quán)重門平衡數(shù)λ_i用于控制真實(shí)數(shù)據(jù)與生成數(shù)據(jù)相對比例；

步驟4.4、基于權(quán)重門機(jī)制結(jié)合真實(shí)數(shù)據(jù)；

在每一步把生成數(shù)據(jù)與對應(yīng)的真實(shí)數(shù)據(jù)通過門機(jī)制決定相應(yīng)的權(quán)重，并且權(quán)重和為1：

其中是真實(shí)數(shù)據(jù)經(jīng)過權(quán)重門過濾后得到的信息，是生成數(shù)據(jù)經(jīng)過權(quán)重門過濾后得到的信息；

最后得到的新的生成數(shù)據(jù)為：

新的生成數(shù)據(jù)會(huì)替代成為第4.2步中生成器的新輸入：

步驟5、基于第2步的門循環(huán)填充單元實(shí)現(xiàn)判別器，用于分辨步驟1的真實(shí)數(shù)據(jù)矩陣與步驟4的生成數(shù)據(jù)矩陣，并且通過生成對抗式的訓(xùn)練不斷優(yōu)化判別器與生成器，使生成器生成的數(shù)據(jù)足以迷惑判別器，從而生成接近真實(shí)的數(shù)據(jù)；

步驟6、用生成器生成的數(shù)據(jù)填充缺失值。

2.根據(jù)權(quán)利要求1所述的基于真實(shí)數(shù)據(jù)增強(qiáng)的多元時(shí)序數(shù)據(jù)缺失值填充方法，其特征在于：步驟1中：

根據(jù)數(shù)據(jù)數(shù)值與未缺失值的時(shí)間間隔構(gòu)造真實(shí)數(shù)據(jù)矩陣與時(shí)間間隔矩陣；

定義1：真實(shí)數(shù)據(jù)矩陣X，定義如下：

真實(shí)數(shù)據(jù)矩陣是多元時(shí)序數(shù)據(jù)的數(shù)值信息，矩陣代表了元素在不同時(shí)刻t₁,…,t_i…,t_n記錄到的數(shù)值：

矩陣X記錄了d個(gè)變量在n個(gè)時(shí)刻的數(shù)值；對于t_i時(shí)刻的變量j，可標(biāo)記為若值未缺失，為實(shí)數(shù)；若值缺失，為0；

定義2：時(shí)間間隔矩陣δ，定義如下：

時(shí)間間隔矩陣記錄當(dāng)前時(shí)刻與變量上一個(gè)未缺失時(shí)刻的時(shí)間跨度，代表了變量出現(xiàn)的頻率，可幫助模型確定上一個(gè)未缺失值對此刻的影響程度：

對于時(shí)間間隔矩陣δ中t_i時(shí)刻的變量j，矩陣元素的賦值規(guī)則如下：